Cadenas de Markov I

Investigacin de
Operaciones
Cadenas de Markov de tiempo
discreto (CMTD)
Parte A: Definiciones y
clasificacin de estados.
C2. Cadenas de Markov a Tiempo Discreto

Investigacin de Operaciones
2 Semestre 2010
Cadena de Markov
Definicin CMTD (Cadenas de Markov en Tiempo Discreto)
Un proceso estocstico en tiempo discreto y con espacio
de estados finito se dice una Cadena de Markov si:
Esto se conoce como la propiedad Markoviana de prdida

de memoria.
2 Semestre 2010
Cadena de Markov
homognea (o estacionaria)

2 Semestre 2010
Propiedad de Cadenas de Markov

En este caso la evolucin de una CMTD queda
determinada por:
Distribucin de probabilidad inicial (0)=[1(0),, R(0)]
j(0) = P(X0=Ei) , i{1,,R}
La matriz de transicin P.
Propiedad de Chapman-Kolmogorov
Sea
Entonces

2 Semestre 2010

Demostracin

2 Semestre 2010

Luego obtenemos que la ley del proceso al tiempo n
partiendo desde el estado Ei se puede calcular
como:
y con condicin inicial (0), la ley del proceso al
tiempo n es:

2 Semestre 2010
Ejemplo= Modelo de inventario

xt= # de productos en bodega al final de la semana t es una
Cadena de Markov
Politica de Inventario: si no hay productos en inventario, se ordenan 3
unidades, en caso contrario no se ordenan productos.

Markov Chains
2 Semestre 2010

2 Semestre 2010

2 Semestre 2010
REPRESENTACION GRAFICA
0.184
0.08
0.632
0.264
0.368
0.368
0.368
0.368
0.368
0.0
8
0.368
0.184
0.368

2 Semestre 2010

2 Semestre 2010
Clasificacin de Estados

2 Semestre 2010
Propiedad:
Dem:

2 Semestre 2010
Definicin: Comunicados
Dos estados Ei y Ej estn comunicados, si
Definicin: Clases de Estados

La relacin de estar comunicados clasifica los estados
en clases, dos estados pertenecen a la misma clase si y
solo si estn comunicados.

2 Semestre 2010
0

2 Semestre 2010
0

2 Semestre 2010
Definicin: Absorbente
Un estado Ei se dice absorbente si Pii = 1.
En este caso Ei constituye una clase por si solo: C = { Ei }

2 Semestre 2010
Definicin: Accesibilidad entre Clase
Una clase Cv se dice accesible desde una clase Cu si
existe un estado Ei en Cu y un estado Ej en Cv tal que:
Definicin: Clase Recurrente y Transiente

Una clase es recurrente si no hay una clase accesible
desde ella.
Una clase transiente da acceso a otra clase.

2 Semestre 2010
Definicin: Estado Recurrente y Transiente
Un estado es Recurrente si pertenece a una clase
Recurrente.
Un estado es Transiente si pertenece a una clase
Transiente.

2 Semestre 2010
0
5
6

2 Semestre 2010
T
R1
R1
R2
R2

2 Semestre 2010
Definicin: Periodicidad de una clase
Un estado i es peridico, con periodo d>1, si d is el nmero ms grande
(mximo comn denominador)
tal que todos los caminos que conducen desde i hasta i (ida y vuelta)
tienen una longitud que es un mltiplo de d.

2 Semestre 2010
2
1
d=2
En una Cadena de Markov con un nmero finito de estados, los estados
recurrentes que son aperidicos (periodo igual a 1) son llamados estados
ergdicos. Una CM es ergdica si todos sus estados son ergdicos.

2 Semestre 2010
5
0,8
0,2

2 Semestre 2010
Investigacin de
Operaciones
Fin C2 Parte A

Cadenas de Markov I

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cadenas de Markov I

Cargado por

Copyright:

Formatos disponibles

Investigacin de

C2. Cadenas de Markov a Tiempo Discreto

Esto se conoce como la propiedad Markoviana de prdida

C2. Cadenas de Markov a Tiempo Discreto

Propiedad de Cadenas de Markov

C2. Cadenas de Markov a Tiempo Discreto

Propiedad de Cadenas de Markov

C2. Cadenas de Markov a Tiempo Discreto

Propiedad de Cadenas de Markov

C2. Cadenas de Markov a Tiempo Discreto

Ejemplo= Modelo de inventario

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

Definicin: Clases de Estados

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

Definicin: Clase Recurrente y Transiente

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

C2. Cadenas de Markov a Tiempo Discreto

También podría gustarte