Cadenas de Markov - Discretas

Cadenas de Markov en Tiempo Discreto
n Operativa IN44A: Investigacio
Ren e Caldentey
Semestre Oto no 2008
Bibliogra a
- R. Caldentey y S. Mondschein. Modelos de Decisi on en Ambientes Inciertos. Apuntes Docentes para el Curso Investigaci on Operativa, IN44A. Departamento de Ingenier a Industrial, 1999. Disponibles en p agina web del curso. - F. Hillier y G.J. Lieberman. Introduction to Operations Research. Holden-Day, Oakland, 1986. - S. Karlin y H.M. Taylor. A First Course in Stochastic Processes. Academic Press, London, 1975. - K.L. Chung. Markov Chains with Stationary Transition Probabilities. SpringerVerlag, Berlin, 1960.
Prof: Ren e Caldentey, Oto no 2008
Introducci on
Entre 1907 y 1912 Andrey A.Markov estudi o de manera sistem atica y bajo el nombre de Casos destacables de ensayos dependientes sucesiones de ensayos aleatorios ligados en probabilidad. Este estudio fue completado posteriormente por: H. Poincarr e, J. Hadamard, B. Hostinsky, M. Frechet, R. Fortet, A. Kolmogorov, etc. En sus comienzos (1910-1925) el modelo de Markov tuvo sobre todo una importancia te orica. Ilustrar claramente la noci on de Dependencia en Probabilidad, combatiendo la idea que hasta ese entonces se ten a que alea era sin onimo de independencia. Justicar el empleo de leyes uniformes en ciertos procesos. En la actualidad, los Procesos de Markov son probablemente el pilar mas importante en la teor a de los procesos estoc asticos.
Prof: Ren e Caldentey, Oto no 2008 2
Deniciones
Fijemos un espacio de probabilidades (, F , P). n. Un proceso estoca stico X es un conjunto de variDefinicio ables aleatorias X = {Xt : t T } donde T R+.
Ejemplos: El precio diario de cierre (en US$) de la libra de cobre en la bolsa de Londres. El nivel de reservas de agua (en m3) en una represa a largo de un a no. El n umero de pacientes que llegan cada hora a la urgencia de un hospital.
La descripci on probabil stica de un proceso estocastico X requiere conocer la familia de sus distribuciones nitas Ft1,t2,...,tn (x1, x2, . . . , xn) = P(Xt1 x1, Xt2 x2, . . . , Xtn xn), para todo n N y t1, t2, . . . , tn T .
Deniciones
Condici on de Markov: Si se conoce la historia del sistema hasta el instante actual, su estado presente resume toda la informaci on u til para conocer su comportamiento futuro. n. Una Cadena de Markov es un proceso estoc Definicio astico a tiempo discreto {Xn n N} tal que P(Xn = j |Xn1 = i, Xn2 = k, . . . , X0 = m) = P(Xn = j |Xn1 = i). Por ahora nos concentraremos en cadenas de Markov con un conjunto numerable (o nito) de posibles estados, es decir, Xn E = {E1, E2, ...} para todo n N. En este caso, las Probabilidades de Transici on de un periodo quedan representadas n,n+1 por una secuencia de matrices estoc asticas {P n,n+1 = [Pij ] : n N} denidas por n,n+1 Pij = P(Xn+1 = j |Xn = i). Una cadena de Markov es homogenea si existe una matriz estoc astica P = [Pij ] tal n,n+1 que Pij = Pij para todo n 0.
Ejemplos
I. Camino Aleatorio Unidimensional: Considere una particula cuyos posibles estados al comienzo de cada periodo est an dados por {a, a + 1, . . . , b 1, b} con a b . Las probabilidades de transici on de un periodo viene dadas por ri si j = i pi si j = i + 1 Pij = con pi + qi + ri = 1. q si j = i 1 i 0 en otro caso II. Modelo de Inventario: Un producto es inventariado periodicamente usando una politica (S, s) para satisfacer una demanda continua. La demanda en el periodo n es una variable aleatoria n, donde los {n} son i.i.d. con distribuci on P(n = k ) = ak , k = 0, 1, 2, . . . .
Si al comienzo del periodo n el inventario disponible Xn es menor que s entonces se ordena (instantaneamente) sucientes unidades para que el inventario llegue al nivel S . {Xn} es una cadena de Markov que satisface 1 n si s < Xn1 Xn = Xn n 1. S n si Xn1 s.
Propiedades de las Probabilidades de Transici on

n n 1) Sea n = (i ) donde i = P(Xn = i) entonces n1
n = 0
k=0
P k,k+1
n = 0 P n
si la cadena es homogenea.
2) Las probabilidades de transici on de un periodo {P n,n+1 : n 0} determinan completamente una cadena de Markov.
0,1 1,2 n1,n 0 P(X0 = i0, X1 = i1, . . . , Xn = in) = i P P P in1 ,in . 0 i0 ,i1 i1 ,i2
3) Condiciones de Chapman-Kolmogorov: Sea X una cadena de Markov homogen nea con matriz de transcisi on de un period P . La matriz P n = [Pij ] es la matriz n de transici on de n periodos, es decir, Pij = P(Xn+m = j |Xm = i). Entonces,
n Pij = k=0 0 para todo r, s N tal que r + s = n. Por denici on, Pij =1 1(i = j ). r s Pik Pkj
Representaci on de Grafo
Considere una cadena de Markov homogenea con 6 estados: A, B , C , D, E y F . La ley de evoluci on del sistema viene dada por la matriz de probabilidades de transici on de un periodo: 0.4 0.6 0 0 0 0 0 1 0 0 0 00 .5 0.5 0 0 0 0 P = 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 1 Las transiciones de esta cadena se pueden describir por le siguiente grafo.
B A C D E F
Clasicaci on de los Estados

n. Un estado Ej es accesible desde un estado Ei, lo que se denota por Definicio Ei Ej , si existe un entero n 0 tal que pn ij > 0. La relaci on de accesibilidad en E es reeja y transitiva. En el ejemplo anterior: A C , C A, D E , B F . n. Los estados Ei y Ej est Definicio an comunicados, lo que se denota por Ei Ej , si Ei Ej y Ej Ej . En el ejemplo anterior: B C , D E , F A.
Clases de Equivalencia
La relaci on en E es una relaci on de equivalencia. Por lo tanto, induce una cierta partici on del conjunto de estados E. Sea C = C1, C2, ..., Cs el conjunto de clases de equivalencia (conjunto cuociente) denidas en E a trav es de la relaci on de comunicaci on. n. La clase Cj es accesible desde la clase Ci, lo que se denota por Definicio Ci Cj , si existen estados Ek Cj y Em Ci tal que Em Ek . La relaci on de accesibilidad al interior de C es reeja, antisim etrica y transitiva, es por tanto una relaci on de orden al interior de C . Las clases de C pueden clasicarse mediante la relaci on de orden () en clases Transientes o de Paso y en clases Recurrentes o Finales. n. Definicio Ci C es de Paso o Transiente si existe al menos una clase accesible desde Ci. Cj C es Recurrente o Final si no admite clases accesibles desde ella.
Grafo de Clases
C1, C2 y C3 son clases transientes mientras que C4 y C5 son recurrentes.
10
Periodicidad de una Cadena de Markov

n. El periodo de un estado i E, que denotamos por d(i), es el m Definicio aximo n com un divisor del conjunto {n 0 : Pii > 0}. Si d(i) = 1 se dice que el estado es aperiodico. Teorema. Si i j entonces d(i) = d(j ). Teorema. Si una clase recurrente es c clica o periodica de periodo p entonces los estados que la conforman pueden particionarse en subclases S1, S2, ..., Sp tal que: E n Si E n+1 Si+1, con probabilidad 1 donde Sp+1 S1. Si una clase recurrente tiene una sola subclase S se dice que es aperi odica. n. Una cadena de Markov nita con una u Definicio nica clase recurrente y dica. aperi odica se denomina ergo
Ejemplos
B 3 1 2 5
12
Recurrencia
Para un par de estados i, j E denimos
n fij = P(Xn = j Xk = j, k = 1, 2, . . . , n 1|X0 = i), 0 fij = 0,
fij =
n 0
n fij
uij =
n=1
n n fij .
Un estado es transiente si es posible salir de el y nunca regresar, esta condici on puede expresarse diciendo que i es transiente si y s olo si fii < 1. Por su parte j es recurrente si y s olo si fjj = 1, adem as se dir a que j es recurrente positivo si ujj < y que es recurrente nulo si ujj = . n. Proposicio
n Pij = k=0
n nk k fij Pjj .
Recurrencia
Teorema. Si i is recurrente y i j entonces j es recurrente.
Lema.
n n Sean Pij (s) y Fij (s) las funciones generadoras de {Pij } y {fij } respectivamente, es decir, X n=0 X n=0
Pij (s) =
Entonces,
n Pij
Fij (s) =
y
fij s ,
|s| < 1.
1 Pii(s) = 1 Fii(s)
Pij (s) = Fij (s) Pjj (s).
Lema.
(Abel) (a) (b) Si
X
k 0
ak converge, entonces
lim
s1
X
k 0
ak s =
X
k 0
ak = a ak = a.
Si ak 0 y lim
s1
X
k 0
ak s = a , entonces
X
k 0
Lema.
Un estado i es recurrente si y s olo si

X n=1
Pii = .
14
Recurrencia
Supongamos que la cadena de Markov considerada admite s clases recurrentes las que denotaremos por F1, ..., Fs. Sea IR el conjunto de indices asociado a los estados transientes de la cadena es decir i IR si fii < 1. Sea Aij la probabilidad que el sistema evolucione del estado i IR a la clase Fj y aij la probabilidad que el sistema evolucione desde i IR a Fj en una transici on, entonces la probabilidad de evoluci on desde Ei a Fj puede expresarse como: Aij =
kIR
[Pik Akj ] + aij
Considerando las matrices A = [Aij ], a = [aij ] y P = [Pik ] con i, k IR, j = 1, 2, ..s la condici on anterior puede reescribirse en forma matricial como: A=P A+a de donde, A = (I P )1 a.
Ejemplos
Ejemplo 1: Considere un camino aleatorio unidimensional tal que Pi,i+1 = p y Pi,i1 = 1 p para todo i Z. Para que valores de p es el estado 0 recurrente.
Ejemplo 2: Considere un camino aleatorio en dos dimensiones sim etrico, es decir, P(i,j ),(k,l) = 1/4 para (k, l) = {(i, j + 1), (i, j 1), (i 1, j ), (i + 1, j )}. Verique que el estado (0, 0) es recurrente.
Ejemplo 3: Considere un camino aleatorio en tres dimensiones sim etrico, es decir, P(i,j,k),(l,m,n) = 1/6 para (l, m, n) = {(i, j + 1, k ), (i, j 1, k ), (i 1, j, k ), (i + 1, j, k ), (i, j, k 1), (i, j, k + 1)}. Verique que el estado (0, 0) NO es recurrente.
16
Leyes Estables y Estacionarias

n. Una cadena de Markov nita homogenea con matriz de transici Definicio on de un periodo P admite al vector como ley estable si satisface 0 , i i = 1 y = P. n. Un vector es un vector de probabilidades estacionarias para Definicio una cadena de Markov nita y homogenea con matriz de transici on de un periodo P si independiente de 0 (distribuci on inicial) se cumple que: = lim n,
n
donde
n = 0 P n.
n: Si es un vector de probabilidades estacionarias entonces es una Observacio ley estable. Ejemplo: P =

0 1 1 0
17
Leyes Estables y Estacionarias

n. Toda cadena de Markov nita y homogenea admite al menos un Proposicio vector como ley estable. n. Si una cadena de Markov nita y homogenea con matriz de Proposicio transici on de un periodo P admite vector de probabilidades estacionarias entonces este corresponde a la u nica soluci on del sistema : = P, 0,
j
j = 1.
n. Una cadena de Markov nita y homogenea con matriz de transici Proposicio on de un periodo admite un vector de probabilidades estacionarias si y s olo si:
n
lim P n =
con una matriz de probabilidades tal que su columna k - esima es de la forma j [1, 1, ..., 1] .
Ejemplos
0.5 0.5 0.5 1 0.5 0.25
C
1
A
0.5
E
0.5
0.25 0.5 1
F
P =
0 0.5 0.5 0 0 0 0 0. 5 0 0 0 0.5 0 0 0 0 0 1.0 0 0 0 0 0 1.0 0 0 0 0 0 0 0 0 0.5 0.25 0.25 0 0 0 0 0.5 0 0.5 0 0 0 0 0 1.0 0
19
Teorema de Ergodicidad
Teorema.
n (a) Considere una cadena de Markov irreducible y aperi odica. Sea Pii la probabilidad que el sistema entre al estado i en la n- esima transici on dado que partio en el estado 0 n i, i.e., X (0) = i. (Con la convensi on Pii = 1). Sea fii la probabilidad de regresar por 0 primera vez al estado i en la n- esima transici on, con fii = 0. Por lo tanto, n n Pii k=0 nk k fii Pii =
1 si n = 0 0 si n > 0.
Entonces, 1 n , lim Pii = n uii donde uii =
n n fii . n=0
(b) Bajos las mismas condiciones anteriores se tiene que

n
n n lim Pji = lim Pii . n

20
Ejemplos
Ejemplo 4: Considere nuevemente el ejemplo de camino aleatorio unidimensional en el Ejemplo 1 tal que Pi,i+1 = 1/2 y Pi,i1 = 1/2 para todo i Z. Sabemos que esta cadena de Markov es recurrente, e.g., f00 = 1. Cu al es el tiempo promedio de retorno al estado i = 0?. Ejemplo 5: Considere un camino aleatorio en los naturales N, tal que Pi,i+1 = pi y Pi+1,i = qi = 1 pi+1, i = 0, 1, 2 . . .
con p0 = 1. Bajo que condici on en los {pi} existen probabilidades estacionarias? Ejemplo 6: Considere una Cadena de Markov irreducible y aperi odica. Muestre que si la cadena admite un vector de probabilidades estacionarias tal que i > 0 para alg un estado i entonces i es recurrente, i.e., fii = 1.
21
Cadenas de Markov con Benecios

En una cadena de Markov con benecio, a cada estado i es posible asociar un benecio ri debido a que el sistema ocup o el estado i durante un periodo de su evoluci on. Los benecios tambi en pueden estar asociados a las transiciones desde un estado i a otro j . Denimos rij el benecio asociado a esta transici on. Si P = [Pij ] es la matriz de transici on de un periodo entonces el benecio neto asociado a un estado i viene dado por r i := ri +
j
Pij rij .
ma nana antes de salir de casa est a lloviendo usted toma un paragua (si tiene alguno disponible) y lo lleva al trabajo. De lo contrario usted no lleva paraguas al trabajo. De la misma forma, si en la tarde antes de volver a casa est a lloviendo usted toma un paragua (si hay alguno disponible) y si no est a lloviendo usted se devuelve a su casa sin paraguas. La probabilidad de lluvia en la ma nana o en la tarde en un d a cualquiera es 0 < p < 1 independiente de cualquier patron de lluvias anteriores. - Cu al es la probabilidad que no tenga paraguas a mano en una ma nana cualquiera en el largo plazo? - Assuma que en caso de estar lloviendo (una ma nana o tarde) y usted no tiene paragua disponible toma un taxi a su casa que le cuesta $T . Cu al es el vector r asociado con esta cadena?
Ejemplo 7: Usted tiene N paraguas que usa diaramente entre su casa y su trabajo. Si en la
Recursi on
Sea Vk (i) el benecio total esperado si faltan k periodos para el nal del horizonte y el sistema se encuentra actualmente en el estado i. En particular, V0(i) es el benecio de terminar en el estado i (condici on de borde). Luego, V1(i) = r i +
j
Pij V0(j ) o en forma vectorial V1 = r + P V0 .
En general, Iterando esta igualdad,
Vk = r + P Vk 1 .
Vk = r + P r + P2 r + .... + P k V0.
23
Cadena de Markov Erg odica

Recordemos que en este caso
n
lim P n = .
Luego, Vk Vk1 = P k1 r + [P k P k1] V0 y

k
lim (Vk Vk1) = r .
Llamando g =
i i i r
y e el vector columna de 1s se tiene:

k
lim (Vk Vk1) = g e.
Conjetura:
lim Vk k g e = W + e,
donde es un escalar y W es un vector tal que W1 = 0.
24

Despu es de un poco de algebra se tiene que Vk kge = r + P Vk1 kge = r ge + P [Vk1 (k 1)ge] Tomando l mite cuando k concluimos que W + ge = r + P W W1 = 0.
Bajo el supuesto de ergodicidad el sistema tiene soluci on u nica. Adem as,

k
lim Vk Vk (1) e = W.
Por ello, W se conoce como el vector asint otico de benecios relativos.
25

Teorema. Sea una cadena de Markov nita, homogenea y erg odica con matriz de transicion de un periodo P y vector de probabilidades estacionarias . Sea W la u nica soluci on de le ecuaci on W + ge = r + P W W1 = 0.
Entonces el benecio esperado acumulado durante k periodos (Vk ) viene dado por: Vk = kge + W + P k (V0 W ) donde g = j j r j es el benecio esperado por transici on en regimen estacionario. Adem as, en el l mite se tiene:
k
lim [Vk kge] = W + e
donde =
j
j [V0(j ) Wj ]
26
Ejemplos
Ejemplo 8: Cada a no en Chile puede ser muy lluvioso (MLL), lluvioso (LL) o seco (S). Dependiendo del clima, Endesa tiene distintos costos de generaci on el ectrica: CM LL = MUS$300, CLL = MUS$450, CS = MUS$700.
Suponga que el clima anual se comporta como una cadena de Markov Con matriz de transici on de un periodo. P = 0, 2 0, 4 0, 4 0, 3 0, 4 0, 3 0, 2 0, 5 0, 3 .
Si estamos en un a no seco, cu al es el costo esperado de generaci on para los pr oximos 5 a nos? Las probabilidades estacionarias ( = P ) son M LL = 0, 243, LL = 0, 433,
i i Ci
S = 0, 324, = MUS$494, 5.
27
y el costo (estacionario) por periodo g =

Ejemplos
Debemos calcular el vector W resolviendo W + g e = r + P W y WS = 0. Despu es de un poco de algebra! WM LL = 373, 6, WLL = 261, WS = 0.
Por u ltimo el costo esperado despu es de 5 a nos viene dado por: VS (5) = 5 g + WS [P 5 W ]S . Como P = concluimos que VS (5) = 5 494, 5 + 0 (203, 8) = MUS$2676, 3. Ejemplo 9: Considere nuevamente el problema de los paraguas del Ejemplo 7. Cu al es el costo esperado por unidad de tiempo si usted tiene N paraguas?
0, 243 0, 433 0, 324 0, 243 0, 433 0, 324 0, 243 0, 433 0, 324
Aplicaci on: Tiempos Promedios de Transici on

Consideremos una cadena de Markov con una u nica clase recurrente y denamos los r i tales que si i es estado transiente r i = 1 0 si i es estado recurrente. Qu e representa limk Vk (i) para i transiente? Cu anto vale g en este caso? Si separamos el vector W = (WR, WT ) en estados recurrentes y transientes tenemos que WR WT = 0 eT + PRR PRT PT R PT T WR WT con PRT = 0,
o equivalentemente, WR = PRRWRR WT = eT + PT RWR + PT T WT . Cu anto vale WR?

Aplicaci on: Tiempos Promedios de Transici on

Podemos elegir WR = 0, con lo cual WT = (IT PT T )1eT . Finalmente,
k
lim Vk = lim W P k W = W W
k
Como Wi = 0 si i es recurrente y j = 0 si j es transiente se tiene que W = 0 con lo cual se tiene

k
lim Vk = W
con W = WR WT
0 (IT PT T )1eT
30

Cadenas de Markov - Discretas

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cadenas de Markov - Discretas

Cargado por

Copyright:

Formatos disponibles

Cadenas de Markov en Tiempo Discreto

n Operativa IN44A: Investigacio

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Propiedades de las Probabilidades de Transici on

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Clasicaci on de los Estados

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

C1, C2 y C3 son clases transientes mientras que C4 y C5 son recurrentes.

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Periodicidad de una Cadena de Markov

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Pij (s) = Fij (s) Pjj (s).

(Abel) (a) (b) Si

Un estado i es recurrente si y s olo si

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

[Pik Akj ] + aij

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Leyes Estables y Estacionarias

n: Si es un vector de probabilidades estacionarias entonces es una Observacio ley estable. Ejemplo: P =

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Leyes Estables y Estacionarias

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Entonces, 1 n , lim Pii = n uii donde uii =

(b) Bajos las mismas condiciones anteriores se tiene que