Está en la página 1de 31

Cadenas de Markov en Tiempo Discreto

n Operativa IN44A: Investigacio

Ren e Caldentey
Semestre Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Bibliogra a
- R. Caldentey y S. Mondschein. Modelos de Decisi on en Ambientes Inciertos. Apuntes Docentes para el Curso Investigaci on Operativa, IN44A. Departamento de Ingenier a Industrial, 1999. Disponibles en p agina web del curso. - F. Hillier y G.J. Lieberman. Introduction to Operations Research. Holden-Day, Oakland, 1986. - S. Karlin y H.M. Taylor. A First Course in Stochastic Processes. Academic Press, London, 1975. - K.L. Chung. Markov Chains with Stationary Transition Probabilities. SpringerVerlag, Berlin, 1960.

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Introducci on
Entre 1907 y 1912 Andrey A.Markov estudi o de manera sistem atica y bajo el nombre de Casos destacables de ensayos dependientes sucesiones de ensayos aleatorios ligados en probabilidad. Este estudio fue completado posteriormente por: H. Poincarr e, J. Hadamard, B. Hostinsky, M. Frechet, R. Fortet, A. Kolmogorov, etc. En sus comienzos (1910-1925) el modelo de Markov tuvo sobre todo una importancia te orica. Ilustrar claramente la noci on de Dependencia en Probabilidad, combatiendo la idea que hasta ese entonces se ten a que alea era sin onimo de independencia. Justicar el empleo de leyes uniformes en ciertos procesos. En la actualidad, los Procesos de Markov son probablemente el pilar mas importante en la teor a de los procesos estoc asticos.
Prof: Ren e Caldentey, Oto no 2008 2

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Deniciones
Fijemos un espacio de probabilidades (, F , P). n. Un proceso estoca stico X es un conjunto de variDefinicio ables aleatorias X = {Xt : t T } donde T R+.
Ejemplos: El precio diario de cierre (en US$) de la libra de cobre en la bolsa de Londres. El nivel de reservas de agua (en m3) en una represa a largo de un a no. El n umero de pacientes que llegan cada hora a la urgencia de un hospital.

La descripci on probabil stica de un proceso estocastico X requiere conocer la familia de sus distribuciones nitas Ft1,t2,...,tn (x1, x2, . . . , xn) = P(Xt1 x1, Xt2 x2, . . . , Xtn xn), para todo n N y t1, t2, . . . , tn T .
Prof: Ren e Caldentey, Oto no 2008 3

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Deniciones
Condici on de Markov: Si se conoce la historia del sistema hasta el instante actual, su estado presente resume toda la informaci on u til para conocer su comportamiento futuro. n. Una Cadena de Markov es un proceso estoc Definicio astico a tiempo discreto {Xn n N} tal que P(Xn = j |Xn1 = i, Xn2 = k, . . . , X0 = m) = P(Xn = j |Xn1 = i). Por ahora nos concentraremos en cadenas de Markov con un conjunto numerable (o nito) de posibles estados, es decir, Xn E = {E1, E2, ...} para todo n N. En este caso, las Probabilidades de Transici on de un periodo quedan representadas n,n+1 por una secuencia de matrices estoc asticas {P n,n+1 = [Pij ] : n N} denidas por n,n+1 Pij = P(Xn+1 = j |Xn = i). Una cadena de Markov es homogenea si existe una matriz estoc astica P = [Pij ] tal n,n+1 que Pij = Pij para todo n 0.
Prof: Ren e Caldentey, Oto no 2008 4

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Ejemplos
I. Camino Aleatorio Unidimensional: Considere una particula cuyos posibles estados al comienzo de cada periodo est an dados por {a, a + 1, . . . , b 1, b} con a b . Las probabilidades de transici on de un periodo viene dadas por ri si j = i pi si j = i + 1 Pij = con pi + qi + ri = 1. q si j = i 1 i 0 en otro caso II. Modelo de Inventario: Un producto es inventariado periodicamente usando una politica (S, s) para satisfacer una demanda continua. La demanda en el periodo n es una variable aleatoria n, donde los {n} son i.i.d. con distribuci on P(n = k ) = ak , k = 0, 1, 2, . . . .

Si al comienzo del periodo n el inventario disponible Xn es menor que s entonces se ordena (instantaneamente) sucientes unidades para que el inventario llegue al nivel S . {Xn} es una cadena de Markov que satisface 1 n si s < Xn1 Xn = Xn n 1. S n si Xn1 s.
Prof: Ren e Caldentey, Oto no 2008 5

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Propiedades de las Probabilidades de Transici on


n n 1) Sea n = (i ) donde i = P(Xn = i) entonces n1

n = 0
k=0

P k,k+1

n = 0 P n

si la cadena es homogenea.

2) Las probabilidades de transici on de un periodo {P n,n+1 : n 0} determinan completamente una cadena de Markov.
0,1 1,2 n1,n 0 P(X0 = i0, X1 = i1, . . . , Xn = in) = i P P P in1 ,in . 0 i0 ,i1 i1 ,i2

3) Condiciones de Chapman-Kolmogorov: Sea X una cadena de Markov homogen nea con matriz de transcisi on de un period P . La matriz P n = [Pij ] es la matriz n de transici on de n periodos, es decir, Pij = P(Xn+m = j |Xm = i). Entonces,
n Pij = k=0 0 para todo r, s N tal que r + s = n. Por denici on, Pij =1 1(i = j ). r s Pik Pkj

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Representaci on de Grafo
Considere una cadena de Markov homogenea con 6 estados: A, B , C , D, E y F . La ley de evoluci on del sistema viene dada por la matriz de probabilidades de transici on de un periodo: 0.4 0.6 0 0 0 0 0 1 0 0 0 00 .5 0.5 0 0 0 0 P = 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 1 Las transiciones de esta cadena se pueden describir por le siguiente grafo.
B A C D E F

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Clasicaci on de los Estados


n. Un estado Ej es accesible desde un estado Ei, lo que se denota por Definicio Ei Ej , si existe un entero n 0 tal que pn ij > 0. La relaci on de accesibilidad en E es reeja y transitiva. En el ejemplo anterior: A C , C A, D E , B F . n. Los estados Ei y Ej est Definicio an comunicados, lo que se denota por Ei Ej , si Ei Ej y Ej Ej . En el ejemplo anterior: B C , D E , F A.

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Clases de Equivalencia
La relaci on en E es una relaci on de equivalencia. Por lo tanto, induce una cierta partici on del conjunto de estados E. Sea C = C1, C2, ..., Cs el conjunto de clases de equivalencia (conjunto cuociente) denidas en E a trav es de la relaci on de comunicaci on. n. La clase Cj es accesible desde la clase Ci, lo que se denota por Definicio Ci Cj , si existen estados Ek Cj y Em Ci tal que Em Ek . La relaci on de accesibilidad al interior de C es reeja, antisim etrica y transitiva, es por tanto una relaci on de orden al interior de C . Las clases de C pueden clasicarse mediante la relaci on de orden () en clases Transientes o de Paso y en clases Recurrentes o Finales. n. Definicio Ci C es de Paso o Transiente si existe al menos una clase accesible desde Ci. Cj C es Recurrente o Final si no admite clases accesibles desde ella.
Prof: Ren e Caldentey, Oto no 2008 9

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Grafo de Clases

C1, C2 y C3 son clases transientes mientras que C4 y C5 son recurrentes.

Prof: Ren e Caldentey, Oto no 2008

10

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Periodicidad de una Cadena de Markov


n. El periodo de un estado i E, que denotamos por d(i), es el m Definicio aximo n com un divisor del conjunto {n 0 : Pii > 0}. Si d(i) = 1 se dice que el estado es aperiodico. Teorema. Si i j entonces d(i) = d(j ). Teorema. Si una clase recurrente es c clica o periodica de periodo p entonces los estados que la conforman pueden particionarse en subclases S1, S2, ..., Sp tal que: E n Si E n+1 Si+1, con probabilidad 1 donde Sp+1 S1. Si una clase recurrente tiene una sola subclase S se dice que es aperi odica. n. Una cadena de Markov nita con una u Definicio nica clase recurrente y dica. aperi odica se denomina ergo
Prof: Ren e Caldentey, Oto no 2008 11

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Ejemplos

B 3 1 2 5

Prof: Ren e Caldentey, Oto no 2008

12

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Recurrencia
Para un par de estados i, j E denimos
n fij = P(Xn = j Xk = j, k = 1, 2, . . . , n 1|X0 = i), 0 fij = 0,

fij =
n 0

n fij

uij =
n=1

n n fij .

Un estado es transiente si es posible salir de el y nunca regresar, esta condici on puede expresarse diciendo que i es transiente si y s olo si fii < 1. Por su parte j es recurrente si y s olo si fjj = 1, adem as se dir a que j es recurrente positivo si ujj < y que es recurrente nulo si ujj = . n. Proposicio
n Pij = k=0
Prof: Ren e Caldentey, Oto no 2008 13

n nk k fij Pjj .

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Recurrencia
Teorema. Si i is recurrente y i j entonces j es recurrente.
Lema.
n n Sean Pij (s) y Fij (s) las funciones generadoras de {Pij } y {fij } respectivamente, es decir, X n=0 X n=0

Pij (s) =
Entonces,

n Pij

Fij (s) =
y

fij s ,

|s| < 1.

1 Pii(s) = 1 Fii(s)

Pij (s) = Fij (s) Pjj (s).

Lema.

(Abel) (a) (b) Si

X
k 0

ak converge, entonces

lim
s1

X
k 0

ak s =

X
k 0

ak = a ak = a.

Si ak 0 y lim
s1

X
k 0

ak s = a , entonces

X
k 0

Lema.

Un estado i es recurrente si y s olo si


X n=1

Pii = .
14

Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Recurrencia
Supongamos que la cadena de Markov considerada admite s clases recurrentes las que denotaremos por F1, ..., Fs. Sea IR el conjunto de indices asociado a los estados transientes de la cadena es decir i IR si fii < 1. Sea Aij la probabilidad que el sistema evolucione del estado i IR a la clase Fj y aij la probabilidad que el sistema evolucione desde i IR a Fj en una transici on, entonces la probabilidad de evoluci on desde Ei a Fj puede expresarse como: Aij =
kIR

[Pik Akj ] + aij

Considerando las matrices A = [Aij ], a = [aij ] y P = [Pik ] con i, k IR, j = 1, 2, ..s la condici on anterior puede reescribirse en forma matricial como: A=P A+a de donde, A = (I P )1 a.
Prof: Ren e Caldentey, Oto no 2008 15

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Ejemplos
Ejemplo 1: Considere un camino aleatorio unidimensional tal que Pi,i+1 = p y Pi,i1 = 1 p para todo i Z. Para que valores de p es el estado 0 recurrente.

Ejemplo 2: Considere un camino aleatorio en dos dimensiones sim etrico, es decir, P(i,j ),(k,l) = 1/4 para (k, l) = {(i, j + 1), (i, j 1), (i 1, j ), (i + 1, j )}. Verique que el estado (0, 0) es recurrente.

Ejemplo 3: Considere un camino aleatorio en tres dimensiones sim etrico, es decir, P(i,j,k),(l,m,n) = 1/6 para (l, m, n) = {(i, j + 1, k ), (i, j 1, k ), (i 1, j, k ), (i + 1, j, k ), (i, j, k 1), (i, j, k + 1)}. Verique que el estado (0, 0) NO es recurrente.

Prof: Ren e Caldentey, Oto no 2008

16

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Leyes Estables y Estacionarias


n. Una cadena de Markov nita homogenea con matriz de transici Definicio on de un periodo P admite al vector como ley estable si satisface 0 , i i = 1 y = P. n. Un vector es un vector de probabilidades estacionarias para Definicio una cadena de Markov nita y homogenea con matriz de transici on de un periodo P si independiente de 0 (distribuci on inicial) se cumple que: = lim n,
n

donde

n = 0 P n.

n: Si es un vector de probabilidades estacionarias entonces es una Observacio ley estable. Ejemplo: P =


Prof: Ren e Caldentey, Oto no 2008

0 1 1 0
17

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Leyes Estables y Estacionarias


n. Toda cadena de Markov nita y homogenea admite al menos un Proposicio vector como ley estable. n. Si una cadena de Markov nita y homogenea con matriz de Proposicio transici on de un periodo P admite vector de probabilidades estacionarias entonces este corresponde a la u nica soluci on del sistema : = P, 0,
j

j = 1.

n. Una cadena de Markov nita y homogenea con matriz de transici Proposicio on de un periodo admite un vector de probabilidades estacionarias si y s olo si:
n

lim P n =

con una matriz de probabilidades tal que su columna k - esima es de la forma j [1, 1, ..., 1] .
Prof: Ren e Caldentey, Oto no 2008 18

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Ejemplos
0.5 0.5 0.5 1 0.5 0.25

C
1

A
0.5

E
0.5

0.25 0.5 1

F
P =

0 0.5 0.5 0 0 0 0 0. 5 0 0 0 0.5 0 0 0 0 0 1.0 0 0 0 0 0 1.0 0 0 0 0 0 0 0 0 0.5 0.25 0.25 0 0 0 0 0.5 0 0.5 0 0 0 0 0 1.0 0

Prof: Ren e Caldentey, Oto no 2008

19

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Teorema de Ergodicidad
Teorema.
n (a) Considere una cadena de Markov irreducible y aperi odica. Sea Pii la probabilidad que el sistema entre al estado i en la n- esima transici on dado que partio en el estado 0 n i, i.e., X (0) = i. (Con la convensi on Pii = 1). Sea fii la probabilidad de regresar por 0 primera vez al estado i en la n- esima transici on, con fii = 0. Por lo tanto, n n Pii k=0 nk k fii Pii =

1 si n = 0 0 si n > 0.

Entonces, 1 n , lim Pii = n uii donde uii =

n n fii . n=0

(b) Bajos las mismas condiciones anteriores se tiene que


n
Prof: Ren e Caldentey, Oto no 2008

n n lim Pji = lim Pii . n


20

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Ejemplos
Ejemplo 4: Considere nuevemente el ejemplo de camino aleatorio unidimensional en el Ejemplo 1 tal que Pi,i+1 = 1/2 y Pi,i1 = 1/2 para todo i Z. Sabemos que esta cadena de Markov es recurrente, e.g., f00 = 1. Cu al es el tiempo promedio de retorno al estado i = 0?. Ejemplo 5: Considere un camino aleatorio en los naturales N, tal que Pi,i+1 = pi y Pi+1,i = qi = 1 pi+1, i = 0, 1, 2 . . .

con p0 = 1. Bajo que condici on en los {pi} existen probabilidades estacionarias? Ejemplo 6: Considere una Cadena de Markov irreducible y aperi odica. Muestre que si la cadena admite un vector de probabilidades estacionarias tal que i > 0 para alg un estado i entonces i es recurrente, i.e., fii = 1.

Prof: Ren e Caldentey, Oto no 2008

21

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Cadenas de Markov con Benecios


En una cadena de Markov con benecio, a cada estado i es posible asociar un benecio ri debido a que el sistema ocup o el estado i durante un periodo de su evoluci on. Los benecios tambi en pueden estar asociados a las transiciones desde un estado i a otro j . Denimos rij el benecio asociado a esta transici on. Si P = [Pij ] es la matriz de transici on de un periodo entonces el benecio neto asociado a un estado i viene dado por r i := ri +
j

Pij rij .

ma nana antes de salir de casa est a lloviendo usted toma un paragua (si tiene alguno disponible) y lo lleva al trabajo. De lo contrario usted no lleva paraguas al trabajo. De la misma forma, si en la tarde antes de volver a casa est a lloviendo usted toma un paragua (si hay alguno disponible) y si no est a lloviendo usted se devuelve a su casa sin paraguas. La probabilidad de lluvia en la ma nana o en la tarde en un d a cualquiera es 0 < p < 1 independiente de cualquier patron de lluvias anteriores. - Cu al es la probabilidad que no tenga paraguas a mano en una ma nana cualquiera en el largo plazo? - Assuma que en caso de estar lloviendo (una ma nana o tarde) y usted no tiene paragua disponible toma un taxi a su casa que le cuesta $T . Cu al es el vector r asociado con esta cadena?
Prof: Ren e Caldentey, Oto no 2008 22

Ejemplo 7: Usted tiene N paraguas que usa diaramente entre su casa y su trabajo. Si en la

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Recursi on
Sea Vk (i) el benecio total esperado si faltan k periodos para el nal del horizonte y el sistema se encuentra actualmente en el estado i. En particular, V0(i) es el benecio de terminar en el estado i (condici on de borde). Luego, V1(i) = r i +
j

Pij V0(j ) o en forma vectorial V1 = r + P V0 .

En general, Iterando esta igualdad,

Vk = r + P Vk 1 .

Vk = r + P r + P2 r + .... + P k V0.

Prof: Ren e Caldentey, Oto no 2008

23

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Cadena de Markov Erg odica


Recordemos que en este caso
n

lim P n = .

Luego, Vk Vk1 = P k1 r + [P k P k1] V0 y


k

lim (Vk Vk1) = r .

Llamando g =

i i i r

y e el vector columna de 1s se tiene:


k

lim (Vk Vk1) = g e.

Conjetura:

lim Vk k g e = W + e,

donde es un escalar y W es un vector tal que W1 = 0.

Prof: Ren e Caldentey, Oto no 2008

24

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Cadena de Markov Erg odica


Despu es de un poco de algebra se tiene que Vk kge = r + P Vk1 kge = r ge + P [Vk1 (k 1)ge] Tomando l mite cuando k concluimos que W + ge = r + P W W1 = 0.

Bajo el supuesto de ergodicidad el sistema tiene soluci on u nica. Adem as,


k

lim Vk Vk (1) e = W.

Por ello, W se conoce como el vector asint otico de benecios relativos.

Prof: Ren e Caldentey, Oto no 2008

25

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Cadena de Markov Erg odica


Teorema. Sea una cadena de Markov nita, homogenea y erg odica con matriz de transicion de un periodo P y vector de probabilidades estacionarias . Sea W la u nica soluci on de le ecuaci on W + ge = r + P W W1 = 0.

Entonces el benecio esperado acumulado durante k periodos (Vk ) viene dado por: Vk = kge + W + P k (V0 W ) donde g = j j r j es el benecio esperado por transici on en regimen estacionario. Adem as, en el l mite se tiene:
k

lim [Vk kge] = W + e

donde =
j

j [V0(j ) Wj ]

Prof: Ren e Caldentey, Oto no 2008

26

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Ejemplos
Ejemplo 8: Cada a no en Chile puede ser muy lluvioso (MLL), lluvioso (LL) o seco (S). Dependiendo del clima, Endesa tiene distintos costos de generaci on el ectrica: CM LL = MUS$300, CLL = MUS$450, CS = MUS$700.

Suponga que el clima anual se comporta como una cadena de Markov Con matriz de transici on de un periodo. P = 0, 2 0, 4 0, 4 0, 3 0, 4 0, 3 0, 2 0, 5 0, 3 .

Si estamos en un a no seco, cu al es el costo esperado de generaci on para los pr oximos 5 a nos? Las probabilidades estacionarias ( = P ) son M LL = 0, 243, LL = 0, 433,
i i Ci

S = 0, 324, = MUS$494, 5.
27

y el costo (estacionario) por periodo g =


Prof: Ren e Caldentey, Oto no 2008

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Ejemplos
Debemos calcular el vector W resolviendo W + g e = r + P W y WS = 0. Despu es de un poco de algebra! WM LL = 373, 6, WLL = 261, WS = 0.

Por u ltimo el costo esperado despu es de 5 a nos viene dado por: VS (5) = 5 g + WS [P 5 W ]S . Como P = concluimos que VS (5) = 5 494, 5 + 0 (203, 8) = MUS$2676, 3. Ejemplo 9: Considere nuevamente el problema de los paraguas del Ejemplo 7. Cu al es el costo esperado por unidad de tiempo si usted tiene N paraguas?
Prof: Ren e Caldentey, Oto no 2008 28

0, 243 0, 433 0, 324 0, 243 0, 433 0, 324 0, 243 0, 433 0, 324

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Aplicaci on: Tiempos Promedios de Transici on


Consideremos una cadena de Markov con una u nica clase recurrente y denamos los r i tales que si i es estado transiente r i = 1 0 si i es estado recurrente. Qu e representa limk Vk (i) para i transiente? Cu anto vale g en este caso? Si separamos el vector W = (WR, WT ) en estados recurrentes y transientes tenemos que WR WT = 0 eT + PRR PRT PT R PT T WR WT con PRT = 0,

o equivalentemente, WR = PRRWRR WT = eT + PT RWR + PT T WT . Cu anto vale WR?


Prof: Ren e Caldentey, Oto no 2008 29

n Operativa IN44A: Investigacio

Cadenas de Markov en Tiempo Discreto

Aplicaci on: Tiempos Promedios de Transici on


Podemos elegir WR = 0, con lo cual WT = (IT PT T )1eT . Finalmente,
k

lim Vk = lim W P k W = W W
k

Como Wi = 0 si i es recurrente y j = 0 si j es transiente se tiene que W = 0 con lo cual se tiene


k

lim Vk = W

con W = WR WT

0 (IT PT T )1eT

Prof: Ren e Caldentey, Oto no 2008

30