1 Cadenas de Markov

Universidad de Guadalajara
Centro Universitario de Ciencias Econmico Administrativas

Materia:
Investigacin de Operaciones II Saln: A-308 Horario: Jueves:19:00-21:55

Trabajo Final

Cadenas de Marcov

Alumna: Rivera Nava Suria

Rivera Nava Suria

2 Cadenas de Markov

INDICE Concepto de Cadenas de Marcov.. 2 Tiempos de Primera Pasada.... 9 Estados Absorbentes. 14 Ecuaciones de Chapman-Kolmogorov 18 Clasificacin de Estados en una Cadena de Marcov. 22 Bibliografa. 33

Rivera Nava Suria

3 Cadenas de Markov

DEFINICION
Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de determina dos tipos de procesos estocsticos, esto es, procesos que evolucionan de forma no determinista a lo largo del tiempo en torno a un conjunto de estados. Una cadena de Markov, por tanto, representa un sistema que vara su estado a lo largo del tiempo, siendo cada cambio una transicin del sistema. Dichos cambios no estn predeterminados, aunque s lo est la probabilidad del prximo estado en funcin de los estados anteriores, probabilidad que es constante a lo largo del tiempo (sistema homogneo en el tiempo). Eventualmente, en una transicin, el nuevo estado puede ser el mismo que el anterior y es posible que exista la posibilidad de influir en las probabilidades de transicin actuando adecuadamente sobre el sistema (decisin). Formalmente, para definir una cadena de Markov finita hace falta determinar por lo tanto los siguientes elementos: a) Un conjunto de estados del sistema. b) La definicin de transicin. c) Una ley de probabilidad condicional, que defina la probabilidad del nuevo estado en funcin de los anteriores. Las cadenas de Markov tienen la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionara en el futuro dependen solo del estado actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el pasado. Muchos procesos se ajustan a esta descripcin por lo que las cadenas de Markov constituyen una clase de modelos probabilsticos de gran importancia.

Cadenas de Markov Es necesario hacer algunas suposiciones sobre la distribucin conjunta de X0, X1 para obtener resultados analticos. Una suposicin que conduce al manejo analtico es que el proceso estocstico es una cadena de Markov, que tiene la siguiente propiedad esencial: Se dice que un proceso estocstico {X1}, Tiene la propiedad markoviana si P {XT+1 = j} X0 = K0, X1=K, Xt-1= kt-1, X=i} = P {X T+1 = j| Xt = i}, para t = 0,1, y toda sucesin i, j, k0,k1,, kt-1. En palabras, esta propiedad markoviana establece que la probabilidad condicional de cualquier evento futuro dados cualquier evento pasado y el
Rivera Nava Suria

4 Cadenas de Markov

estado actual Xt= i, es independiente del evento pasado y solo depende del estado actual del proceso. Un proceso estocstico {Xt} (t = 0,1,.) es una cadena de Markov si tiene la propiedad markoviana. Las probabilidades condicionales P {Xt+1 = j | Xt= i} para una cadena de Markov se llaman probabilidades de transicin (de un paso). Si para cada i y j,

P {XT+1 = j | Xt = i} = P {X1=j | X0 =i}, para toda t = 1,2.,

Entonces se dice que las probabilidades de transicin (de un paso) son estacionarias. As, tener probabilidades de transicin estacionarias implica que las probabilidades de transicin no cambian con el tiempo. La existencia de probabilidades de transicin (de un paso) estacionarias tambin implica que, para cada i, j, y n (n= 0,1,2,.),

P{Xt+n = j | Xt = i} = P {Xn = j | X0 = i}

Para toda t = 0,1,. Estas probabilidades condicionales se llaman probabilidades de transicin de n pasos. Para simplificar la notacin de las probabilidades de transicin estacionarias, sea Pij = P {Xt+1 = j | Xt = i} Pij(n) = P {Xt+n = j | Xt = i} As las probabilidades de transicin de n pasos pij (n) son simplemente la probabilidad condicional de que el sistema se encuentre en el estado j justo despus de n pasos (unidades de tiempo), dado que comenz en el estado i en cualquier tiempo t. Cuando n = 1, observe que pij (1) = Pij. 1

Como las pij(n) son probabilidades condicionales, deben ser no negativas y, como el proceso debe hacer una transicin a algn estado, deben satisfacer las propiedades.

Rivera Nava Suria

5 Cadenas de Markov

Pij(n) 0, para toda i y j; n = 0, 1, 2 Y

M

Pij (n) = 1, para toda i; n= 0, 1, 2,

j=0

Una notacin conveniente para representar las probabilidades de transicin de n pasos es la forma matricial.

Observe que la probabilidad de transicin en un rengln y columna dados es para la transicin del estado en ese rengln al estado en la columna. Cuando n = 1, el superndice n no se escribe y se hace referencia a esta como la matriz de transicin. Las cadenas de Markov estudiadas en este captulo tienen las siguientes propiedades:

1. Un numero finito de estados 2. Probabilidades de transicin estacionarias

Rivera Nava Suria

6 Cadenas de Markov

Tambin se supondr que se conocen las probabilidades iniciales P {X 0 = i} para toda i.

Formulacin del ejemplo de inventarios como una cadena de Markov Si regresamos al ejemplo de inventarios desarrollado en la seccin anterior, recuerde que Xt es el numero de cmaras en el almacn al final de la semana t (antes de ordenar mas), donde Xt, representa el estado del sistema en el tiempo t. Dado que el estado actual es Xt = i, la expresin al final de la seccin 16.1 indica que Xt+1 depende solo Dt+1 )la demanda en la semana t+1) y Xt+1 es independiente de la historia del sistema de inventarios, el procesos estocstico {Xt} (t = 0,1) tiene la propiedad markoviana y por lo tanto es una cadena de Markov. Se ver ahora como obtener las probabilidades de transicin (de un paso) es decir, los elementos de la matriz de transicin (de un paso)

Dado que Dt+1, tiene una distribucin Poisson con media de 1. Entonces, P {Dt+1 = n} = (1) n e-1 / n! , para n = 0, 1, Entonces P {D t+1 = 0} = e-1 = 0.368, P {D t+1 = 1} = e-1 = 0.368, P {D t+1 = 2} = e-1 = 0.184 P {D t+1 3} = 1- P{D t+1 2} = 1 (0.368+0.368+0.184) = 0.0080 Para el primer rengln de P, se trata de la transicin del estado X t = 0 a algn estado Xt+1. Como se indica al final de la seccin. Para el primer rengln de P, se trata de la transicin del estado X t = 0 a algn estado Xt+1. Como se indica al final de la seccin 16.1, Xt+1 = mx. { 3 Dt+1, 0 } si Xt = 0

Por lo tanto, para la transicin a Xt+1 = 3 Xt+1 = 2 o Xt+1 = 1 P03 = P {Dt+1 = 0} = 0.368

Rivera Nava Suria

7 Cadenas de Markov

P02 = P {Dt+1 = 1} = 0.368 P01 = P {Dt+1 = 2 }= 0.368 Una transicin de Xt = 0 a Xt+1 = 0 implica que la demanda de cmaras en la semana t+1 es 3 o ms, despus que se agregaron 3 cmaras al inventario agotado el principio de la semana, de manera que P00 = P {Dt+1 3 }= 0.080 Para los otros dos renglones de P, la formula al final de la seccin 16.1 para el siguiente estado es Xt+1 = mx. {Xt Dt+1, 0} si Xt+1 1. Esto implica que Xt+1 Xt, entonces P12 = 0 , P13 = 0 , P23 = 0. Para las otras transiciones P11 = P { D t+1 = 0} = 0.368 P10 = P { D t+1 1} = 1 P{ D t+1 = 0} = 0.632 P22 = P { D t+1 = 0} = 0.368 P21 = P { D t+1 = 1} = 0.368 P20= P { D t+1 2} = 1 P{ D t+1 1} = 1 (0.368 +0.368) = 0.264

Para el ltimo rengln de P, la semana t+1 comienza con 3 cmaras en inventario y los clculos de las probabilidades de transicin son justo las mismas que para el primer rengln. En consecuencia, la matriz de transicin completa es

La informacin dada por la matriz de transicin tambin se puede describir con el diagrama de transicin de estados de la figura 16.1 los cuatros estados posibles para el numero de cmaras que se tienen al final de la semana se representan por los cuatro nodos (crculos) en el diagrama. Las flechas muestran las transiciones posibles de un estado a otro, o en ocasiones de regreso al mismo

Rivera Nava Suria

8 Cadenas de Markov

estado, cuando la tienda de cmaras va del final de una semana al final de la siguiente. El numero junto a cada flecha da la probabilidad de que ocurra esa transicin en particular cuando la tienda de cmaras esta en el estado en la base de la flecha.

Rivera Nava Suria

9 Cadenas de Markov

TIEMPOS DE PRIMERA PASADA:

Se puede generalizar el concepto de probabilidad de primera pasada, calculando la probabilidad de pasar de un estado i a otro estado j en n etapas por primera vez: fij sin(n) que en las etapas intermedias se haya pasado antes por j : fij = P (Xn = j, Xr 6= j | X0 = i) , r = 1, 2, . . . , n 1 donde n = 1, 2, 3, . . . Para n = 1, fij = P (X1 = j | X0 = i) = pij . Para n = 2,

La seccin 16.3 se dedico a encontrar las probabilidades de transicin de n pasos del estado i al estado j. con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidades sobre el numero de transiciones que hace el proceso al ir del estado i al estado j por primera vez. Este lapso se llama tiempo de primera pasada al ir del estado u al estado j. cuando j = i, este tiempo de primera pasada es justo el numero de transiciones hasta que el proceso regresa al estado inicial i. en este caso, el tiempo de primera pasada se llama tiempo de recurrencia para el estado i. Para ilustrar estas definiciones, reconsidere el ejemplo de inventarios introducido en la seccin 16.1 donde Xt es el nmero de cmaras en inventario al final de la semana t y se comienza con X0 = 3. Suponga que ocurri lo siguiente: X0 = 3, X1= 2, X2= 1, X3=0, X4= 3, X5= 1

Rivera Nava Suria

10 Cadenas de Markov

En este caso, el tiempo de primera pasada para ir del estado 3 al estado 1 es 2 semanas, el tiempo de primera pasada para ir al estado 3 al estado 0 es 3 semanas y el tiempo de recurrencia del estado 3 es 4 semanas. En general, los tiempos de primera pasada son variables aleatorias. Las distribuciones de probabilidad dependen de las probabilidades de transicin del proceso. En particular f ij(n) denota la probabilidad de que el tiempo de primera pasada del estado u al j sea igual a n. para n > 1, este tiempo de primera pasada es n si la primera transicin es del estado i a algn estado k (k j) y despus el tiempo de primera pasada del estado k al estado j es n -1. Por lo tanto, estas probabilidades satisfacen las siguientes relaciones recursivas. F ij (1) = P ij (1) = Pij, Fij (2) = Pik f kj(1)
kj

Fij

(n)

= Pik fkj(n-1)
kj

Entonces, la probabilidad de una tiempo de primera pasada del estado i al j en n pasos, se puede calcular de manera recursiva, a partir de las probabilidades de transicin de un paso. En el ejemplo de inventarios, la distribucin de probabilidad de los tiempos de primera pasada al ir del estado 3 al 0 se obtienen de las relaciones recursivas como sigue: F30(1) = P30 = 0.080, F30(2) = P31 F10(1) + P 32 F20(1) + P33 F30(1) = 0.184(0.632) + 0.368 (0.264) + 0.368 (0.080) = 0.243, Donde P 3k y fk0(1) = pk0 se obtiene de la matriz de transicin (de una paso) dada en la seccin 16.2. Para i y j fijos, las fij (n) son nmeros no negativos tales que

fij(n) 1.

n=1

Desafortunadamente, esta suma puede ser estrictamente menor que 1, lo que significa que un proceso que al iniciar se encuentra en el estado i puede nunca alcanzar el estado j. cuando la suma si es igual a 1, las F ij(n) (para n=1,2,) puede

Rivera Nava Suria

11 Cadenas de Markov

considerarse como una distribucin de probabilidad para la variable aleatoria, el tiempo de primera pasada. Mientras que puede ser tedioso calcular Fij (n) para toda n, es relativamente sencillo obtener el tiempo esperado de primera pasada del estado i al estado j. sea ij esta esperanza, que se define como

Esta ecuacin reconoce que la primera transicin desde el estado i puede ser al estado j o algn otro estado k. si es el estado j, el tiempo de primera pasada es 1. Dado que la primera transicin es a algn estado k(k j), lo que ocurre con probabilidad Pik, el tiempo esperado de primera pasada condicional del estado i al estado j es 1+kj. Al combinar estos hechos y sumar sobre todas las posibilidades para la primera transicin, se llega a esta ecuacin. En el ejemplo del inventario, estas ecuaciones para kj se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn, dado que el proceso inicia cuando se tienen tres cmaras; es decir, se puede obtener el tiempo esperado de primera pasada 30. Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones 30 = 1+ P3110 + P3220 + P3330, 20 = 1+ P2110 + P2220 + P2330, 10 = 1+ P1110 + P1120 + P1330, La solucin simultnea de este sistema es 10 = 1.58 semanas

Rivera Nava Suria

12 Cadenas de Markov

20 = 2.51 semanas 30 = 3.50 semanas De manera que el tiempo esperado hasta que la tienda se queda sin cmaras es 3.50 semanas. Al hacer estos clculos para 30 tambin se obtienen 20 y 10. Para el caso de ij, con j = i, ii es el numero esperado de transiciones hasta que el proceso regresa al estado inicial i, y se llama tiempo esperado de recurrencia para el estado i. despus de obtener las probabilidades de estado estable ( 0, 1, M) como se describi en la seccin anterior, los tiempos esperados de recurrencia se calculan de inmediato como ij = 1 / n , para i = 0, 1, ,M.

Entonces para el ejemplo de inventario, donde 0 = 0.286, 1 = 0.285, 2 = 0.264 Y 3 = 0.166los tiempos de recurrencia esperados correspondientes son 00 = 1/ 0 = 3.50 semanas, 22 = 1/ 2 = 3.80 semanas, 11 = 1/ 1 = 3.51 semanas, 33 = 1/ 3 = 6.02 semanas.

Rivera Nava Suria

13 Cadenas de Markov

Tiempos de primera pasada. Es importante el n de transiciones de que hace el proceso al ir del estado i al j por primera vez; a esto se llama tiempo de 1 pasada. Tiempo de recurrencia ser una particularizacin de lo anterior para i=j (n de transiciones hasta volver al estado inicial i). En general los tiempos de 1 pasada son variables aleatorias, donde las distribuciones de probabilidad dependen de las probabilidades de transicin del proceso. Estas probabilidades satisfacen lo siguiente:

La ltima suma puede resultar menor que 1, lo que significa que un proceso que comienza en i, puede nunca alcanzar el estado j. Es sencillo calcular el tiempo de primera pasada de i a j; siendo mij esta esperanza:

Para el caso de mii (con j=i)es el n esperado de transiciones para que el proceso regrese al estado i(tiempo esperado de recurrencia).stos se calculan de inmediato de la forma:

Rivera Nava Suria

14 Cadenas de Markov

ESTADOS ABSORBENTES
Los estados que pueden sucederse a s mismos y, adems, es posible alcanzar, por lo menos, alguno de los restantes desde ellos se llaman estados transitorios. Un estado tal que si el proceso entra en l permanecer indefinidamente en este estado (ya que las probabilidades de pasar a cualquiera de los otros son cero), se dice estado absorbente. De una cadena de Markov que consta de estados transitorios y absorbentes se dice que es una cadena absorbente de Markov. Si una cadena de Markov contiene algn estado absorbente, la lnea de la matriz de transicin correspondiente a las probabilidades de transicin de dicho estado constar de un 1 en la diagonal principal y ceros en los dems elementos. Ser por lo tanto una matriz no regular. Para poder estudiar las cadenas de Markov absorbentes es preciso reordenar la matriz de transicin de forma que las filas correspondientes a los estados absorbentes aparezcan en primer lugar. As ordenada se dir que la matriz de transicin est en la forma cannica. Podemos dividir la matriz en forma cannica en cuatro submatrices. La primera es la matriz unidad I, del orden correspondiente. La segunda , la matriz nula. La tercera contiene las probabilidades de paso de estados transitorios a estados absorbentes. La cuarta contiene las probabilidades de estados transitorios a estados transitorios. Se sealo en la seccin 16.4 que el estado k se llama estado absorbente si P kk = 1, de manera que una vez que la cadena llega al estado k permanece ah para siempre. Si k es un estado absorbente y el proceso comienza en el estado i, la probabilidad de llegar en algn momento a k se llama probabilidad de absorcin al estado k, dado que el sistema comenz en el estado i. esta probabilidad se denota por Fik. Si se tienen dos o ms estados absorbentes en una cadena de Markov y es evidente que el proceso ser absorbido en uno de estos estados, es deseable encontrar estas probabilidades de absorcin. Dichas probabilidades pueden obtenerse con solo resolver un sistema de ecuaciones lineales que considera todas las posibilidades para la primera transicin y despus, dada la primera transicin, considera la probabilidad condicional de absorcin al estado k. en

Rivera Nava Suria

15 Cadenas de Markov

particular, si el estado k es un estado absorbente, entonces el conjunto de probabilidades de absorcin F ik satisface el sistema de ecuaciones Fik = P ij F ik, para i = 0, 1, , M, Sujeta a las condiciones F kk = 1, F ik = 0, si el estado i es recurrente e i k Las probabilidades de absorcin son importantes en las caminatas aleatorias. Una caminata aleatoria es una cadena de Markov con la propiedad de que, si el sistema se encuentra en el estado i, entonces en una sola transicin, o bien permanecer en i o se mover a uno de los dos estados inmediatamente adyacentes a i. por ejemplo, la caminata aleatoria con frecuencia se usa como modelo para situaciones que incluyen juegos de azar. Para ilustrar, considere un ejemplo sobre juegos de azar similar al presentado en la seccin 16.2 pero ahora suponga que dos jugadores (A y B), CON $2 cada uno, aceptan seguir jugando y apostando $1 cada vez hasta que uno de ellos quiebre. La probabilidad de que A gane una apuesta es 1/3 , por lo que la probabilidad de que gane B es 2/3. El numero de dlares que tiene el jugador A antes de cada apuesta (0,1, 2, 3 o 4) proporciona los estados de una cadena de Markov con matriz de transicin.
J= 0 M

Comenzando en el estado 2, la probabilidad de absorcin al estado 0 (A pierde todo su dinero) se puede obtener a partir del sistema de ecuaciones anterior como f20= 1/5, y la probabilidad de que A gane $4 (B quiebre) esta dad por f24 = 4/5. Existen muchas otras situaciones en las que los estados absorbentes juegan un papel importante. Considere una tienda de departamentos que clasifica el saldo de la cuenta de un cliente como pagada (estado 0), 1 a 30 das de retraso (estado 1), 31 a 60 das de retraso (estado 2) o mala deuda (estado 3). Las cuentas se

Rivera Nava Suria

16 Cadenas de Markov

revisan cada mes y se determina el estado de cada cliente. En general, los crditos no se extienden y se espera que los clientes paguen sus cuentas dentro de 30 das. En ocasiones, los clientes pagan solo una parte de su cuenta. Si esto ocurre cuando el saldo queda dentro de los 30 das de retraso (estado 1), la tienda considera que este cliente permanece en el estado 1. Si esto ocurre cuando el saldo est entre 31 y 60 das de retraso, la tienda considera que el cliente se mueve al estado 1(1 a 30 das de retraso). Los clientes que tienen ms de 60 das de retraso se clasifican en la categora de una mala deuda (estado 3); y enva las cuentas a una agencia de cobro. Despus de examinar los datos de aos anteriores, la tienda ha desarrollado la siguiente matriz de transicin:

Aunque cada cliente acaba por llegar al estado 0 o al estado 3, la tienda se interesa en determinar la probabilidad de que un cliente llegue a ser una mala deuda dado que la cuenta pertenece al estado 1 a 30 das de retraso, y de igual forma, si se encuentra en 31 a 60 das de retraso. Para obtener f13 y f23, debe resolverse el conjunto de ecuaciones presentado al principio de esta seccin. Las siguientes dos ecuaciones se obtienen por sustitucin: F13 = P10F03 + P11 F13 + P12 F23 + P13F33, F23 = P20F03 + P21 F13 + P22 F23 + P23F33, Como F03 = 0 y F33 = 1, ahora se tienen dos ecuaciones con dos incgnitas, esto es, (1-p11) f13 = P13 + P12 F23 (1-p22) f23= P23 + P21F13 . Al sustituir los valores de la matriz de transicin se llega a 0.8 F13 = 0.1F23

Rivera Nava Suria

17 Cadenas de Markov

0.8 F23 = 0.2 + O.1 F13 Y la solucin es F13 = 0.032 F23 = 0.254. Entonces, alrededor de 3% de los clientes cuyas cuentas tienen 1 a 30 das de retraso, y 25% de los clientes con 31 a 60 das de retraso llegan a ser una mala deuda.

Rivera Nava Suria

18 Cadenas de Markov

TEOREMA DE CHAPMAN KOLMOGOROV

Puesto que las probabilidades de transicin son estables en el tiempo, podemos interesarnos en conocer las propiedades de transicin despus de k pasos, definidas formalmente como:

Esto es, la probabilidad de que el proceso se encuentre en el estado j si k etapas antes se encontraba en el estado i. Si conocemos las pij, podemos calcular las pij(k) haciendo el siguiente razonamiento: si al cabo de m < k pasos, nos encontramos en el estado e, la probabilidad de alcanzar el estado j despues de k e pasos ser: ((piem ) pejk m ) Como el estado intermedio e puede ser cualquiera, podemos determinar una expresin para la probabilidad de transicin de k pasos:

Haciendo m = 1, y m = k-1 obtenemos las ecuaciones de Chapman Kolmogorov, que permiten obtener las expresiones de las propiedades de transicin en el estado k a partir de las de k-1.

Lo que indican las ecuaciones es que pueden obtenerse las matrices P(k) de transicin de k pasos a partir de las potencias de la matriz P. P(2) = PP = P2 P(3) = P(2)P = PP2 = P2P = P3 P(k) = P(k-1)P= PPk-1 = Pk-1P = Pk Es decir, que las sucesivas potencias de la matriz P indican las probabilidades de
Rivera Nava Suria

19 Cadenas de Markov

transicin en tantas transiciones como se indica en el ndice de la potencia. Esto puede generalizarse an ms observando que la P1 representa la probabilidad de una transicin y que P0 = I es la probabilidad en cero transiciones: si no ha habido transicin, el estado es el mismo y por lo tanto la matriz que representa la notransicin es la matriz identidad. Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de transicin de n pasos:
M

Pij (n) = Pij (m) Pkj (n-m)

K=0

para toda i= 0,1, M. J = 0,1, M. Para cualquier m = 1.2.n 1 N= m+1, m+2,1

Estas ecuaciones simplemente sealan que al ir del estado i al estado j en n pasos, el proceso estar en algn estado k despus de exactamente m (menor que n) pasos. As, P ik(m) Pkj (n-m) es solo la probabilidad condicional de que , si al comenzar en el estado i, el proceso vaya al estado k despus de m pasos y despus al estado i en n m pasos. Al resumir estas probabilidades condicionales sobre todos los estados posibles k se debe obtener Pij(n). Los casos especiales de m = 1 y m = n 1 conducen a las expresiones
Pij (n) = Pik Pkj (n-1)
K=0 M

Y Pij (n) = Pik (n-1) Pkj

K=0 M

Para todos los estados i y j, de lo cual resulta que las probabilidades de transicin de n paso se pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva. Esta relacin recursiva se explica mejor con la notacin matricial (vase el apndice 4). Para n = 2, estas expresiones se vuelven
M

Pij (2) = Pik (n-1) Pkj

K=0

para toda i, j.

Rivera Nava Suria

20 Cadenas de Markov

Note que las pij(2) son los elementos de la matriz p(2), pero tambin debe observarse que estos elementos se obtienen multiplicando la matriz de transicin de un paso por si misma; esto es, P(2) = P . P = p2. De la misma manera, las expresiones anteriores para pij(n) cuando m = 1 y m = n 1 indican que la matriz de probabilidades de transicin de n pasos es P(n) = pp(n-1) = p(n-1)p =ppn-1 = pn-1p = pn. Entonces, la matriz de probabilidades de transicin de n pasos Pn se puede obtener calculando la n-esima potencia de la matriz de transicin de un paso P. Matrices de transicin de n pasos para el ejemplo de inventarios. De nuevo en el ejemplo de inventarios, la matriz de transicin de un paso P, obtenida en la seccin 16.2, puede usarse para obtener la matriz de transicin de dos pasos p2:

As, dado que se tiene una cmara al final de una semana, la probabilidad de que no haya cmaras en inventario dos semanas despus es 0.283; es decir, p10(2)=0.283. De igual manera, dado que se tienen dos cmaras al final de una semana, la probabilidad de que haya tres cmaras en el almacen dos semanas despus es 0.097; esto es, P23(2) = 0.097.

Rivera Nava Suria

21 Cadenas de Markov

La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente manera: P(4) = P4 = P(2) P(2)

As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad de que no haya cmaras en inventario 4 semanas ms tarde; es decir, P10(4)=0.282. De igual manera, dado que quedan dos cmara en el almacn al final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras en el almacn 4 semanas despus; esto es, P23(4)=0.171. El OR courseware incluye una rutina para calcular p(n) = pn para cualquier entero positivo n99. Probabilidades incondicionales del estado Se hizo notar que las probabilidades de transiciones de uno o de n pasos son probabilidades condicionales; por ejemplo, P {Xn=j |X0=i} = Pij(n). Si se desea la probabilidad incondicional P {Xn = j}, es necesario que se especifique la distribucin de probabilidad del estado inicial, o sea, P {X0 = i } para i= 0, 1,,M. Entonces P{Xn = j } = P { X0 = 0 } Poj(n) + P{ X0 = 1 }p1j(n) ++ P{ X0 = M} pMj(n). En el ejemplo de inventarios se supuso que al inicio se tenan tres unidades en inventario; es decir, X0 = 3. As, P {X0 = 0} = P{X0 = 1} = P{X0= 2}= 0 y P{X0 = 3} =1. Por tanto, la probabilidad (incondicional) de que haya tres cmaras en inventario dos semanas despus de que el sistema se puso en marcha es P{X2=3}=(1)P33(2)=0.165.

Rivera Nava Suria

22 Cadenas de Markov

CLASIFICACION DE ESTADOS EN UNA CADENA DE MARKOV

Es evidente que las probabilidades de transicin asociadas a los estados juegan un papel importante en el estudio de las cadenas de Markov. Para describir con mas detalle las propiedades de una cadena de Markov es necesario presentar algunos conceptos y definiciones que se refieren a los estados. Se dice que el estado j es accesible desde el estado i si P ij(n)>0 para alguna n0. (Recuerde que Pij(n) es solo la probabilidad condicional de llegar al estado j despus de n pasos, si el sistema esta en el estado i.) Entonces que el estado j sea accesible desde el estado i significa que es posible que el sistema llegue eventualmente al estado j si comienza en el estado i. En el ejemplo de inventarios, Pij(2)> 0 para todo i, j de manera que cada estado es accesible desde cualquier otro estado. En general, una condicin suficiente para que todos los estados sean accesibles es que exista un valor de n para el que Pij(n)> 0 para todo i y j. En el ejemplo del juego dado al final de la seccin 16.2, el estado 2 no es accesible desde el estado 3. Esto se puede deducir del contexto del juego ( una vez que el jugador llega al estado 3, nunca deja este estado), lo que implica que P32(n) = 0 para toda n0. Sin embargo, aun cuando el estado 2 no es accesible desde el estado 3, el estado 3 si es accesible desde el estado 2 ya que, para n = 1, la matriz de transicin dada al final de la seccin 16.2 indica que P 23 = p >0. Si el estado j es accesible desde el estado i y el estado i es accesible desde el estado j, entonces se dice que los estados i y j se comunican. En el ejemplo de inventarios, todos los estados se comunican. En el ejemplo del juego, los estados 2 y 3 no se comunican. En general: 1. Cualquier estado se comunica consigo mismo (porque Pii(0) = P{X0=i|X0=i}=1). 2. Si el estado i se comunica con el estado j, entonces el estado j se comunica con el estado i. 3. Si el estado i se comunica con el estado j y el estado j se comunica con el estado k, entonces el estado i se comunica con el estado k. Las propiedades 1 y 2 se deducen de la definicin de estados que se comunican, mientras que la propiedad 3 se deriva de las ecuaciones de Chapmankolmogorov.

Rivera Nava Suria

23 Cadenas de Markov

Como resultado de estas propiedades de comunicacin, se puede hacer una particin del espacio de estados en clases ajenas, en donde se dice que dos estados que se comunican pertenecen a la misma clase. (Una clase puede consistir en un solo estado.) Si existe solo una clase, es decir, si todos los estados se comunican, se dice que la cadena de Markov es irreducible. En el ejemplo de inventarios, la cadena de Markov es irreducible. En el primer ejemplo de las acciones (seccin 16.2), la cadena de Markov es irreducible. El ejemplo del juego contiene tres clases; el estado 0 forma una clase, el estado 3 forma una clase y los estados 1y 2 forman una clase. Estados recurrentes y estados transitorios Con frecuencia es til hablar sobre si un proceso que comienza en un estado regresara alguna vez a este estado. La siguiente es una posibilidad. Un estado se llama estado transitorio si, despus de haber entrado a este estado, el proceso nunca regresa a el. Por consiguiente, el estado i es transitorio si y solo si existe un estado j ( j i ) que es accesible desde el estado j , pero no viceversa, esto es, el estado i no es accesible desde el estado j. Asi, si el estado i es transitorio y el proceso visita este estado, existe una probabilidad positiva ( quiz incluso de 1) de que el proceso se mover al estado j y nunca regresara al estado i. En consecuencia, un estado transitorio ser visitado solo un numero finito de veces. Cuando se inicia en el estado i, otra posibilidad es que el proceso definitivamente regrese a ese estado. Se dice que un estado es recurrente si, despus de haber entrado a este estado, el proceso definitivamente regresara a ese estado. Por consiguiente, un estado es recurrente si y solo si no es transitorio. Ya que un estado recurrente ser visitado de nuevo despus de cada visita, podra ser visitado un nmero infinito de veces si el proceso continuara por siempre.

Si el proceso entra a cierto estado y permanece en este estado al siguiente paso, se considera un regreso a ese estado. Entonces, el siguiente tipo de estado se considera un tipo especial de estado recurrente. Un estado se llama absorbente si, despus de haber entrado ah el proceso nunca saldr de ese estado. Por consiguiente, el estado i es un estado absorbente si y solo si Pij = 1.

Rivera Nava Suria

24 Cadenas de Markov

En la seccin 16.7 se estudiaran los estados absorbentes con ms detalle. La recurrencia es una propiedad de clase. Es decir, todos los estados en una clase son recurrentes o transitorios. Ms aun, en una cadena de Markov de estado finito, no todos los estados pueden ser transitorios. Entonces, todos los estados de una cadena de Markov de estado finito irreducible son recurrentes. Sin duda, se puede identificar una cadena de Markov de estado finito irreducible (y por lo tanto concluir que todos los estados son recurrentes) demostrando que todos los estados del proceso se comunican. Ya se hizo notar que una condicin suficiente para que todos los estados sean accesibles (y por lo tanto se comuniquen unos con otros) es que exista un valor de n, no dependiente de i y j, para el cual Pij(n)>0 para toda i y j. As todos los estados en el ejemplo de inventarios son recurrentes, puesto que Pij(2) es positiva para toda i y j. De manera parecida, el primer ejemplo sobre las acciones contiene solo estados recurrentes, ya que Pij es positiva para toda i y j. Al calcular Pij(2) para toda i y j en el segundo ejemplo de acciones, se concluye que todos los estados son recurrente porque Pij(2) > 0. Como ejemplo, suponga que un proceso de Markov tiene la siguiente matriz P:

Es evidente que el estado 2 es absorbente ( y por lo tanto recurrente) porque si el proceso entra en el ( tercer rengln de la matriz ), nunca sale. El estado 3 es transitorio porque una vez que el proceso se encuentra en este estado, existe una probabilidad positiva de nunca regresar. La probabilidad de que el proceso vaya del estado 3 al estado 2 en el primer paso es 1/3. Si el proceso est en el estado 2, permanece en ese estado. Cuando el proceso deja el estado 4, nunca vuelve. Los estados 0 y 1 son recurrentes. Para comprobar este observe en P que si el proceso comienza en cualquier de estos estados, nunca sale de ellos. Todava mas, siempre que el proceso se mueve de uno de estos estados al otro, siempre regresa al estado original.

Rivera Nava Suria

25 Cadenas de Markov

Propiedad de periodicidad Otra propiedad til de las cadenas de Markov es la de periodicidad. El periodo de un estado i se define como el entero t ( t > 1) si P ij(n) = 0 para todos los valores de n distintos de t, 2t, 3t,, y t es el entero ms grande con esta propiedad. En el problema del juego ( fin de la seccin 16.2 ), al comenzar en el estado 1, es posible que el proceso entre al estado 1 solo en los tiempos 2, 4,., en cuyo caso se dice que el estado 1 tiene periodo 2. Esto es evidente si se observa que el jugador puede salir a mano ( ni ganar ni perder ) solo en los tiempos 2, 4,., lo que se puede verificar si se calcula P11(n) para toda n y se observa que P11(n)= 0 para n impar. Si existen dos nmeros consecutivos s y s (s + 1), tales que el proceso puede encontrarse en el estado i en los tiempos s y (s+1), se dice que el estado tiene periodo 1 y se llama aperidico. Igual que la recurrencia es una propiedad de clase, se puede demostrar que la periodicidad tambin es una propiedad de clase. Esto es, si el estado en una clase tiene periodo, todos los estados de esta clase tienen periodo t. En el ejemplo del juego, el estado 2 tiene periodo 2 porque est en la misma clase que el estado 1, y como se vio, el estado 1 tiene periodo 2. En una cadena de Markov de estado finito, los estados recurrentes aperidicos se llaman ergdicos. Se dice que una cadena de Markov es ergodica si todos sus estados son ergdicos.

Rivera Nava Suria

26 Cadenas de Markov

Probabilidades de estado estable En la seccin 16.3 se obtuvo la matriz de transicin de cuatro pasos para el ejemplo de inventarios. Conviene examinar las probabilidades de transicin de ocho pasos por la matriz

Es notorio el hecho de que cada uno de los cuatro renglones tiene elementos idnticos. Esto significa que la probabilidad de estar en estado j despus de ocho semanas parece ser independiente del nivel de inventario inicial. En otras palabras, parece que existe una probabilidad lmite de que el sistema se encuentre en el estado j despus de un nmero grande transiciones, y que esta probabilidad es independiente del estado inicial. Estas propiedades del comportamiento a largo de un proceso de Markov de estado finito de hecho se cumplen en condiciones relativamente generales, como se resume en seguida Para una cadena de Markov irreducible ergdicas el lim P ij(n) existe y es n independiente de i. Ms aun,

La , se llaman probabilidades de estado estable de la cadenas de Markov. El termino probabilidad de estado estable significa que la probabilidad de encontrar el proceso en cierto estado, digamos j, despus de un numero grande de transiciones tiene al valor j, y es independiente de la distribucin de probabilidad inicial definida para los estados. Es importante observar que la probabilidad de estado estable no significa que el proceso se establezca en un estado. Por el contrario, el proceso continua haciendo transiciones de un estado a otros y en cualquier paso n la probabilidad de transicin del estado i al estado j es todava Pij.
Rivera Nava Suria

27 Cadenas de Markov

Tambin se pueden interpretar las j como probabilidades estacionarias (que no deben confundirse con las probabilidades de transicin estacionarias) en el siguiente sentido. Si la probabilidad absoluta de encontrarse en estado J est dada por j (esto es = P, {X0 = j} = j) para toda j, entonces la probabilidad absoluta de encontrar el proceso en el estado j en el tiempo n = 1,2, tambin est dada por j (es decir, P {Xn = j } j). Debe observarse que las ecuaciones de estado estable consisten en M +2 ecuaciones con M +1 incgnitas. Como el sistema tiene una solucin nica, al menos una de las ecuaciones debe ser redundante, por lo que se puede eliminar. No puede ser la ecuacin.
M

j = 1
j=0

Porque j = 0 para toda j satisfara las otras M +1 ecuaciones. Es ms, las soluciones de las otras M+1 ecuaciones de estado estable tienen una solucin nica con una constante multiplicativa y es la ecuacin final la que fuerza la solucin a ser una distribucin de probabilidad. De nuevo en el ejemplo de inventarios, las ecuaciones de estado estable se pueden expresar como 0 = 0 P00 +1P10 + 2P20 + 3P30, 1 = 0 P01 +1P11 + 2P21 + 3P31, 2 = 0 P02 +1P12 + 2P22 + 3P32, 3 = 0 P03 +1P13 + 2P23 + 3P33, 1 =0 +1 + 2 + 3.

Al sustituir los valores de Pij, en estas ecuaciones se obtiene: 0 = 0.0800 +0.06351 +0.264 2 + 0.0803, 1 = 0.1840 +0.3681 + 0.3682 + 0.1843, 2 = 0.3680 3 =0.368 0 1 = 0 +1 + 2 + 0.3682 + 0.3683, +0.368 3, + 3.

Rivera Nava Suria

28 Cadenas de Markov

Cuando se resuelven las ltimas cuatro ecuaciones se llega a la solucin simultnea. 0= 0.286 1 = 0.286, 2 = 0.263, 3= 0.166

Que en esencia son los resultados que aparecen en la matriz P (8). As, despus de muchas semanas, la probabilidad de encontrar cero, una, dos y tres cmaras en el almacn tiende de 0.285, 0.285, 0.263, 0.166 El OR courseware incluye una rutina para resolver las ecuaciones de estado estable para obtener las probabilidades de estado estable. Existen otros resultados importantes respecto a las probabilidades de estado estable. En particular, si i y j son estados recurrentes que pertenecen a clases distintas, entonces Pij (n) = 0, para toda n. Este resultado es una consecuencia de la definicin de clase. De manera parecida, si j es un estado transitorio, entonces: Lim P ij (n) N

Puede no existir. Para ilustrar este punto, considere la matriz de transicin de dos estados

Si el proceso comienza en el estado 0 en el tiempo 0, estar en el estado 0 en los tiempos 2, 4, 6, y en el estado 1 en los tiempos 1, 3, ,5, entonces P 00(n) = 0 si n es impar, de manera que el Lim P 00(n) N

No existe. Sin embargo, el siguiente lmite siempre existe para una cadena de Markov irreducible con estados recurrentes positivos.

Rivera Nava Suria

29 Cadenas de Markov

En donde las j, satisfacen las ecuaciones de estado estable dadas en la subseccion anterior. Este resultado es en extremo importante al calcular el costo promedio a la larga por unidad de tiempo, asociado a una cadena de Markov. Suponga que se incurre en un costo (u otra funcin de penalizacin) C (X t) es una variable aleatoria que toma cualquiera de los valores C (0), C (1),, C (M) y que la funcin C (. ) es independiente de t. el costo promedio esperado en el que se incurre a lo largo de los primeros n periodos estad dado por la expresin

Se puede demostrar que el costo promedio esperado por unidad de tiempo ( a la larga), esta dado por

Costo promedio esperado por unidad de tiempo para funciones de costo complejas En la subseccion anterior, la funcin de costo estuvo basada nada mas en el estado en el que se encuentra el proceso en el tiempo t. en muchos problemas importantes el costo puede depender de otra variable aleatoria al igual que del estado en que se encuentra el proceso.

Rivera Nava Suria

30 Cadenas de Markov

Por ejemplo, en el problema de inventarios de las seccin 16.1 suponga que debe tomarse en cuenta el costo de ordenar y el costo de penalizacin por demanda insatisfecha (los costos de almacenaje son pequeos por lo que se ignoraran). Es razonable suponer que el numero de cmaras ordenadas para el principio de la semana t depende solo del estado del proceso X t-1 (el numero de cmaras que se tienen) cando se hace el pedido al final de la semana t-1. Sin embargo, el costo de la demanda que no se satisfizo durante la semana t depender de la demanda Dt. As el costo total (costo de ordenar mas costo de la demanda insatisfecha) ara la semana t es una funcin de Xt-1 y de Dt, esto es C (Xt-1, Dt) En estas condiciones se puede demostrar que (a la larga) el costo promedio esperado por unidad de tiempo est dado por

Si se asignan valores numricos a las dos componentes de C (X t-1, Dt) en este ejemplo, es decir, el costo del pedido y el costo de penalizacin por la demanda insatisfecha. Si se ordenan z >0 cmaras, se incurre en un costo de (10 + 25z) dlares. Si no se ordenan cmaras, no hay cargos pro ordenar. Para cada unidad de demanda insatisfecha (ventas perdidas), se tiene un costo de $50 por unidad. Entonces, dada la poltica de ordenar descrita en la seccin 16.1 el costo en la semana t est dada por

Para t = 1,2, en consecuencia

Rivera Nava Suria

31 Cadenas de Markov

C (0, Dt) = 85+50 mx. {Dt 3, 0}, De manera que k (0) = E C(0, Dt) = 85 + 50 E (mx. { Dt-3,0} ) = 85 + 50 PD (4) + 2 PD (5) + 3 PD (6) + , Donde PD(i) es la probabilidad de que la demanda sea igual a i, segn una distribucin Poisson como media de 1, de manera que P D(i) se vuelve despreciable para i mayor que cerca de 6. Como, PD (4) =0.015, PD(5) = 0.003 y PD(6) = 0.001, se tiene k(0) = 86.2. Tambin, si se usa PD (2) = 0.184 y PD(3) = 0.061, clculos similares dan los resultados siguientes k (1) = E C(1, Dt) = 50 E (mx. { Dt-1,0} ) = 50 PD (2) + 2 PD (3) + 3 PD (4) + , = 18.4,

k (2) = E C(2, Dt) = 50 E (mx. { Dt-2,0} ) = 50 PD (3) + 2 PD (4) + 3 PD (5) + , = 5.2, Y k (3) = E C(3, Dt) = 50 E (mx. { Dt- 3,0} ) = 50 PD (4) + 2 PD (5) + 3 PD (6) + , = 1.2, As, el costo promedio esperado de inventario (a la larga) por semana esta dado por
3

k(j) j = 86.2 (0.286) + 18.4 (0.285) + 5.2 (0.263) + 1.2 (0.166) = $ 31.46
J=0

Rivera Nava Suria

32 Cadenas de Markov

Este es el costo asociado con la poltica de ordenar particular descrita en la seccin 16.1. El costo de otras polticas se puede evaluar de una manera similar a fin de identificar la poltica que minimiza el costo promedio esperado semanal del inventario. Los resultados de esta subseccion se presentaron solo en trminos del ejemplo de inventarios, pero los resultados (no numricos) se cumplen para otros problemas siempre y cuando se satisfagan las siguientes condiciones: 1. { Xt} es una cadena de Markov irreducible ( estado finito) 2. Asociada con esta cadena de Markov se tiene una sucesin de variables aleatorias {Dt}, cada una de las cuales es independiente e idnticamente distribuida. 3. Para m fija, m = 0, 1, 2, , se incurre en un costo C(Xt, Dt+m) en el tiempo t, para t = 0,1,2 4. La sucesin X0, X1, X2,,Xt debe ser independientemente de Dt+m En particular, si se satisfacen estas condiciones, entonces

Donde
k(j) = E C(J, Dt) ,

y esta ltima esperanza condicional se toma respecto a la distribucin de probabilidad de la variable aleatoria D, dado el estado j. Ms aun,

Para la mayor parte de las trayectorias del proceso.

Rivera Nava Suria

33 Cadenas de Markov

BIBLIOGRAFIA
Investigacin de operaciones. Sptima edicin. Editorial Mc Graw Hill Autores: Hillier Libierman www.itescam.edu.mx/principal/sylabus/fpdb/recursos halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/.../tema4pe

Rivera Nava Suria