Ejemplo 2.4 Genio de una persona.

Suponga que el genio (humor) de un compaero en un da cualquiera puede ser alegre, normal, o de mal genio(malhumorado). Suponga adems que sihoy est de buen genio maana puede estar de buen genio, normal omalhumorado con probabilidades de 0.5, 0.4 y 0.1, respectivamente. Si hoyest normal maana puede estar de buen genio, normal o malhumorado conprobabilidades de 0.3, 0.4 y 0.3, respectivamente. Finalmente si hoy est demal humor, maana puede estar de buen genio, normal o malhumorado conprobabilidades de 0.2, 0.3 y 0.5, respectivamente. Si {Xn, n ? 0} representa elgenio de su compaero, la matriz de transicin estar dada por

donde el espacio de estados es E = [alegre, normal, malhumorado] = [0, 1, 2]Problemas propuestos: Libro de Hillier: 14.2.1, 14.2.3, 14.3.2, 14.3.3 a y b,14.5.1a, 14.5.2a, 14.5.3a, 14.6.6a Ejemplo 2.5 Transformacin de una cadena de Markov. El estado deltiempo Suponga que el estado del tiempo un da cualquiera depende de las condicionesdel tiempo en los dos das anteriores. As: Si ha llovido en los dos ltimos das, llover maana con probabilidad de0.7 Si llovi hoy pero no ayer, la probabilidad de que llueva maana es de0.5 Si llovi ayer pero no hoy, la probabilidad de que llueva maana es de0.4 Si no ha llovido los dos ltimos das, la probabilidad de que lluevamaana es de 0.2a) Es el proceso anterior una cadena de Markov?b) Si no lo es, puede transformarse para que lo sea? Solucin. Si denotamos por Xn el estado del tiempo el da n, entonces Xn esuna funcin no slo de Xn-1 sino tambin de Xn-2, por lo cual no es una cadenade Markov.Si embargo, si redefinimos el estado del proceso como el estado del tiempo endos das consecutivos, el proceso sera una cadena de Markov. As: Xn = Estadodel tiempo en los das n y n-1. La convencin podra ser la siguiente: EstadoCondicin

0 L l u e v e l o s d o s l t i m o s d a s - L L 1Llueve el da actual pero no elanterior-LN2No llueve el ltimo da, pero s elanteriorNL3 N o h a l l o v i d o l o s d o s l t i m o s d a s - N N E = (0, 1, 2, 3) = (LL, LN, NL, NN)Clculo de las probabilidades de transicinEstado futuro = Estado del tiempo maana y hoyEstado actual = Estado del tiempo hoy y ayerP00 = P(LmaanaLhoy/LhoyLayer) = Probabilidad de lluvia en los dos ltimosdas) = 0.7P01 = P(LmaanaNhoy/LhoyLayer) = 0P02 = P(NmaanaLhoy/LhoyLayer) = 0.3P03 = P(NmaanaNhoy/LhoyLayer) = 0P10 = P(LmaanaLhoy/LhoyNayer) = 0.5P11 = P(LmaanaNhoy/LhoyNayer) = 0 P12 = P(NmaanaLhoy/LhoyNayer) = 0.5P13 = P(NmaanaNhoy/LhoyNayer) = 0La matriz de transicin resultante es la siguiente:

Ejemplo 2.6 Taller con dos mquinas y un mecnico Considere un taller que tiene 2 mquinas y un mecnico que las repara cuandofallan. Si una mquina est trabajando, la probabilidad de que falle en una horaes . Si una mquina est bajo reparacin, la probabilidad de que el mecnicotermine de repararla en una hora es . Si Xn es el nmero de mquinas enoperacin al final de la hora n,a) Es Xn una cadena de Markov?. Expliqueb) En caso afirmativo, calcule la matriz de transicin Solucin. El nmero de mquinas en operacin al final de una hora (Xn) esigual al nmero de mquinas en operacin al final de la hora anterior (Xn-1)ms el nmero de mquinas reparadas durante la ltima hora (Rn) menos elnmero de mquinas que han fallado durante la ltima hora (Fn). Por lo tantoXn se expresa como se indica a continuacin, de donde se desprende que esuna cadena de Markov. Se supone que las mquinas fallan al final de la hora, oque slo al final de la hora se descubre que las mquinas han fallado, o que elmecnico ha terminado la reparacin. (No hay eventos simultneos)Xn = Xn-1 + Rn - FndondeRn = Nmero de mquinas reparadas durante la ltima hora.Fn = Nmero de mquinas que fallaron durante la ltima hora.El espacio de estados est dado por E = (0, 1, 2)Clculo de las probabilidades de transicinClculo de p00, p01 y p02. Para pasar del estado cero al estado cero serequiere

que el mecnico no termine la reparacin de una mquina (1 - ) ypara pasar al estado uno se requiere que termine de reparar la mquina ().P00 = P(mecnico no termine la reparacin) =1 -P01 = P(mecnico termine la reparacin) =P02 = P(Reparar dos mquinas) = 0Clculo de p10, p11 y p12. Para pasar del estado uno al estado cero se requiereque el mecnico no termine la reparacin de la mquina que est arreglando (1- ) y que la mquina que estaba en operacin se dae (). Para pasar delestado uno al estado uno se requiere que el mecnico no termine la reparacinde la mquina que est arreglando (1 - ) y que la mquina que estabaoperando no se dae (1 - ), o que el mecnico termine la reparacin de lamquina que est arreglando () y que la mquina que estaba operando sedae ().Para pasar del estado uno al estado dos se requiere que el mecnicotermine la reparacin de la mquina que est arreglando () y que la mquinaq u e e s t a b a o p e r a n d o n o s e d a e ( 1 - ) p10 = P(No terminar reparacin y mquina buena se dae = (1 - ) ()p11 = P(no terminar reparacin y la mquina buena no se dae) P(terminar reparacin y la mquina buena dae)= ( 1 - ) ( 1 - ) + ( ) ( ) p12 = P(terminar reparacin y que mquina buena no se dae) = () ()Queda como un ejercicio calcular las probabilidades de transicin desde elestado 2 hacia los dems estados.La matriz de transicin resultante es la siguiente: