Cadenas de Markov El capitulo 15 se enfocé en la toma de decisiones ante la incertidumbre de uno 0 mis eventos futuros, con la intencién de conocer el verdadero estado de Ia naturaleza, Sin embargo, algunas decisiones deben tomar en cuenta la incertidumbre acerca de muchos eventos fututos. Ahora se presentaré el fandamento de la toma de decisiones en este contexto més amplio, En particular este capitulo presenta modelos de probabilidad de procesos que evolucionan en el tiempo de na manera probabilistica. Tales procesos se aman proceros estocdsticos. Después de una introduccién breve de los procesos estocésticos generales en la primera seccién, el resto del capitulo se dedica a un tipo especial de proceso que se denomina cadena de Markov. Las cadenas dde Markov tienen la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionaré en el futuro dependen sélo del estado actual en que se encuentra el proceso ¥. por lo tanto, son independientes de los eventos que ocustieron en el pasado, Muchos procesos se ajustan a esta deseripeién, por lo que las cadenas de Markov constituyen una clase de modelo probabilistico de gran importancia, Por ejemplo, usted podra observar en el capitulo siguiente que las cadenas de Markov de tiempo continua (descritas en la seccién 16,8) se ulilizan para formular gran parte de los modelos bbisicos de la reorfa de colas. Las cadenas de Markov también proporcionan las bases para el es tudio de los modelos de decisidn de Markov en el capitulo 19. Existe una amplia gama de aplica- ciones de las cadenas de Markov. Un gran nimero de libros y aticulos presentan algunas de estas aplicaciones. Una de ellas constituye 1a referencia seleccionada 4 que describe las aplicaciones en dreas tan diversas como la clasificaci6n de los clientes, la secuencia del DNA, el andlisis de reds genéticas la estimacién de la demanda de ventas a través del tiempo y el valor del crédito. ‘También se presenta, en el recuadto de aplicacién de la seccién 16.2, un ejemplo que involucra el valor del crédito, mientras que el recuadro de aplicacién de la seccién 16.8 se relaciona con el ‘mantenimiento de maquinas. La referencia seleccionada 6 hace hincapié en las aplicaciones en finanzas y Ia3 describe aplicaciones para el andlisis de la estrategia del beisbol. La lista continga dde manera indefinida, pero por el momento veremos tna descripcién de los procesos estocdsticos en general y de las cadenas de Markov en particular. 16.1 PROCESOS ESTOCASTICOS Un proceso estocéstica se define como una coleccién indenada de variables aleatorias (X,), donde elindice rtoma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros no negatives mientras que X, representa una caracteristica de interés cuantificable en el tiempo f. Por ejemplo, X, puede representar los niveles de inventario al final de Ia semana t Los procesos estocésticos son de interés para describ el comportamiento de un sistema en ‘operacign durante algunos periodos. Un proceso estocdstico tiene la siguiente estructura Lacondicién actual del sistema puede estaren una de M + 1 categorias mutuamente excluyentes lamadasestados. Por conveniencia en la notacién, estos estados se etiquetan 0, 1,2... M. La674 CAPITULO 16 _CADENAS DE MARKOV variable aleatoria X, representa el estado del sistema en el tempo f, de manera que #48 tnicos valores posibles son 0, I, M. I sistema se observa en puntos del tiempo dados, etiquetados 1 = 0,1,2,... De esta forma, los procesos estocistcos (X,} = (Xp X; Xp ---) proporcionan ‘una representacién matemética de la forma en que evoluciona la condicin del sistema fisico a través del tiempo, Este tipo de procesos se conocen com procesos estocésticas de riempo discreto con espacio de estados fmt. Excepto en el caso dela seccién 16.8, ésteser4eltnico tip de procesos estoc’s- ticos que se estudiaré en este capitulo, (En la seccién 16.8 e describen ciertos procesos estocisticos 4 tiempo continuo.) Ejemplo de clima El clima en el pueblo de Centerville puede cambiar con rapidez de un dia @ otro, Sin embargo, las posiblidades de tener clima seco (sin Iluvia) maiana es de alguna forma mayor si hoy esté seco, es Aecir, sino Ilueve. En particular, la probabilidad de que mafianaesté seco es de 0.8 si hoy est seco, pero es de sélo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la informacién acerca del lima en los dias anteriores a hoy La evolucién del clima dia tras dia en Centerville es un proceso estacéstico, Si se comienza en algiin dfa inicial(etiquetado como dia 0), elclima se observa cada dia, para = 0,1,2,.. El estado del sistema en el dia puede ser Estado 0 = El dia res seco obien Estado 1 = El dia res luvioso Asi, para = 0, 1,2, ..., la variable aleatoriaX, toma los valores, _ [Os dia res seco [1 si dia res Movioso El proceso estocéstico {X,} = (Xp Xy, Xp ---) proporciona una representacién matematica 4e Ia forma en que evoluciona el clima en Centerville a través del tiempo. Ejemplo de inventarios Lationda de fotografia de Dave tiene el siguiente problema de inventario, El negocio tiene en alma- cn un modelo especial de cdmara que se puede solicitar cada semana. Sean D,, D,, ...represen- tan las demandas respectivas de esta cémara (el nimero de unidades que se venderitn si el inven- tario no se agota) durante la primera, segunda semanas... espectivamente, entonces, la variable aleatoria D, (para = 1,2,...)es _D, = némero de cémaras que se venderian en la semana si el inventario no se agota, (Este sndimero incluye las ventas perdidas cuando se agota el inventario.) Se supone que las D, son variables aleatorias independientes ¢ idénticamente distribuidas que tienen una distribucién Poisson con media de 1. Sea X, el mimero de cémaras que se tiene en el momento de iniciar el proceso, X, el nimero de cémaras que se tienen al final dela semana 1, X, cl nero de edmaras al final de la semana 2, etc. entonces la variable aleatoria X, (para t = 0, | 2... des rnimero de eémaras disponibles al final de Ia semana Suponga que X, = 3, de manera que la semana 1 se inicia con tes eémaras a mano. (%) = Xp od stun proceso estocéstico donde la variable aleatoria X, representa cl estado del sistema en el tiempo tasaber16.2_ CADENAS DE MARKOV ors Estado en el tiempo f = ntimero de edmaras disponibles al final de la semana t (Como propictario dels tienda, Dave desearia aprender més acerca de cémo-evoluciona este proceso estocéstico a uavés del tiempo mientras se utilice la politica de pedidos actual que se describe a continuacién, ‘Al inal de cada semana (sébado en la noche), la tienda hace un pedido que le entregan en el ‘momento de abrir la tienda el lunes. La tienda usa la siguiente politica para ordenas: SiX, = 0, ordena 3 cémaras, Si.X,> 0, no ordena ninguna cémata. En consecuencia, el nivel de inventarios fuctia entre un minimo de cero y un maximo de tres eé- ‘maras, por lo que los estadas posibles del sistema en el tiempo t (al final de la semana 1) son Estados posibles = 0, 1,2, 03 cdmaras disponibles. Como cada variable aleatoria X, (¢ = 0, 1, 2,...) representa el estado del sistema al final de la semana , sus tnicos valores posibles son 0,1, 2, 3. Las variables aleatorias X, son dependientes y se pueden evaluar en forma iterativa por medio de la expresién a frie Pr dh si xX, mix{X, = Dy 0) si X= 1, para t= 0,1,2, Estos ejemplos se usarén como ilustracién en muchas de las secciones que siguen, En la seccin 16.2 se define con mis detalle el tipo de procesos estocésticos que se analizar en este capitulo, 16.2 CADENAS DE MARKOV Bs necesario hacer algunos supuestos sobre la distribucién conjunta de X,, X,,... para obtener resultados analiticos. Un supuesto que conduce al manejo analitico es que el proceso estocsstico ces una cadena de Markov, que tiene la siguiente propiedad esencial: Se dice que un proceso estocdstico (X) tiene Ia propiedad markoviana si P(X... = IX, = ky f) = PUY, , = 1X, =f), para = 0,1... y toda sucesién 3. En palubras, esta propiedad markoviana establece que la probabilidad condicional de cualquier “evento” futuro dados cualquier “evento” pasado y el estado actual X, = i, es independiente de los eventos pasados y sélo depende del estado actual del proceso, Un proceso estocistico (X,}(F = 0, 1, es una cadena de Markov si presenta la propiedad markoviana Las probabildades condicionales P(X, ~ )X,~ ) de una cadena de Markov se llaman probabilidades de transicin (de un paso) para cada yj PU 1 = J1%, = 8) = POY = 51% i), para toda entonces se dice que las probabilidades de transicidn (de un paso) son estacionarias. As, tener pro- babilidades de transici6n estacionarias implica que las probabilidades de tansicién no cambian con el tiempo. La existencia de probabilidades de transici6n (de un paso) estacionarias también implica que, para cada i,j y n(n = 01,2, -. PUXsen = j1%, = i} = POG, = [1X = i) para todas = 0, 1, .. . Estas probabilidades condicionales se laman probabilidades de transicién den pasos.676 CAPITULO 16 _CADENAS DE MARKOV Para simplificar Ia notacién de las probabilidades de transicin estacionarias, sea Py = PUXie1 = j1X = 3) PO = PiXien = 11K = 8) Asi, las probabilidades de transici6n de n pasos p(” son simplemente la probabilidad condicional de quel sistema se encuentre ene estado jexactamente después de n pasos (unidades de tiempo), dado que comenzé en el estado ren cualquier tempor. Cuando n ~ 1 observe que p=, ‘Como las pt! son probablidades condicionales, deben ser no negativas y, como el proceso debe hacer una Wansicién a algin estado, deben satsfaer las propiedades para toda iy jn = 0,1,2 y Sp = 1 para toda isn =0, 1,2 ‘Una notacién conveniente para representar las probabilidades de transicin de m pasos es la matric de transicién de n pasos Endo 01 u teen) 1 op th po PB Rw | phe kt Observe que la probabilidad de transicin en un renglén y columna dados es lade Ia ransicién del estado en ese renglén al estado en la columna. Cuando n = 1, el superindice n no se escribe y se hhace referencia a ésta como una matriz de transicién. Las cadenas de Markov que se estudian en este capitulo tienen las siguientes propiedades: 1. Unsimero finito de estados, 2. Probabilidades de transicién estacionarias, ‘Tambien se supondré que se conocen las probabilidades iniciales P(X, =) para toda i Formulacién del ejemplo del clima como una cadena de Markov Enel ejemplo del clima que se present6 en la seccién anterior, recuerde que la evolucién del clima fa tas dfa en Centerville se ha formulado como un proceso estocéstico (X,) (f= 0, 1,2,-..) donde O si dia tes seco "| 1 si dia es luvioso P(X = O1X, = 0} = 08, PUX%e1 = 01K, = 1) = 06 Atin més, como estas probabilidades no cambian si también se toma en cuenta Ia informacién del clima antes del dfa de hoy (dia, P(X px = O1Xp = hoy Xp = Kay vos Xen = hese X = OF = P(Xey = 0X, = 0) PUK 1 = OLX = Roy Xp = Ras Kea = heats Xi = UP = P(X ies = OLX, = 1) Pusan = Op es P(X, = IK, =i), que ex igual a1 cuando (= jy 64 O cuando i #i atrvocomeCaryaiteta tea) ‘Merrill Lynch es una firma lider en servicios integrales fi- rancieros que brinda servicios de conetaje, de inversiones y bancarios a clientes al menudeo y a pequefios negocios a la vez. que ayuda a las grandes corporaciones ¢ instituciones alzededor del mundo a formar capital, Uno de los afliados de Merrill Lynch, Merrill Lynch (ML) Bank USA, cuenta con activos por mis de 60 000 millones de détares obtenidos me- diante la aceptacién de depésitos provenientes de los clientes al menudeo de Merrill Lynch a los que utiliza para financiar préstamos y realizar inversiones. En el aio 2000, ML Bank USA comenzé a otorgar ineas de crédito revolvente a sus clientes corporativos, En cosa de uunos ais, el banco habfa desazrollado un portafolios de al rededor de 13 000 millones de délares en compromisos de lineas de crédito con mis de 100 instituciones. Antes de llegar aeste punto, se le solicit al eficiente grupo de investigacién de operaciones guiar a los administradores de éste cada vez ins grande portafolios mediante el uso de téenicas de investi gaciéa de operaciones con el fin de evaluar el riesgo de liqui- ddez (situacién que consiste en que el banco no pueda cumplir con sus obligaciones de dinero en efectivo) asociado con sus obligaciones de linea de erédito actualesy en el futuro, El grupo de investigacién de operaciones desarroll6 un ‘modelo de simulacién (el tema del capitulo 20) con este obje- tivo, Sin embargo, el més importante potencial de este modelo consiste en una cadena de Markov que describe Ia evolucién del valor del crédito de cada cliente a wavés del tiempo. Los estados de I cadena de Markov son los diferentes valores po- sibles del crédito (que varian desde la inversion mds alta hasta 1a inversién por omisién) que se le asignan a las principales compas a través de agencias de clasificacién de créditos como Standard and Poor's y Moody's. La probabilidad de transicién desde el estado /hastaeljde 1a matriz de transicién dena determinada compasfa se define como la probabilidad de que la agencia de clasficacién de créitos cambie la clasi- ficacion de la compaifa del estado ial j de un mes a otro con base en los patrones histéricos de compafias similares Esta aplicacién de Ia investigacién de operaciones (in- cluyendo las cadenas de Markov) permitié a ML Bank USA liberar alrededor de 4 000 millones de délares de liquide ara utlizarlos en otra cosa, asi como también expandir st portafolios de compromisos en lineas de cxédito mis de 60% ten menos de dos afios, Otros de las beneficios que se abtuvie- ron.a parti de dicho estudio fueron la capacidad para evaluar scenarios muy riesgosos y llevar a cabo la planeacign a lar- 0 plazo, Este sorprendente trabajo hizo que Merril Lynch se hiciera merecedora del prestigiade Premio Wagner para la Excelencia en la Préctica dela Investigacion de Operaciones en 2004, Fuente: Dufly. 7, M. Hatzakis, W.Hsu, R. Labe, B. Liao, X. Luo, J.Oh,A. Setya y, Yang: “Metill Lynch Improves Liquidity Risk Management for Revolving Credit Lines", en Interfaces, 35(5) 353-869, septiembre-octubre de 2005, (En el sitio en internet de cxte bro —wwwmbhe com/iller— se proporciona una liga ha- cia este artfculo) ————_—_ SSS A para =0,1,...y toda sueesién hy ky, deben cumplizse si X, 0 se reemplaza con X,., = 1, (La razén es que los estados 0 y 1 son mutuamente excluyentes ¥y son los inicos estados posibles; por ende, las probabilidades de los dos estados deben sumar 1) Por lo tanto, el proceso estovistico tiene la propiedad markoviana, lo que lo convierte en una cadena de Markov. Si se usa la notacién que se introdujo en esta seccin, las probabilidades de wansicién (de un Estas ecuaciones tambi paso) son Poo = P(X Pio = PIX, para toda r= 1,2, ..., porlo que éstas son las probabilidades de transicién estacionarias. Ade- Poo + Por = 1 entonces pay = 1-08 = 0.2 Prot Pi = 1 entonces py, = 1-06 = 04, Por lo tanto, la matriz de transicién es Estado 0 1 Estado 0 1 P © {P00 Pos ofos 0, 1 {pio Pas 1fo6 o4 donde estas probabilidades de transicién se refieren a a transici6n del estado del renglén al estado de lacolumna. Tenga en mente que el estado 0 hace teferencia a un dia seco, mientras que el estado I significa que el df es Iluvioso, asf que estas probabilidades de transicién proporcionan la proba- bilidad del estado del clima el dia de masana, dado el estado del clima del dia de hoyome CAPITULO 16 _CADENAS DE MARKOV 1m FIGURA 16.1 Diagrama de transicién de estados del ejemplo del cima, “ (*) ©) “ 06 El diagrama de transicién de estado de la figura 16.1 presenta de manera grifica la misma informacién que proporciona la mattiz de transicién. Los nodos (circulos) representan los dos estados posibles del clima, mientras que las lechas muestran las transiciones posibles de un dia al siguiente (se incluye la opcidn de regresar al mismo estado). Cada una de las probabilidades de twansicidn se escribe a continuacién de la flecha correspondiente Las matrices de transicign de m pasos se presentarn en la siguiente seccién, Formulacién del ejemplo de inventarios como una cadena de Markov Sie regresa al ejemplo deinventarios que se desarroll6 en la seccién anterior, recuerde que X, es el rnimero de cémaras en almacén al final de la semana t (antes de ordenar mis), donde X, representa cl estada del sistema en el tiempo t (el fin de la semana f). Dado que el estado actual es X, = 4 Ja expresién al final de la seccin 16.1 indica que X,,. depende sélo de D,,. (Ia demanda en la semana + 1) yX, Como X,, es independiente de la historia del sistema de inventarios antes del tiempo 1, el proceso estocéstico {X,) (f= 0, 1,...) tiene la propiedad markoviana y por lo tanto cs una cadena de Markov. ‘A continuaci6n se verd cOmo obtener las probabilidades de transici6n (de un paso), es decir, Ios elementos de la matric de transicién (de un paso) Estado 0 1 2 3 © [co Por Por Pos 1 [pe pu Pe Pav 2 |p pa Pr Pr 3 [pw pu Pas Pas dado que D,.., iene wna distribuci6n Poisson con media de 1. Entonces, Poy =n) = param =0, 1, por lo que (expresando con tres digits siniicativos se tien, P(Dpoy = 0) = €7! = 0.368, PD PDs P(Dpy = 3) = 1 = Pens = 2} = — (0.368 + 0.368 + 0.184) = 0.080. Parael primerrenglén de P se trata de la transicién del estado X,= Oa agin estado X,,,.Como se indica al final de la seccién 16.1, Xie = mix(3— Dj. 0) si X= 0.16.2_ CADENAS DE MARKOV 679 Por lo tanto, para la transicién a X,, Pos = P{Dyx1 = 0) = 0.368, Poo = P{D js = 1) = 0.368, Por = P(Dyy = 2} = 0.184. 0X4, =20X, Una transicién de X,~ 0 a X,,, = 0 implica que la demanda de cmaras en Ia semana 1 + 1 es 3 ‘o mis, después que Se agregaron tes cdmaras al inventario agotado al principio de la semana, de ‘manera que Poy = P(D,,, = 3) = 0.080. En el caso de los otros dos renglones de P, la f6rmula al final de la secci6n 16.1 del siguiente estado es Xp = mix (X= D0) si KEL Esto implica que X,,, = X,entonces, py ~ 0, pj, ~ Oy Py, ~ 0. En el caso de las otras tran Pu = P{Dyy, = 0) = 0.368, Pio = PlDis =) =~ (Des: = 0) = 0.632, Pas = PADyy1 = 0} = 0.368, Pat = PAD, = 1) = 0.368, Bro = PD yy = 2} = 1 = PDyo = 1) = 1 = (0.368 + 0,368) = 0.264. Enel sltimorenglén de P, la semana? + 1 comienza con tes cémaras en inventarioy los céleu- los de las probabilidades de transicién son exactamente los mismos que las del primer fengl6n, En consecuencia, la matriz de transicién completa (expressindola con tes digitos significativos) es Esado 0 91 2 3 0 [0.08 0.184 0368 0.368 1}0632 0368 0 0 2] 0.264 0.368 0.368 0 3 [0080 0.184 0368 0.368 La informacién que proporciona la matriz de transicién también se puede describir mediante el diagrama de transici6n de estados de la figura 16.2. En el diagrama, Ios cuatro estados posibles del niimero de edmaras que se tienen al final de la semana se representan por medio de los cuatro 1nodos (citeulos). Las flechas muestran las transiciones posibles de un estado a otto 0, en ocasiones, 1m FIGURA 16.2 Diagrama de transici6n de estados del ejemplo de inventariosCAPITULO 16 _CADENAS DE MARKOV de regreso al mismo estado, cuando la tienda de cémaras transita del final de una semana al final de Ia siguiente. El ndmero junto a cada fecha proporciona la probabilidad de que ocurra esa transici6n cn particular cuando la tienda de emaras tiene el estado que est en Ia base de la flecha, Ejemplos adicionales de cadenas de Markov Ejemplo de acciones. Considere el siguiente modelo del valor de una accign, Al final de ua da ado se registra el precio, Si la accién subi6, la probabilidad de que suba mafana es de 0.7. Si la accién baj6, la probabilidad de que suba mafana es de sélo 0.5, (Para simplifica, cuando la acci6n ‘permanezea con el mismo precio se considerard un aumento.) Estaes una cadena de Markov, donde ls estados posibles de cada dia son los siguientes: Estado 0: Bl precio de la accién subié este dia Estado I: El precio de la accign bajé este dia, La matriz de transicién que muestra cada probabilidad de ir desde un estado particular hoy hasta un estado particular maiiana, esti dada por Estado 0 1 ofo7 03 ilos os. La forma del diagrama de transicin de estado de este ejemplo es exactamente la misma quela el ejemplo 16.1, porlo que no se repetiré aqui. La inica diferencia radica en que las probabilidades dde twansicién en el diagrama son ligeramente diferentes (0.7 reemplaza a 0.8, 0.3 reemplaza a 0.2 yO. reemplaza a0.6 y 0.4¢en la figura 16.1). P Segundo ejemplo de acciones. Suponga ahora que el modelo del mercado de acciones se ‘eambia de manera que el hecho de que una accién suiba mafiana depende de que haya subide hoy y ayer. En particulay sila accién subié los dos das, ayer y hoy, la probabilidad de que suba maiiana es de 0.9. Sila acci6n subis hoy pero ayer bajé, la probabilidad de que mafiana suba es de 0.6, Sila accién bajé hoy pero ayer subié, la probabilidad de que mafiana suba cs de 0.5, Por iltimo, si bajé durante estos dos dias, a probabilidad de que maiiana suba es de 0.3. Si se define el estado como la representacién del hecho de que la accién baje 0 suba hoy, el sistema ya no es una cadena de Markov, Sin embargo, se puede transformar en una de ellas si se definen los estadas como sigue:* Estado 0: la accién auments hoy y ayer. stado I: Ia accién aument6 hoy y ayer bai. Estado 2: accién baj6 hoy y ayer aument6, Estado 3 la accién baj6 hoy y ayer. Estos datos conducen a una cadena de Markov de cuatro estados con la siguiente matriz de tran- sicién: Estado 0 1 20 3 ofos 0 o1 0 1]os 0 04 0 alo os o os slo 03 0 07 La figura 16.3 muestra el diagrama de transicin de estado de este ejemplo. Una caracteristica interesante del ejemplo que revela este diagrama y todos los valores de O de la matriz. de transi- ci6n es que gran parte de las transiciones del estado ial json imposibles en un sole paso, En otras palabras, p, = O para 8 de las 16 entradas de la matriz de wansicién. Sin embargo, observe cémo ‘De avevo se considers un dscento cuando] nivel de inventzioe se mation gui. Exe cemplodemtera qe las cadena de Mackov poeden incorpra na cactide rbitrata de ister pero a coma de mmenar ca forma sigaieativa tlmero de estado1m FIGURA 16.3, Diagrama de transicién de estado para el segundo ejemplo de inventarios 16.2_CADENAS DE MARKOV 681 De siempre es posible ir de cualquier estado ia cualquier estado j (incluyendo j = #) en dos pasos. Lo mismo es vlido en el caso de tres pasos, cuatro pasos, ee, Por lo tanto, p> O para n = 2.3, para today Ejemplo dejuego. Otro ejemplo serefiereal juego, Suponga que un jugadortiene | délary que cada jugada gana 1 délar con probabilidad p > 0 0 pierde I délar con probabilidad 1 - p > 0. El juego termina cuando eljugador acumula 3 délares 0 cuando quiebra, Este modelo es una cadena dde Markov en la que los estados representan Ia fortuna del jugador, estoes, 0, 1,20 3 délates, con Innvattz de tansicién dada por Esado 0 12 of 1 0 oOo ifi-p 0 ° Pp P P 2] 0 1-p 0p sLo 0 o1 El diagrama de transicién de estado de este ejemplo se muestra en la figura 16.4. Dicho diagrama demuestra que una vez que el proceso entra aun estado 00 3, permanecerd en esc estado indefinidamente, puesto que pia = 19 pys = 1-Los estados Oy 3 son ejemplos de lo que se conoce como estado absorbente (un estado que nunca se deja una vez que el proceso entra en él), Nos enfocaremos en el andlisis de los estados absorbente en Ia seccién 16.7. ‘Observe que tanto en el ejemplo de inventario como en el del jugador, las etiquetas numéricas de los estados que alcanza el proceso coinciden con la expresién fisica del sistema, es decir, los niveles de inventario realy la fortuna del jugador, respectivamente, mientras que las etiquetas nu méricas de los estados en el ejemplo de la accién no tienen significado fisico, mI FIGURA 16.4 Diagrama de transicion de estado de un ejemplo de juegos 1 rc XCAPITULO 16 _CADENAS DE MARKOV 16.3 ECUACIONES DE CHAPMAN-KOLMOGOROV En la seccién 16,2 se introdujo Ia probabilidad de transicién de n pasos p\. Las ecuaciones de ‘Chapman-Kolmogorov proporcionan un método para calcular estas probabilidades de transiciGn den pasos: Py = Sel py”, para toda i = 0, 1 J= 01 y cualquier m= 1, 2, nami lms2..8 Estas ecuaciones simplemente sefialan que al ir del estado ial estado j en n pasos el proceso estarden algin estado k después de exactamente m (menor que n) pasos. Asi, p{ pi" es s6lo la probabilidad condicional de que, si comienza en el estado i el proceso vaya al estado k después ‘de m pasos y después al estado jen n ~m pasos. Por lo tanto, al resumir estas probabilidades con- dicionales sobre todos os estados posibles kse debe obtener p". Los casos especiales de m = 1 y m= n= conducen a las expresiones ‘ ott = 5 pao ‘para todos los estados i y j. Estas expresiones permiten que Ins probabilidades de transicién de n pasos se puedan obtener a partir de ls probabilidades de transiciGn de un paso de manera recursiva. Esta telacién tecursiva se explica mejor con la notacién matricial (vea el apéndice 4). Para n = 2, estas expresiones se convierten en PP =S papye para todos ls estas iy donde las p{ son los elementos dela matriz P". También note que estos elementos se obtienen al smultiplicar la matriz de transicién de un paso por s{ misma; esto es, PO = Pe P= PP De ta misma manera, las expresiones anteriores de pl cuando m = Ly m= n— 1 indican que la ‘matriz de probabilidades de transicign de n pasos es PO = pend = por bp = ppt! = pip pr Enlonces, la matrz de probabilidades de transicin de m pasos P* se puede obtener al caleular la rnésima potencia de la matriz de transicién de un paso P. Matrices de transicién de n pasos del ejemplo del clima En el caso del ejemplo del clima que se presents en la seccién 16.1, ahora se usarén las férmulas anteriores para calcular las diferentes matrices de wansicién de n pasos a partic de la matuiz de transicién P (de un paso) que se obtuvo en la seccién 16.2. Para iniciar, la matriz de transicién de dos pasos es poop p- [08 02] [os oz [t% 024 06 04] los o4| [072 028 "naa ceuneones bia se cumplen en l eto teival, cuandom = Oom = m,perom = 1,2,.. «n= 1 senor dnicos caso de interés,16.3 _ECUACIONES DE CHAPMAN-KOLMOGOROV ous Asi, sielclima est en el estado 0 (seco) en un dfa particular, la probabilidad de estar en el estado 0 dos dias después es 0.76, por lo que la probabilidad de estar en el estado 1 (tuvia) es 0.24 En forma similar, si el clima estd en el estado 1 ahora, la probabilidad de estar en el estado 0 dos dias después es 0.72 mientras que la probabilidad de estar en el estado | es 0.28, Las probabilidades del estado del clima tres, cuatro o cinco dias a futuro también se pueden leer de la mismna forma a part de las mattices de transicin de tres, cuato y cinco pasos que se calculan con tres digitos signficativos a continuacién. 08 02][0.76 0.24] _ [0.752 0.248 06 04]|o72 028|~ 0744 0.256 08 0752 0.248] _ [0.78 0.25 06 040.744 0.256 Po =P pO opiapepe lo79 0.251 9 = ps 08 02]/075 025 )_fo75 028 roawarer [0 Gallons o2si]~[ozs 02s Observe que la matriz de transicién de cinco pasos tiene la interesante caracteristica de que los dos renglones poseen elementos idénticos. Ello releja el hecho de que la probabilidad del clinsa aque estd en un estado particular es en esencia independiente del estado del clima cinco dias antes, Por lo tanto, las probabilidades de cualquier renglén de esta matriz de transicién de cinco pasos se denominan probabilidades del estado estable de la cadena de Markov. ‘Mis adelante se hard un estudio més profundo de las probabilidades del estado estable de una cadena de Markov, donde se ineluye cémo obtenerlas de un modo més directo, al inicio de la seccin 16.5 Matrices de transicién de n pasos del ejemplo de inventarios Denuevoen el ejemplo de inventatios,incluido en la seceién 16.1, caleularemos ahora sus matrices de tansicin den pasos con tes digitos decimales con n = 2, 4y 8. Para comenzar, su matriz de twansicién de un solo paso P que se obtuvo en la secvién 16.2 puede usarse para obtener la matriz de transicién de dos pasos P” dela siguiente forma 0.080 0.184 0.368 0.368] [0.080 0.184 0.368 0.368 0.632 0368 0 0 © | Joe32 0368 0 0 0.264 0.368 0368 0 | ]0264 0368 0.368 0 0.080 0.184 0.368 0.368] [0.080 0.184 0.368 0.368, pO =p 0.249 0.286 0.300 0.165 0.283 0.252 0.233 0.233 0351 0319 0.233 0.097 0.249 0.286 0300 0.165 Porejemplo, dado que se tiene una cémaraen existencial final dela semana, laprobabilidad de que ro haya cmaras en inventario dos semanas después es de 0.283, esto es p.® = 0.283. De manera similar, dado que se tienen dos cémaras al final de una semana, Ia probabilidad de que haya tres cmaras en inventario dos semanas después es de 0.097; esto es, p,? = 0.097 ‘La matriz de tansivion de cuatro pasos también se puede obtener de la siguiente manera Po = pte pe. par 0249 0,286 0,300 0.165) [0.249 0.286 0,300 0.165 0.283 0.252 0.233 0233] ]0.283 0.252 0.233 0.233 0351 0319 0.233 0.097] 0351 0319 0.233 0.097 0.249 0.286 0.300 0.165] Lo249 0.286 0.300 0.165 0.289 0.286 0.261 0.164 0.282 0.285 0.268 0.166 0.284 0.283 0.263 0.171 0.289 0.286 0.261 0.164CAPITULO 16 _CADENAS DE MARKOV Por ejemplo, dado que queda una cmaraalfnal de una semana, 0.282 es la probabilidad de que no haya cimaras en inventaio cuatro semanas més tarde: es devt p(t ~ 0.282. De igual manera, dado que quedan dos cimaras ene] almacén al final de cert stata, s ine una probabiidad 420.171 de que haya tes cémaras en el slmacén custo semanas después esto es, = 0.171 Las probabilidads de ransiign del nimero de cémaras en inventario dentro de ocho semanas se puede ler de In mista forma a pat de a matiz de transicign de ocho pasos que se calcula a pO = pre po. po (0.289 0.286 0.261 0.164] [0.289 0.286 0.261 0.164 0.282 0.285 0.268 0,166} |0.282 0.285 0.268 0.166 ~Jo28s 0.283 0.263 0.171] /0.284 0.283 0.263 0.171 0.289 0,286 0.261 0.164} [0.289 0.286 0.261 0.164 Bsado 0 1 2 3 0 [0.286 0.285 0.264 0.166 1]0.286 0.285 0.264 0.166 2/0286 0.285 0.264 0166 3 [0.286 0.285 0.264 0.166 De igual modo que en la matriz de tansicién de cinco pasos del ejemplo del clima, esta matriz tiene la interesante caracteristica de que sus renglones tienen clementas idénticos. De nuevo, la razé6n es que las probabilidades en cualquier renglén son las probabilidades del estado estable de esta cadena de Markov, ex decir, las probabilidades del estado del sistema después de un tiempo suficiente han legado a un punto en el que el estado inicial ya no es relevant Enel JOR Tutorial se incluye una rutina para calcular P™ = P* para cualquier entero positive n=99, Probabilidades de estado incondicionales Recuerde que las probabilidades de transicién de uno o de n pasos son probabilidades condicio- rales; por ejemplo, P(X, ?. Se supone que mes lo suficientemente pequesia como para que estas probabilidades todavia no sean las del estado estable. En este caso, si se desea la probabilidad incondicional P{X, = j), es necesario que se especifique la distribucin de probabi- lidad del estado inicial,o sea, p(X, = #) para = 0,1, . ...M.Bntonces P(X, =f) = PUXo = 0} pp + P(X = php + PX = Mp Enel ejemplo de inventarios e upuso que al inicio se contaba con tes unidades en inventatio es decir,X, = 3. Ash, P(X, = 0) = P(X, = 1) = P(X, = 2} = Oy P{X, = 3) = 1 Porlo tant, la probabilidad (incondicional) de que haya tres cémaras en inventatio das semanas despues de que el sistema se puso en marcha es P(X, = 3} = (Ip? = 0.165. 16.4 CLASIFICACION DE ESTADOS EN UNA CADENA DE MARKOV Acabamos de ver en la parte final de Ia seccién anterior que las probabilidades de transicién de nm pasos del ejemplo del inventario convergen hacia las probabilidades del estado estable después de tun niimero de pasos suficiente. Sin embargo, esto no es vélido para todas las cadenas de Markov Las propiedades a largo plazo de una cadena de Markov dependen en gran medida de las caracte- Histicas de sus estados y de la matrz de transicin, Para describir con mas detalle las propiedades de una cadena de Markov es necesario presentar algunos conceptos y definiciones que se refieren estos estades, Se dice que el estado jes accesible desde el estado i sip” > 0 para alguna n = 0. Recuerde aque pi es sélo la probabilidad condicional de llegar al estado j después de n pasos, sel sistema estén el estado i.) Entonces, que el estado j sea accesible desde el estado i significa que es posible ue el sistema llegue finalmente al estado j si comienza en el estado i. Esto es particularmente vi.16.4 CLASIFICACION DE ESTADOS EN UNA CADENA DE MARKOV. oes lido para el ejemplo del clima (vea la figura 16.1) puesto que p, > 0 para toda iy j. Enel ejemplo de inventarios (vea la figura 16.2), p,'® > 0 para todo iy j de manera que cada estado es accesible desde cualquier otro estado. En general, una condicién suficiente para que todos los estados sean accesibles es que exista un valor de » para el que p\"” > 0 para todo iy j. Enel ejemplo del juego que se present6 al final de la seccidn 16.2 (vea la figura 16.4), el estado 2 noes accesible desde el estado 3, Esto se puede deducir del contexto del juego (una Vez que el jugador Ilega al estado 3 nunca lo deja), lo que implica que p_) = 0 para toda n = 0. Sin embargo, aun cuando el estado 2 noes accesible desde el estado 3, el estado 3 sf es accesible desde el estado 2 puesto que, con n = 1, lamatriz de transicin del final de la seecién 16.2 indica que p,, = p > 0. Sil estado jes accesible desde el estado iy el estado ies accesible desde el estado j enton- ces se dice que los estados iy j se comunican. En el ejemplo de inventarios, todos los estados se comunican. En el ejemplo del juego, los estados 2 3 no se comunican, En general: 1. Cualquier estado se comunica consigo mismo (porque p\® = P(X, = i|X, = i) = 1). 2. Siclestado i se comunica con el estado j, entonces el estado j se comunica con el estado i 3. Sielestado se comunicaconel estado jy éste conel estado k, entonces el estado se comunica ‘con el estado k Las propiedades 1 y 2 se deducen de la detinicién de estados que se comunican, mientras que la propiedad 3 se deriva de las ecuaciones de Chapman-Kolmogorov. ‘Como resultado de estas propiedades de comunicacién se puede hacer una particién del es- pacio de estados en clases separadas, donde se dice que dos estados que se comunican pertenecen ‘la misma clase, (Una clase puede consistiren un solo estado.) Si existe s6lo una clase, es deci, si todos los estados se comunican, se dice que la cadena de Markov es irreducible. Tanto en clejemplo del clima como en el de inventarios, la cadena de Markov es irreducible, En el primer ejemplo de las acciones (seccién 16.2), la cadena de Markov también es irreducible, El ejemplo del juego contiene tres clases; el estado 0 forma una clase, el estado 3 forma outa y los estados 1 y 2 forman una tercera clase Estados recurrentes y estados transitorios Con frecuencia es tii saber si un proceso que comienza en un estado regresaré alguna vez. él. La siguiente es una posibilidad, Un estado se ama estado transitorio si, después de haber entrado a este estado, el proceso ‘nunca regresa a 6. Por consiguiente, el estada i es trasitorio sy slo si existe un estado j (/# 0 que es accesible desde el estado i, pero no vicevers, esto es, cl estado ino es accesible desde el estado Asi, si el estado i es transitorio y el proceso visita este estado, existe una probabilidad positiva (quiz incluso de 1) de que el proveso se movers al estado jy nunca regresaréal estado i. En conse- ccuencia, un estado transitorio sera visitado s6lo un nimero fnito de veces, Para ilustrar lo anterior, considereel ejemplo del juego que se present6 al final de la seccién 16.2. Su diagrama de transici6n de estado que se muestra en la figura 16.4 indica que ambos estados (1 y 2) son ansitorios ya que el proceso los abandonars tarde o temprano para entrar al estado 0 0 al 3 y, después, permanecerd en dicho estado de manera indefinida ‘Cuando se inicia en el estado i, otra posibilidad es que el proceso definitivamente regrese a ese estado, Se dice que un estado es reeurrente si, después de haber entrado a este extado, el proceso defi nitivamente regresard a ese estado, Por consiguiente, un estado es recutrente si y s6l0 si no es ‘Como un estado recurtente seré visitado de nuevo después de cada visita, podria ser visitado ‘un ntimero infinito de veces si el proceso continuara por siempre. Por ejemplo, todos los estados en los diagramas de transicién de estado que se muestran en las figuras 16.1, 16.2y 16,3 son estados recurrentes debido a que el proceso siempre regresaré a cada uno de ellos. Inclusive en el ejemplo del juego, los estados 0 y 3 son recurrentes debido a que el proceso se mantendré regresando de ‘manera inmediata a ne de estos estados en forma indefinida, una vez que el proceso haya entrado a ese estado. Observe en la figura 16.4 cémo finalmente el proceso entrar a cualquiera de los estados Oy 3 y, después, ya nunca los abandonaré,CAPITULO 16 _CADENAS DE MARKOV Siel proceso entra en cierto estado y permanece en é1al siguiente paso, se considera un regreso aaese estado. En consecuencia, el siguiente tipo de estado se considera un tipo especial de estado recurrente, Un estado se Hama estado absorbente si, después de haber entrado abi, el proceso munca saldra de dl, Por consiguiente, el estado ies un estado absorbent sy slo sip, = 1. Como se acaba de mencionar, tanto el estado 0 como el 3 del ejemplo del juego estén de acuerdo con esta defiicién, por lo que ambos son estados absorbentes,as{ como también un tipo especial de estado recurrente. En la seccién 16.7 se estudiarin los estados absorbentes con mis detalle. ‘La recurrencia¢s una propiedad de clase, Es decir, todos los estados de una clase son re rrentes son transitorio. Més atin, en una cadena de Markov de estado finito, no todas los estados pueden ser transitorios. Bntonces, todos los estados de una cadena de Markov de estado finito ie ducible son recurrentes. Sin duda, se puede identificar una cadena de Markov de estado finito inreducible(y, porlotanto,concluirque todoslosestados sonrecurrentes) demostrando que todos!os estados del proceso se comunican. Ya se hizo notar que una condicién sufciente para que todos Jos estados sean accesibles(y, por lo tanto, se comuniquen tnos con olros) es que exista un valor de n para el cual p> 0 para toda iy j En este contexto, todos los estados del ejemplo de inven: tarios(vea la figura 16.2) son recurrentes, puesto que pes postiva para toda iy j. De manera parecida, el primer ejemplo sobre las acciones contiene s6lo estados recurrentes, puesto que pes positiva para toda iy j. Cuando se calcula p para toda iy en el segundo ejemplo de acciones de la seccign 16.2 (wea la figura 16.3) se concluye que todos lo estados son recurrentes porque pi? > 0 para toda ty ‘Como otro ejemplo, suponga que un proceso de Markov iene Ia siguiente matrix de transi Estado 0 34 ° 00 1: 00 2/0 00 slo 20 ali 00 Observe que el estado 2 es absorbent (y, por lo tanto, recurrent), porgue sie proceso entra en él (Gercerrenglén de la matriz), nunca sale, El estado 3 es transitorio porque una Vez que el proceso se encucntra en él, existe una probabilidad positiva de nunca regresar. La probabilidad de que €l proceso vaya del estado 3 al estado 2 en el primer paso es $. Si el proceso esté en el estado 2, permanece en ese estado, Cuando el proceso deja el estado 4, nunca vuelve, Los estadas Oy 1 son recurrentes. Para omprobar todo lo anterior, observe en P que sie proceso comienza en cualquier de estos estados, nunca sale de ellos. Ain més, cuando el proceso se mueve de no de estos esados al oto, siempre regresa al estado original Propiedades de periodicidad (tra propiedad itil de las cadenas de Markov es Ia de periodicidad. El periodo de un estado i se define como el entero 1 (# > I) sip” = 0 para todos los valores de m distintos de #, 21.31, ....¥# ces el entero més grande con esta propiedad. En el problema del juego (Lin de la seecién 16.2), al comenzar en el estado 1, es posible que el proceso entre l estado I sélo en los tiempos 2,4, . en cuyocaso se dice que elestado 1 tiene periodo 2. Esto es evidente si se observa que el jugador puede salira mano (ni ganar ni perder) sélo en los tiempos 2,4, ..., lo que se puede verificar sise calcula if para toda n y se observa que pf) = 0 para m impar. También es posible veren la figura 16.4 que el proceso siempre toma dos pasos para regresar al estado I hasta que el proceso es absorbido en cualquiera de los estados 0 0 3. (La misma conclusién también se aplica al estado 2.) Si existen dos mimeros consecutivos s y s + 1 tales que el proceso puede encontrarse en el estado fen los tiempos sy s + 1, se dice que el estado tiene periodo 1 y se lama aperidico. Igual que Ia recurrencia es una propiedad de clase, se puede demostrar que la periodicidad también loes. Estos, siel estado /de uns clase tiene periodo r, todos los estados de esa clase tienen16.5 _PROPIEDADES A LARGO PLAZO DE LAS CADENAS DE MARKOV 687 periodo 1, En el ejemplo del juego, el estado 2 tiene periodo 2 porque esta en la misma clase que el estado 1 y, como se vio, el estado I tiene periodo 2 Es posible que una cadena de Markov tenga tanto una clase de estados recurrentes como una de estados transilorios donde las dos clases tienen diferentes periodos mayores que 1. Si el lector desea ver una cadena de Markov donde se presente esta situacién, otro ejemplo de este tipo se proporciona en la seccién Worked Examples del sitio en internet de este libro. En una cadena de Markov de estado finito, los estados recurrentes aperiédicos se laman ergé: icos. Se dice que una cadena de Markov es ergédica sitodos sus estados son erg6dicos. En seguida se Vers que una propiedad clave a largo plazo de una cadena de Markov que es tanto irreducible como ergédica es que sus probabilidades de transicin de n pasos convergirén 8 las probabilidades del estado estable conforme n se haga més grande, 16.5 PROPIEDADES A LARGO PLAZO DE LAS CADENAS DE MARKOV Probabilidades de estado estable Mientras se calculaban las matrices de transicidn de n pasos de los ejemplos del clima y de in ventarios en la seccién 16.3, se observ6 una caracteristica interesante de estas matrices. Sin es lo suficientemente grande (n = 5 enel ejemplo del clima y n = 8 en el ejemplo de inventarios), todos los renglones de la matriz tienen elementos idénticos, lo que significa que la probabilidad de que cl sistema esté en cada estado j ya no depende del estado inicial del sistema, En otras palabras, parece que existe una probabilidad limite de que el sistema se encuentre en el estado j después de lun aimezo grande de transiciones, y que esta probabilidad es independiente del estado inicial. En realidad, estas propiedades del comportamiento a largo plazo de un proceso de Markov de estado finito se cumplen en condiciones relativamente generales, como se resume a continuaci6n, Para una cadena de Markov ireducible ergédica el limp existe yes independiente de i ‘Asin ms, lim pi = 7) >0, donde las, stisfacen de manera nica las siguientes ecuaciones de estado estable eS mp paray= OM, Swat ‘Siusted prefieretrabajarcon un sistemade ecvaciones en forma matricial, este sistema (excluyendo Inecuacién sum = 1) también puede expresarse como P. donde = (5. Las se liaman probabilidades de estado estable de la cadena de Markov. El témino pro babilidad de estado estable significa que la probabilidad de encontrar el proceso en cierto estado, por ejemplo j, después de un mimero grande de transicionestiende al valor yy es independiente de la distibucién de probabilidad inicial detnida para los estados. Es importante observar que 1a probabilidad de estado estable no significa que el proceso se establezca en un estado. Por el contratio, el proceso continsa haciendo transiciones de un estado a otro y en cualquier paso nla probabilidad de transiign del estado ial estado jes todavta , ‘También se puede interpretarlas 1, como probabilidadeséstacionarias (que no debenconfun- dirse con ls probabilidades de transcinestacionaias) en el siguiente sentido Sila probabilidad incial de encontarse en estado j esti dada por (esto es, P(X, = j) = 7) para toda j, entonces 1a probabilidad de encontrar el proceso en el estado jen el tiempo n = 1,2... tambisn esté dada por 7, (es decir, P(X, =} = 7).CAPITULO 16 _CADENAS DE MARKOV Debe observarse que las ecuaciones de estado estable consisten en M + 2 ecuaciones con ‘M+ 1 incégnitas. Com el sistema tiene una solucién nica, al menos una de las ecuaciones debe ser redundante, por lo que se puede eliminar. No puede ser la ecuacién Sek como a, ~ Opara toda stsfria las otras M +1 ecuaciones. Aén mis a soluciones dels otras ‘M + 1 ecuaciones de estado estable tienen una solucién nica con una constante multiplicativa y es la ecuaci6n final la que fuerza la solucién a ser una distribucién de probabilidad, Aplicacién al ejemplo del clima. El ejemplo del clima que se introdujo en la secci6n 16.1 y se formulé en la seccién 16.2 tiene s6lo dos estados (seco y Ilwvioso), por lo que las ecuaciones anteriores de estado estable se convierten en = Tapoo + mio: m= Mapes + MPs lam +m Loquese intuye detrs dela primera ecuacién es que, enel estado estable, la probabilidad de quedar enel estado 0 después de Ia siguiente transici6n debe ser igual a1) la probabilidad de estar en el estado 0 ahora y luego permanever en el estado 0 despues de la siguiente transicién més 2) la proba: bilidad de estar en el estado I ahora y luego hacer la transii6n al estado 0. La légica de la segunda ecuacién es la misma, sélo que esté en términos del estado 1. La tercera ecuacién sélo expresa cl hhecho de que las probabilidades de estos estados mutuamente excluyentes deben sumar 1 En referencia a las probabilidades de transicién de la seccién 16.2 de este ejemplo, estas, ecuaciones se convierten en Fo = 08m, +0.6m, asl 0.2m) = 0.6m, m= 02m) +04m, as 0.6m, = 0.2m, lam tm Observe que una de las dos primeras ecuaciones es redundante puesto que ambas ecuaciones se reducena 7, = 317, Alcombinar estos resultados con latercera ecuacién se producen de inmediato las siguientes probabilidades de estado estable: To = 028, my = 0.95 Estas son as mismas probabilidades que las que se obtavieron en cada renglén de la matriz de cinco pasos que se calculé en la seccién 16.3, debido a que cinco tansiciones probaron ser suficientes para que las probabilidades de estado sean en esencia independientes del estado inicial Aplicacién al ejemplo de inventarios. El ejemplo de inventarios que se introdujo en la seecién 16.1 y se formulé en la seccién 16.2 tiene euatro estados. Por lo tanto, las ecuaciones de estado estable se pueden expresar como To = Mapoo + Pio + MP0 + TPs. m= Topo. + MPU + MPa + MPa» a= Mopos + Pi + MPs + MPrs y= Mepos + Pis + MaPas + PSs. Tam +m tm ty Al sustituir los valores de p, (vea la matrz de wansicién en la seccién 16.2) en estas ecuaciones se obtiene To = 0.080 + 0.6321, + 0.2647, + 0.08075, 1, = 0.184 + 0368m, + 0.368m, + 0.18475, my = 0.3687 + 0.368m, + 0.368, y= 0.3687 + 0368m, 1= 0 mt mt mt om16.5 PROPIEDADES A LARGO PLAZO DE LAS CADENAS DE MARKOV a9 (Cuando se resuelven en forma simulténea las ltimas cuatro ecuaciones se obtiene la solucién To = 0.286, m= 0.285, m= 0.263, ms = 0.166, aque en esencia son los resultados que aparecen en la matriz P® de la seccién 16.3. En consecuen: cia, después de muchas semanas, la probabilidad de encontrar cero, una, dos y tres eémaras en el almacén tiende a 0,286, 0.285, 0.263 y 0.166, respectivamente. Mas acerca de las probabilidades de estado estable. En el IOR Tutorial se incluye una rutina para resolver las ecuaciones de estado estable para oblener las probabilidades de estado es- table. Ademas, en la seccién Worked Examples de nuestro sitio en internet se incluye otro ejemplo de aplicacién de las probabilidades de estado estable (que explica la utlizacién de la técnica que se describe en la siguiente subseccién) para determinar la mejor alternativa entre varias con base enel cost. Existen otros resultados importantes respecto de las probabilidades de estado estable. En particular, sii y json estados recurrentes que pertenccen a clases distintas, entonces pp para toda n. Bste resultado es una consecuencia de Ia definicin de clase ‘De manera similar, si es un estado Wansitorio, entonces Lisa pip) = para toda i De este modo, la probabilidad de encontrar el proceso en un estado transitorio después de un mero grande de transiciones tiende a cero. Costo promedio esperado por unidad de tiempo La subseccién anterior estudié las cadenas de Markov de estado finito irreducible cuyos estados son ergésicos (recurrentes y aperiédicos). Si se rela el requerimicnto de que los estados sean aperiédicos, entonces el imite sion pip puede no existir. Para iustra este punto considere la mattiz de transicién de dos estados Estado 0 1 peo fot 1 lo Si el proceso comienza en el estado 0 en el tiempo 0, estard en el estado 0 en los tiempos 2, 4, 6, ..-yenel estado I en los tiempos 1,3, 5, ionces, pb) = I simes pary pf = Isines par, de manera que el lin pi no existe. Sin embargo, el siguiente limite siempre existe para una cadena de Markov ireducible de estado finite sin (FS et) =» donde siseen is ecioes desta eblede saben nei Este resultado es en extremo importante para calcular el costo promedio a largo plazo por ania de tno osc cae de Mav Sungai ere oan sv fentnde envi) CX) xan sl pores se enceocn el etado en lem pa 1=0,1,2, ... Observe que C(X,) es una variable aleatoria que toma cualquiera de los valores C(0),690 CAPITULO 16 _CADENAS DE MARKOV CQ), . . C(WN y que la funcién C() es independiente de . El costo promedio esperado en el que se incurte alo argo de los primeros n periodos esté dado por la expresion, se puede demostrar que el costo promedio esperado por unidad de tiempo (a largo plazo), esti dado por lim Le u et ca] 2 mew Aplicacién al ejemplo de inventarios. A manera de ejemplo, considere el problema de inventarios que se present6 en la seccién 16.1, donde la soluci6n de las 7, se obtuvo en una sub- seccién anterior. Suponga que la tienda de cémaras encuentra que se debe asignar un cargo por almacenamiento por cada cmara que permanece en la tienda al final de la semana, El costo se carga dela siguiente manera: 0 si xy =0 20s 1 si =? Wook =3 cu) Mediante el uso de las probabilidades de estado estable que se dedujeron en esta seccin, el costo promedio esperado por semana, a largo plazo, por mantener el inventario, se puede obtener de la ecuacién anterior; esto es, in ce > ca] 0.286(0) + 0.285(2) + 0.2638) + 0.166018) ‘Observe que otra medida del costo promedi esperado (a largo plazo) por unidad de tiempo es el costo promedio real por unidad de tiempo (a largo plazo). Se puede demostrar que esta gltima medida estd dada por tin [LS coxa |=S nc enesencia para todas las trayectorias del proceso. Asi, ambas medidas conducen al mismo resulla- do, Estos resultados también se pueden usar para interpreta el significado de las Para hacerlo, 1 X= 7 co=[5 aaa La fraccién esperada del mimero de veces (a largo plazo) que el sistema se encuentra en el estado Jjesté dada entonces por 4.3: coxa] = tin scaccin de ees qu stem een el esta 9 = lim E De igual manera, 1, se puede interpretar también como la fraceién o porcentae real (a largo plazo) del nimero de veces que el sistema se encuentra en el estado j16.5 _PROPIEDADES A LARGO PLAZO DE LAS CADENAS DE MARKOV 61 Costo promedio esperado por unidad de tiempo de funciones de costo complejas na subsecién anttor func cost se basé nada mas en el exado en ques cuenta tl proceso sn impo! En muchos problemas ipetntes el cost ambicn puede depends de curves sleatoe Por ejemplo, nel problema de invetarios dela sescién 161, suponga qu debe tomarse cn event onto de ordeal cost de penaiacgn por demands instar lw coton Alnacenge son peqetos, pr los pst por alt) Es rezonble poner ee nme de ckinars crenata al pinto dl seaa depends slo el esta del proceso Xl name evmarsquese ee) cuando se hace cl pedidoa final dela semana Sinembarg,l cost dela demands que no se satsivo drat semana depended de a demands D, Poo tanto cost ttl con de rdenar mascot de a emanda nates) de a semana ena ane Ge, ded, exes, COb.D) Bajo lo supuests dete jmp se puede demostear qu (a ag paz) el costo pred esperadoporanidad detempo es tae por yn 2S: cax-n 00] = S cd donde KU) = BIC, Da}. ¥ esta dltima esperanza (condicional) se toma respecto de la distribucién de probabilidad de la variable aleatoria D, dado el estado j. De manera similar, el costo promedio real (a largo plazo) por unidad de tiempo est dado por ho [ES CK, D9) = 5 Am Se deben asignar valores numéricos alas dos componentes de CUX, , D) en este ejemplo, decir, el cast del pedi y el casto de penalizacién por Ia demanda insaisfecha, Si se ordena 2 > Ocmaras, se incute en un costo de (10 + 252) délares. Sino se ordenan cémaras, no hay cargos por ordenar. Cada unidad de demands insatisfecha (ventas perdidas), iene un costo de 50 délazes. Entonces, dada Ia politica de ordenar descritaen Ia secci6n 16.1, el costo en a semana ¢ esté dado por CX, DY 50 max (D, ~ X,-1, 0) sx. para = 1,2, .. En consecuencia, [igs 200)+ 9 meio, 3 oO) si Ky =0 C, D,) = 85 + 50 méx(D, - 3,0) de manera que (0) = BIC(O, D,)] = 85 + SOE max{D, — 3, 0}) 5 + 50[Ppl4) + 2Pp(5) + 3Pp(6) + 1, donde Pes la prebabildad de que la demanda sea igual aj, segin una distibucién de Poisson conmedia de 1, de manera que Pi) vuelve despreciabe para mayor que los valores cercanas a 6.Como P,(4) = 0.015,P,(5) = 0.003 y Pa(6) = 0.001, setiene que (0) ~ 86.2 También, sise usa P,(2) = 0.184 y P,(3) = 0.06 y se caleua en forma similar, se obtienen los siguientes resultados K(1) = BIC, D9] = SOE(mix(D, ~ 1, 0)) S0[P(2) + 2Pp(3) + 3P a4) + 184, 50K (méx{D, ~ 2, 0}) SO[Pp(3) + 2Pp(4) + 3PR(S) 4 52,2 CAPITULO 16 _CADENAS DE MARKOV K3) = E[C(3, Dp] = SOE(méx(D, ~ 3, 0}) 50[P (4) + 2Po(5) + 3Pp(6) + ~] =12 sf, el costo promedio esperado (a largo plazo) por semana esté dado por $31.46. Y ki; = 86.2(0.286) + 18.4(0,285) + 5,2(0.263) + 1.210.166) ste es el costo asoviado con la politica de ondenar descrtaen Ia seccién 16.1, El costo de ctvaspolticas se puede evaluar de manera sme afin de identifica la pollen que minimiza el cost promedio esperado semana [Los resultados de esta subseccin se presentaron slo en téminos del ejemplo de inventaris, pero los resultados (nontméricos) secamplen para ottos preblemas siempre ycundo se satsfagan las siguientes condiciones: 1. (%, es una cadena de Markov irreducible (estado fnito) 2. Asociada con esta cadena de Markov se tiene una secuencia de variables aleatorias (D,), independientes e idénticamente distribuidas. 3. Para una mi fija, m= 0, +1, 2, ..., se incurre en un costo C(X,, D,.,,) en el tempo t, para 1=0,1,2. 4. Lasecuencia X,,X;,X,, ....X, debe ser independiente de D, En particular, si se satisfacen estas condiciones, entonces sin 2S co, Dowd s Km, donde KG) = ICU, Desh. yeestattima esperanza condicional se toma respecto de la distribucién de probabilidad de la va- rable aleatoria D, dado el estado j. Més a, un [1S cox, Dew] = 5. Am para las partes esenciales de todas la trayectorias del proceso, 16.6 TIEMPOS DE PRIMERA PASADA La seccién 163 se dedicé a encontrar las probabilidades de transicién de n pasos del estado i al estado j. Con frecuencia es conveniente poder hacer afitmaciones en términos de probabilidades sobre el nimero de transiciones que hace el proceso al ir del estado jal esiado j por primera ver. Este lapso se llama tiempo de primera pasada al ir del estado i al estado j, Cuando j = i, este tiempo de primera pasada es igual al nimero de transiciones hasta que el proceso regresa al estado iniial i, En este caso, el tiempo de primera pasada se llama tiempo de recurrencia del estado i, Para ilustrar estas definiciones, reconsidere el ejemplo de inventarios que se presenté en la seccién 16.1, donde X, es el nimero de cémaras en inventario al final de la semana ry se comienza con X, = 3. Suponga que ocurrié lo siguiente X= M2 BAL B= M3, Bed En este caso, el tiempo de primera pasada para ir del estado 3 al estado 1 es de dos semanas, eltiempo de primera pasada para ir del estado 3 al estado 0 es de tes semanas y el tiempo de recu- rrencia del estado 3 e de cuatro semanas,16.6 TIEMPOS DE PRIMERA PASADA 693 En general, los tiempos de primera pasada son variables sleaorias. Las dstibuciones de probabilidad dependen de las probabilidades de tansicién del proceso, En particular, f," denota Ja probabilidad de que el tiempo de primera pasada del estado ial ea igual an. Paran > 1, este tiempo de primera pasada es sila primera ransicién es del estado ia algin estado k(kj)ydes- pués el tiempo de primera pasada del estado k al estado jes ~ 1. Porlo tanto, estas probabilidades satisfacen las siguientes relaciones recusivas: FP = BP = Pos IP = & pall? P= pas”. Entonces, la probabilidad de un tiempo de primera pasada del estado i alj en n pasos, se puede calcular de manera recursiva a partir de las probabilidades de wansicién de un paso. Enel ejemplo de inventarios, la distibucién de probabilidad de los iempos de primera pasada ali del estado 3 al estado 0 se obtiene de Ins relaciones recursivas como sigue: £93 = pso = 0.080, LB = pf + psafB + pss fi = 0.184(0.632) + 0,368(0.264) + 0,368(0.080) = 0.243, donde ps, y —? = Po 88 obtienen de la matriz de twansicién (de un paso) dada en la secciéa 16.2. Para ijs, ls f,” son nsimeros no negatives tales que Sper Sin embargo, esta suma puede ser esrictamente menor que 1 lo que significa que un proceso que al iniciar se encuentra enel estado i puede no alcanzar nunca el estado j. Cuando la suma ses igual a1, las 0 (param = 1, 2, ...) pueden considerarse como una dstribucién de probabilidad de la variable aleatoria, el tiempo de primera pasada. ‘Aunque puede ser tedioso calcular/® para toda nes elativamente sencillo obtener el tiempo csperado de primera pasada del estado isl estado j, Seay, esta esperanza, que se define como 2 aS ppen Hy=) ' Smp aS p= sienpe ue Sa uy satisface, de manera nica, la ecuacién y= 1 +S Pats Ext ecuacién reconoce que la primera tansicién desde el estado ¢ puede ser al estado j a algdn otto estado k. Si es al estado j,el tiempo de primera pasada es 1, Dado que la pr mera tansicién es a algin estado & (k # j), lo que ocurre con probabilida p,. el tempo es- perado de primera pasada condicional del eitadoalestado es 1 + 1. Cuando se combinan estos hechos, y se suman todas las posibilidades dela primera transivin s Hega a esta ecuacin. En el ejemplo del inventari, estas eouaciones de yt, se pueden usar para calcularel tempo esperado hasta que ya1no se tengan cdmaras en el almacén, dado que el proceso se inicia cuando se604 CAPITULO 16 _CADENAS DE MARKOV tienen tres cfmaras, Este tiempo esperado es igual que el tiempo esperado de primera pasada i, ‘Como todos los estados son recurrentes el sistema de ecuaciones conduce a las expresiones so = 1+ Pauttio * Paatto * Psao. Hoo = 1+ poittio * Poattvo + Posto. M10 = 1+ pusttio * Piattso * Prato M39 = 1+ 0.184p140 + 0.368130 + 0.36850, Hap = 1 + 0.368110 + 0.368312, Hip = 1 + 0.368 p30 La solucién simullénea de este sistema es Myo = 1.58 semanas, Hao = 2.51 semanas, Ho = 3.50 semanas, ders ie cl apo eapecede bs oc eh sq sa tc 350 eas. Al baer ets els ps jortambitnse ten py Tecan deen] im cxemmcreepe oa noes gil ccireg- ex aenn ins sa emo eperad do recrrenia celepta Desput dese ispotabldnes ound cable, 7) comote desis on seen sno tompos eps eseeuenc sean eed cone eB gaa. Batons en jempl de ies an, = 0.286 m, = 0285, 01s ln enpos decane epee corer 08 0.263 y 3.50 semanas, 4 80 semanas, 3.51 semanas, ss (02 semanas. 16.7 ESTADOS ABSORBENTES En la seccién 16.4 se seaalé que el estado k se ama estado absorbente sip,, = 1, de manera que tuna ver que la cadena llega al estado k permanece abi para siempre. Si kes un estado absorbente y el proceso comienza en el estado i, la probabilidad de llegar en alguin momento a kse llama pro= babilidad de absorcién al estado k, dado que el sistema comenzé en el estado i Esta probabilidad se denota por fy ‘Siexisten dos o més estados absorbentes en una cadena de Markov yes evidente que el proceso ser4 absorbido en uno de estos estados, es deseable encontrar estas probabilidades de absorcién, Dichas probabilidades pueden obtenerse con sélo resolver un sistema de ecuaciones lineales que considera todas las posibilidades de la primera transicién y después, dada la primera transicién, considera la probabilidad condicional de absorci6n al estado k. En particular, sielestado kes un es- tado absorbente, el conjunto de probabilidades de absorcién , satisface el sistema de ecuaciones Su =>, Poli — parai=0, 1... M, sujeta alas condiciones fia=1, fa =0, — sielestado ies recurrente © i#16.7_ESTADOS ABSORBENTES 695, Las probabilidades de absorcién son importantes en las caminatas aleatorias. Una caminata aleatoria es una cadena de Markov con la propiedad de que, sicl sistema se encventra en el estado #, entonces en una sola transicién, o bien permanecerd en io se movers a uno de Ios dos estados inmediatamente adyacentes a i Por ejemplo, Ia caminata aleatoria con frecuencia se usa como ‘modelo para situaciones que incluyen juegos de azar. Un segundo ejemplo de juegos. Para ilustar el uso de probabilidades de absorci6u en una caminata aleatoria, considere un ejemplo sobre juegos de azar similar al que se present en la scc- cidn 16.2, pezo ahora suponga que dos jugadores (A y 8), con 2 délaes cada uno, aceptan seguir jugando y apostar 1 délar cada ver hasta que uno de ells quicbre. La probabilidad de que A gane tna apucsta es por lo que la probabilidad de que gane Bes}. El nimero de délares que tiene el jugador A antes de cada apuesta (0,1, 2,30) proporciona los estados de una cadena de Mazkov con la mattz de transicién Exalo 0 123 4 0 [10000 1 |p 0400 p= 2 lozojo 3 oof OF + loooo1 Si se inicia en el estado 2, la probabilidad de absorci6n al estado 0 (A pierde todo su dinero) se puede abteneral resolver para, patir del sistema de ecuaciones que se proporcioné al comicnzo de la seccién, foo = 1 (puesto que el estado 0 es un estado absorbente), 1 + tho So = 1 hon 2 1 F fin +3 fo fa = © (puesto que el estado 4 es un estado absorbente). De este sistema de ecuaciones se obtiene 2/2 ,1,\, 1/2.) 4,4 35 + 3) +3{ he) 5 + 5h fio gue se reduce a fig = { como la probabilidad de absorcién en el estado 0. ‘De manera similar, la probabilidad de que A termine con délares (B quiebre) cuando comien- za con 2 délares (estado 2) se obtiene al obtener f,, del sistema de ecuaciones, fos = 0 (puesto que 0 es un estado absorbente, 2 1 fia= Fla + hw 2 1 fas Fa +f hs . 2 1 fia zhu zh fag = 1 (puesto que 0 es un estado absorbente) De aqui se obtiene 2b) Ba 1 3) de manera que f,, = $ es la probabilidad de absorcién en el estado 4, 4, 1 hs fisCAPITULO 16 _CADENAS DE MARKOV Ejemplo de evaluacién de crédito. Existen muchas otras situaciones en las cuales los esta- dos absorbentes tienen un papel importante. Considere una tienda departamental que clasifica el saldo de I cuenta de un cliente como pagada (estado 0), 1 a 30 dias de retraso (estado 1), 31 a 60 dias de retraso (estado 2) o mala deuda (estado 3). Las cuentas se revisan cada mes y se determina el estado de cada cliente, En general, los créditos no se extienden y se espera que los deudores paguen sus cuentas lo mas pronto posible. Hn ocasiones, los clientes no pagan en la fecha Limite Si esto ocurre cuando el saldo queda dentro de los 30 dfas de retraso, la tienda considera que este cliente permanece en el estado 1, Si esto ocurre cuanda el saldo esté entre 31 y 60 dias de retraso, la tienda considera que el cliente se mueve al estado 2. Los clientes que tienen més de 60 dias de reiraso se clasifican en la categoria de una mala deuda (estado 3), en cuyo caso envia las cuentas ‘una agencia de cobro. Después de examinar los datos de afios anteriores en la progresién mes a mes de los clientes Individuales de estado a estado, la tienda ha desarrollado la siguiente matriz de transici6n:* ~~ tstade | 0: Sado | 1:12 30dlas | 2:31 2 60 dias Estado ya ide retraso de retraso ©: saldo pagado 1 ° ° ° 1:13 30 dias o7 02 on ° de tetras0 2:31 2 60 alas os oa 02 02 de retas0 3: mala deuds ° ° o 1 ‘Aungue cada cliente acaba por legar al estado Oo al estado 3, la tienda se interesa en determinar la probabilidad de que un cliente legue a ser un mal deudor dado que la cuenta pertenece al estado de 1 30 dias de retraso,y de igual forms, si se encuentra cn 31 860 dias de retaso Para obtener esta informacign debe resolverse el conjunto de ecuaciones que se presents al principio de esta seccién para oblener fj, y fy Las siguientes dos ecuaciones se oblienen por sustitucién Sis = Profos + Pusfs + Paha * Poh fas = Poofos * Boshi + Pasha + Pash Como f= 0 fis = 1, ahora se tienen dos ecuaciones con dos incégnitas, este, (1 pudfis = Pi + Piaf ( ~ padfis= ps + Pali Al sustituir los valores de a matuiz de transiién se legs a 08/5 = O.1fs, 08f = 02+ Oia, y lasolucidn es fis = 0.032, fas = 0254 Entonces, alrededor de 3% de los clientes cuyas cuentas tienen de 1 a30 dias de retraso y alzededor de 25% de los clientes con 31 a 60 dias de retraso llegan a ser malos deudores 16.8 CADENAS DE MARKOV DE TIEMPO CONTINUO En todas las secciones anteriores se supuso que el parmetro ¢ del tiempo es disereto (es decir, 1 =0,1,2, ...), Este supuesto es adecuado para muchos problemas, pero existen cieris casos "os lcnes que pagaron su sldo (en el estado 0) y después se etasn ex el pago de muevascompras se cousideran slats "nuevos" que nici en el estado16.8 CADENAS DE MARKOV DE TIEMPO CONTINUO 07 (como en algunos modelos de colas, que se estudiarin en el capitulo 17) en los que se requiere un pardmetro (lamado 1") de tiempo continuo, debido a que Ia evolucién del proceso se observa de ‘manera continua a wavés del tiempo. La definicién de cadena de Markov que se dio en la seccién 16.2 tambien se extiende a esos procesos continuos. Esta seccién esté dedicada ala descripeién de estas “cadenas de Markov de tiempo continuo” y sus propiedades. Formulacién Como se hizo con anteroridad, se etiquetan los estados posibles del sistema 0, 1,..., Mt Si se comienza en el tiempo 0 y se deja que el pardimetro de tiempo r corra de manera con- tina para 1’ = 0, sea la variable aleatoria X(v’) el estado del sistema en el tiempo 1 Es tonces X("') toma une de sus (M + 1) valores posibles en un intervaloO = 1'< 1, después salta a otro valor ene siguiente interval 1, =1' <1, as{sucesivamente, donde os puntos de trinsito( 1...) sn puntos aleatorios en el tempo (no necesariamente enteros) ‘Ahora considete los tres puntos en el tiempo 1)" = r(donde r= 0),2)1' = s (donde s > Ay D1 = 5-4 (donde 1 > 0, interpretades como sigue: =r esuntiempo pasado, <5 eseltiempo actual, = 5+ res unidades de tiempo hacia el futur, Por lo tanto, el estado del sistema se ha observado en los tiempos t" = 5 y / = r. Estos estados se ctiquetan como Xai yy XH=20), Dada esta informacién, el paso natural es buscar la distribucién de probabilidad del estado del sistema en el tiempo ’= 5 + 1. En otras palabras, cuales la probabilidad PIMs + = JIN) = iy XO) = x0}, paraj= 0,1... MP Suele set muy diffe ealcular estas probabilidades condicionales. Sin embargo, esta area se simplifica en gran medida si el proceso estocéstico involucrado posee la siguiente propiedad clave ‘Un proceso estocistico de tiempo continuo {X(t}; ) tiene la propiedad markoviana si PIX +9) = J 1X8) = Fy XW) =} = PRU + 8) = [1X8) = 1, paratodai,j=0,1,..., My paratodar=0,s>r.y#>0. Observe que P{X(r + 5) = j1X(s) = i} es una probabilidad de transicién, igual que las probabilidades de transicién de las cadenas de Markov de tiempos discretos que se estudi en las secciones anteriores, donde la nica diferencia es que ahora no es necesario que f sea entero. Silas probabilidades de transicién son independientes de s, de manera que Poet 9 0, se Ilaman probabilidades de transicién estacionarias Para simplificar Ia notacién se denotari estas probabilidades estacionarias por yd) = PURE) = j1X(0) = i), donde se haré referencia a p,(#) como la funcién de probabilidad de transicién de tiempo con- tinuo, Se supone que gnor-(b 81 ‘Ahora se pueden definir las cadenas de Markov de tiempo continuo que se estudiarsn en esta seccién, ‘Un proceso estacdstico de tempo continue (X(0") ‘continuo si presenta la propiedad markoviana, 0) es una cadena de Markoy de tiempoRecuadro de aplicacién Lacompaiia PSA Peugeot Citroén, cuya matriz se encuentra en Francia, es una de las fabricas de autos mas grandes del ‘mundo, Cuando se tomé la decisién de introducir 25 nuevos ‘modelos entre 2001 y 2004, Ia administracién de PSA decidi6 redisefar sus talleres de carrocerias con el fin de que las de varios modelos pudicran ensamblarse en s6lo uno de ellos. Se le asigné a un grupo de 10 las areas de supervisar el proceso de disefio y desarrollar herramientas para evaluar, con ante- lacién, Ia eficiencia de las lineas de produccién de cualquier ‘modelo en los talleres. El equipo de IO desarroll6 métodos aproximados répidos _y métodos detallados més extensos para realizar estatarea. Sin ‘embargo, un factor clave que debia ser incorporad en todos los métodos era determinar la frecuencia con que cada una de Jas méquinas del taller se descomponfa y, por Io tanto, debia ser reparada, lo cual detenfa el flujo de trabajo en ese taller. El grupo de 10 utilizé una cadena de Markov de tiempo con- rinwo pata representar la evolucién de cada tipo de maquina ‘en el cambio que representa que la méquina esté en estado coperativo (que funcione correctamente) y sin funcionar (des: ‘compuesta). Por lo tanto, la cadena de Markov sélo tiene dos ‘estados, en funcionamiento y descompuesta, con un periodo (pequerio) de transicién entre los estados en funcionamiento y ddescompuesta y un periodo de transicién (ms largo) entre los estados descompuesta y en funcionamienta, El equipo legs ala conclusién de que ia velocidad de transicidn entre ambos estados es esencialmente el mismo sin tomar en cuenta si la ‘mquina en realidad trabaja o esté ociosa, por lo que no es necesario dividirel primero de ellos en los estados en opera: cién y ocioso. Esta aplicacién de la TO, que incluy6 esta sencilla cadena de Markoy de tiempo continuo, tuvo un efecto dramético en la compatfa, Mediante una mejora sustancial de la eficiencia de las lineas de produccién en los talleres PSA con una mini sma inversi6n de capital y sin comprometer la calidad, dicha aplicacién contribuyé con 130 millones de délares a las ga- nancias de PSA (alrededor de 6.5% de Ia ganancia total) s6lo enel primer afo. Fuente: A.Patchong, T Lemoine y G. Kem: “Improving Car Body Production at PSA Peugeot Citra’, en Interfaces, 3(1): 36-49, eneto-febrero de 2003, (nel sitio en internet de este libro —www ‘mise.comfhillier—) se poporciona una liga hacia este articulo ) Aqui se restringiré el estudio alas cadenas de Markov de tiempo continuo con las siguientes pro piedades. 1. Unnimero finito de estados. 2. Probabilidades de transicién estacionarias, Algunas v bles aleatorias importantes En el anzlisis de las cadenas de Markov de tiempo continuo, un conjunto importante de variables aleatorias es el siguiente ‘Cada vex que el proceso entra en el estado i a cantidad de tiempo que pasa en ete estado antes de moverse a uno diferente es una variable aleatoriaT, donde = 0, 1, «Af Suponga que el proceso entra en el estado en el tiempo 1" = tidad de tiempo fijo 1 > 0, observe que T, > 1 si y sélo si X() las) implica que PT, sIT\>s} onces, para cualquier ean- n> para toda ren cl intervalo S$ + 1.Por lo tanto, la propiedad maskoviana (con probabilidades de transicién estaciona- feta os una condicin bstaterara pica una distebacin de probabilida, Die que a ditibucién de probabilidad del tiempo que falta para que el proceso haga una transicin foerade-un estado dado siempre es la misma, independientemente de cuinto impo haya pasado el proveso en est estado, En eect, la variable aleatoriano tiene memoria: e proceso olviga su historia, Exist 60 una distibucidn de probabilidad (continua) que poses esta propiedad a distribucionexponencial Esta dstihacin ene un slo pardmetro,ldmeseg, donde la media es Igy Ia funci6n de dist bucién acumulada es, PTS 0)=1 (Ena seccién 17.4 se describirg con detalle las propiedades de la distribucién exponencial.) Este resultado conduce a una forma equivalente para describir una cadena de Markov de tiempo continuo:16.8 _CADENAS DE MARKOV DE TIEMPO CONTINUO 699 1, Lavariable aleatoria 7, tiene una distribucién exponencial con media 1/q, 2. Cuando sale de un estado i, el proceso se mueve a otro estada j, con probabilidad p,, donde p, satisface las condiciones Pu=0 para toda i y para toda i 3. Blsiguiente estado que se visita después del estado ies independiente del tiempo que pasé en lestado i, {gual que las probabilidades de transicin de un paso tuvieron un papel primordial para desc biruna cadena de Markov de tiempos discretos, el papel andlogo en el caso de la cadena de Markov de tiempo continuo lo tienen las intensidades de transicién Las intensidades de transicién son tig =P, 7 pari y 4 Gig = Pd) = key donde py(t es la funcién de probabildad de transicém de tiempo continuo que se presents al principio dela secci yp, es la probabilidad desrita en la propiedad 2 dl parafo anterior. Mis ‘ain, g,segin se defini aqus, también resulta ser el pardmetro de la distribuciGn exponencial de T, (ved la propiedad I del pttafo anterior, La interpretacién intuitiva de g,y g,¢8 que son tasas de transicién. En particular, q,¢s la rasa de transicin hacia fuera del estado i en el sentido de que g, es el nsimero esperado de veces que cl proceso deja el estado i por unidad de tiempo que pasa en el estado i. (De esta forma, 4, es el reciproco del tiempo esperado que el proceso pasa en el estado i por cada visita al estado ; es decir, 4,~ VEIT.) De manera similar, q, es la tasa de transicién del estado ‘al estado jen el sentido de ue q, es el nimero esperado de veces que el proceso transita del estado i al estado j por unidad de tiempo que pasa en el estado i. Asi, a= > a Igual que g es el pardmetro de la distribucisn exponencial de 7, cada , es el pardmetro de una distribucién exponencial de una variable aleatoria relacionada que se describe en seguida, ‘Cada vex que el proceso entra al estad i la cantdad de tiempo que pasaré en el estado ¢ an- tes de que ocurra una transcién al estado j (si no ocurte antes una transicién a algin otro estado) es una variable aeatoria 7, donde i,j = 0, 1,.... My # i, Las T, son variables alea torias independientes, donde cada T, tiene una distribucidn exponencial con parimeto 4,, de ‘manera que £17, = I/g, Bi uempo que pasa en el estado i hasta que ocurre una transcién (7.) el minimo (sobre j #1) de las T,, Cuando ocurre la tansicién la probabilidad de que sea al estado jes p, = 4/4 Probabilidades de estado estable Igual que las probabilidades de tansicién de una cadena de Maskov de tiempos discretossatisfacen las ecuaciones de Chapman-Kolmogorov, la funcién de probabilidad de transicin de tiempo con-700 CAPITULO 16 _CADENAS DE MARKOV ‘inuo satisface estas ecuaciones, Entonces, para cuslesquiera estados iy j, y mimeros no negativos tys@=s= 0), 70S paloratt- 9 Se dice que un par de estados iy j se comunican si existen tiempos f,y tales que p,(r) > Oy yl) > 0. Se dice que todos los estados que se comunican forman una clase. Si todos los estados dde una cadena forman una sola clase, es decir, sila cadena de Markov es irreducible (lo que se supondra de aquy en adelante), entonces, pyft) > 0, pata toda t > 0 y tados los estados i y j Ain mis, Him pid = 7 siempre existe y es independiente del estado inicial de la cadena de Markov, para j= 0, 1, M. Estas probabilidades limitantes se conocen como las probabilidades de estado estable (0 proba bilidades estacionarias) de la cadena de Markov. Las 7, satisfacen las ecuaciones m= 3 mayld, — paraj=0.1,... My para toda Sin embargo, la siguientes ecuaciones de estado estable proporcionan un sistema de ecuaciones ‘nds til para obtener las probabilidades de estado estable: a= mtn pa p= 0.1.00 Me Laecuacién de estado estable del estado iene uns interpretacién intitiva, El lado izguierdo (rq) es la sasa a la que el proceso deja el estado j, puesto que s, es la probabilidad (estable) de ue el proceso esté en el estado jy g, es la tasa de transicién hacia fuera de j dado que el proceso se encuentra ene estado j. De maneta similar cada término de lado derecho (7g, a tasa ala gue el proceso entra al estado j desde el estado i, puesto que q, es Ia tasa de transicién del estado ‘al dado que el proceso se encuentra en el estado i. Si se suma sobre toda i j, todo el lado dere- cho proporciona la tasa ala que el proceso entra al estado j desde cualquier otto estado. Por eso la ecuacién global establece que Ia tas ala cual el proceso deja el estado j debe ser igual a la tasa a aque entra en el estado j. Asi esta ecuacién es andloga a las ecuaciones de conservaci6n del flujo de los cursos de ingenieriay ciencias, ‘Como cada una de las primeras M + 1 ecuaciones de estado estable requiere que las dos tasas estén balanceadas (sean iguales), a veces estas ecuaciones se Haman ecuaciones de balance, Ejemplo. Untaller tiene dos méquinas idénticas en operacién continua excepto cuando se des- componen, Como lo hacen con bastante frecuencia, la area con mis ata providad paa la persona de mantenimiento que trabaja tiempo completo es repararlas cuando sea necesari. El tiempo que se reqiere para reparar una mquina tiene dstibucién exponencial con me dia de } dia. Una vex que se termina la teparacién, cl iempo que transcurre hasta la siguiente descompostura tiene distribucién exponencial con media de un dia, Estas dstibuciones son inde- pendientes. Defina la variable aleatoria Xt) como X(1°) = mtimero de méquinas descompuestas en el tiempo r,16.8 CADENAS DE MARKOV DE TIEMPO CONTINUO 701 de forma que los valores posibles de X(t) son 0, 1, 2, Por lo tanto, si se corre el paréme- t10 1" de manera continua desde el tiempo 0. el proceso estocdstico de tiempo continuo (Xi) 11 = 0) proporciona la evolucién del nimero de miquinas descompuestas ‘Como tanto el tempo de reparacién como el tiempo hasta la siguiente descompostua tinen distibuciones exponenciales, (X(v); = 0) es una cadena de Markov de tiempo continuo* con estados 0, 1, 2. En consecuencia, se pueden usar las probabilidades de estado estable dadas en la subseccidn anterior para encontrar dstribucién de probabilidad de estado estable del mimero de ‘migquinas descompuestas. Para hacer esta tea se debe determinar todas as rasas de transicién, estos, las g,y 4, parai,j = 0, 1,2 El estado (nimero de méquinas descompuestas) aumentaen 1 cuando ocurre una descompos cura y disminuye en I cuando se termina una reparacién. Como tanto las descomposturas como Jas reparaciones ocurren una a 18 Vez, go> = OY dia = 0. Bl tiempo esperado de reparacién es de $cfa, de manera que latasaa la que se terminan as reparaciones (cuando hay méquinas descom- puestas) es ? por dia lo que implica que q,, = 2 ip = 2. De manera similar, el tiempo esperado hasta que se descompone una méquina en operacién es de un da, de manera que Ia tase ala que se descompone (cuando esti en operacién) es de un por a; esto implica que q,, = I. Durante los ‘iempos en los que las dos maquinas operan, las descomposturas ocurren a una asa de 1 + 1 por dia, por lo que go, = 2 Estas tasas de ansicién se resumen en el diagrama de tasas que se muestra en la figura 16.5 Se pueden usar para calcula la rasa de transicin rota hacia fuera de cada estado. a= os = 2 b= Io * 92 = 3 = yy = 2 Si se sustituyen todas las tasas en las ecuaciones de estado estable de la subseccién anterior, se obtiene: Eeuacién de balance para el estado 0: 2m Ecuacién de balance para el estado 1: 37) Ecuacién de balance para el estado 2; 27; =m Las probabilidades suman 1: atm tm =I CCualquiera de las ecuaciones de balance (por ejemplo, la segunda) se puede eliminar como redun: dante, y la solucién simulténea de las ecuaciones restantes proporciona la distribucién de estado estable como tro num =(2.4,3) Entonces, en el largo plazo, ambas méquinas estarén descompwestas en forma simulténca 20% del tiempo y una méquina estard descompuesta otro 40% del tiempo. En el siguiente capitulo (sobre teorfa de colas) se incluyen muchos ejemplos de cadenas de Markov de tiempo continuo. En realidad, ls mayor parte de los modelos bésicos de la teoria mL FIGURA 16.5 Diagrama de tasas del ejemplo de una cadena de Markov de tiempo continue, “Ta pba deen hecho necesita war dos popiedades de la dstibucén exponen que se preseatan ela seein 17 falta de memoria y que el minimo de exponenciles 7 exponencia) peso qi estas ropidadesimplican gh nt variables alesteisT, gues intadjeron anes in dd tenenditibucin exponen702 CAPITULO 16 _CADENAS DE MARKOV de colas cae dentro de esta categoria, Bl ejemplo que se acaba de dar en realidad se ajusta a uno de estos modelos (a variacién de fuente de entrada finita al modelo M/M/s que se incluye en Ja seccin 17.6) REFERENCIAS SELECCIONADAS. A, Bhat, U.N. y G. K. Miller: Elements of Applied Stochastic Processes, 3 ed, Wiley, Nueva York, 2002 2. Bini, D.,G-Latouche y B, Meini: Numerical Methods for Sructured Markov Chains, Oxford University Press, Nueva York, 2008 83, Bukit, B., E.R, Hacoldy JL. Palacios: “A Markov Chain Approach to Baseball", en Operations Re search, 48: 14-23, 1997 4. Ching, W.K. yM. K.Ng: Markov Chains: Models Algorithms and Applications, Springer, Nuova York, 2006. 5, Grassmann, W. K. (ed) Computational Probability: Kiuwee Academic Publishers (atualmeate S} e1), Boston, MA, 2000, 6. Mamon, RS. y R.J- Eliot (eds): Hidden Markov Models in Finance, Springer, Nueva York, 2007 7. Resnick, 8.1: Adventures in Stochastic Processes, Bikhitser, Boston, 1992, 8, Tims, H. CA First Course in Stochastic Models, Wiley, Nueva York, 2003 AYUDAS DE APRENDIZAJE PARA ESTE CAPITULO EN EL SITIO EN INTERNET DE ESTE LIBRO (www.mhhe.com/hillier) Ejemplos resueltos: Bjemplos para el capitulo 16 Rutinas automiticas en IOR Tutori Intoduccién de una matiz de tansicién (Enter Transition Matrix) Ecuaciones Chapman-Kolmogorov (Chapman-Kolmogorov Equations) Probabilidades de estado estable (Steady-State Probabilities) Archivo de LINGO para ejemplos seleccionados “Ch. 16—Markov Chains” Glosario para el capitulo 16 Vea el apéndice 1 para la documentacién del software. PROBLEMAS Los simbolos Ia izquierda de algunos problemas (0 de sus incisos) significan lo siguiente (C: Use la computadors com las rutinas autométicas comespondien- tes mencionadas con anteriaridad (u otras equivalents) para re solver el problema {Un asterisco en el mimero del problema indica que al final del libro seda al menos una respuesta parcial. 162-1, Lea el anticulo de referencia que describe el estudio de 10 aque se resume en el recuadto de aplicacién que se presents en la sec ‘dn 16.2. Describa de manera breve la forma en que aplicé wna cadena de Markov a est estudio. Después, elabore una lista de los bbeneficios financiers y de otto tipo que aroj6 dicho estudio, 16.2.2. Suponga que la probabilidad de Huvia mafana es de 05 si hhoy Iheve y que la probabilidad de un dia claro (sn Iavia) mafana es de 0.9 si hoy estd despejado. Suponga ademas que estas probabi- lidades no cambian si también se proporciona informacién sobre el lima de dias anteriores a hoy. 4) Explique por qué los supuestos establecides implican que Ia ‘propiedad markoviana se cumple en el caso de Ia evolucién del cima, >) Formule levolucién del clima como una cadena de Markov me- iante la defini de sus estados ylaconstruccin desu matriz 4e transicin (de un paso) 162-3. Considere la segunda versién del modelo de mercado de acciones que se presenté en la seccién 16.2. Si mafana la accién