CADENAS DE MARKOV

GERSON ANDRES ALVARADO PINEDA 062071025

TELESFORO VESGA RONDON

UNIVERSIDAD LIBRE DE COLOMBIA MODELOS MATEMÁTICOS BOGOTÁ D. C. NOVIEMBRE 16 DEL 2010 INTRODUCCIÓN

A veces estamos interesados en cómo cambia una variable aleatoria con el tiempo. Por ejemplo, podemos saber cómo el precio de las acciones de una empresa evoluciona en el mercado. El estudio de cómo cambia una variable aleatoria con el tiempo incluye los procesos estocásticos. En particular, nos centramos en un tipo de proceso estocástico conocido como cadena de Markov. Estas se han aplicado en áreas como la educación, la comercialización, la salud servicios, finanzas, contabilidad y producción.

¿Qué es un proceso estocástico? Supongamos que observamos alguna característica de un sistema en puntos discretos en el tiempo (con la etiqueta 0, 1, 2,. . .). Donde Xt es el valor de la característica del sistema en el tiempo t. En la mayoría de situaciones, Xt no se sabe con certeza antes de tiempo t y puede ser visto como una variable aleatoria. Un proceso estocástico en tiempo discreto es simplemente una descripción de la relación entre el azar variables X0, X1, X2,. . . . Algunos ejemplos de procesos estocásticos en tiempo discreto seguimiento.

1.0 CADENAS DE MARKOV

¿Qué es una cadena de Markov? Un tipo especial de proceso estocástico en tiempo discreto se llama cadena de Markov. Para simplificar nuestra exposición, suponemos que en cualquier momento, el proceso estocástico en tiempo discreto puede estar en uno de un número finito de estados marcados como 1, 2,. . . , S.

Definición: Proceso estocástico de tiempo discreto si, para t= 0, 1, 2, .y todos los estados.

En esencia, dice que la distribución de probabilidad del estado en el tiempo t+1 depende de el estado en el tiempo t (it) y no depende de los estados de la cadena pasados a través de la manera que en el tiempo t. En nuestro estudio de las cadenas de Markov, hacemos el supuesto adicional de que para todo estado i y j y toda t, P(Xt+1 = j |Xt = i) es independiente de t. Este supuesto nos permite escribir
P(Xt+1 = j |Xt = i) _ pij

donde pij es la probabilidad de que, dado el sistema se encuentra en el estado i en el tiempo t, será en un estado j en el tiempo t+1. Si el sistema se mueve desde el estado i durante un período de al estado j durante el próximo período, se dice que una transición de i a j se ha producido. La pij a menudo hace referencia a las probabilidades de transición de la cadena de Markov. La ecuación implica que la ley de probabilidades sobre el estado el próximo período de la actual estado no cambia (o se mantiene estacionaria) con el tiempo. Por esta razón, es a menudo llama la Asunción de estacionariedad. Cualquier cadena de Markov que satisface la ecuacion se llama cadena estacionaria de Markov. Nuestro estudio de las cadenas de Markov también nos obliga a definir el qi que la probabilidad de que la cadena se encuentra en el estado i en el tiempo 0, es decir, P(X0 = i) =qi.. Llamamos al vector q = [q1 q2 «. qs]la distribución de probabilidad inicial de la cadena de Markov. En la mayoría de las aplicaciones, las probabilidades de transición se muestra como un s X s probabilidad de transición de la matriz P. La probabilidad de transición de la matriz P se puede escribir como

Encuentra la matriz de transición. y las entradas en cada fila debe sumar 1. Por lo tanto. 2. El juego es también sobre si mi capital se reduce a $ 0. X1=3. Por razones obvias. tengo $ 2. este tipo de situación se llama un jugador de la ruina. entonces Xt+1 y todos los posteriores Xt también será igual a 4. pero más tarde X1 y Xt son al azar. gano el juego. si Xt= 0. Tenga en cuenta que X0= 2 es una constante conocida. También sabemos que cada entrada de la matriz P debe ser positivo. Por ejemplo. todas las entradas en la probabilidad de transición de la matriz son no negativos. En el tiempo 1. X1.. 2. Puesto que la cantidad de dinero que tengo después de t+ 1 juega del juego depende de la historia pasada . y con una probabilidad de 1 -p.p. pierdo el juego.0 EJEMPLO El jugador de la ruina A la hora 0. .Dado que el estado en el tiempo t es i. el juego ha terminado. Tenga en cuenta que si Xt = 4. . Puedo jugar un juego en el que apuesta $ 1. X0. X1= 1.. entonces Xt+1 y todos los posteriores Xt serán también igual a 0. . Mi objetivo es aumentar mi capital a $ 4. Con una probabilidad p. a continuación. Si definimos Xt a ser mi posición de capital después del juego el tiempo t (si los hay) se reproduce. con probabilidad p. Esto significa que para cada i. el proceso debe estar en algún lugar en el tiempo t+ 1. y con una probabilidad de 1. . y tan pronto como. Xt puede ser visto como un proceso estocástico en tiempo discreto. . Del mismo modo. .

Para todos los demás estados. por lo que P00=P44=1. La matriz de transición es el siguiente (el estado i significa que tenemos i dólares): Si el estado es de $ 0 o $ 4. y con una probabilidad de 1. j) representa la probabilidad de transición pij.del juego sólo a través de la cantidad de dinero que tengo después de t juega. definitivamente disponer de una cadena de Markov.0 CONCLUSIONES . también tenemos una cadena de Markov estacionaria. sabemos que con probabilidad p. por lo que el Estado no puede cambiar. Puesto que las reglas del juego no cambian con el tiempo. el estado del siguiente período será uno menos que el estado actual. Una matriz de transición puede ser representado por un gráfico en el que cada nodo representa un estado y el arco (i. el plazo durante el próximo superará la situación actual por 1. 3. La Figura 1 muestra una representación gráfica de probabilidad de transición de la matriz.p. yo no juego el juego más.

.

BIBLIOGRAFIA -Wayne Winston. Operations Research Applications and Algorithms 4th. Si la bola elegida es sin pintar y la moneda sale cara. Edition. pintamos el elegido . Elegimos una bola al azar y la vuelta a un moneda. 2003 Ejemplo 2 Una urna contiene dos bolas sin pintura en la actualidad.

entonces uno de los eventos se muestran . se determina el [1 1 0] fila de esta matriz de transición. pintamos la bola elegida negro sin pintar. Si el estado actual es [1 1 0]. Encuentra la matriz de transición para el ejemplo 2. Si el balón ya ha sido pintada.sin pintar bola roja. Solución Puesto que el estado de la urna después del siguiente lanzamiento de la moneda única depende de la historia pasada de la proceso a través del estado de la urna después del lanzamiento de la moneda actual. Dado que las normas no cambian con el tiempo. si la bola elegida es sin pintar y la moneda sale cruz. tenemos una cadena de Markov. tenemos una cadena de Markov estacionaria. entonces (si los jefes o de las colas ha sido lanzado) que cambia el color de la bola (de rojo a negro o de negro a rojo). La transición matriz para el ejemplo 2 es la siguiente: Estado [0 1 1] [0 2 0] [0 0 2] [2 0 0] [1 1 0] [1 0 1] P? ? ? Para ilustrar la determinación de la matriz de transición.

0 0 0 ?1 2 ? ?1 2 ? 0 0 0 0 ?1 2 ? 0 ?1 2 ? 0 0 0 0 0 0 ?1 2 ? 0 0 .en el cuadro 1 debe ocurrir. el siguiente estado será [1 0 1] con una probabilidad? 1 2 ?. [0 2 0] con probabilidad? 1 4 ?. Y [0 1 1] con una probabilidad? 1 4 ?. Por lo tanto. La figura 2 muestra una representación gráfica de esta matriz de transición.

0 0 ?1 4 ? ?1 2 ? 0 0 0 ?1 4 ? 0 0 1 1 0 ?1 4 ? ?1 4 ? [0 1 1] [0 2 0] [0 0 2] [2 0 0] [1 1 0] [1 0 1] Selección de bolas (Continuación) 01 11 234 1-pp p 1-pp 1-p F I GUR E 1 .

0. 1.Representación gráfica de la matriz de transición para Ruina del jugador TAB E L 1 Los cálculos de probabilidades de transición Si el Estado actual es [1 1 0] Probabilidad de sucesos Estado de Nueva cabezas Flip y elegir sin pintar pelota? un 4 ? [0 2 0] Elija bola roja? Un 2 ? [1 0 1] colas Flip y elegir sin pintar pelota? 1 4 ? [0 1 1] 1 1 0. 0. 1. 1. 0 0. 0 0. 2. 2 1. 0 1. 2. 0. 1 1 4 1 4 1 4 1 2 1 2 1 2 1 2 1 2 1 2 1 4 .

F I GUR E 2 Gráfica Representación de Matriz de transición de urna 17. ¿Qué es lo que nos dicen? Simplemente que la distribución de probabilidad de mañana precio de una acción de CSL sólo depende del precio actual de la acción de CSL. Entonces. 2 ¿Qué es una cadena de Markov? 927 Examp NE 3 En los últimos años. En cualquier situación (o cualquier otra situación que podría haber llevado a precio de 50 dólares de hoy). no sobre los precios anteriores de acción de CSL. que no importa si el precio ha aumentado o disminuido en cada uno de los últimos 30 días. En este momento. Utilice esta información para el modelo de Villamenor tiempo como una cadena de Markov. el "chartistas" que tratan de predecir los precios futuros de acciones sobre la base de los patrones seguida de precios de las acciones pasadas están ladrando al árbol equivocado. para predecir el precio futuro de una acción de CSL. los estudiantes de las finanzas han dedicado mucho esfuerzo para responder a la pregunta de si el precio diario de una acción bursátil puede ser descrito por una cadena de Markov. PRLOMBES Grupo A CSL archivo Informática (Continuación) 1 En Smalltown. supongamos el precio diario de una acción de CSL sigue una cadena de Markov. una predicción del precio de las acciones del futuro debe basarse únicamente en el hecho de que el precio de hoy la acción de CSL es de $ 50. . y el 80% de todos los días nublados son seguidos por los días nublados. el 90% de todos los días soleados son seguidos por días de sol. Por ejemplo. Si el precio de una acción de valores puede ser descrito por una de Markov cadena. el consenso es que para la mayoría de las poblaciones el precio diario de la población se puede describir como una cadena de Markov. Supongamos el precio diario de una parte de acciones (tales como acciones de CSL Computer) puede ser descrito por un cadena de Markov. y el precio de hoy para un parte de la acción de CSL es de $ 50. Esta idea se refiere a menudo como la eficiente mercado de hipótesis.

mañana estará nublado. mañana será estar nublado. (2) Si yo? 1. 80% de las veces. 2 unidades se exigen en el período. (4) Se observa el nivel de inventario al inicio de la próximo período. con probabilidad? 1 3 ?. (1) Se observa el nivel de inventario (lo llaman i) al comienzo del período. Una unidad que se exige durante el período. cada máquina que está trabajando en el comienzo del día tiene una? 1 3 ? posibilidad de romper. suponga que la mañana tiempo Smalltown depende de los dos últimos días de tiempo Smalltown. se envía a un centro de reparación y se trabaja en dos días después de que se rompe. (Así. . Si una máquina se descompone en el día. La entrega de todas las unidades de orden es inmediata. el 70% de el tiempo. entonces el 95% del tiempo. Si i 2. (2) Si ayer estuvo nublado y hoy en día es soleado.) Dejar que el estado del sistema el número de máquinas de trabajo al principio del día. si una máquina se descompone durante el día 3. (3) Si ayer estaba soleado y hoy en día está nublado. 3 Una empresa cuenta con dos máquinas. (3) Con probabilidad? 1 3 ?. mañana será soleado. a continuación. Grupo B 4 En relación con el problema 1. 0 unidades se exigen en el período. Definir el estado de un período a ser el comienzo del período de nivel de inventario.2 Considere un sistema de inventario en el que la secuencia de eventos durante cada período es la siguiente. mañana será soleado. formular una transición probabilidad de la matriz de esta situación. 4? i unidades están ordenados. 0 unidades ordenado. y con probabilidad? 1 3 ?. de la siguiente manera: (1) Si los dos últimos días han hecho sol. Determinar la matriz de transición que podría se utiliza para modelar este sistema de inventario como una cadena de Markov. entonces el 60% del tiempo. Durante cualquier día. a continuación. (4) Si los dos últimos días se han nublado. será de trabajo al principio del día 5.

. Claramente. sería una de Markov cadena? (Pista: ¿Cómo un jugador ir a la cárcel en este problema? suponer que los jugadores que se envían a la cárcel permanecer allí hasta que rollo de dobles o hasta que hayan pasado tres vueltas allí.) 6 En el problema 3. una máquina que se descompone en 3 días estaría de vuelta en el trabajo fin al principio del día 6).3 Paso n-Las probabilidades de transición Supongamos que estamos estudiando una cadena de Markov con una probabilidad de transición conocida matriz P. tenemos que ir del estado i en cierta k estado y luego ir de un estado a otro k j (ver Figura 3). X1. Determinar una transición probabilidad de la matriz de esta situación. . lo que ocurra primero. Si una cadena de Markov se encuentra en el estado i en m el tiempo. . Pij (1)? pij. el tiempo del modelo Smalltown como cadena de Markov. por lo que puede escribir P (Xm n j |? Xm i?)? P (Xn j |? X0 i)? Pij (n) donde Pij (n) se llama la probabilidad de n-paso de una transición del estado i al estado j. cuántos estados se necesarios para modelar el clima Smalltown como una cadena de Markov? (Nota: El enfoque utilizado en este problema se puede utilizar para modelo de un proceso estocástico en tiempo discreto como una cadena de Markov incluso si Xt? una depende de los estados antes de Xt..Con esta información. Este razonamiento nos permite escribir Pij (2)? ? . . Si el clima de mañana depende de la última tres días de tiempo Smalltown. (Puesto que todas las cadenas que vamos a tratar son fijas. 928 C H A T P R E 17 Cadenas de Markov 17. esta probabilidad será independiente de m. Xt puede ser modelado como una de Markov cadena? Si no. no se molestarán en nuestra etiqueta Cadenas de Markov como estacionarias) Una cuestión de interés es la siguiente:. ¿cómo podemos modificar la definición del estado en el tiempo t para que X0. entonces para que el sistema termine en el estado j dos períodos a partir de ahora.) 5 Sea Xt ser la ubicación de su ficha en el Monopoly bordo una vez dados t rollos. ¿cuál es la probabilidad de que n períodos posteriores de la cadena de Markov estará en el estado j? Puesto que se trata de una cadena de Markov estacionaria. suponga que una máquina que se descompone regresa al servicio de tres días más tarde (por ejemplo. . tenga en cuenta que si el sistema está ahora en el estado i. . Xt. Para determinar Pij (2). como Xt? 1 el ejemplo actual.

3 Paso N-929 probabilidades de transición . que vuelva a escribir la última ecuación como Pij (2)? ? k? s k? 1 pikpkj (3) El lado derecho de (3) es el producto escalar de la fila i de la matriz con la columna P j de la matriz P. para el n? 0. Por lo tanto.k? s k? 1 (Probabilidad de transición de i a k) ? (Probabilidad de transición de k para j) Usando la definición de P. si j? i si j? i 1 0 i. Al extender este razonamiento. por lo que debe escribir Pij (0)? ? Se ilustra el uso de la ecuación (4) en el ejemplo 4. Pij (0)? P (X0 j |? X0 i). Pij (2) es el elemento ij de la matriz de P2. la probabilidad de transición de la matriz. j 1 2 k s Estado Tiempo 0 Tiempo 1 Tiempo 2 PI1 pi2 pik pis PSJ pk j p1j p2j F I E 3 GUR Pij (2)? 1p1j pi? 2p2j pi? ? ? ? ? pi spsj 17. Pij (n)? elemento ij de Pn (4) Por supuesto. se puede demostrar que para n 1.

. Por lo tanto..90)? (0. P21 (2)? 0. hay una probabilidad del 90% que su próxima compra será una cola. 1 Si una persona es actualmente una cola 2 comprador. Dado que una de cola por última vez comprado dos.562 . 2 Buscamos P11 (3)? elemento 11 de P3: P3? P (P2)? ?? ??? ? Por lo tanto. Teniendo en cuenta que el pasado una persona compra cola 1. ¿cuál es la probabilidad de que invertirá en la compra cola 1 tres compras a partir de ahora? Solución ver las compras de cada persona como una cadena de Markov con el Estado en un momento dado se el tipo de cola la última persona que compró.781 . podemos obtener esta respuesta de una manera diferente (ver Figura 4).34 que dos compras en el futuro un bebedor de cola 2 va a comprar un refresco de cola.80) (0. .34.781. las compras de cada persona de cola puede estar representados por una cadena de Markov de dos estados. donde Un Estado? persona ha pasado comprar un refresco de cola Estado 2? persona ha pasado compró cola 2 Si definimos Xn ser el tipo de cola adquirido por una persona en su compra enésima cola futuro (Compra de cola actual? X0). P11 (3)? 0.Examp LE 4 Supongamos que la industria de la cola entera produce sólo dos colas. X1.20) (0. hay un 80% de probabilidades de que su próxima compra será de cola 2.34. Buscamos una P (X2 1 |? X0 2?)? P21 (2)? elemento 21 de P2: P2? ?? ??? ? Por lo tanto. Mediante el uso de teoría de la probabilidad de base. Esto significa que la probabilidad es de 0. .219 . X0. puede ser descrita como la de Markov cadena con la matriz de transición siguientes: Cola Cola 1 2 P? ? ? Ahora podemos responder a las preguntas 1 y 2. ¿cuál es la probabilidad de que invertirá en la compra cola 1 dos compras a partir de ahora? 2 Si una persona es actualmente un refresco de cola un comprador. a continuación. Tenga en cuenta que P21 (2)? (Probabilidad de que el próximo compra es un refresco de cola y la segunda compra es un refresco de cola)? (Probabilidad de que la próxima compra es de cola 2 y la segunda compra es un refresco de cola)? p21p11? p22p21? (0.20)? 0.

34 .66 .90 .90 .83 .80 .20 Cola 1 Cola 2 El ejemplo Cola Tiempo 0 Tiempo 1 Tiempo 2 p22.80 .20 p21 = 0.438 .20 = 0..20 .83 .90 .10 .10 .80 = 0.10 . p21 = 0.17 . un Cola dos comprador Cola compra una .90 .90 p11 Cola 2 Cola 2 Cola 1 Cola 1 F I E 4 GUR Probabilidad de que dos Los períodos de ahora.17 .10 .80 .20 .34 .66 .20 .80 .

Es 0,20 (0,90)? 0.80 (0.20)? .34 930 C H A Cadenas de Markov T P R E 17 En muchas situaciones, no sabemos el estado de la cadena de Markov en el tiempo 0. Tal como se define en la sección 17.2, que el qi la probabilidad de que la cadena está en el estado i en el tiempo 0. A continuación, podemos determinar la probabilidad de que el sistema está en estado i en el tiempo n mediante el siguiente razonamiento (ver Figura 5). Probabilidad de estar en el estado j en el momento n ?? i? s i? 1 (Probabilidad de que el estado es de origen i) ? ? (Probabilidad de ir de i a j en las transiciones n) (5) ?? i? s i? 1 qiPij (n) ? q (columna j de Pn) donde q? [Q1 q2? ? ? cs]. Para ilustrar el uso de (5), responder a la pregunta siguiente: Supongamos que el 60% de todas las personas ahora una bebida cola, y el 40% ya la cola beber 2. Tres compras a partir de ahora, ¿qué fracción de todos los compradores se beber un refresco de cola? Desde q? [0.60 0.40] y q (columna 1 de P-3)? probabilidad de que tres compras a partir de ahora una persona bebe un refresco de cola, la probabilidad deseada [0.60 0.40]? ?? .6438 Por lo tanto, tres compras a partir de ahora, el 64% de todos los compradores se compra un refresco de cola. Para ilustrar el comportamiento de las probabilidades de transición el paso n para valores grandes de n, han calculado varias de las probabilidades de transición el paso n-Cola para el ejemplo en la Tabla 2. .781 .438 s i j 2 1

Tiempo 0 n Tiempo q1 P1j (n) P2j (n) Pij (n) Ps j (n) q2 qi cs F I E GUR 5 Determinación de la Probabilidad de estar en j en el tiempo n Al Estado Estado inicial es Desconocida TAB E L 2 n-Paso Las probabilidades de transición para los bebedores de cola n P11 (n) P12 (n) P21 (n) P22 (n) 1 .90 .10 .20 .80 2 .83 .17 .34 .66 3 .78 .22 .44 .56 4 .75 .25 .51 .49 5 .72 .28 .56 .44 10 .68 .32 .65 .35 20 .67 .33 .67 .33 30 .67 .33 .67 .33 40 .67 .33 .67 .33 17. 4 Clasificación de los Estados en una cadena de Markov 931 Para n grande, tanto P11 (n) y P21 (n) son casi constantes y el enfoque de 0,67. Esto significa que para n grande, sin importar el estado inicial, existe la posibilidad de 0.67 de que una persona ser un refresco de cola un comprador. Del mismo modo, vemos que para n grande, tanto P12 (n) y P22 (n) son casi constante y el enfoque de 0,33. Esto significa que para n grande, sin importar el estado inicial, existe la posibilidad de 0.33 de que una persona será una cola 2 comprador. En la Sección 5.5, se hace una estudio a fondo de este estableciéndose de las probabilidades de transición paso-n. REMAR Nosotros K puede fácilmente multiplicar matrices en una hoja de cálculo utilizando el comando MMULT, como se explica en la sección 13.7. PRLOMBES Grupo A Cada una familia norteamericana se clasifica como vivir en un medio urbano,

zona rural o suburbana. Durante un año dado, el 15% de todos los las familias urbanas se mueven a una ubicación suburbana, y el 5% se mueven a una zona rural, también, el 6% de todas las familias suburbanas se mueven a un lugar urbano, y 4% se mueven a una zona rural; Finalmente, el 4% de todas las familias rurales se trasladan a un lugar urbano, y el 6% se mueven a una ubicación suburbana. a Si una familia vive ahora en una ubicación urbana, lo que es la probabilidad de que se vive en un área urbana dos años a partir de ahora? Un área en los suburbios? Una zona rural? b Suponga que en la actualidad, el 40% de todas las familias viven en una zona urbana, 35% vive en una zona suburbana, y el 25% viven en una zona rural. Dos años a partir de ahora, ¿qué porcentaje de las familias estadounidenses a vivir en una zona urbana? c ¿Qué problemas podrían ocurrir si este modelo se utilizaron para predecir la distribución de la población futura de las Naciones Unidas Estados? 17.4 Clasificación de los Estados en una cadena de Markov En la Sección 17.3, se menciona el hecho de que después de muchas transiciones, la transición n-paso probabilidades tienden a precipitarse. Antes de que podamos discutir esto con más detalle, tenemos que estudiar cómo los matemáticos clasificar los estados de una cadena de Markov. Utilizamos las siguientes matriz de transición para ilustrar la mayoría de las definiciones siguientes (ver Figura 6). P? ? 0 0 0 .1 .2 0 0 .7 .4 .8 0 0 .3 .5 0 .6 .5 0 0

Por supuesto. Observar que una vez que entramos en un conjunto cerrado. Después de jugar un juego dos veces. DE F Inition? Cada vez que entramos en un estado absorbente. ? Un estado j es alcanzable desde el estado i si hay un camino que conduce de i a j. determinar la transición después de n pasos probabilidades: Después de un dos bolas están pintadas. pero el estado 5 no es alcanzable desde el estado 1 (no hay camino 1 a 5 en la Figura 6). DE F Inition? Desde la cadena de Markov con matriz de transición P de la figura 6. un camino de i a j es una secuencia de transiciones que comienza en i y termina en j. 4.) DE F Inition? Dados dos estados i y j.4 . nunca dejar el estado.5 0 0 0 2 Las preguntas siguientes se refieren al ejemplo 1. ¿cuál es la probabilidad de que voy a tener $ 3? ¿Cómo cerca de $ 2? b Después de jugar el juego tres veces. ¿cuál es la probabilidad que voy a tener $ 2? 3 En el ejemplo 2. no podemos dejar el conjunto cerrado (en la figura 6. de manera que cada paso en la secuencia tiene un efecto positivo probabilidad de ocurrir. un estado absorbente es un sistema cerrado conjunto que contiene un solo estado. DE F Inition? . el jugador ruina. ? 932 C H A Cadenas de Markov T P R E 17 DE F Inition? Para la probabilidad de transición de la matriz P representado en la figura 6. S1? {1. los estados 0 y 4 están absorbiendo los estados. 2} y S2? {3. En el ejemplo 1. sin arco comienza en S1 y S2 termina en o comienza y termina en S2 en S1). ¿cuál es la probabilidad que el Estado es [0 2 0]? b Después de tres bolas están pintadas.0 . los estados 1 y 2 se comunican (que puede ir de 1 a 2 y 2 a 1). 5} son conjuntos cerrados. Además. el estado 5 es accesible desde el estado 3 (a través de la ruta 3-4-5). ¿cuál es la probabilidad de que el estado es [0 1 1]? (Dibuja un diagrama como la Figura 4.

? Un estado i es un estado absorbente si pii? 1. y que nunca volverá a entrar en estado [1 0 1] (véase la figura 2). Un estado i es un estado transitorio si existe un estado j es accesible desde i.4 .8 .1 S1 S2 .5 . ? Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si ningún estado fuera de S es accesible desde cualquier estado en S.3 F I E 6 GUR Gráfica Representación de Matriz de transición 17. desde el estado 2. [2 0 0]. Por lo tanto. existe una probabilidad positiva de que vamos a dejar i siempre y terminan en el estado j se describe en la definición de un estado transitorio. Cada vez que entramos en un estado transitorio i.? Dos estados i y j se dice que comunican si j es alcanzable desde i. 4 Clasificación de los Estados en una cadena de Markov 933 .5 . ? 1234 5 .7 .6 . no hay manera de volver a [1 0 1]). Por ejemplo (Ver Figura 1). con el tiempo estamos seguros de entrar en el estado j (y que nunca volverá a su estado i). la probabilidad de estar en cualquier estado transitorio i es cero. pero no hay manera de regresar al estado 2 de estado 4. pero una vez que ambas bolas están pintadas. y es i accesible desde j. Del mismo modo. en el ejemplo 2. y [1 0 1] son todos los estados transitorios (en la figura 2.4 . supongamos que estamos en el estado transitorio [1 0 1]. [1 1 0]. Para ilustrar. la pintada bola finalmente se pinta. en el ejemplo 2. hay un camino a partir del [1 0 1] a [0 0 2]. un estado i es transitorio si hay una manera de dejar el estado i que nunca regresa a estado i. es posible ir por el camino 2-3-4. En el ejemplo de la ruina del jugador. Después de un gran número de períodos.En otras palabras.2 . pero el estado i no es alcanzable desde el estado j. 2 y 3 son estados transitorios. Con probabilidad 1. los estados 1.5 .

y [0 1 1] son estados recurrentes. DE F Inition? ejemplo. P1? ? Ergódica P2? ? Nonergodic 0 0 ?1 3 ? ?3 4 ? 0 0 ?2 3 ? ?1 4 ? ?1 . los estados 0 y 4 son estados recurrentes (y también estados absorbentes). [0 0 2]. m). y en el ejemplo 2. Ejemplo 4. todos los estados son recurrentes.DE F Inition? En el ejemplo 1. si empezamos en el estado 1. De las tres cadenas de Markov. Por lo tanto. y P2 no es ergódica. la ruina del jugador no es una cadena ergódica. estamos seguros de volver tres períodos posteriores. porque (por ejemplo) [2 0 0] y [0 1 1] no se comunican. el ejemplo de cola. Por ejemplo. [0 2 0]. Para la matriz de transición P en la figura 6. (Ver figura 7). DE F Inition? Para la cadena de Markov con matriz de transición Q? ? cada estado tiene periodo 3. por lo que ha estado un periodo de 3. la única manera de volver al estado Una es seguir el camino 1-2-3-1 para un cierto número de veces (por ejemplo. Dondequiera que estemos. P1 y P3 son ergódica. Ejemplo 2 tampoco es una cadena ergódica. es un ergódica cadena de Markov. porque (por ejemplo) los estados 3 y 4 no se comunican. el retorno a un estado de transición se llevará a 3m.

la cadena se dice que es ergódica. ? 0 1 . aperiódicos y se comunican entre sí.2 ? ?1 2 ? 0 0 ?1 2 ? ?1 2 ? 0 0 0 ?1 2 ? ?3 4 ? ?2 3 ? 0 ?1 4 ? ?1 3 ? ?1 2 ? 0 Si todos los estados en una cadena son recurrentes.

4}). 2} y la clase 2? {3. Si un estado recurrente no es periódico.0 1 0 0 0 0 1 Un estado i es periódico con periodo k 1 si k es el número más pequeño de tal manera que todos los caminos que conducen desde el estado i de nuevo al estado i tienen una longitud que es múltiplo de k. que se llama un estado recurrente. que se conoce como aperiódica. ? Si un estado no es transitorio. ?1 4 ? 0 ?1 3 ? ?1 2 ? ?1 3 ? ?2 3 . y los estados en las diferentes clases no se comunican entre sí. la importancia de los conceptos introducidos en esta sección se pondrá de manifiesto. Después de las dos secciones siguientes. ? 1 11 1 SIGUER723 Un periódico de Markov Cadena de k? 3 934 C H A T P R E 17 Cadenas de Markov P3? ? Ergódica P2 no es ergódica porque hay dos clases de cierre de los estados (clase 1? {1.

un cadena de Markov ergódica? 3 Considere la siguiente matriz de transición: P? ? un Estado que sean transitorios? b ¿Qué estados son recurrentes? 0 1 0 0 0 ?2 3 ? 0 0 1 0 0 0 0 0 0 ?1 2 ? 0 0 1 . ¿cuál es el período de los estados 1 y 3? 2 ¿Es la cadena de Markov de la sección 17.3. problema 1.? ?1 4 ? ?2 3 ? 0 PRLOMBES Grupo A 1 En el ejemplo 1.

¿cuántos estados absorbentes que la cadena tiene? 6 ¿Cuál de las siguientes cadenas es ergódica? 0 .0 0 0 0 0 0 0 0 ?1 4 ? 0 ?1 3 ? 0 0 0 ?1 4 ? 1 0 c Identificar todos los conjuntos cerrados de los estados. determine si el cadena de Markov es ergódica. d ¿Es esta cadena ergódica? 4 Para cada una de las cadenas siguientes. Si la Serie Mundial de Poker iban a ser modelado como una cadena de Markov. y absorbente. Además. transitorios. determinar los estados recurrentes. El juego continuó hasta que un jugador había ganado todos los demás el dinero. P1? ? P2? ? 5 Cincuenta y cuatro jugadores (incluyendo Gabe Kaplan y James Garner) participaron en la Serie Mundial de Poker 1980.1 0 1 . para cada cadena. Cada jugador comienza con $ 10.000.

encontramos que después de mucho tiempo.33 que sería ser cola 2 (ver Tabla 2). Entonces existe un vector p? [P 1 p 2? ? ? p s] tal que .3 .67 y 0.4 0 . En esta sección. EOR TH E M 1 Sea P la matriz de transición de un estado s de la cadena ergódica.1 0 .0 .5 0 . la probabilidad que la compra de una persona cola siguiente sería una cola se acercó a 0. El resultado siguiente es de vital importancia para la comprensión de las probabilidades de estado estable y la comportamiento a largo plazo de las cadenas de Markov.2 0 .2 0 .9 .7 .4 P1? ? P2? ? 17.2 . que se puede utilizar para describir el comportamiento a largo plazo de una cadena de Markov.8 0 . se discute el importante concepto de estado estacionario probabilidades.1 .3 .5 0 .5 probabilidades de estado estable y media veces primer paso En nuestra discusión del ejemplo de cola (ejemplo 4). Estas probabilidades no dependen de si la persona fue inicialmente un refresco de cola 1 o un bebedor de cola 2.2 .8 .

observar .1 0 0 . la cadena de Markov se establece.4 .6 . El vector p? [P1 p2??? ] Ps a menudo se llama la distribución en estado estacionario.1 0 .5 . 5 probabilidades de estado estable y media veces Primer Paso 935 lim n Pn? ? ? Recordemos que el elemento ij de Pn es Pij (n). Esto significa que después mucho tiempo. Teorema 1 nos dice que para cualquier estado inicial i.2 . Para una demostración de este teorema. Para una cadena dada con la matriz de transición P.7 .4 . Pn se acerca a una matriz con filas idénticas.3 .3 0 Para ver por qué el teorema 1 no lleva a cabo para una cadena de nonergodic. o distribución de equilibrio.2 . y (independiente del estado inicial i) existe una probabilidad pj que se encuentran en estado j.6 . ¿cómo podemos encontrar la distribución de probabilidad de estado estable? Desde el teorema 1.8 0 .4 .. lim n Pij (n)? pj Obsérvese que para n grande.2 . 17. de la cadena de Markov. ver Isaacson y Madsen (1976. consulte Problemas 11 y 12 al final de esta sección.5 0 . capítulo 3).

tenga en cuenta que para cualquier n y cualquier i. (8) se puede escribir como p? pP (8?) Desafortunadamente.20 936 C H A Cadenas de Markov T P R E 17 [P1 p2]? [P1 p2]? ? p1? 0. porque el rango de la matriz P siempre resulta ser? s? 1 (véase el capítulo 2. podemos utilizar (8) para resolver las probabilidades de estado estable.10 p1? 0. nos encontramos con las probabilidades de estado estable para el ejemplo 4. obtenemos el sistema .que para n grande y yo.80 . P). PI1 (n)? Pi2 (n)? ? ? ? ? Pis (n)? 1 (9) Dejar el infinito n enfoque en (9).20 p2 p2? 0. Pij (n? 1)? Pij (n)? pj (6) Desde Pij (n? 1)? (Fila i de Pn) (columna j.90 p1? 0. Para obtener los valores únicos de las probabilidades de estado estable. el ejemplo de cola. Revisión Problema 21). Recordemos que la matriz de transición para el ejemplo 4 fue P? ? Entonces (8) o rendimientos (8) .10 . podemos escribir Pij (n? 1)? ? k? s k? 1 Pik (n) PKJ (7) Si n es grande. obtenemos p1? p2? ? ? ? ? ps? 1 (10) Así.90 . Para ilustrar cómo encontrar las probabilidades de estado estacionario. tras el cambio de cualquiera de las ecuaciones en (8) con (10). la sustitución de (6) en (7) se obtiene pj? ? k? s k? 1 pkpkj (8) En forma matricial.80 p2 Sustitución de la segunda ecuación con la condición de p1? p2? 1. el sistema de ecuaciones se especifica en (8) tiene un número infinito de soluciones.

las probabilidades de estado estable describe con precisión la probabilidad de estar en cualquier estado. que para n grande. obtenemos pj (1? PJJ)? ? k? j pkpkj (11) La ecuación (11) afirma que en el estado estacionario. No hay ninguna regla general puede ser dada sobre la rapidez con un cadena de Markov alcanza el estado estacionario. Por restando pjpjj de ambos lados de (8). sin embargo. simplemente utiliza las fórmulas para Pij (n) dada en (4) y (5).p1? 0. Para estudiar el comportamiento transitorio de una cadena de Markov. Probabilidad de que una transición particular deja el estado j (12) ? probabilidad de que una transición particular. Es bueno saber. La interpretación intuitiva de probabilidades de estado estable Una interpretación intuitiva se puede dar a las ecuaciones de probabilidad de estado estacionario (8). el estado de equilibrio suele alcanzar muy rápidamente. la probabilidad de que el sistema está en estado j es pj. Por lo tanto.20 p2 1? p1? p2 Solución para p1 y p2 se obtiene p1? ? 2 3 ? y p2? ? 1 3 ?. el estado de equilibrio se alcanza (a dos decimales lugares) después de las transiciones sólo diez. hay una? 2 3 ? probabilidad de que una determinada persona va a comprar un refresco de cola y un? 1 3 ? probabilidad de que un determinado persona va a comprar dos refrescos de cola. pero si P contiene muy pocas entradas que están cerca de 0 o cerca de 1. El comportamiento de una cadena de Markov antes de que el estado estacionario se alcanza a menudo se llama transitoria (o de corto plazo) de comportamiento.90 p1? 0. De . después de mucho tiempo. entra en el estado j Recordemos que en el estado estacionario. Análisis de Transitorio Una mirada a la Tabla 2 se observa que para el ejemplo 4.

esta observación.80 . ?2 3 ? . Esto explica por qué las probabilidades de estado estable Supongamos que hay 100 millones de clientes en cola. 5 probabilidades de estado estable y media veces Primer Paso 937 ?? k? j pkpkj La ecuación (11) es razonable. a continuación. la lado derecho de (11) superaría el lado izquierdo de (11).90 . y una distribución en estado estacionario no existiría. si (11) fueron violados de cualquier estado. Esto daría lugar a la probabilidad "Acumulando" en el estado j. se deduce que Probabilidad de que una transición particular deja el estado j ? (Probabilidad de que el período actual se inicia en j) ? ? (Probabilidad de que la transición actual deja j) ? pj (1? PJJ) y Probabilidad de que una transición particular. para algunos el estado j. La ecuación (11) puede ser visto como diciendo que en el estado estacionario.10 .20 17. el "flujo" de la probabilidad en cada estado debe ser igual al flujo de la probabilidad de cada estado. entra en el estado j ?? k (Probabilidad de que el período actual se inicia en k? J) ? ? (Probabilidad de que la actual transición entre j) .

20 $ 95.2.?2 3 ? 2? 0.80 . los monopolios.44 . Cada .95 .

.

4 0 .17. Desde $ 114.4 0 4 ? $ 3.80 1 3 1 . 0 8 0 0? ? Por Asumir ? .000.5 . 9 1 5 .

1? 1? .Desde ? 1 1? ? Se puede demostrar que ? p 1 i ? ?2 3 ??1 3 ?. A continuación. ?3 1? 1? 1? 1? 5.

MODELO: 1] FIN I a 1. Por la ecuación 1? ? Grupo A .

8 0 .2 .una? ? b? ? Una feria Cuesta 0 .8 0 .8 ?1 3 ? ?1 2 ? ?2 3 ? ?1 2 ? 17.2 . .2 .

Vamos a .coche. $ 10. transiciones? $ 20. o debo conducir mi coche hasta que se rompe? probabilidad. Durante las pelotas? ..

?? Grupo B Un cliente que cliente? ? Sugerencia: lim .

lim lim lim ? Si el Si el 0 1 0 1 0 0 0 0 1 0 0 ?2 3 ? .

1 0 .05 .8 .05 .1 .7 .?1 3 ? 0 0 ?1 3 ? ?2 3 ? ?1 2 ? ?1 2 ? 0 0 ?1 2 ? ?1 2 ? 0 0 .05 .6 .1 .1 .2 .8 .

05 Gris Negro Ambos Ni de la máquina. .1 . del día..2 .

Cuentas por cobrar 17. ?? Una pregunta .cadena. estados.

. P? ? ? ? .. del Estado. ?? Por ejemplo.Por ejemplo. Nuevo 1 Mes .. .

0 .0 .95 .2 Meses 3 Meses Pago Mal de la deuda R I Q 0 s? .0 .15 .0 Junior Senior Socio .0 .0 .0 .0 .0 .1 .20 .0 .1 .0 .10 .05 .0 .70 .0 .0 .80 .05 .0 .

Respuesta: (Véase 0 0 . ??? 2.05 . y Q? ? .10 0 0 . y Junior Senior Socio ??? 2.17.05 .

0 .0 .0 .05 .0 Junior Senior Socio 0 0 .10 .0 .0 .0 .80 .0 .0 .0 .0 .95 .05 .0 .0 .70 .70 .0 .0 .15 ..80 .20 .0 .1 .15 .1 .95 .0 .20 .0 .

4 0 0 .5 .6 0 0 0 0 0 0 0 0 0 0 .7 0 0 .0 .4 .4 0 0 0 .3 0 1 .4 .6 .7 1 0 0 0 .5 .6 .3 .5 0 0 .

6 0 0 0 0 0 0 0 0 0 0 0 Nuevo 1 mes 2 meses 3 meses Pago ?? A continuación.5 0 0 0 0 .0 . Yo? ? ? .

1 .0 1 0 0 .20 .12 .40 .50 .060 . .30 .0 . Pagado.?? A continuación.940 t1 t2 t3 t4 .60 .1 .1 .300 .0 .

3 .4 .6 .5 .0 t1 t2 t3 t4 0 0 1 0 1 0 1 0 0 1 0 0 0 0 0 0 .7 0 0 .6 0 0 .5 0 0 .4 0 0 .

0 0 0 0 0 17. ? R? ? . Yo? Q? ? . ? ?? A continuación. ? A continuación. 10 ?4 3 0? 20 2. Q? ? .5 ?1 3 0? 0 5 0 0 t1 t2 t3 ?0 .

0 .0 0 .0 .10 .15 .. .0 .70 .20 .05 .05 .0 .20 .0 .0 .0 2 3 4 5 6 7 8 9 10 11 ?? A continuación.80 .95 .

50 ?2 3 ? 1 .50 ?1 3 ? 0 t1 t2 t3 Ahora (I ? ? 1? 5 (I ? ? 1? 2.5? 10? .5 ? 1? 10 2..

Grupo A . 17. Junior Esto es sólo 20 años.socios. Gestión 17. Vea la Figura 8.

?? ?? .

10 .0 .0 .0 .80 .05 .0 .1 .1 .05 .05 .1 .0 .05 .05 .3 .10 .0 .6 .1 .0 .0 .5 .0 .1 0 100 0 .8 .1 ..85 .1 0 .1 .2 .

15 .0 Estudiante de primer año Estudiante de segundo año Junior Senior Los graduados hacia abajo? Si la moneda Grupo B p? .80 .0 .10 .10 ..0 .0 .0 .0 .0 .0 .0 .0 .0 .0 .0 .85 .0 .

?? Casas Casas Si el Yo? Q? ? ? ? ? ? ? ? 17. ???? .

Grupo C Piensa .? ? ?. Explicar B? ? R? QB.

25 .0 .15 .05 .25 .0 .0 .35 .20 .20 .15 0 0 0 0 0 0 .0 .30 .15 .10 .20 .30 .bajo nivel .10 .1 .0 .0 .30 .0 .45 .1 .

20 1 2 3 4 5 6 ingresos.15 . .10 . Un catálogos. solicitud..05 .

Un Por esta Por .

.. 1... 2.y ? . Durante 85? SUMARI .cadenas.. ..

La ecuaciones: ? . Si un .. ?? Dos 1.1.

????1 Escribe P? ? ? ? P? s? Hola? resolver Hola? ? R I .

2. . Tenga en cuenta que si Xt = 4. este tipo de situación se llama un jugador . Del mismo modo. X1=3. pierdo el juego. si Xt= 0. Puedo jugar un juego en el que apuesta $ 1. . En el tiempo 1. y tan pronto como. a continuación. Con una probabilidad p. Mi objetivo es aumentar mi capital a $ 4. Por ejemplo. Si definimos Xt a ser mi posición de capital después del juego el tiempo t (si los hay) se reproduce. pero más tarde X1 y Xt son al azar. el juego ha terminado. gano el juego.. con probabilidad p. tengo $ 2. X0.Q 0 s? Este Este Una alternativa Ejemplo 1 A la hora 0. . .. entonces Xt+1 y todos los posteriores Xt serán también igual a 0. X1. Por razones obvias. y con una probabilidad de 1 -p. Tenga en cuenta que X0= 2 es una constante conocida. X1= 1.p. entonces Xt+1 y todos los posteriores Xt también será igual a 4. . El juego es también sobre si mi capital se reduce a $ 0. y con una probabilidad de 1. . Xt puede ser visto como un proceso estocástico en tiempo discreto.

Estamos teniendo en cuenta que X0? [2 0 0]. Si la bola elegida es sin pintar y la moneda sale cara. y el estado será bien [1 1 0] o [1 0 1].de la ruina. Por lo tanto. definimos el tiempo t para el tiempo después de Seleccionar las bolas la urna. y b es el número de pelotas de negro en la urna. pintamos el elegido sin pintar bola roja. podemos estar seguro de que Xt? 1 será [0 1 1]. si la bola elegida es sin pintar y la moneda sale cruz. donde u es el número de sin pintar bolas en la urna. Para modelar esta situación como un proceso estocástico. entonces (si los jefes o de las colas ha sido lanzado) que cambia el color de la bola (de rojo a negro o de negro a rojo). Por ejemplo. podemos estar seguros de que el X1? [1 1 0] o X1? [1 0 1]. Ejemplo 2 Una urna contiene dos bolas sin pintura en la actualidad. La ruina del jugador 924 C H A T P R E 17 Cadenas de Markov ter la moneda se ha volteado por el momento TTH y la bola elegida ha sido pintada. Si el balón ya ha sido pintada. Es evidente que hay debe haber algún tipo de relación entre los Xt. Después de la primera moneda cara o cruz. si Xt? [0 2 0]. roblema. Examp NE 3 Llamaremos x0 al precio de una acción de CSL acciones de la Computación en el comienzo de la . Elegimos una bola al azar y la vuelta a un moneda. La estado en cualquier momento puede ser descrito por el vector [urb]. pintamos la bola elegida negro sin pintar. un pelota se han pintado de rojo o negro. r es el número de bolas rojas en la urna.

conociendo los valores de X0. Viendo el precio de una acción de las acciones como continuoustime proceso estocástico ha dado muchos resultados importantes en la teoría de las finanzas. Además.cotización actual día.2 para más detalles. ¿qué significa el pasado (precios de las acciones hasta el momento t) nos hablan de Xt? 1? La respuesta a esta pregunta es de importancia crítica en las finanzas. puede ser visto como un de tiempo continuo proceso estocástico. Por ejemplo. . (Modelos de participación continua en el tiempo procesos estocásticos se estudian en el capítulo 20. Es evidente que. X1.) Cerramos esta sección con una breve discusión de los procesos estocásticos en tiempo continuo. . .) Dado que el precio de una acción de las acciones puede ser observado en cualquier momento (no sólo el comienzo de cada día de negociación). no sólo en instantes discretos en el tiempo. el número de personas en un supermercado t minutos después de que abra la tienda para los negocios puede ser visto como un proceso estocástico en tiempo continuo.? la pregunta es.. vamos a Xt el precio de una acción de CSL en el inicio de la negociación TTH día en el futuro. incluyendo la opción famoso Negro-Scholes fórmula de fijación de precios. Xt nos dice algo sobre la distribución de probabilidades de Xt 1. (Vea la Sección 17. . Un proceso estocástico continuo en el tiempo es simplemente un proceso estocástico en el que el estado del sistema puede ser visto en cualquier momento.

Sign up to vote on this title
UsefulNot useful