P. 1
Cadenas de Markov

Cadenas de Markov

|Views: 2.330|Likes:
Publicado porgers0n1

More info:

Published by: gers0n1 on Apr 30, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as DOCX, PDF, TXT or read online from Scribd
See more
See less

08/01/2013

pdf

text

original

CADENAS DE MARKOV

GERSON ANDRES ALVARADO PINEDA 062071025

TELESFORO VESGA RONDON

UNIVERSIDAD LIBRE DE COLOMBIA MODELOS MATEMÁTICOS BOGOTÁ D. C. NOVIEMBRE 16 DEL 2010 INTRODUCCIÓN

A veces estamos interesados en cómo cambia una variable aleatoria con el tiempo. Por ejemplo, podemos saber cómo el precio de las acciones de una empresa evoluciona en el mercado. El estudio de cómo cambia una variable aleatoria con el tiempo incluye los procesos estocásticos. En particular, nos centramos en un tipo de proceso estocástico conocido como cadena de Markov. Estas se han aplicado en áreas como la educación, la comercialización, la salud servicios, finanzas, contabilidad y producción.

¿Qué es un proceso estocástico? Supongamos que observamos alguna característica de un sistema en puntos discretos en el tiempo (con la etiqueta 0, 1, 2,. . .). Donde Xt es el valor de la característica del sistema en el tiempo t. En la mayoría de situaciones, Xt no se sabe con certeza antes de tiempo t y puede ser visto como una variable aleatoria. Un proceso estocástico en tiempo discreto es simplemente una descripción de la relación entre el azar variables X0, X1, X2,. . . . Algunos ejemplos de procesos estocásticos en tiempo discreto seguimiento.

1.0 CADENAS DE MARKOV

¿Qué es una cadena de Markov? Un tipo especial de proceso estocástico en tiempo discreto se llama cadena de Markov. Para simplificar nuestra exposición, suponemos que en cualquier momento, el proceso estocástico en tiempo discreto puede estar en uno de un número finito de estados marcados como 1, 2,. . . , S.

Definición: Proceso estocástico de tiempo discreto si, para t= 0, 1, 2, .y todos los estados.

En esencia, dice que la distribución de probabilidad del estado en el tiempo t+1 depende de el estado en el tiempo t (it) y no depende de los estados de la cadena pasados a través de la manera que en el tiempo t. En nuestro estudio de las cadenas de Markov, hacemos el supuesto adicional de que para todo estado i y j y toda t, P(Xt+1 = j |Xt = i) es independiente de t. Este supuesto nos permite escribir
P(Xt+1 = j |Xt = i) _ pij

donde pij es la probabilidad de que, dado el sistema se encuentra en el estado i en el tiempo t, será en un estado j en el tiempo t+1. Si el sistema se mueve desde el estado i durante un período de al estado j durante el próximo período, se dice que una transición de i a j se ha producido. La pij a menudo hace referencia a las probabilidades de transición de la cadena de Markov. La ecuación implica que la ley de probabilidades sobre el estado el próximo período de la actual estado no cambia (o se mantiene estacionaria) con el tiempo. Por esta razón, es a menudo llama la Asunción de estacionariedad. Cualquier cadena de Markov que satisface la ecuacion se llama cadena estacionaria de Markov. Nuestro estudio de las cadenas de Markov también nos obliga a definir el qi que la probabilidad de que la cadena se encuentra en el estado i en el tiempo 0, es decir, P(X0 = i) =qi.. Llamamos al vector q = [q1 q2 «. qs]la distribución de probabilidad inicial de la cadena de Markov. En la mayoría de las aplicaciones, las probabilidades de transición se muestra como un s X s probabilidad de transición de la matriz P. La probabilidad de transición de la matriz P se puede escribir como

Esto significa que para cada i. X1=3. este tipo de situación se llama un jugador de la ruina. También sabemos que cada entrada de la matriz P debe ser positivo. . X0. pierdo el juego. Por razones obvias. Por ejemplo. gano el juego. y tan pronto como. tengo $ 2.p. el proceso debe estar en algún lugar en el tiempo t+ 1. El juego es también sobre si mi capital se reduce a $ 0. 2. Encuentra la matriz de transición. Del mismo modo.Dado que el estado en el tiempo t es i. Con una probabilidad p. . Mi objetivo es aumentar mi capital a $ 4. y con una probabilidad de 1. y con una probabilidad de 1 -p. pero más tarde X1 y Xt son al azar. X1= 1.. Si definimos Xt a ser mi posición de capital después del juego el tiempo t (si los hay) se reproduce. con probabilidad p. Xt puede ser visto como un proceso estocástico en tiempo discreto. y las entradas en cada fila debe sumar 1. Por lo tanto.. Puesto que la cantidad de dinero que tengo después de t+ 1 juega del juego depende de la historia pasada . 2. el juego ha terminado. a continuación. si Xt= 0. Tenga en cuenta que si Xt = 4. todas las entradas en la probabilidad de transición de la matriz son no negativos. . . X1. entonces Xt+1 y todos los posteriores Xt serán también igual a 0. . En el tiempo 1. . Tenga en cuenta que X0= 2 es una constante conocida. Puedo jugar un juego en el que apuesta $ 1. entonces Xt+1 y todos los posteriores Xt también será igual a 4.0 EJEMPLO El jugador de la ruina A la hora 0.

yo no juego el juego más. La matriz de transición es el siguiente (el estado i significa que tenemos i dólares): Si el estado es de $ 0 o $ 4. La Figura 1 muestra una representación gráfica de probabilidad de transición de la matriz. también tenemos una cadena de Markov estacionaria. Una matriz de transición puede ser representado por un gráfico en el que cada nodo representa un estado y el arco (i.p. el estado del siguiente período será uno menos que el estado actual. Para todos los demás estados. definitivamente disponer de una cadena de Markov. 3. por lo que P00=P44=1.del juego sólo a través de la cantidad de dinero que tengo después de t juega. y con una probabilidad de 1. por lo que el Estado no puede cambiar. j) representa la probabilidad de transición pij. Puesto que las reglas del juego no cambian con el tiempo. el plazo durante el próximo superará la situación actual por 1.0 CONCLUSIONES . sabemos que con probabilidad p.

.

BIBLIOGRAFIA -Wayne Winston. pintamos el elegido . 2003 Ejemplo 2 Una urna contiene dos bolas sin pintura en la actualidad. Operations Research Applications and Algorithms 4th. Elegimos una bola al azar y la vuelta a un moneda. Si la bola elegida es sin pintar y la moneda sale cara. Edition.

Si el estado actual es [1 1 0]. si la bola elegida es sin pintar y la moneda sale cruz. La transición matriz para el ejemplo 2 es la siguiente: Estado [0 1 1] [0 2 0] [0 0 2] [2 0 0] [1 1 0] [1 0 1] P? ? ? Para ilustrar la determinación de la matriz de transición. Si el balón ya ha sido pintada.sin pintar bola roja. pintamos la bola elegida negro sin pintar. tenemos una cadena de Markov. entonces uno de los eventos se muestran . Encuentra la matriz de transición para el ejemplo 2. se determina el [1 1 0] fila de esta matriz de transición. tenemos una cadena de Markov estacionaria. Dado que las normas no cambian con el tiempo. entonces (si los jefes o de las colas ha sido lanzado) que cambia el color de la bola (de rojo a negro o de negro a rojo). Solución Puesto que el estado de la urna después del siguiente lanzamiento de la moneda única depende de la historia pasada de la proceso a través del estado de la urna después del lanzamiento de la moneda actual.

Por lo tanto.en el cuadro 1 debe ocurrir. La figura 2 muestra una representación gráfica de esta matriz de transición. 0 0 0 ?1 2 ? ?1 2 ? 0 0 0 0 ?1 2 ? 0 ?1 2 ? 0 0 0 0 0 0 ?1 2 ? 0 0 . Y [0 1 1] con una probabilidad? 1 4 ?. [0 2 0] con probabilidad? 1 4 ?. el siguiente estado será [1 0 1] con una probabilidad? 1 2 ?.

0 0 ?1 4 ? ?1 2 ? 0 0 0 ?1 4 ? 0 0 1 1 0 ?1 4 ? ?1 4 ? [0 1 1] [0 2 0] [0 0 2] [2 0 0] [1 1 0] [1 0 1] Selección de bolas (Continuación) 01 11 234 1-pp p 1-pp 1-p F I GUR E 1 .

2 1. 2. 1.Representación gráfica de la matriz de transición para Ruina del jugador TAB E L 1 Los cálculos de probabilidades de transición Si el Estado actual es [1 1 0] Probabilidad de sucesos Estado de Nueva cabezas Flip y elegir sin pintar pelota? un 4 ? [0 2 0] Elija bola roja? Un 2 ? [1 0 1] colas Flip y elegir sin pintar pelota? 1 4 ? [0 1 1] 1 1 0. 0 0. 0. 1 1 4 1 4 1 4 1 2 1 2 1 2 1 2 1 2 1 2 1 4 . 1. 0. 0 0. 0 1. 0. 1. 2.

el "chartistas" que tratan de predecir los precios futuros de acciones sobre la base de los patrones seguida de precios de las acciones pasadas están ladrando al árbol equivocado. una predicción del precio de las acciones del futuro debe basarse únicamente en el hecho de que el precio de hoy la acción de CSL es de $ 50. . Esta idea se refiere a menudo como la eficiente mercado de hipótesis. para predecir el precio futuro de una acción de CSL. que no importa si el precio ha aumentado o disminuido en cada uno de los últimos 30 días. Entonces. no sobre los precios anteriores de acción de CSL. En este momento. ¿Qué es lo que nos dicen? Simplemente que la distribución de probabilidad de mañana precio de una acción de CSL sólo depende del precio actual de la acción de CSL.F I GUR E 2 Gráfica Representación de Matriz de transición de urna 17. el consenso es que para la mayoría de las poblaciones el precio diario de la población se puede describir como una cadena de Markov. 2 ¿Qué es una cadena de Markov? 927 Examp NE 3 En los últimos años. y el 80% de todos los días nublados son seguidos por los días nublados. PRLOMBES Grupo A CSL archivo Informática (Continuación) 1 En Smalltown. Por ejemplo. supongamos el precio diario de una acción de CSL sigue una cadena de Markov. el 90% de todos los días soleados son seguidos por días de sol. Si el precio de una acción de valores puede ser descrito por una de Markov cadena. y el precio de hoy para un parte de la acción de CSL es de $ 50. En cualquier situación (o cualquier otra situación que podría haber llevado a precio de 50 dólares de hoy). Supongamos el precio diario de una parte de acciones (tales como acciones de CSL Computer) puede ser descrito por un cadena de Markov. los estudiantes de las finanzas han dedicado mucho esfuerzo para responder a la pregunta de si el precio diario de una acción bursátil puede ser descrito por una cadena de Markov. Utilice esta información para el modelo de Villamenor tiempo como una cadena de Markov.

3 Una empresa cuenta con dos máquinas. (4) Se observa el nivel de inventario al inicio de la próximo período. de la siguiente manera: (1) Si los dos últimos días han hecho sol. entonces el 60% del tiempo. Grupo B 4 En relación con el problema 1.) Dejar que el estado del sistema el número de máquinas de trabajo al principio del día. Definir el estado de un período a ser el comienzo del período de nivel de inventario. a continuación. 2 unidades se exigen en el período. (4) Si los dos últimos días se han nublado. (2) Si yo? 1. si una máquina se descompone durante el día 3. 0 unidades ordenado. mañana será estar nublado. (3) Con probabilidad? 1 3 ?. (2) Si ayer estuvo nublado y hoy en día es soleado. será de trabajo al principio del día 5. (3) Si ayer estaba soleado y hoy en día está nublado. el 70% de el tiempo. y con probabilidad? 1 3 ?. cada máquina que está trabajando en el comienzo del día tiene una? 1 3 ? posibilidad de romper. con probabilidad? 1 3 ?. mañana será soleado. formular una transición probabilidad de la matriz de esta situación. (Así. entonces el 95% del tiempo. Determinar la matriz de transición que podría se utiliza para modelar este sistema de inventario como una cadena de Markov. 0 unidades se exigen en el período. 80% de las veces. Durante cualquier día. Una unidad que se exige durante el período. se envía a un centro de reparación y se trabaja en dos días después de que se rompe. 4? i unidades están ordenados. a continuación. . (1) Se observa el nivel de inventario (lo llaman i) al comienzo del período. suponga que la mañana tiempo Smalltown depende de los dos últimos días de tiempo Smalltown.2 Considere un sistema de inventario en el que la secuencia de eventos durante cada período es la siguiente. La entrega de todas las unidades de orden es inmediata. Si i 2. mañana estará nublado. Si una máquina se descompone en el día. mañana será soleado.

Para determinar Pij (2). . X1. suponga que una máquina que se descompone regresa al servicio de tres días más tarde (por ejemplo. Este razonamiento nos permite escribir Pij (2)? ? . Pij (1)? pij. sería una de Markov cadena? (Pista: ¿Cómo un jugador ir a la cárcel en este problema? suponer que los jugadores que se envían a la cárcel permanecer allí hasta que rollo de dobles o hasta que hayan pasado tres vueltas allí. ¿cómo podemos modificar la definición del estado en el tiempo t para que X0. .) 5 Sea Xt ser la ubicación de su ficha en el Monopoly bordo una vez dados t rollos.3 Paso n-Las probabilidades de transición Supongamos que estamos estudiando una cadena de Markov con una probabilidad de transición conocida matriz P. no se molestarán en nuestra etiqueta Cadenas de Markov como estacionarias) Una cuestión de interés es la siguiente:. .) 6 En el problema 3. tenga en cuenta que si el sistema está ahora en el estado i. lo que ocurra primero. (Puesto que todas las cadenas que vamos a tratar son fijas. cuántos estados se necesarios para modelar el clima Smalltown como una cadena de Markov? (Nota: El enfoque utilizado en este problema se puede utilizar para modelo de un proceso estocástico en tiempo discreto como una cadena de Markov incluso si Xt? una depende de los estados antes de Xt. . el tiempo del modelo Smalltown como cadena de Markov. Determinar una transición probabilidad de la matriz de esta situación. tenemos que ir del estado i en cierta k estado y luego ir de un estado a otro k j (ver Figura 3). entonces para que el sistema termine en el estado j dos períodos a partir de ahora. ¿cuál es la probabilidad de que n períodos posteriores de la cadena de Markov estará en el estado j? Puesto que se trata de una cadena de Markov estacionaria. Xt. Claramente.. esta probabilidad será independiente de m. Xt puede ser modelado como una de Markov cadena? Si no. Si una cadena de Markov se encuentra en el estado i en m el tiempo. una máquina que se descompone en 3 días estaría de vuelta en el trabajo fin al principio del día 6). por lo que puede escribir P (Xm n j |? Xm i?)? P (Xn j |? X0 i)? Pij (n) donde Pij (n) se llama la probabilidad de n-paso de una transición del estado i al estado j.. 928 C H A T P R E 17 Cadenas de Markov 17. Si el clima de mañana depende de la última tres días de tiempo Smalltown. como Xt? 1 el ejemplo actual.Con esta información. .

Por lo tanto. que vuelva a escribir la última ecuación como Pij (2)? ? k? s k? 1 pikpkj (3) El lado derecho de (3) es el producto escalar de la fila i de la matriz con la columna P j de la matriz P. 3 Paso N-929 probabilidades de transición . Pij (n)? elemento ij de Pn (4) Por supuesto. Pij (2) es el elemento ij de la matriz de P2. si j? i si j? i 1 0 i. Al extender este razonamiento. por lo que debe escribir Pij (0)? ? Se ilustra el uso de la ecuación (4) en el ejemplo 4. la probabilidad de transición de la matriz. Pij (0)? P (X0 j |? X0 i). para el n? 0.k? s k? 1 (Probabilidad de transición de i a k) ? (Probabilidad de transición de k para j) Usando la definición de P. se puede demostrar que para n 1. j 1 2 k s Estado Tiempo 0 Tiempo 1 Tiempo 2 PI1 pi2 pik pis PSJ pk j p1j p2j F I E 3 GUR Pij (2)? 1p1j pi? 2p2j pi? ? ? ? ? pi spsj 17.

Teniendo en cuenta que el pasado una persona compra cola 1. donde Un Estado? persona ha pasado comprar un refresco de cola Estado 2? persona ha pasado compró cola 2 Si definimos Xn ser el tipo de cola adquirido por una persona en su compra enésima cola futuro (Compra de cola actual? X0). Buscamos una P (X2 1 |? X0 2?)? P21 (2)? elemento 21 de P2: P2? ?? ??? ? Por lo tanto. Esto significa que la probabilidad es de 0.20)? 0.Examp LE 4 Supongamos que la industria de la cola entera produce sólo dos colas. hay una probabilidad del 90% que su próxima compra será una cola.80) (0. Tenga en cuenta que P21 (2)? (Probabilidad de que el próximo compra es un refresco de cola y la segunda compra es un refresco de cola)? (Probabilidad de que la próxima compra es de cola 2 y la segunda compra es un refresco de cola)? p21p11? p22p21? (0. P21 (2)? 0. 2 Buscamos P11 (3)? elemento 11 de P3: P3? P (P2)? ?? ??? ? Por lo tanto. P11 (3)? 0. Dado que una de cola por última vez comprado dos. las compras de cada persona de cola puede estar representados por una cadena de Markov de dos estados. Por lo tanto.34 que dos compras en el futuro un bebedor de cola 2 va a comprar un refresco de cola..219 .781 . ¿cuál es la probabilidad de que invertirá en la compra cola 1 dos compras a partir de ahora? 2 Si una persona es actualmente un refresco de cola un comprador. X1. a continuación. . . podemos obtener esta respuesta de una manera diferente (ver Figura 4).781. . ¿cuál es la probabilidad de que invertirá en la compra cola 1 tres compras a partir de ahora? Solución ver las compras de cada persona como una cadena de Markov con el Estado en un momento dado se el tipo de cola la última persona que compró. hay un 80% de probabilidades de que su próxima compra será de cola 2.34. X0. 1 Si una persona es actualmente una cola 2 comprador.90)? (0.34.562 .20) (0. puede ser descrita como la de Markov cadena con la matriz de transición siguientes: Cola Cola 1 2 P? ? ? Ahora podemos responder a las preguntas 1 y 2. Mediante el uso de teoría de la probabilidad de base.

34 .20 .80 .66 .10 .80 = 0.90 p11 Cola 2 Cola 2 Cola 1 Cola 1 F I E 4 GUR Probabilidad de que dos Los períodos de ahora.10 .10 .20 = 0.83 .90 .90 .90 .83 . un Cola dos comprador Cola compra una .34 .20 .90 .20 p21 = 0.17 .10 .438 .17 .80 .80 .20 Cola 1 Cola 2 El ejemplo Cola Tiempo 0 Tiempo 1 Tiempo 2 p22.66 .20 ..80 . p21 = 0.

Es 0,20 (0,90)? 0.80 (0.20)? .34 930 C H A Cadenas de Markov T P R E 17 En muchas situaciones, no sabemos el estado de la cadena de Markov en el tiempo 0. Tal como se define en la sección 17.2, que el qi la probabilidad de que la cadena está en el estado i en el tiempo 0. A continuación, podemos determinar la probabilidad de que el sistema está en estado i en el tiempo n mediante el siguiente razonamiento (ver Figura 5). Probabilidad de estar en el estado j en el momento n ?? i? s i? 1 (Probabilidad de que el estado es de origen i) ? ? (Probabilidad de ir de i a j en las transiciones n) (5) ?? i? s i? 1 qiPij (n) ? q (columna j de Pn) donde q? [Q1 q2? ? ? cs]. Para ilustrar el uso de (5), responder a la pregunta siguiente: Supongamos que el 60% de todas las personas ahora una bebida cola, y el 40% ya la cola beber 2. Tres compras a partir de ahora, ¿qué fracción de todos los compradores se beber un refresco de cola? Desde q? [0.60 0.40] y q (columna 1 de P-3)? probabilidad de que tres compras a partir de ahora una persona bebe un refresco de cola, la probabilidad deseada [0.60 0.40]? ?? .6438 Por lo tanto, tres compras a partir de ahora, el 64% de todos los compradores se compra un refresco de cola. Para ilustrar el comportamiento de las probabilidades de transición el paso n para valores grandes de n, han calculado varias de las probabilidades de transición el paso n-Cola para el ejemplo en la Tabla 2. .781 .438 s i j 2 1

Tiempo 0 n Tiempo q1 P1j (n) P2j (n) Pij (n) Ps j (n) q2 qi cs F I E GUR 5 Determinación de la Probabilidad de estar en j en el tiempo n Al Estado Estado inicial es Desconocida TAB E L 2 n-Paso Las probabilidades de transición para los bebedores de cola n P11 (n) P12 (n) P21 (n) P22 (n) 1 .90 .10 .20 .80 2 .83 .17 .34 .66 3 .78 .22 .44 .56 4 .75 .25 .51 .49 5 .72 .28 .56 .44 10 .68 .32 .65 .35 20 .67 .33 .67 .33 30 .67 .33 .67 .33 40 .67 .33 .67 .33 17. 4 Clasificación de los Estados en una cadena de Markov 931 Para n grande, tanto P11 (n) y P21 (n) son casi constantes y el enfoque de 0,67. Esto significa que para n grande, sin importar el estado inicial, existe la posibilidad de 0.67 de que una persona ser un refresco de cola un comprador. Del mismo modo, vemos que para n grande, tanto P12 (n) y P22 (n) son casi constante y el enfoque de 0,33. Esto significa que para n grande, sin importar el estado inicial, existe la posibilidad de 0.33 de que una persona será una cola 2 comprador. En la Sección 5.5, se hace una estudio a fondo de este estableciéndose de las probabilidades de transición paso-n. REMAR Nosotros K puede fácilmente multiplicar matrices en una hoja de cálculo utilizando el comando MMULT, como se explica en la sección 13.7. PRLOMBES Grupo A Cada una familia norteamericana se clasifica como vivir en un medio urbano,

zona rural o suburbana. Durante un año dado, el 15% de todos los las familias urbanas se mueven a una ubicación suburbana, y el 5% se mueven a una zona rural, también, el 6% de todas las familias suburbanas se mueven a un lugar urbano, y 4% se mueven a una zona rural; Finalmente, el 4% de todas las familias rurales se trasladan a un lugar urbano, y el 6% se mueven a una ubicación suburbana. a Si una familia vive ahora en una ubicación urbana, lo que es la probabilidad de que se vive en un área urbana dos años a partir de ahora? Un área en los suburbios? Una zona rural? b Suponga que en la actualidad, el 40% de todas las familias viven en una zona urbana, 35% vive en una zona suburbana, y el 25% viven en una zona rural. Dos años a partir de ahora, ¿qué porcentaje de las familias estadounidenses a vivir en una zona urbana? c ¿Qué problemas podrían ocurrir si este modelo se utilizaron para predecir la distribución de la población futura de las Naciones Unidas Estados? 17.4 Clasificación de los Estados en una cadena de Markov En la Sección 17.3, se menciona el hecho de que después de muchas transiciones, la transición n-paso probabilidades tienden a precipitarse. Antes de que podamos discutir esto con más detalle, tenemos que estudiar cómo los matemáticos clasificar los estados de una cadena de Markov. Utilizamos las siguientes matriz de transición para ilustrar la mayoría de las definiciones siguientes (ver Figura 6). P? ? 0 0 0 .1 .2 0 0 .7 .4 .8 0 0 .3 .5 0 .6 .5 0 0

el estado 5 es accesible desde el estado 3 (a través de la ruta 3-4-5). Por supuesto. ¿cuál es la probabilidad de que el estado es [0 1 1]? (Dibuja un diagrama como la Figura 4. 4. Observar que una vez que entramos en un conjunto cerrado.) DE F Inition? Dados dos estados i y j. ¿cuál es la probabilidad que el Estado es [0 2 0]? b Después de tres bolas están pintadas. nunca dejar el estado.4 . ¿cuál es la probabilidad que voy a tener $ 2? 3 En el ejemplo 2. los estados 0 y 4 están absorbiendo los estados.0 .5 0 0 0 2 Las preguntas siguientes se refieren al ejemplo 1. ? 932 C H A Cadenas de Markov T P R E 17 DE F Inition? Para la probabilidad de transición de la matriz P representado en la figura 6. DE F Inition? . el jugador ruina. Después de jugar un juego dos veces. un estado absorbente es un sistema cerrado conjunto que contiene un solo estado. un camino de i a j es una secuencia de transiciones que comienza en i y termina en j. 2} y S2? {3. sin arco comienza en S1 y S2 termina en o comienza y termina en S2 en S1). ? Un estado j es alcanzable desde el estado i si hay un camino que conduce de i a j. los estados 1 y 2 se comunican (que puede ir de 1 a 2 y 2 a 1). pero el estado 5 no es alcanzable desde el estado 1 (no hay camino 1 a 5 en la Figura 6). S1? {1. 5} son conjuntos cerrados. Además. En el ejemplo 1. DE F Inition? Cada vez que entramos en un estado absorbente. de manera que cada paso en la secuencia tiene un efecto positivo probabilidad de ocurrir. determinar la transición después de n pasos probabilidades: Después de un dos bolas están pintadas. ¿cuál es la probabilidad de que voy a tener $ 3? ¿Cómo cerca de $ 2? b Después de jugar el juego tres veces. DE F Inition? Desde la cadena de Markov con matriz de transición P de la figura 6. no podemos dejar el conjunto cerrado (en la figura 6.

pero no hay manera de regresar al estado 2 de estado 4. Para ilustrar. la pintada bola finalmente se pinta. y [1 0 1] son todos los estados transitorios (en la figura 2. [1 1 0]. Del mismo modo.1 S1 S2 .4 .7 . pero el estado i no es alcanzable desde el estado j. ? 1234 5 . Cada vez que entramos en un estado transitorio i.2 . y es i accesible desde j. Por ejemplo (Ver Figura 1). hay un camino a partir del [1 0 1] a [0 0 2].5 . en el ejemplo 2.8 .? Dos estados i y j se dice que comunican si j es alcanzable desde i. Con probabilidad 1. un estado i es transitorio si hay una manera de dejar el estado i que nunca regresa a estado i. En el ejemplo de la ruina del jugador. la probabilidad de estar en cualquier estado transitorio i es cero. Un estado i es un estado transitorio si existe un estado j es accesible desde i. y que nunca volverá a entrar en estado [1 0 1] (véase la figura 2). [2 0 0]. es posible ir por el camino 2-3-4. 4 Clasificación de los Estados en una cadena de Markov 933 . ? Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si ningún estado fuera de S es accesible desde cualquier estado en S. ? Un estado i es un estado absorbente si pii? 1. en el ejemplo 2. desde el estado 2. Después de un gran número de períodos. no hay manera de volver a [1 0 1]). existe una probabilidad positiva de que vamos a dejar i siempre y terminan en el estado j se describe en la definición de un estado transitorio. pero una vez que ambas bolas están pintadas.5 .4 . con el tiempo estamos seguros de entrar en el estado j (y que nunca volverá a su estado i). supongamos que estamos en el estado transitorio [1 0 1].En otras palabras. los estados 1. 2 y 3 son estados transitorios. Por lo tanto.6 .5 .3 F I E 6 GUR Gráfica Representación de Matriz de transición 17.

[0 0 2]. es un ergódica cadena de Markov. por lo que ha estado un periodo de 3. P1? ? Ergódica P2? ? Nonergodic 0 0 ?1 3 ? ?3 4 ? 0 0 ?2 3 ? ?1 4 ? ?1 . (Ver figura 7). y P2 no es ergódica. todos los estados son recurrentes. la ruina del jugador no es una cadena ergódica. el ejemplo de cola. y en el ejemplo 2. Para la matriz de transición P en la figura 6. Ejemplo 4. Por lo tanto. m). porque (por ejemplo) los estados 3 y 4 no se comunican. DE F Inition? ejemplo. Ejemplo 2 tampoco es una cadena ergódica. De las tres cadenas de Markov. los estados 0 y 4 son estados recurrentes (y también estados absorbentes). [0 2 0]. P1 y P3 son ergódica. estamos seguros de volver tres períodos posteriores. porque (por ejemplo) [2 0 0] y [0 1 1] no se comunican. la única manera de volver al estado Una es seguir el camino 1-2-3-1 para un cierto número de veces (por ejemplo. Por ejemplo. DE F Inition? Para la cadena de Markov con matriz de transición Q? ? cada estado tiene periodo 3. si empezamos en el estado 1. y [0 1 1] son estados recurrentes.DE F Inition? En el ejemplo 1. el retorno a un estado de transición se llevará a 3m. Dondequiera que estemos.

la cadena se dice que es ergódica. aperiódicos y se comunican entre sí.2 ? ?1 2 ? 0 0 ?1 2 ? ?1 2 ? 0 0 0 ?1 2 ? ?3 4 ? ?2 3 ? 0 ?1 4 ? ?1 3 ? ?1 2 ? 0 Si todos los estados en una cadena son recurrentes. ? 0 1 .

? 1 11 1 SIGUER723 Un periódico de Markov Cadena de k? 3 934 C H A T P R E 17 Cadenas de Markov P3? ? Ergódica P2 no es ergódica porque hay dos clases de cierre de los estados (clase 1? {1. 2} y la clase 2? {3. y los estados en las diferentes clases no se comunican entre sí. ?1 4 ? 0 ?1 3 ? ?1 2 ? ?1 3 ? ?2 3 . ? Si un estado no es transitorio. la importancia de los conceptos introducidos en esta sección se pondrá de manifiesto.0 1 0 0 0 0 1 Un estado i es periódico con periodo k 1 si k es el número más pequeño de tal manera que todos los caminos que conducen desde el estado i de nuevo al estado i tienen una longitud que es múltiplo de k. 4}). que se conoce como aperiódica. Si un estado recurrente no es periódico. Después de las dos secciones siguientes. que se llama un estado recurrente.

problema 1.? ?1 4 ? ?2 3 ? 0 PRLOMBES Grupo A 1 En el ejemplo 1. ¿cuál es el período de los estados 1 y 3? 2 ¿Es la cadena de Markov de la sección 17.3. un cadena de Markov ergódica? 3 Considere la siguiente matriz de transición: P? ? un Estado que sean transitorios? b ¿Qué estados son recurrentes? 0 1 0 0 0 ?2 3 ? 0 0 1 0 0 0 0 0 0 ?1 2 ? 0 0 1 .

0 0 0 0 0 0 0 0 ?1 4 ? 0 ?1 3 ? 0 0 0 ?1 4 ? 1 0 c Identificar todos los conjuntos cerrados de los estados. Si la Serie Mundial de Poker iban a ser modelado como una cadena de Markov.1 0 1 . determinar los estados recurrentes. Además. P1? ? P2? ? 5 Cincuenta y cuatro jugadores (incluyendo Gabe Kaplan y James Garner) participaron en la Serie Mundial de Poker 1980.000. El juego continuó hasta que un jugador había ganado todos los demás el dinero. y absorbente. ¿cuántos estados absorbentes que la cadena tiene? 6 ¿Cuál de las siguientes cadenas es ergódica? 0 . Cada jugador comienza con $ 10. d ¿Es esta cadena ergódica? 4 Para cada una de las cadenas siguientes. para cada cadena. transitorios. determine si el cadena de Markov es ergódica.

8 0 . Estas probabilidades no dependen de si la persona fue inicialmente un refresco de cola 1 o un bebedor de cola 2. El resultado siguiente es de vital importancia para la comprensión de las probabilidades de estado estable y la comportamiento a largo plazo de las cadenas de Markov. Entonces existe un vector p? [P 1 p 2? ? ? p s] tal que .5 0 .1 . la probabilidad que la compra de una persona cola siguiente sería una cola se acercó a 0.0 .33 que sería ser cola 2 (ver Tabla 2).5 0 .4 P1? ? P2? ? 17.3 . En esta sección.9 .1 0 .2 . encontramos que después de mucho tiempo.2 .67 y 0. que se puede utilizar para describir el comportamiento a largo plazo de una cadena de Markov.8 . se discute el importante concepto de estado estacionario probabilidades.2 0 .7 .4 0 .2 0 .5 probabilidades de estado estable y media veces primer paso En nuestra discusión del ejemplo de cola (ejemplo 4). EOR TH E M 1 Sea P la matriz de transición de un estado s de la cadena ergódica.3 .

4 . observar . ¿cómo podemos encontrar la distribución de probabilidad de estado estable? Desde el teorema 1. o distribución de equilibrio. de la cadena de Markov.2 . la cadena de Markov se establece. ver Isaacson y Madsen (1976. Pn se acerca a una matriz con filas idénticas.. Teorema 1 nos dice que para cualquier estado inicial i. consulte Problemas 11 y 12 al final de esta sección. lim n Pij (n)? pj Obsérvese que para n grande. Para una demostración de este teorema. 17.5 .6 . y (independiente del estado inicial i) existe una probabilidad pj que se encuentran en estado j.3 . capítulo 3).4 . Para una cadena dada con la matriz de transición P.6 .1 0 0 .8 0 .1 0 .7 .3 0 Para ver por qué el teorema 1 no lleva a cabo para una cadena de nonergodic. Esto significa que después mucho tiempo.2 .4 . El vector p? [P1 p2??? ] Ps a menudo se llama la distribución en estado estacionario.2 .5 0 . 5 probabilidades de estado estable y media veces Primer Paso 935 lim n Pn? ? ? Recordemos que el elemento ij de Pn es Pij (n).

80 p2 Sustitución de la segunda ecuación con la condición de p1? p2? 1.10 p1? 0. obtenemos el sistema . tras el cambio de cualquiera de las ecuaciones en (8) con (10). Para obtener los valores únicos de las probabilidades de estado estable. podemos escribir Pij (n? 1)? ? k? s k? 1 Pik (n) PKJ (7) Si n es grande.20 936 C H A Cadenas de Markov T P R E 17 [P1 p2]? [P1 p2]? ? p1? 0. Revisión Problema 21). (8) se puede escribir como p? pP (8?) Desafortunadamente.80 . tenga en cuenta que para cualquier n y cualquier i. podemos utilizar (8) para resolver las probabilidades de estado estable.10 . P).que para n grande y yo. Para ilustrar cómo encontrar las probabilidades de estado estacionario. nos encontramos con las probabilidades de estado estable para el ejemplo 4. Pij (n? 1)? Pij (n)? pj (6) Desde Pij (n? 1)? (Fila i de Pn) (columna j.90 p1? 0.20 p2 p2? 0. el sistema de ecuaciones se especifica en (8) tiene un número infinito de soluciones. la sustitución de (6) en (7) se obtiene pj? ? k? s k? 1 pkpkj (8) En forma matricial. el ejemplo de cola. obtenemos p1? p2? ? ? ? ? ps? 1 (10) Así. Recordemos que la matriz de transición para el ejemplo 4 fue P? ? Entonces (8) o rendimientos (8) . PI1 (n)? Pi2 (n)? ? ? ? ? Pis (n)? 1 (9) Dejar el infinito n enfoque en (9). porque el rango de la matriz P siempre resulta ser? s? 1 (véase el capítulo 2.90 .

90 p1? 0. hay una? 2 3 ? probabilidad de que una determinada persona va a comprar un refresco de cola y un? 1 3 ? probabilidad de que un determinado persona va a comprar dos refrescos de cola. Es bueno saber. que para n grande. Análisis de Transitorio Una mirada a la Tabla 2 se observa que para el ejemplo 4. obtenemos pj (1? PJJ)? ? k? j pkpkj (11) La ecuación (11) afirma que en el estado estacionario. entra en el estado j Recordemos que en el estado estacionario. El comportamiento de una cadena de Markov antes de que el estado estacionario se alcanza a menudo se llama transitoria (o de corto plazo) de comportamiento. el estado de equilibrio se alcanza (a dos decimales lugares) después de las transiciones sólo diez. la probabilidad de que el sistema está en estado j es pj. las probabilidades de estado estable describe con precisión la probabilidad de estar en cualquier estado. sin embargo. el estado de equilibrio suele alcanzar muy rápidamente. Para estudiar el comportamiento transitorio de una cadena de Markov.20 p2 1? p1? p2 Solución para p1 y p2 se obtiene p1? ? 2 3 ? y p2? ? 1 3 ?. La interpretación intuitiva de probabilidades de estado estable Una interpretación intuitiva se puede dar a las ecuaciones de probabilidad de estado estacionario (8). simplemente utiliza las fórmulas para Pij (n) dada en (4) y (5). De . No hay ninguna regla general puede ser dada sobre la rapidez con un cadena de Markov alcanza el estado estacionario. Por restando pjpjj de ambos lados de (8). después de mucho tiempo.p1? 0. Probabilidad de que una transición particular deja el estado j (12) ? probabilidad de que una transición particular. pero si P contiene muy pocas entradas que están cerca de 0 o cerca de 1. Por lo tanto.

entra en el estado j ?? k (Probabilidad de que el período actual se inicia en k? J) ? ? (Probabilidad de que la actual transición entre j) . el "flujo" de la probabilidad en cada estado debe ser igual al flujo de la probabilidad de cada estado. a continuación. se deduce que Probabilidad de que una transición particular deja el estado j ? (Probabilidad de que el período actual se inicia en j) ? ? (Probabilidad de que la transición actual deja j) ? pj (1? PJJ) y Probabilidad de que una transición particular. ?2 3 ? .90 . 5 probabilidades de estado estable y media veces Primer Paso 937 ?? k? j pkpkj La ecuación (11) es razonable. si (11) fueron violados de cualquier estado.esta observación. la lado derecho de (11) superaría el lado izquierdo de (11).10 .80 . Esto daría lugar a la probabilidad "Acumulando" en el estado j. para algunos el estado j. Esto explica por qué las probabilidades de estado estable Supongamos que hay 100 millones de clientes en cola.20 17. La ecuación (11) puede ser visto como diciendo que en el estado estacionario. y una distribución en estado estacionario no existiría.

?2 3 ? 2? 0.80 . Cada .20 $ 95.2.44 . los monopolios.95 .

.

Desde $ 114.4 0 4 ? $ 3.80 1 3 1 . 0 8 0 0? ? Por Asumir ? . 4 0 .5 .17. 9 1 5 .000.

A continuación.Desde ? 1 1? ? Se puede demostrar que ? p 1 i ? ?2 3 ??1 3 ?. ?3 1? 1? 1? 1? 5. 1? 1? .

MODELO: 1] FIN I a 1. Por la ecuación 1? ? Grupo A .

8 ?1 3 ? ?1 2 ? ?2 3 ? ?1 2 ? 17.2 .2 .2 .8 0 .8 0 . .una? ? b? ? Una feria Cuesta 0 .

o debo conducir mi coche hasta que se rompe? probabilidad.. Vamos a . $ 10. transiciones? $ 20. Durante las pelotas? .coche.

?? Grupo B Un cliente que cliente? ? Sugerencia: lim .

lim lim lim ? Si el Si el 0 1 0 1 0 0 0 0 1 0 0 ?2 3 ? .

2 .?1 3 ? 0 0 ?1 3 ? ?2 3 ? ?1 2 ? ?1 2 ? 0 0 ?1 2 ? ?1 2 ? 0 0 .05 .8 .7 .8 .1 .1 .1 .05 .05 .1 0 .6 .

1 .05 Gris Negro Ambos Ni de la máquina.. . del día.2 .

cadena. estados. Cuentas por cobrar 17. ?? Una pregunta .

. P? ? ? ? .Por ejemplo. Nuevo 1 Mes . . ?? Por ejemplo... del Estado.

0 .05 .0 .0 .1 .05 .15 .80 .2 Meses 3 Meses Pago Mal de la deuda R I Q 0 s? .0 .70 .0 .0 .0 .0 .20 .0 .0 .0 Junior Senior Socio .0 .95 .10 .0 .0 .1 .0 .

y Junior Senior Socio ??? 2.05 .05 . ??? 2.10 0 0 . y Q? ? .17. Respuesta: (Véase 0 0 .

15 .05 .0 .1 .0 .70 .0 .0 .0 .0 Junior Senior Socio 0 0 .0 .1 .0 .0 .0 .0 ..0 .10 .15 .0 .0 .0 .80 .0 .0 .20 .20 .80 .95 .0 .70 .95 .05 .

4 0 0 .6 0 0 0 0 0 0 0 0 0 0 .6 .5 .7 1 0 0 0 .4 .5 .6 .7 0 0 .5 0 0 .0 .4 .3 0 1 .3 .4 0 0 0 .

6 0 0 0 0 0 0 0 0 0 0 0 Nuevo 1 mes 2 meses 3 meses Pago ?? A continuación.0 .5 0 0 0 0 . Yo? ? ? .

30 .060 .?? A continuación. .0 1 0 0 .50 .300 .12 .0 .1 .940 t1 t2 t3 t4 .60 .20 .40 . Pagado.0 .1 .1 .

4 0 0 .5 0 0 .0 t1 t2 t3 t4 0 0 1 0 1 0 1 0 0 1 0 0 0 0 0 0 .6 0 0 .3 .4 .7 0 0 .5 .6 .

10 ?4 3 0? 20 2. ? ?? A continuación.5 ?1 3 0? 0 5 0 0 t1 t2 t3 ?0 . ? R? ? .0 0 0 0 0 17. Yo? Q? ? . Q? ? . ? A continuación.

70 .0 2 3 4 5 6 7 8 9 10 11 ?? A continuación.0 ..0 .95 .0 .15 .10 .05 .0 .80 .0 .0 0 . .20 .05 .0 .20 .

5? 10? ..5 ? 1? 10 2.50 ?1 3 ? 0 t1 t2 t3 Ahora (I ? ? 1? 5 (I ? ? 1? 2.50 ?2 3 ? 1 .

Gestión 17. Grupo A . Junior Esto es sólo 20 años. 17.socios. Vea la Figura 8.

?? ?? .

6 .05 .0 .05 .0 .0 .80 .1 .1 .0 .05 .0 .0 .1 0 100 0 .85 .3 .10 .1 .0 .0 ..2 .05 .5 .1 .1 .05 .1 .8 .1 0 .0 .10 .

0 .0 .0 .10 .10 .85 .0 .0 Estudiante de primer año Estudiante de segundo año Junior Senior Los graduados hacia abajo? Si la moneda Grupo B p? .80 .0 ..0 .0 .0 .0 .0 .0 .0 .0 .15 .

???? .?? Casas Casas Si el Yo? Q? ? ? ? ? ? ? ? 17.

? ? ?. Grupo C Piensa . Explicar B? ? R? QB.

30 .15 0 0 0 0 0 0 .15 .30 .25 .1 .45 .20 .0 .1 .10 .0 .20 .30 .10 .bajo nivel .0 .05 .0 .15 .0 .20 .25 .0 .0 .35 .

05 ..10 . Un catálogos. .20 1 2 3 4 5 6 ingresos.15 . solicitud.

Un Por esta Por .

Durante 85? SUMARI . . 2.. 1.. ...y ? ..cadenas.

1. Si un . ?? Dos 1. La ecuaciones: ? ..

????1 Escribe P? ? ? ? P? s? Hola? resolver Hola? ? R I .

y con una probabilidad de 1. . X1. pero más tarde X1 y Xt son al azar. .p. y con una probabilidad de 1 -p. este tipo de situación se llama un jugador . entonces Xt+1 y todos los posteriores Xt también será igual a 4. a continuación. . . Tenga en cuenta que X0= 2 es una constante conocida.Q 0 s? Este Este Una alternativa Ejemplo 1 A la hora 0. Si definimos Xt a ser mi posición de capital después del juego el tiempo t (si los hay) se reproduce. con probabilidad p. si Xt= 0. Del mismo modo. Tenga en cuenta que si Xt = 4.. En el tiempo 1. Xt puede ser visto como un proceso estocástico en tiempo discreto.. 2. X1=3. Con una probabilidad p. tengo $ 2. Mi objetivo es aumentar mi capital a $ 4. . gano el juego. X1= 1. entonces Xt+1 y todos los posteriores Xt serán también igual a 0. y tan pronto como. . El juego es también sobre si mi capital se reduce a $ 0. pierdo el juego. el juego ha terminado. Puedo jugar un juego en el que apuesta $ 1. X0. Por razones obvias. Por ejemplo.

donde u es el número de sin pintar bolas en la urna. definimos el tiempo t para el tiempo después de Seleccionar las bolas la urna. Para modelar esta situación como un proceso estocástico. y b es el número de pelotas de negro en la urna. roblema.de la ruina. Ejemplo 2 Una urna contiene dos bolas sin pintura en la actualidad. si Xt? [0 2 0]. Después de la primera moneda cara o cruz. y el estado será bien [1 1 0] o [1 0 1]. pintamos el elegido sin pintar bola roja. Si el balón ya ha sido pintada. Por lo tanto. Examp NE 3 Llamaremos x0 al precio de una acción de CSL acciones de la Computación en el comienzo de la . pintamos la bola elegida negro sin pintar. Es evidente que hay debe haber algún tipo de relación entre los Xt. Estamos teniendo en cuenta que X0? [2 0 0]. entonces (si los jefes o de las colas ha sido lanzado) que cambia el color de la bola (de rojo a negro o de negro a rojo). Si la bola elegida es sin pintar y la moneda sale cara. si la bola elegida es sin pintar y la moneda sale cruz. Por ejemplo. La estado en cualquier momento puede ser descrito por el vector [urb]. La ruina del jugador 924 C H A T P R E 17 Cadenas de Markov ter la moneda se ha volteado por el momento TTH y la bola elegida ha sido pintada. podemos estar seguros de que el X1? [1 1 0] o X1? [1 0 1]. podemos estar seguro de que Xt? 1 será [0 1 1]. r es el número de bolas rojas en la urna. Elegimos una bola al azar y la vuelta a un moneda. un pelota se han pintado de rojo o negro.

puede ser visto como un de tiempo continuo proceso estocástico. .) Cerramos esta sección con una breve discusión de los procesos estocásticos en tiempo continuo. Es evidente que. Un proceso estocástico continuo en el tiempo es simplemente un proceso estocástico en el que el estado del sistema puede ser visto en cualquier momento. .. conociendo los valores de X0. Por ejemplo.) Dado que el precio de una acción de las acciones puede ser observado en cualquier momento (no sólo el comienzo de cada día de negociación). ¿qué significa el pasado (precios de las acciones hasta el momento t) nos hablan de Xt? 1? La respuesta a esta pregunta es de importancia crítica en las finanzas.cotización actual día. incluyendo la opción famoso Negro-Scholes fórmula de fijación de precios. no sólo en instantes discretos en el tiempo. el número de personas en un supermercado t minutos después de que abra la tienda para los negocios puede ser visto como un proceso estocástico en tiempo continuo. X1. (Modelos de participación continua en el tiempo procesos estocásticos se estudian en el capítulo 20. (Vea la Sección 17. Xt nos dice algo sobre la distribución de probabilidades de Xt 1. Además. .2 para más detalles. Viendo el precio de una acción de las acciones como continuoustime proceso estocástico ha dado muchos resultados importantes en la teoría de las finanzas. vamos a Xt el precio de una acción de CSL en el inicio de la negociación TTH día en el futuro.? la pregunta es. .

You're Reading a Free Preview

Descarga
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->