CADENAS DE MARKOV

GERSON ANDRES ALVARADO PINEDA

062071025

TELESFORO VESGA RONDON

UNIVERSIDAD LIBRE DE COLOMBIA

MODELOS MATEMÁTICOS
BOGOTÁ D. C.
NOVIEMBRE 16 DEL 2010

INTRODUCCIÓN
A veces estamos interesados en cómo cambia una variable aleatoria con el tiempo. Por ejemplo,
podemos saber cómo el precio de las acciones de una empresa evoluciona en el mercado. El estudio de
cómo cambia una variable aleatoria con el tiempo incluye los procesos estocásticos. En particular, nos
centramos en un tipo de proceso estocástico conocido como cadena de Markov. Estas se han aplicado
en áreas como la educación, la comercialización, la salud servicios, finanzas, contabilidad y producción.

¿Qué es un proceso estocástico?

Supongamos que observamos alguna característica de un sistema en puntos discretos en el tiempo (con
la etiqueta 0, 1, 2,. . .). Donde Xt es el valor de la característica del sistema en el tiempo t. En la mayoría
de situaciones, Xt no se sabe con certeza antes de tiempo t y puede ser visto como una variable
aleatoria. Un proceso estocástico en tiempo discreto es simplemente una descripción de la relación
entre el azar variables X0, X1, X2,. . . . Algunos ejemplos de procesos estocásticos en tiempo discreto
seguimiento.

1.0 CADENAS DE MARKOV

¿Qué es una cadena de Markov?
Un tipo especial de proceso estocástico en tiempo discreto se llama cadena de Markov. Para simplificar
nuestra exposición, suponemos que en cualquier momento, el proceso estocástico en tiempo discreto
puede estar en uno de un número finito de estados marcados como 1, 2,. . . , S.

Definición:

Proceso estocástico de tiempo discreto si, para t= 0, 1, 2,….y todos los estados.

En esencia, dice que la distribución de probabilidad del estado en el tiempo t+1 depende de
el estado en el tiempo t (it) y no depende de los estados de la cadena pasados a través de la
manera que en el tiempo t.
En nuestro estudio de las cadenas de Markov, hacemos el supuesto adicional de que para todo estado i y
j y toda t, P(Xt+1 = j |Xt = i) es independiente de t. Este supuesto nos permite escribir

P(Xt+1 = j |Xt = i) _ pij

donde pij es la probabilidad de que, dado el sistema se encuentra en el estado i en el tiempo t, será en
un estado j en el tiempo t+1. Si el sistema se mueve desde el estado i durante un período de al estado j
durante el próximo período, se dice que una transición de i a j se ha producido. La pij a menudo hace
referencia a las probabilidades de transición de la cadena de Markov.
La ecuación implica que la ley de probabilidades sobre el estado el próximo período de la actual
estado no cambia (o se mantiene estacionaria) con el tiempo. Por esta razón, es a menudo
llama la Asunción de estacionariedad. Cualquier cadena de Markov que satisface la ecuacion se llama
cadena estacionaria de Markov.
Nuestro estudio de las cadenas de Markov también nos obliga a definir el qi que la probabilidad de que
la cadena se encuentra en el estado i en el tiempo 0, es decir, P(X0 = i) =qi.. Llamamos al vector q = [q1 q2
…. qs]la distribución de probabilidad inicial de la cadena de Markov. En la mayoría de las aplicaciones, las
probabilidades de transición se muestra como un s X s probabilidad de transición de la matriz P. La
probabilidad de transición de la matriz P se puede escribir como
Dado que el estado en el tiempo t es i, el proceso debe estar en algún lugar en el tiempo t+ 1. Esto
significa
que para cada i,

También sabemos que cada entrada de la matriz P debe ser positivo. Por lo tanto, todas las entradas en
la probabilidad de transición de la matriz son no negativos, y las entradas en cada fila debe sumar 1.

2.0 EJEMPLO
El jugador de la ruina

A la hora 0, tengo $ 2. En el tiempo 1, 2,. . . , Puedo jugar un juego en el que apuesta $ 1. Con una
probabilidad p, gano el juego, y con una probabilidad de 1- p, pierdo el juego. Mi objetivo es aumentar
mi capital a $ 4, y tan pronto como, el juego ha terminado. El juego es también sobre si mi capital se
reduce a $ 0. Si definimos Xt a ser mi posición de capital después del juego el tiempo t (si los hay) se
reproduce, a continuación, X0, X1,. . . , Xt puede ser visto como un proceso estocástico en tiempo
discreto.
Tenga en cuenta que X0= 2 es una constante conocida, pero más tarde X1 y Xt son al azar. Por ejemplo,
con probabilidad p, X1=3, y con una probabilidad de 1 -p, X1= 1. Tenga en cuenta que si Xt = 4, entonces
Xt+1 y todos los posteriores Xt también será igual a 4. Del mismo modo, si Xt= 0, entonces Xt+1 y todos
los posteriores Xt serán también igual a 0. Por razones obvias, este tipo de situación se llama un jugador
de la ruina.

Encuentra la matriz de transición.

Puesto que la cantidad de dinero que tengo después de t+ 1 juega del juego depende de la historia
pasada
del juego sólo a través de la cantidad de dinero que tengo después de t juega, definitivamente
disponer de una cadena de Markov. Puesto que las reglas del juego no cambian con el tiempo, también
tenemos una cadena de Markov estacionaria. La matriz de transición es el siguiente (el estado i significa
que tenemos i dólares):

Si el estado es de $ 0 o $ 4, yo no juego el juego más, por lo que el Estado no puede cambiar, por lo que
P00=P44=1. Para todos los demás estados, sabemos que con probabilidad p, el plazo durante el próximo
superará la situación actual por 1, y con una probabilidad de 1- p, el estado del siguiente período será
uno menos que el estado actual.

Una matriz de transición puede ser representado por un gráfico en el que cada nodo representa un
estado y el arco (i, j) representa la probabilidad de transición pij. La Figura 1 muestra una representación
gráfica de probabilidad de transición de la matriz.

3.0 CONCLUSIONES
BIBLIOGRAFIA

-Wayne Winston, Operations Research Applications and Algorithms 4th. Edition, 2003

Ejemplo 2
Una urna contiene dos bolas sin pintura en la actualidad. Elegimos una bola al azar y la vuelta a un
moneda. Si la bola elegida es sin pintar y la moneda sale cara, pintamos el elegido
sin pintar bola roja, si la bola elegida es sin pintar y la moneda sale cruz, pintamos
la bola elegida negro sin pintar. Si el balón ya ha sido pintada, entonces (si los jefes
o de las colas ha sido lanzado) que cambia el color de la bola (de rojo a negro o de negro
a rojo).

Encuentra la matriz de transición para el ejemplo 2.

Solución Puesto que el estado de la urna después del siguiente lanzamiento de la moneda única depende
de la historia pasada de la
proceso a través del estado de la urna después del lanzamiento de la moneda actual, tenemos una
cadena de Markov.
Dado que las normas no cambian con el tiempo, tenemos una cadena de Markov estacionaria. La
transición
matriz para el ejemplo 2 es la siguiente:
Estado
[0 1 1] [0 2 0] [0 0 2] [2 0 0] [1 1 0] [1 0 1]
P? ? ?
Para ilustrar la determinación de la matriz de transición, se determina el [1 1 0] fila
de esta matriz de transición. Si el estado actual es [1 1 0], entonces uno de los eventos se muestran
en el cuadro 1 debe ocurrir. Por lo tanto, el siguiente estado será [1 0 1] con una probabilidad? 1
2
?, [0 2
0] con probabilidad? 1
4
?, Y [0 1 1] con una probabilidad? 1
4
?. La figura 2 muestra una representación gráfica
de esta matriz de transición.
0
0
0
?1
2
?
?1
2
?
0
0
0
0
?1
2
?
0
?1
2
?
0
0
0
0
0
0
?1
2
?
0
0
0
0
?1
4
?
?1
2
?
0
0
0
?1
4
?
0
0
1
1
0
?1
4
?
?1
4
?
[0 1 1]
[0 2 0]
[0 0 2]
[2 0 0]
[1 1 0]
[1 0 1]
Selección de bolas (Continuación)
01
11
234
1-pp
p
1-pp
1-p
F I GUR E 1
Representación gráfica
de la matriz de transición para
Ruina del jugador
TAB E L 1
Los cálculos de probabilidades de transición Si el Estado actual es [1 1 0]
Probabilidad de sucesos Estado de Nueva
cabezas Flip y elegir sin pintar pelota? un
4
? [0 2 0]
Elija bola roja? Un
2
? [1 0 1]
colas Flip y elegir sin pintar pelota? 1
4
? [0 1 1]
1
1
0, 1, 1, 2, 0, 0
0, 2, 0 1, 1, 0
0, 0, 2 1, 0, 1
1
4
1
4
1
4
1
2
1
2
1
2
1
2
1
2
1
2
1
4
F I GUR E 2
Gráfica
Representación de
Matriz de transición
de urna
17. 2 ¿Qué es una cadena de Markov? 927
Examp NE 3
En los últimos años, los estudiantes de las finanzas han dedicado mucho esfuerzo para responder a la
pregunta
de si el precio diario de una acción bursátil puede ser descrito por una cadena de Markov. Supongamos
el precio diario de una parte de acciones (tales como acciones de CSL Computer) puede ser descrito por
un
cadena de Markov. ¿Qué es lo que nos dicen? Simplemente que la distribución de probabilidad de
mañana
precio de una acción de CSL sólo depende del precio actual de la acción de CSL, no
sobre los precios anteriores de acción de CSL. Si el precio de una acción de valores puede ser descrito por
una de Markov
cadena, el "chartistas" que tratan de predecir los precios futuros de acciones sobre la base de los
patrones
seguida de precios de las acciones pasadas están ladrando al árbol equivocado. Por ejemplo,
supongamos
el precio diario de una acción de CSL sigue una cadena de Markov, y el precio de hoy para un
parte de la acción de CSL es de $ 50. Entonces, para predecir el precio futuro de una acción de CSL, que
no importa si el precio ha aumentado o disminuido en cada uno de los últimos 30
días. En cualquier situación (o cualquier otra situación que podría haber llevado a precio de 50 dólares de
hoy),
una predicción del precio de las acciones del futuro debe basarse únicamente en el hecho de que el
precio de hoy
la acción de CSL es de $ 50. En este momento, el consenso es que para la mayoría de las poblaciones el
precio diario de
la población se puede describir como una cadena de Markov. Esta idea se refiere a menudo como la
eficiente
mercado de hipótesis.
PRLOMBES
Grupo A
CSL archivo Informática (Continuación)
1 En Smalltown, el 90% de todos los días soleados son seguidos por
días de sol, y el 80% de todos los días nublados son seguidos por
los días nublados. Utilice esta información para el modelo de Villamenor
tiempo como una cadena de Markov.
2 Considere un sistema de inventario en el que la secuencia de
eventos durante cada período es la siguiente. (1) Se observa el
nivel de inventario (lo llaman i) al comienzo del período.
(2) Si yo? 1, 4? i unidades están ordenados. Si i 2, 0 unidades
ordenado. La entrega de todas las unidades de orden es inmediata. (3) Con
probabilidad? 1
3
?, 0 unidades se exigen en el período, con
probabilidad? 1
3
?, Una unidad que se exige durante el período, y
con probabilidad? 1
3
?, 2 unidades se exigen en el período.
(4) Se observa el nivel de inventario al inicio de la
próximo período.
Definir el estado de un período a ser el comienzo del período de
nivel de inventario. Determinar la matriz de transición que podría
se utiliza para modelar este sistema de inventario como una cadena de Markov.
3 Una empresa cuenta con dos máquinas. Durante cualquier día, cada
máquina que está trabajando en el comienzo del día tiene una? 1
3
?
posibilidad de romper. Si una máquina se descompone en
el día, se envía a un centro de reparación y se trabaja en dos
días después de que se rompe. (Así, si una máquina se descompone
durante el día 3, será de trabajo al principio del día 5.)
Dejar que el estado del sistema el número de máquinas
de trabajo al principio del día, formular una transición
probabilidad de la matriz de esta situación.
Grupo B
4 En relación con el problema 1, suponga que la mañana
tiempo Smalltown depende de los dos últimos días de
tiempo Smalltown, de la siguiente manera: (1) Si los dos últimos días han
hecho sol, entonces el 95% del tiempo, mañana será soleado.
(2) Si ayer estuvo nublado y hoy en día es soleado, a continuación, el 70% de
el tiempo, mañana será soleado. (3) Si ayer estaba soleado
y hoy en día está nublado, entonces el 60% del tiempo, mañana será
estar nublado. (4) Si los dos últimos días se han nublado, a continuación,
80% de las veces, mañana estará nublado.
Con esta información, el tiempo del modelo Smalltown como
cadena de Markov. Si el clima de mañana depende de la última
tres días de tiempo Smalltown, cuántos estados se
necesarios para modelar el clima Smalltown como una cadena de Markov?
(Nota: El enfoque utilizado en este problema se puede utilizar para
modelo de un proceso estocástico en tiempo discreto como una cadena de Markov
incluso si Xt? una depende de los estados antes de Xt, como Xt? 1
el ejemplo actual.)
5 Sea Xt ser la ubicación de su ficha en el Monopoly
bordo una vez dados t rollos. Xt puede ser modelado como una de Markov
cadena? Si no, ¿cómo podemos modificar la definición del estado
en el tiempo t para que X0, X1,. . . , Xt,. . . sería una de Markov
cadena? (Pista: ¿Cómo un jugador ir a la cárcel en este problema?
suponer que los jugadores que se envían a la cárcel permanecer allí hasta que
rollo de dobles o hasta que hayan pasado tres vueltas allí,
lo que ocurra primero.)
6 En el problema 3, suponga que una máquina que se descompone
regresa al servicio de tres días más tarde (por ejemplo, una máquina
que se descompone en 3 días estaría de vuelta en el trabajo
fin al principio del día 6). Determinar una transición
probabilidad de la matriz de esta situación.
928 C H A T P R E 17 Cadenas de Markov
17.3 Paso n-Las probabilidades de transición
Supongamos que estamos estudiando una cadena de Markov con una probabilidad de transición
conocida matriz P.
(Puesto que todas las cadenas que vamos a tratar son fijas, no se molestarán en nuestra etiqueta
Cadenas de Markov como estacionarias) Una cuestión de interés es la siguiente:. Si una cadena de
Markov se encuentra en el estado i en
m el tiempo, ¿cuál es la probabilidad de que n períodos posteriores de la cadena de Markov estará en el
estado j?
Puesto que se trata de una cadena de Markov estacionaria, esta probabilidad será independiente
de m, por lo que puede escribir
P (Xm n j |? Xm i?)? P (Xn j |? X0 i)? Pij (n)
donde Pij (n) se llama la probabilidad de n-paso de una transición del estado i al estado j.
Claramente, Pij (1)? pij. Para determinar Pij (2), tenga en cuenta que si el sistema está ahora en el estado
i, entonces
para que el sistema termine en el estado j dos períodos a partir de ahora, tenemos que ir del estado i en
cierta
k estado y luego ir de un estado a otro k j (ver Figura 3). Este razonamiento nos permite escribir
Pij (2)? ?
k? s
k? 1
(Probabilidad de transición de i a k)
? (Probabilidad de transición de k para j)
Usando la definición de P, la probabilidad de transición de la matriz, que vuelva a escribir la última
ecuación como
Pij (2)? ?
k? s
k? 1
pikpkj (3)
El lado derecho de (3) es el producto escalar de la fila i de la matriz con la columna P
j de la matriz P. Por lo tanto, Pij (2) es el elemento ij de la matriz de P2. Al extender este
razonamiento, se puede demostrar que para n
 1,
Pij (n)? elemento ij de Pn (4)
Por supuesto, para el n? 0, Pij (0)? P (X0 j |? X0 i), por lo que debe escribir
Pij (0)? ?
Se ilustra el uso de la ecuación (4) en el ejemplo 4.
si j? i
si j? i
1
0
i, j
1
2
k
s
Estado
Tiempo 0 Tiempo 1 Tiempo 2
PI1
pi2
pik
pis PSJ
pk j
p1j
p2j
F I E 3 GUR
Pij (2)? 1p1j pi?
2p2j pi? ? ? ? ? pi spsj
17. 3 Paso N-929 probabilidades de transición
Examp LE 4
Supongamos que la industria de la cola entera produce sólo dos colas. Teniendo en cuenta que el pasado
una persona compra
cola 1, hay una probabilidad del 90% que su próxima compra será una cola. Dado que una
de cola por última vez comprado dos, hay un 80% de probabilidades de que su próxima compra será de
cola 2.
1 Si una persona es actualmente una cola 2 comprador, ¿cuál es la probabilidad de que invertirá en la
compra
cola 1 dos compras a partir de ahora?
2 Si una persona es actualmente un refresco de cola un comprador, ¿cuál es la probabilidad de que
invertirá en la compra
cola 1 tres compras a partir de ahora?
Solución ver las compras de cada persona como una cadena de Markov con el Estado en un momento
dado se
el tipo de cola la última persona que compró. Por lo tanto, las compras de cada persona de cola puede
estar representados por una cadena de Markov de dos estados, donde
Un Estado? persona ha pasado comprar un refresco de cola
Estado 2? persona ha pasado compró cola 2
Si definimos Xn ser el tipo de cola adquirido por una persona en su compra enésima cola futuro
(Compra de cola actual? X0), a continuación, X0, X1,. . . puede ser descrita como la de Markov
cadena con la matriz de transición siguientes:
Cola Cola 1 2
P? ? ?
Ahora podemos responder a las preguntas 1 y 2.
Buscamos una P (X2 1 |? X0 2?)? P21 (2)? elemento 21 de P2:
P2? ?? ??? ?
Por lo tanto, P21 (2)? 0.34. Esto significa que la probabilidad es de 0,34 que dos compras en el futuro
un bebedor de cola 2 va a comprar un refresco de cola. Mediante el uso de teoría de la probabilidad de
base, podemos obtener
esta respuesta de una manera diferente (ver Figura 4). Tenga en cuenta que P21 (2)? (Probabilidad de
que el próximo
compra es un refresco de cola y la segunda compra es un refresco de cola)? (Probabilidad de que la
próxima compra es de cola
2 y la segunda compra es un refresco de cola)? p21p11? p22p21? (0.20) (0.90)? (0.80) (0.20)? 0.34.
2 Buscamos P11 (3)? elemento 11 de P3:
P3? P (P2)? ?? ??? ?
Por lo tanto, P11 (3)? 0.781.
.219
.562
.781
.438
.17
.66
.83
.34
.10
.80
.90
.20
.17
.66
.83
.34
.10
.80
.90
.20
.10
.80
.90
.20
.10
.80
.90
.20
Cola 1
Cola 2
El ejemplo Cola
Tiempo 0 Tiempo 1 Tiempo 2
p22, p21 = 0,80 = 0,20
p21 = 0,20 = 0,90 p11
Cola 2
Cola 2
Cola 1
Cola 1
F I E 4 GUR
Probabilidad de que dos
Los períodos de ahora, un
Cola dos comprador
Cola compra una
Es 0,20 (0,90)?
0.80 (0.20)? .34
930 C H A Cadenas de Markov T P R E 17
En muchas situaciones, no sabemos el estado de la cadena de Markov en el tiempo 0. Tal como se define

en la sección 17.2, que el qi la probabilidad de que la cadena está en el estado i en el tiempo 0. A

continuación,
podemos determinar la probabilidad de que el sistema está en estado i en el tiempo n mediante el
siguiente
razonamiento (ver Figura 5).
Probabilidad de estar en el estado j en el momento n
??
i? s
i? 1
(Probabilidad de que el estado es de origen i)
? ? (Probabilidad de ir de i a j en las transiciones n)
(5)
??
i? s
i? 1
qiPij (n)
? q (columna j de Pn)
donde q? [Q1 q2? ? ? cs].
Para ilustrar el uso de (5), responder a la pregunta siguiente: Supongamos que el 60% de todas las
personas
ahora una bebida cola, y el 40% ya la cola beber 2. Tres compras a partir de ahora, ¿qué fracción
de todos los compradores se beber un refresco de cola? Desde q? [0.60 0.40] y q (columna 1 de P-3)?
probabilidad de que tres compras a partir de ahora una persona bebe un refresco de cola, la
probabilidad deseada
[0.60 0.40]? ?? .6438
Por lo tanto, tres compras a partir de ahora, el 64% de todos los compradores se compra un refresco de
cola.
Para ilustrar el comportamiento de las probabilidades de transición el paso n para valores grandes de n,
han calculado varias de las probabilidades de transición el paso n-Cola para el ejemplo en la Tabla 2.
.781
.438
s
i
j
2
1
Tiempo 0 n Tiempo
q1 P1j (n)
P2j (n)
Pij (n)
Ps j (n)
q2
qi
cs
F I E GUR 5
Determinación de la
Probabilidad de estar en
j en el tiempo n Al Estado
Estado inicial es Desconocida
TAB E L 2
n-Paso Las probabilidades de transición para los bebedores de cola
n P11 (n) P12 (n) P21 (n) P22 (n)
1 .90 .10 .20 .80
2 .83 .17 .34 .66
3 .78 .22 .44 .56
4 .75 .25 .51 .49
5 .72 .28 .56 .44
10 .68 .32 .65 .35
20 .67 .33 .67 .33
30 .67 .33 .67 .33
40 .67 .33 .67 .33
17. 4 Clasificación de los Estados en una cadena de Markov 931
Para n grande, tanto P11 (n) y P21 (n) son casi constantes y el enfoque de 0,67. Esto significa
que para n grande, sin importar el estado inicial, existe la posibilidad de 0.67 de que una persona
ser un refresco de cola un comprador. Del mismo modo, vemos que para n grande, tanto P12 (n) y P22
(n) son casi
constante y el enfoque de 0,33. Esto significa que para n grande, sin importar el estado inicial,
existe la posibilidad de 0.33 de que una persona será una cola 2 comprador. En la Sección 5.5, se hace
una
estudio a fondo de este estableciéndose de las probabilidades de transición paso-n.
REMAR Nosotros K puede fácilmente multiplicar matrices en una hoja de cálculo utilizando el comando
MMULT, como se explica en la sección
13.7.
PRLOMBES
Grupo A
Cada una familia norteamericana se clasifica como vivir en un medio urbano,
zona rural o suburbana. Durante un año dado, el 15% de todos los
las familias urbanas se mueven a una ubicación suburbana, y el 5% se mueven
a una zona rural, también, el 6% de todas las familias suburbanas se mueven
a un lugar urbano, y 4% se mueven a una zona rural;
Finalmente, el 4% de todas las familias rurales se trasladan a un lugar urbano,
y el 6% se mueven a una ubicación suburbana.
a Si una familia vive ahora en una ubicación urbana, lo que es
la probabilidad de que se vive en un área urbana dos años
a partir de ahora? Un área en los suburbios? Una zona rural?
b Suponga que en la actualidad, el 40% de todas las familias viven en
una zona urbana, 35% vive en una zona suburbana, y el 25%
viven en una zona rural. Dos años a partir de ahora, ¿qué porcentaje
de las familias estadounidenses a vivir en una zona urbana?
c ¿Qué problemas podrían ocurrir si este modelo se utilizaron
para predecir la distribución de la población futura de las Naciones Unidas
Estados?
17.4 Clasificación de los Estados en una cadena de Markov
En la Sección 17.3, se menciona el hecho de que después de muchas transiciones, la transición n-paso
probabilidades tienden a precipitarse. Antes de que podamos discutir esto con más detalle, tenemos que

estudiar cómo los matemáticos clasificar los estados de una cadena de Markov. Utilizamos las siguientes
matriz de transición para ilustrar la mayoría de las definiciones siguientes (ver Figura 6).
P? ? 0
0
0
.1
.2
0
0
.7
.4
.8
0
0
.3
.5
0
.6
.5
0
0
0
.4
.5
0
0
0
2 Las preguntas siguientes se refieren al ejemplo 1.
Después de jugar un juego dos veces, ¿cuál es la probabilidad de
que voy a tener $ 3? ¿Cómo cerca de $ 2?
b Después de jugar el juego tres veces, ¿cuál es la probabilidad
que voy a tener $ 2?
3 En el ejemplo 2, determinar la transición después de n pasos
probabilidades:
Después de un dos bolas están pintadas, ¿cuál es la probabilidad
que el Estado es [0 2 0]?
b Después de tres bolas están pintadas, ¿cuál es la probabilidad de que
el estado es [0 1 1]? (Dibuja un diagrama como la Figura 4.)
DE F Inition? Dados dos estados i y j, un camino de i a j es una secuencia de transiciones que comienza
en i y termina en j, de manera que cada paso en la secuencia tiene un efecto positivo
probabilidad de ocurrir. ?
Un estado j es alcanzable desde el estado i si hay un camino que conduce de i a j. ?
932 C H A Cadenas de Markov T P R E 17
DE F Inition?
Para la probabilidad de transición de la matriz P representado en la figura 6, el estado 5 es accesible
desde
el estado 3 (a través de la ruta 3-4-5), pero el estado 5 no es alcanzable desde el estado 1 (no hay camino

1 a 5 en la Figura 6). Además, los estados 1 y 2 se comunican (que puede ir de 1 a 2 y

2 a 1).
DE F Inition?
Desde la cadena de Markov con matriz de transición P de la figura 6, S1? {1, 2} y S2? {3,
4, 5} son conjuntos cerrados. Observar que una vez que entramos en un conjunto cerrado, no podemos
dejar
el conjunto cerrado (en la figura 6, sin arco comienza en S1 y S2 termina en o comienza y termina en S2
en S1).
DE F Inition?
Cada vez que entramos en un estado absorbente, nunca dejar el estado. En el ejemplo 1, el jugador
ruina, los estados 0 y 4 están absorbiendo los estados. Por supuesto, un estado absorbente es un sistema
cerrado
conjunto que contiene un solo estado.
DE F Inition?
En otras palabras, un estado i es transitorio si hay una manera de dejar el estado i que nunca regresa
a estado i. En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo

(Ver Figura 1), desde el estado 2, es posible ir por el camino 2-3-4, pero no hay
manera de regresar al estado 2 de estado 4. Del mismo modo, en el ejemplo 2, [2 0 0], [1 1 0], y
[1 0 1] son todos los estados transitorios (en la figura 2, hay un camino a partir del [1 0 1] a [0 0
2], pero una vez que ambas bolas están pintadas, no hay manera de volver a [1 0 1]).
Después de un gran número de períodos, la probabilidad de estar en cualquier estado transitorio i es
cero.
Cada vez que entramos en un estado transitorio i, existe una probabilidad positiva de que vamos a dejar i

siempre y terminan en el estado j se describe en la definición de un estado transitorio. Por lo tanto, con
el tiempo
estamos seguros de entrar en el estado j (y que nunca volverá a su estado i). Para ilustrar,
en el ejemplo 2, supongamos que estamos en el estado transitorio [1 0 1]. Con probabilidad 1, la pintada
bola finalmente se pinta, y que nunca volverá a entrar en estado [1 0 1] (véase la figura
2).
Un estado i es un estado transitorio si existe un estado j es accesible desde i, pero
el estado i no es alcanzable desde el estado j. ?
Un estado i es un estado absorbente si pii? 1. ?
Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si ningún estado fuera de S
es
accesible desde cualquier estado en S.?
Dos estados i y j se dice que comunican si j es alcanzable desde i, y es i
accesible desde j. ?
1234
5
.4
.4
.5 .8 .1
S1
S2
.2
.5
.5
.6 .7
.3
F I E 6 GUR
Gráfica
Representación de
Matriz de transición
17. 4 Clasificación de los Estados en una cadena de Markov 933
DE F Inition?
En el ejemplo 1, los estados 0 y 4 son estados recurrentes (y también estados absorbentes), y en el
ejemplo
2, [0 2 0], [0 0 2], y [0 1 1] son estados recurrentes. Para la matriz de transición
P en la figura 6, todos los estados son recurrentes.
DE F Inition?
Para la cadena de Markov con matriz de transición
Q? ?
cada estado tiene periodo 3. Por ejemplo, si empezamos en el estado 1, la única manera de volver al
estado
Una es seguir el camino 1-2-3-1 para un cierto número de veces (por ejemplo, m). (Ver figura 7). Por lo
tanto,
el retorno a un estado de transición se llevará a 3m, por lo que ha estado un periodo de 3. Dondequiera
que estemos,
estamos seguros de volver tres períodos posteriores.
DE F Inition?
ejemplo, la ruina del jugador no es una cadena ergódica, porque (por ejemplo) los estados 3 y
4 no se comunican. Ejemplo 2 tampoco es una cadena ergódica, porque (por ejemplo) [2
0 0] y [0 1 1] no se comunican. Ejemplo 4, el ejemplo de cola, es un ergódica
cadena de Markov. De las tres cadenas de Markov, P1 y P3 son ergódica, y P2 no es
ergódica.
P1? ? Ergódica
P2? ? Nonergodic
0
0
?1
3
?
?3
4
?
0
0
?2
3
?
?1
4
?
?1
2
?
?1
2
?
0
0
?1
2
?
?1
2
?
0
0
0
?1
2
?
?3
4
?
?2
3
?
0
?1
4
?
?1
3
?
?1
2
?
0
Si todos los estados en una cadena son recurrentes, aperiódicos y se comunican entre sí,
la cadena se dice que es ergódica. ?
0
1
0
1
0
0
0
0
1
Un estado i es periódico con periodo k
 1 si k es el número más pequeño de tal manera que todos los
caminos que conducen desde el estado i de nuevo al estado i tienen una longitud que es múltiplo de k. Si
un
estado recurrente no es periódico, que se conoce como aperiódica. ?
Si un estado no es transitorio, que se llama un estado recurrente. ?
1
11
1
SIGUER723
Un periódico de Markov
Cadena de k? 3
934 C H A T P R E 17 Cadenas de Markov
P3? ? Ergódica
P2 no es ergódica porque hay dos clases de cierre de los estados (clase 1? {1, 2} y la clase
2? {3, 4}), y los estados en las diferentes clases no se comunican entre sí.
Después de las dos secciones siguientes, la importancia de los conceptos introducidos en esta sección
se pondrá de manifiesto.
?1
4
?
0
?1
3
?
?1
2
?
?1
3
?
?2
3
?
?1
4
?
?2
3
?
0
PRLOMBES
Grupo A
1 En el ejemplo 1, ¿cuál es el período de los estados 1 y 3?
2 ¿Es la cadena de Markov de la sección 17.3, problema 1, un
cadena de Markov ergódica?
3 Considere la siguiente matriz de transición:
P? ?
un Estado que sean transitorios?
b ¿Qué estados son recurrentes?
0
1
0
0
0
?2
3
?
0
0
1
0
0
0
0
0
0
?1
2
?
0
0
1
0
0
0
0
0
0
0
0
?1
4
?
0
?1
3
?
0
0
0
?1
4
?
1
0
c Identificar todos los conjuntos cerrados de los estados.
d ¿Es esta cadena ergódica?
4 Para cada una de las cadenas siguientes, determine si el
cadena de Markov es ergódica. Además, para cada cadena, determinar
los estados recurrentes, transitorios, y absorbente.
P1? ? P2? ?
5 Cincuenta y cuatro jugadores (incluyendo Gabe Kaplan y James
Garner) participaron en la Serie Mundial de Poker 1980.
Cada jugador comienza con $ 10,000. El juego continuó hasta que un
jugador había ganado todos los demás el dinero. Si la Serie Mundial
de Poker iban a ser modelado como una cadena de Markov, ¿cuántos
estados absorbentes que la cadena tiene?
6 ¿Cuál de las siguientes cadenas es ergódica?
0
.1
0
1
0
.9
.1
0
.8
0
.5
0
.2
0
.4
0
.2
0
.1
.8
.7
.5
0
.3
.4
P1? ? P2? ?
17.5 probabilidades de estado estable y media veces primer paso
En nuestra discusión del ejemplo de cola (ejemplo 4), encontramos que después de mucho tiempo, la
probabilidad
que la compra de una persona cola siguiente sería una cola se acercó a 0,67 y 0,33 que sería
ser cola 2 (ver Tabla 2). Estas probabilidades no dependen de si la persona fue inicialmente
un refresco de cola 1 o un bebedor de cola 2. En esta sección, se discute el importante concepto de
estado estacionario
probabilidades, que se puede utilizar para describir el comportamiento a largo plazo de una cadena de
Markov.
El resultado siguiente es de vital importancia para la comprensión de las probabilidades de estado
estable y la
comportamiento a largo plazo de las cadenas de Markov.
EOR TH E M 1
Sea P la matriz de transición de un estado s de la cadena ergódica. † Entonces existe un vector
p? [P 1 p 2? ? ? p s] tal que
.3
.2
.2
.8
0
.4
.1
0
0
.2
.1
0
.7
.2
.6
.2
.6
.4
.5
0
.3
.5
.4
.3
0
† Para ver por qué el teorema 1 no lleva a cabo para una cadena de nonergodic, consulte Problemas 11 y
12 al final de esta sección.
Para una demostración de este teorema, ver Isaacson y Madsen (1976, capítulo 3).
17. 5 probabilidades de estado estable y media veces Primer Paso 935
lim
n→∞
Pn? ? ?
Recordemos que el elemento ij de Pn es Pij (n). Teorema 1 nos dice que para cualquier estado inicial i,
lim
n→∞
Pij (n)? pj
Obsérvese que para n grande, Pn se acerca a una matriz con filas idénticas. Esto significa que después
mucho tiempo, la cadena de Markov se establece, y (independiente del estado inicial i)
existe una probabilidad pj que se encuentran en estado j.
El vector p? [P1 p2??? ] Ps a menudo se llama la distribución en estado estacionario, o
distribución de equilibrio, de la cadena de Markov. Para una cadena dada con la matriz de transición
P, ¿cómo podemos encontrar la distribución de probabilidad de estado estable? Desde el teorema 1,
observar
que para n grande y yo,
Pij (n? 1)? Pij (n)? pj (6)
Desde Pij (n? 1)? (Fila i de Pn) (columna j, P), podemos escribir
Pij (n? 1)? ?
k? s
k? 1
Pik (n) PKJ (7)
Si n es grande, la sustitución de (6) en (7) se obtiene
pj? ?
k? s
k? 1
pkpkj (8)
En forma matricial, (8) se puede escribir como
p? pP (8?)
Desafortunadamente, el sistema de ecuaciones se especifica en (8) tiene un número infinito de
soluciones,
porque el rango de la matriz P siempre resulta ser? s? 1 (véase el capítulo 2, Revisión
Problema 21). Para obtener los valores únicos de las probabilidades de estado estable, tenga en cuenta
que para cualquier n
y cualquier i,
PI1 (n)? Pi2 (n)? ? ? ? ? Pis (n)? 1 (9)
Dejar el infinito n enfoque en (9), obtenemos
p1? p2? ? ? ? ? ps? 1 (10)
Así, tras el cambio de cualquiera de las ecuaciones en (8) con (10), podemos utilizar (8) para resolver
las probabilidades de estado estable.
Para ilustrar cómo encontrar las probabilidades de estado estacionario, nos encontramos con las
probabilidades de estado estable
para el ejemplo 4, el ejemplo de cola. Recordemos que la matriz de transición para el ejemplo 4
fue
P? ?
Entonces (8) o rendimientos (8)
.10
.80
.90
.20
936 C H A Cadenas de Markov T P R E 17
[P1 p2]? [P1 p2]? ?
p1? 0.90 p1? 0.20 p2
p2? 0.10 p1? 0.80 p2
Sustitución de la segunda ecuación con la condición de p1? p2? 1, obtenemos el sistema
p1? 0.90 p1? 0.20 p2
1? p1? p2
Solución para p1 y p2 se obtiene p1? ? 2
3
? y p2? ? 1
3
?. Por lo tanto, después de mucho tiempo, hay
una? 2
3
? probabilidad de que una determinada persona va a comprar un refresco de cola y un? 1
3
? probabilidad de que un determinado
persona va a comprar dos refrescos de cola.
Análisis de Transitorio
Una mirada a la Tabla 2 se observa que para el ejemplo 4, el estado de equilibrio se alcanza (a dos
decimales
lugares) después de las transiciones sólo diez. No hay ninguna regla general puede ser dada sobre la
rapidez con un
cadena de Markov alcanza el estado estacionario, pero si P contiene muy pocas entradas que están cerca
de 0
o cerca de 1, el estado de equilibrio suele alcanzar muy rápidamente. El comportamiento de una cadena
de Markov
antes de que el estado estacionario se alcanza a menudo se llama transitoria (o de corto plazo) de
comportamiento. Para
estudiar el comportamiento transitorio de una cadena de Markov, simplemente utiliza las fórmulas para
Pij (n)
dada en (4) y (5). Es bueno saber, sin embargo, que para n grande, las probabilidades de estado estable
describe con precisión la probabilidad de estar en cualquier estado.
La interpretación intuitiva de probabilidades de estado estable
Una interpretación intuitiva se puede dar a las ecuaciones de probabilidad de estado estacionario (8).
Por
restando pjpjj de ambos lados de (8), obtenemos
pj (1? PJJ)? ?
k? j
pkpkj (11)
La ecuación (11) afirma que en el estado estacionario,
Probabilidad de que una transición particular deja el estado j
(12)
? probabilidad de que una transición particular, entra en el estado j
Recordemos que en el estado estacionario, la probabilidad de que el sistema está en estado j es pj. De
esta
observación, se deduce que
Probabilidad de que una transición particular deja el estado j
? (Probabilidad de que el período actual se inicia en j)
? ? (Probabilidad de que la transición actual deja j)
? pj (1? PJJ)
y
Probabilidad de que una transición particular, entra en el estado j
??
k
(Probabilidad de que el período actual se inicia en k? J)
? ? (Probabilidad de que la actual transición entre j)
.10
.80
.90
.20
17. 5 probabilidades de estado estable y media veces Primer Paso 937
??
k? j
pkpkj
La ecuación (11) es razonable, si (11) fueron violados de cualquier estado, a continuación, para algunos
el estado j, la
lado derecho de (11) superaría el lado izquierdo de (11). Esto daría lugar a la probabilidad
"Acumulando" en el estado j, y una distribución en estado estacionario no existiría. La ecuación (11)
puede ser visto como diciendo que en el estado estacionario, el "flujo" de la probabilidad en cada estado

debe ser igual al flujo de la probabilidad de cada estado. Esto explica por qué las probabilidades de
estado estable

Supongamos que hay 100 millones de clientes en cola.

?2
3
?

?2
3

2? 0.2.

los monopolios. Cada

.80
.95
.20

$ 95.44
17.

9
1
5
,5
.4
0
4

$ 3,000.
Desde

$ 114.80
1
3
1
,
4
0
.
0
8
0
0?
?
Por
Asumir

Desde
?

1? ?

Se puede demostrar que

?
p
1
i
?

?2
3
??1
3
?. A continuación,
?3

1? 1? 1? 1?
5.

1?
1?
MODELO:
1]

FIN

a 1.

Por

la ecuación
1? ?

Grupo A

una? ? b? ?

Una feria

Cuesta

0
.8
0
.2
.2
.2
.8
0
.8
?1
3
?
?1
2
?
?2
3
?
?1
2
?
17.

coche.
o debo conducir mi coche hasta que se rompe?

probabilidad.

Vamos a
..

transiciones?

$ 20.

$ 10.

Durante
las pelotas?

??

Grupo B

Un cliente que

cliente?
?

Sugerencia:

lim

lim

lim

lim

Si el

Si el
0
1
0
1
0
0
0
0
1
0
0
?2
3
?
?1
3
?
0
0
?1
3
?
?2
3
?
?1
2
?
?1
2
?
0
0
?1
2
?
?1
2
?
0
0
.05
.1
0
.8
.05
.1
.8
.1
.2
.6
.1
.05
.7
.2
.1
.05
Gris
Negro
Ambos
Ni

de la máquina.

del día.
cadena.

estados.

Cuentas por cobrar

17.

??

Una pregunta
Por ejemplo,

??
Por ejemplo,

P? ? ? ?
..,
..
del Estado.

Nuevo
1 Mes
2 Meses
3 Meses
Pago
Mal de la deuda

R
I
Q
0
s?

.0
.0
.05
.0
.1
.05
.10
.0
.1
.0
.0
.20
.95
.0
.0
.15
.70
.0
.0
.0
.80
.0
.0
.0
.0
Junior
Senior
Socio

17.

???
2, y

Junior
Senior
Socio

???
2, y
Q? ? .

Respuesta:

(Véase

0
0
.05
.05
.10
0
0
.20
.95
.15
.70
.0
.80
.0
.0
.0
.0
.05
.0
.1
.05
.10
.0
.1
.0
.0
.20
.95
.0
.0
.15
.70
.0
.0
.0
.80
.0
.0
.0
.0
Junior
Senior
Socio

0
0
0
.3
.4
.5
.6
.7
0
0
.4
0
0
.5
0
0
.6
0
0
0
0
0
0
0
0
0
0
.3
0
1
.4
.5
.6
.7
1
0
0
0
.4
0
0
0
0
.5
0
0
0
0
.6
0
0
0
0
0
0
0
0
0
0
0
Nuevo
1 mes
2 meses
3 meses
Pago

??
A continuación,
Yo? ?

??
A continuación,
Pagado.

.060

.300

.940

t1
t2
t3
t4
.12
.20
.40
.1
.30
.50
.1
.0
.60
.1
.0
.0
1
0
0
0
t1
t2
t3
t4
0
0

1
0

1
0

1
0
0
1
0
0
0
0
0
0
.3
.4
.5
.6
.7
0
0
.4
0
0
.5
0
0
.6
0
0
0
0
0
0
0

17.

Q? ? . ? R? ? . ?
A continuación,
Yo? Q? ? . ?

??
A continuación,

10
?4
3
0?
20
2.5
?1
3
0?
0
5
0
0
t1
t2
t3
?0
.20
.0
.0
0
.0
.05
.05
.10
.0
.0
.20
.95
.15
.70
.0
.80
.0
.0
2
3
4
5
6
7
8
9
10
11
??
A continuación,

.50
?2
3
?
1
.50
?1
3
?
0
t1
t2
t3

Ahora

(I
?
? 1? 5
(I
?
? 1? 2.5

? 1? 10
2.5?
10?

socios. Junior

Esto es sólo

20 años.

17.

Gestión
17.
Vea la Figura 8.

Grupo A

??
??

.05
.2
.3
.1
.05
.1
.5
.0
.1
.6
.1
0
.8
.1
.1
0

100

0
.0
.0
.0
.85
.0
.1
.10
.05
.05
.05
.1
.0
.0
.0
.80
.10
.0
.0
.0
.85
.15
.0
.0
.0
.80
.10
.0
.0
.0
.0
.10
.0
.0
.0
.0
.0
Estudiante de primer año
Estudiante de segundo año
Junior
Senior

Los graduados

hacia abajo?
Si la moneda
Grupo B

p?

??

Casas

Casas

Si el
Yo? Q? ? ? ? ? ? ? ?

17.

????
? ? ?.
Explicar

B?

R? QB.

Grupo C

Piensa
bajo nivel

.0
.15
.10
.35
.30
.0
.0
.20
.20
.25
.30
.0
.0
.25
.20
.15
.15
0
0
0
0
0
0
.0
.1
.30
.45
.10
.05
.1
.0
.10
.05
.15
.20
1
2
3
4
5
6

ingresos.
Un

catálogos.

solicitud.
Un

Por esta

Por
cadenas.

1, 2,. . . Durante

85?

SUMARI
.....y

1.
??

Dos

1.

Si un

..
La

ecuaciones:
?

????1

Escribe

P? ? ? ?

P? s?
Hola?

resolver
Hola? ?
R
I
Q
0
s?

Este

Este

Una alternativa

Ejemplo 1
A la hora 0, tengo $ 2. En el tiempo 1, 2,. . . , Puedo jugar un juego en el que apuesta $ 1. Con una
probabilidad p, gano el juego, y con una probabilidad de 1- p, pierdo el juego. Mi objetivo es aumentar
mi capital a $ 4, y tan pronto como, el juego ha terminado. El juego es también sobre si mi capital se
reduce a $ 0. Si definimos Xt a ser mi posición de capital después del juego el tiempo t (si los hay) se
reproduce, a continuación, X0, X1,. . . , Xt puede ser visto como un proceso estocástico en tiempo
discreto.
Tenga en cuenta que X0= 2 es una constante conocida, pero más tarde X1 y Xt son al azar. Por ejemplo,
con probabilidad p, X1=3, y con una probabilidad de 1 -p, X1= 1. Tenga en cuenta que si Xt = 4, entonces
Xt+1 y todos los posteriores Xt también será igual a 4. Del mismo modo, si Xt= 0, entonces Xt+1 y todos
los posteriores Xt serán también igual a 0. Por razones obvias, este tipo de situación se llama un jugador
de la ruina.

roblema.
Ejemplo 2
Una urna contiene dos bolas sin pintura en la actualidad. Elegimos una bola al azar y la vuelta a un
moneda. Si la bola elegida es sin pintar y la moneda sale cara, pintamos el elegido
sin pintar bola roja, si la bola elegida es sin pintar y la moneda sale cruz, pintamos
la bola elegida negro sin pintar. Si el balón ya ha sido pintada, entonces (si los jefes
o de las colas ha sido lanzado) que cambia el color de la bola (de rojo a negro o de negro
a rojo). Para modelar esta situación como un proceso estocástico, definimos el tiempo t para el tiempo
después de Seleccionar las bolas la urna.

La ruina del jugador

924 C H A T P R E 17 Cadenas de Markov
ter la moneda se ha volteado por el momento TTH y la bola elegida ha sido pintada. La
estado en cualquier momento puede ser descrito por el vector [urb], donde u es el número de sin pintar
bolas en la urna, r es el número de bolas rojas en la urna, y b es el número de
pelotas de negro en la urna. Estamos teniendo en cuenta que X0? [2 0 0]. Después de la primera moneda
cara o cruz, un
pelota se han pintado de rojo o negro, y el estado será bien [1 1 0] o
[1 0 1]. Por lo tanto, podemos estar seguros de que el X1? [1 1 0] o X1? [1 0 1]. Es evidente que hay
debe haber algún tipo de relación entre los Xt. Por ejemplo, si Xt? [0 2 0], podemos
estar seguro de que Xt? 1 será [0 1 1].
Examp NE 3
Llamaremos x0 al precio de una acción de CSL acciones de la Computación en el comienzo de la
cotización actual
día. Además, vamos a Xt el precio de una acción de CSL en el inicio de la negociación TTH
día en el futuro. Es evidente que, conociendo los valores de X0, X1,. . . , Xt nos dice algo
sobre la distribución de probabilidades de Xt 1;? la pregunta es, ¿qué significa el pasado (precios de las
acciones
hasta el momento t) nos hablan de Xt? 1? La respuesta a esta pregunta es de importancia crítica en
las finanzas. (Vea la Sección 17.2 para más detalles.)
Cerramos esta sección con una breve discusión de los procesos estocásticos en tiempo continuo.
Un proceso estocástico continuo en el tiempo es simplemente un proceso estocástico en el que el estado

del sistema puede ser visto en cualquier momento, no sólo en instantes discretos en el tiempo. Por
ejemplo,
el número de personas en un supermercado t minutos después de que abra la tienda para los negocios
puede ser
visto como un proceso estocástico en tiempo continuo. (Modelos de participación continua en el tiempo
procesos estocásticos se estudian en el capítulo 20.) Dado que el precio de una acción de las acciones
puede ser
observado en cualquier momento (no sólo el comienzo de cada día de negociación), puede ser visto
como un
de tiempo continuo proceso estocástico. Viendo el precio de una acción de las acciones como
continuoustime
proceso estocástico ha dado muchos resultados importantes en la teoría de las finanzas, incluyendo
la opción famoso Negro-Scholes fórmula de fijación de precios.