Diapositivas Cadenas de Markov

CADENAS DE MARKOV
1. Definicin de procesos estocsticos

Sucesin de eventos que se desarrolla en el tiempo, en el cual el resultado
en cualquier estado contiene algn elemento que depende del azar
Ejemplo 2.1
X
t
= Condiciones de tiempo en la ciudad de Ica
Ejemplo 2.2
X
t
= El valor de venta del kilogramo de pollo cada semana.
Ejemplo 2.3
X
t
= Lanzamiento de una moneda.
En el caso del lanzamiento de una moneda, el resultado en cualquier
etapa es independiente de todos los resultados previos.
En los casos de la condicin del clima y del precio de venta de la
carne de aves, su estado en un tiempo determinado no es aleatorio
por completo, sino que es afectado en cierto grado por el tiempo de
das previos. No obstante la sucesin es tan compleja que dicho
comportamiento cambia da a da de una manera que en apariencia
es algo aleatorio.
Por lo mencionado, decimos que un proceso estocstico discreto en
el tiempo es la relacin entre variables aleatorias.
Xi Xj
Relacin
Ejemplo 2.4
X
t
= Temperatura registrada en cada da del ao en la
ciudad de Lima.
Ejemplo 2.5
X
t
= Cantidad de alumnos que egresan semestralmente
en la especialidad de ingeniera industrial.
Ejemplo 2.6
X
t
= Nmero de alumnos que asisten a cada clase de IO2.
Caso 1: El estado del tiempo
Ud. sabe que el da 23 de noviembre fue un da soleado y la
probabilidad de que el da siguiente lloviera fue de un 36%.
23 / 10
24 / 10 36%
19 / 05 20/ 05
p ?
Caso 2: La ruina del jugador
Cierto juego tiene las siguientes caractersticas:
Se dispone de $3 para jugar.
Se apuesta $1 por jugada.
En cada jugada se gana $1 o se pierde $1 (no hay empate).
Se gana $1 con probabilidad p y se pierde $1 con probabilidad 1 p.
La meta es tener la mxima cantidad de dinero posible.
El juego termina cuando se llega a $5 o cuando el capital se reduce a $0.
Se define X
t
como el capital al final del juego en el tiempo t.
Sabemos que:
X
0
= 3 (constante)
X
1
, X
2
y las dems X
t
son desconocidas (VA)
Se puede considerar que X
0
, X
1
, X
2
, X
3
, .... X
t
son procesos
estocsticos de tiempo discreto.
P =
2
3
4
0
1
1-p
0
0
0
1
0
0
1-p
0
0
2
0
p
0
1-p
0
3
0
0
p
0
1-p
4
0
0
0
p
0
1
0
1 juego
5 0 0 0 0 0
5
0
0
0
0
p
1
P =
2
3
4
0
1
1-p
0
0
0
1
0
0
1-p
0
0
2
0
p
0
1-p
0
3
0
0
p
0
1-p
4
0
0
0
p
0
1
0
1 juego
5 0 0 0 0 0
5
0
0
0
0
p
1
Grficamente
0
1
2
3 4
1
1-p
p
1-p
p
p
1-p
5
1
1-p
p
Usando diagramas de rbol:
3
2
4
1 juego 1 juego 1 juego
1
3
3
5
0
2
2
4
2
4
1-p
pierde
gana
2 juegos
Xo= es el capital inicial del
jugador igual a $3
En cada jugada gana o pierde $1
con probabilidad de p o 1-p
respectivamente
El juego termina cuando alcanza
su meta que es tener $5 o pierde
todo
3
Xo X1 X2 X3
2
3
4
0
1
1-p
(1-p)
2
0
0
1
0
p(1-p)
0
(1-p)
2
0
2
0
0
2p(1-p)
0
(1-p)
2
3
0
p
2
0
2p(1-p)
0
4
0
0
p
2
0
p(1-p)
1
0
2 juegos
5 0 0 0 0 0
5
0
0
0
p
2
p
1
0
1
2
3 4
1
1-p
5
1
P
2
= P*P =
p(1-p)
(1-p)
2
2p(1-p)
p
2
(1-p)
2
p
2
p
2
2p(1-p)
(1-p)
2
p(1-p)
2. Definicin de Cadenas de Markov
El proceso estocstico de tiempo discreto puede estar en uno de un
nmero finito de estados identificados por 1, 2,...,s.

Un proceso estocstico de tiempo discreto es una CADENA DE
MARKOV s, para t = 0,1,2,... y todos los estados,
P(X
t+1
=i
t+1
/X
t
=i
t
) =
P(X
t+1
=i
t+1
/X
0
=i
0
, X
1
=i
1
,...X
t-1
=i
t-1
, X
t
=i
t
)

Adems para todos los estados i y j y toda t, P(X
t+1
=j / X
t
=i) es
independiente de t. Esta hiptesis permite escribir:
p
ij
= P(X
t+1
=j / X
t
=i)
Con frecuencia se llaman probabilidades de transicin a las p
ij
en
una cadena de Markov.

La ecuacin: p
ij
= P(X
t+1
=j / X
t
=i)

Indica que la ley de probabilidad que relaciona el estado del siguiente
perodo con el estado actual no cambia, o que permanece
estacionaria en el tiempo.

Toda cadena de Markov que cumple con esta condicin se llama
cadena estacionaria de Markov.
Se necesita saber las probabilidades de encontrar la
cadena en el estado i en el tiempo 0, es decir, P(X
0
=i) = q
i
Al vector q = [q
1
q
2
.....q
n
] se le llama vector
de condiciones iniciales o distribucin
inicial de probabilidad.

j=1,n
q
j
= 1
Las probabilidades de transicin se presentan como una matriz P de
probabilidad de transicin s x s. La matriz de probabilidad de transicin
se puede escribir como:
1 2 3 ... S
1 p
11
p
12
p
13
... p
1s
2 p
21
p
22
p
23
... P
2s
P = 3 p
31
p
32
p
33
... P
3s
... ... ... ... ... ...
S p
s1
p
s2
p
s3
... p
ss
Dado que el estado es i en el tiempo t, el proceso debe estar en algn
lugar en el tiempo t+1. Esto significa que para cada i:

j=1,s
P(X
t+1
=j / X
t
=i) =
j=1,s
p
ij
= 1
(p
ij
> 0)
Perodo de Transicin
Elementos de una Cadena de Markov:

1. Estados del Sistema: X
(t)
2. Perodo de Transicin
3. Probabilidades de Transicin Matriz de probabilidades
4. Distribucin inicial de probabilidad
CADENAS DE MARKOV
IMPORTANCIA:
Permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado.
Permite encontrar el promedio a la larga o las probabilidades de
estado estable.
APLICACIONES
Biologa (Comportamiento de molculas y
prediccin de comportamientos).

Gentica y Paleontologa (Evolucin de las
especies).
Marketing (Identificar patrones de
comportamiento de clientes).
Gobierno (Efecto de Polticas
Gubernamentales).
Ejemplos (Cadenas de Markov)
Ejemplo 1
Supongamos, que en Lima, si un da est nublado, el
65% del tiempo ser nublado al da siguiente y que si un
da est soleado, con probabilidad 38% ser soleado al
da siguiente. Hallar la Matriz de Transicin.
62%
35%
65%
38%
Cadena de Markov con 2 estados
s
0.38
0.35
n
0.62
0.65 n
s
Ejemplo 2 Cadena de Markov con 3 estados
Supongamos que el estado de nimo de Enzo puede ser, alegre, triste o
molesto. Si est alegre, habr una probabilidad de 80% de que siga
alegre al da siguiente y 15% de que est triste. Si est triste, 30% de
que siga triste y 50% de que est molesto. Y, si est molesto, 80% de
que no siga molesto y 50% de que est alegre al da siguiente. Hallar la
Matriz de Transicin.
30%
80%
20%
M
A
0.80
0.20
0.50

T
0.15
0.30
0.20
M
0.05
0.50
0.30
T
A
Ejemplo 3 Cadena de Markov con 4 estados
Considere el siguiente modelo para el valor de una accin. Si la accin
sube o no maana depende de si subi o no hoy y ayer. Si la accin subi
hoy y ayer , maana subir con probabilidad a. Si la accin subi hoy y
ayer baj, maana subir con probabilidad b. Si la accin baj hoy y
ayer subi, la probabilidad de que suba maana es c. Por ltimo, si la
accin baj hoy y ayer, la probabilidad de que suba maana es d.
Determine la matriz de transicin de un paso para la cadena de Markov.
SS
a
SB
BB
BS
1

-

b

1 - d
BS
BB
SS
a
0
b

0
SB
1-a
0
1-b
0

BS
0
c
0
d
BB
0
1-c
0
(1-d)
SB
SS
Ejemplo: lnea telefnica
Sea una lnea telefnica de estados
ocupado=1 y desocupado=0. Si en el
instante t est ocupada, en el instante t+1
estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el
instante t est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y desocupada
con probabilidad 0,9.
Ejemplo: lnea telefnica
|
|
.
|
\
|
=
7 , 0 3 , 0
1 , 0 9 , 0
Q
0 1
0,9
0,1
0,3
0,7
Ejemplo: Lanzamiento de un
dado
Se lanza un dado repetidas veces. Cada vez
que sale menor que 5 se pierde 1 , y cada
vez que sale 5 6 se gana 2 . El juego
acaba cuando se tienen 0 100 .
Sea X
t
=estado de cuentas en el instante t.
Tenemos que { X
t
} es una CM
S={0, 1, 2, , 100}

Ejemplo: Lanzamiento de un
dado
0 1 2 3
2/3

1
4 5

2/3 2/3 2/3 2/3 2/3
1/3 1/3 1/3 1/3
>100 99 98 97
1
2/3 2/3
1/3 1/3
2/3
1/3
1/3
1/3

Ejemplo de proceso
estocstico
Lanzamos una moneda al aire 6 veces. El
jugador gana 1 cada vez que sale cara (C),
y pierde 1 cada vez que sale cruz (F).
X
i
= estado de cuentas del jugador despus
de la i-sima jugada
La familia de variables aleatorias {X
1
, X
2
,,
X
6
} constituye un proceso estocstico

Ejemplo de proceso estocstico
O={CCCCCC,CCCCCF,}
card(O) = 2
6
= 64
P(e)=1/64 eeO
T={1, 2, 3, 4, 5, 6}
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X
1
(O)={1, 1}
1 -1

X0 X1
X
2
(O)={2, 0, 2}
Ejemplo de proceso
estocstico
Si fijo , por ejemplo e
0
=CCFFFC, obtengo
una secuencia de valores completamente
determinista:
X
1
(e
0
)=1, X
2
(e
0
)=2, X
3
(e
0
)=1, X
4
(e
0
)=0,
X
5
(e
0
)= 1, X
6
(e
0
)=0
Puedo dibujar con estos valores la trayectoria
del proceso:

Ejemplo de proceso
estocstico
-2
-1
0
1
2
3
1 2 3 4 5 6
Instante de tiempo, t
V
a
l
o
r

d
e
l

p
r
o
c
e
s
o
Ejemplo de proceso
estocstico
Si fijo t, por ejemplo t
0
=3, obtengo una de las
variables aleatorias del proceso:
9 O :
3
X
( ) e e
3
X
Los posibles valores que puede tomar el
proceso en : X
3
(O)={3, 1, 1, 3}
Ejemplo de proceso
estocstico
Podemos hallar la probabilidad de que el
proceso tome uno de estos valores:
| | | | | | | |
8
3
2
1
2
1
2
1
3 FCC P CCF P CFC P 1 ) ( X P
3
= = + + = = e
| | | |
8
1
2
1
2
1
2
1
CCC P 3 ) ( X P
3
= = = = e
| | | | | | | |
8
3
2
1
2
1
2
1
3 CFF P FFC P FCF P 1 ) ( X P
3
= = + + = = e
| | | |
8
1
2
1
2
1
2
1
FFF P 3 ) ( X P
3
= = = = e
3. Probabilidad de transicin de n pasos
Si una cadena de Markov se encuentra en el estado i en el tiempo m,
la probabilidad que n perodos despus la cadena de Markov est en
el estado j, es:

p
ij
(n) = P(X
m+n
= j / X
m
=i) = P(X
n
= j / X
0
=i)
Donde p
ij
(1) = p
ij
1 2 3 ... S
1 P
11
(n) P
12
(n) P
13
(n) ... P
1s
(n)
2 P
21
(n) P
22
(n) P
23
(n) ... P
2s
(n)
P(n) = 3 P
31
(n) P
32
(n) P
33
(n) ... P
3s
(n)
... ... ... ... ... ...
S P
s1
(n) P
s2
(n) P
s3
(n) ... P
ss
(n)
Las p
ij
(n) se pueden representar en la matriz P(n):
Se puede demostrar que p
ij
(n) es el elemento ij-simo de la matriz P
n
.
Entonces:
p
ij
(n) =
k=1,s
p
ik
(v)p
kj
(n-v)

Para n=0, p
ij
(0) = P(X
0
= j / X
0
= i) y por lo tanto:
p
ij
(0) = 1, si i = j
p
ij
(0) = 0, si i = j

Probabilidad de Transicin de 2 pasos
P
ij
(2) =
k
P
ik
* P
kj
i
j
k
P
ij
(2) = P( X
m+2
=j / X
m
=i )
Probabilidad de Transicin de 3 pasos

P
ij
(3) =
k

l
( P
ik
* P
kl
* P
lj
)
i
j
k
P
ij
(3) = P( X
m+3
=j / X
m
=i )
l
Probabilidad de Transicin de n pasos

i
j
k l

En general,
P( X
n+m
=j / X
m
=i ) = P
ij
(n)
P (n) = P*P*P*.....*P (n veces)
Ejemplo
Una fotocopiadora de oficina tiene uno de dos
posibles comportamientos: FUNCIONA o NO FUNCIONA

Si funciona durante un da, la probabilidad de que al da siguiente siga
funcionando es de un 75%. Si no funciona durante un da cualquiera,
hay un 75% de probabilidad de que tampoco funcione al da siguiente.

a)Si actualmente funciona, Cul es la probabilidad de que est
funcionando dentro de dos das?
b) Si actualmente no funciona, Cul es la probabilidad que no est
funcionando dentro de tres das?
Ejemplo - solucin
Estado Descripcin
1 FUNCIONA
2 NO FUNCIONA
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75
0.75
Ejemplo - solucin
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75
0.75
a) b)
1 2
P
2
= 1 0.625 0.325
2 0.325 0.625
1 2
P
3
= 1 0.567 0.433
2 0.433 0.567
4. Clasificacin de estados de una
Cadena de Markov
Definicin:

Dados dos estados i y j, la trayectoria de i a j es la sucesin de
transiciones que comienza en i y termina en j, de modo que cada
transicin tenga probabilidad positiva de presentarse.
i
j
Cadena de Markov
Definicin:
Un estado j es alcanzable desde el estado i, si hay una trayectoria
que vaya de i a j.
i
j
i
k
j
j es alcanzable por i.
Cadena de Markov
Definicin:
Dos estados, i y j se comunican, si el estado j es alcanzable desde el
estado i, y adems el estado i es alcanzable desde el estado j.
i
j
i
j
k
i se comunica con j
Cadena de Markov
Definicin:
Un conjunto de estados S en una Cadena de Markov es conjunto
cerrado, si ningn estado fuera de S es alcanzable desde un
estado S.
i
j
l
k
Cadena de Markov
Definicin:
Un estado i, es estado absorbente si pii = 1
i
P
ii
= 1
Cadena de Markov
Definicin:
Un estado i es estado transitorio si hay un estado j alcanzable desde
i, pero el estado i no es alcanzable desde el estado j.
i
j
i
j
k
i es transitorio
Definicin:
Si un estado no es transitorio, se llama estado recurrente.
Cadena de Markov
i j
i
j
k
i es recurrente
Definicin:
Un estado i es peridico con perodo k > 1, si k es el menor nmero
tal que todas las trayectorias que parten del estado i y regresan al
estado i tienen una longitud mltiplo de k.
4. Clasificacin de estados de una Cadena de Markov
i
l
j
estado i es peridico
Si k>1, entonces diremos que i es peridico de periodo j. El estado j
ser peridico de periodo k>1 si existen caminos que llevan desde j
hasta i pero todos tienen longitud mk, con m>0
Periodicidad
Ejemplo: En la siguiente CM todos los estados
son peridicos de periodo k=2:

Ejemplo: En la siguiente CM todos los estados son
peridicos de periodo k=3:
Periodicidad
Ejemplo de CM peridica de periodo k=3:
A
1

A
2

A
3

Definicin:
Si un estado recurrente no es peridico, se llama aperidico.
Cadena de Markov
i
j
k
i
j
k
i es aperidico
Definicin:
Si todos los estados de una cadena de Markov son recurrentes,
aperidicos y se comunican entre s, se dice que la cadena es
ergdica.
Cadena de Markov
Ejemplo
Evaluar la siguiente cadena de Markov
1 2 3
1 0.33 0.67 0
P = 2 0.50 0 0.50
3 0 0.25 0.75
Estados recurrentes
1 2
3
0.67
0.5
0.5
0.25
0.75
La cadena de Markov es
ergdica.
Estados aperidicos
Se comunican entre s.

Cadenas ergdicas
Ejemplo: Analizar la siguiente CM, con S={a, b,
c, d, e}:

|
|
|
|
|
|
.
|
\
|
=
3
1
3
1
3
1
4
1
2
1
4
1
3
2
3
1
4
3
4
1
2
1
2
1
0 0
0 0
0 0 0
0 0 0
0 0 0
Q
Ejemplos
d
b c
e
a
1/4
1/4
3/4 1/2
1/4
1/2
1/2
1/3
1/3
1/3
2/3
1/3
Clasificar los estados
Recurrentes: a, c, e
Transitorios: b, d
Peridicos: ninguno
Absorbentes: ninguno
Ejemplo: Analizar la siguiente CM, con
S={a, b, c, d, e, f, g}:
|
|
|
|
|
|
|
|
|
.
|
\
|
=
1 0 0 0 0 0 0
0 3 , 0 0 7 , 0 0 0 0
0 0 0 0 1 0 0
0 1 0 0 0 0 0
0 0 2 , 0 0 0 0 8 , 0
0 4 , 0 4 , 0 0 0 2 , 0 0
0 0 0 0 1 0 0
Q
Ejemplos
a
e
c
b
f
d
g
1
0,8
1
0,2
0,4
0,2
0,4
0,7
0,3
1
1
Clasificar los estados
Recurrentes: a, c, d, e, f, g
Transitorios: b
Peridicos: a, c, e (todos de periodo 2)
Absorbentes: g
Ejemplos
La siguiente CM es comunicativa, aperidica,
recurrente y ergdica.
Ejemplos
La siguiente CM es comunicativa, aperidica,
recurrente y ergdica
Ejemplos
La siguiente CM es comunicativa, recurrente
y peridica de periodo 3. No es ergdica.
5. Probabilidades de estado estable
Teorema:
Sea P la matriz de transicin de una cadena ergdica de
s estados.
Existe un vector t = [t
1
t
2
.... t
s
] tal que:
1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
Teorema:

1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
El vector t = [t
1
t
2
.... t
s
], se llama distribucin de estado estable o
tambin distribucin de equilibrio para la cadena de Markov.
Teorema:

1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
Las t
j
satisfacen el siguiente sistema de ecuaciones:
t
j
=

E
k=1,s
(t
k
p
kj
) para j = 1, 2, ....s (t

=

t

P)
E
k=1,s
t
k
= 1 (Et = 1)
Ejemplo
Las compras de los consumidores estn influidas por la
publicidad, el precio y muchos otros factores. Un factor clave
en las compras de los consumidores es la ltima compra.
Segn datos recolectados en el cafetn de ingeniera industrial (2 semanas):
Si alguien compra una bebida Coca-Cola, y se le agrada el sabor, quedar
dispuesto a comprar otra Coca-Cola (lealtad a la marca).
Coca-Cola es la marca de inters.
Pepsi es su competencia directa.
El 74% de los clientes son leales. La oposicin conserva el 62% de sus
clientes.
Que porcentaje del mercado esperar recibir Coca-Cola en el largo
plazo?
Ejemplo - solucin
Estado Descripcin
A Coca-Cola
B Pepsi
A B
P = A
B
0.74 0.26
0.38 0.62
Hay que resolver el
siguiente sistema:
t

=

t

P
Et

= 1

Donde: t = [t
A
t
B
]
[t
A
t
B
] =

[t
A
t
B
]

P
= [0.74t
A
+ 0.38t
B
0.26t
A
+ 0.62t
B
]
t
A
=

0.74t
A
+ 0.38t
B
t
B
=

0.26t
A
+ 0.62t
B

t
A
+ t
B

= 1

De donde: t
A
=

0.59375 t
B
=

0.40625
Coca-Cola esperar recibir el 59.375% del mercado en el largo plazo
Ejemplo solucin (elevando P
n
para estabilizarlo en el largo plazo)
A B
P = A
B
0.74
0.26
0.38 0.62
A B
P
2
= A
B
0.6464 0.3536
0.5168 0.4832
A B
P
3
= A
B
0.61270 0.38730
0.56605 0.43395
A B
P
4
= A
B
0.60057 0.39943
0.58378 0.41622
A B
P
5
= A
B
0.59621 0.40379
0.59016 0.40984
A B
P
6
= A
B
0.59463 0.40537
0.59246 0.40754
n
A B
P
9
= A
B
0.59379 0.40621
0.59369 0.40631
A B
P
10
= A
B
0.59376 0.40624
0.59373 0.40627
A B
P
11
= A
B
0.59376 0.40624
0.59374 0.40624
A B
P
12
= A
B
0.59375 0.40625
0.59375 0.40625
A B
P
7
= A
B
0.59470 0.40593
0.59328 0.40672
A B
P
8
= A
B
0.59386 0.40614
0.59358 0.40642
n
A B
P
13
= A
B
0.59375 0.40625
0.59375 0.40625
A B
P
14
= A
B
0.59375 0.40625
0.59375 0.40625
P(13) = P(14) = P(15) = ...... = P(n)
t
A
=

0.59375

t
B
=

0.40625
Podemos observar que las probabilidades se han
estabilizado, es decir, cada fila poseen valores iguales.
6. Tiempos promedio de primera pasada
En una cadena ergdica, sea
ij
el nmero esperado de transiciones
antes de alcanzar por primera vez el estado j, dado que estamos
actualmente en el estado i.
ij
se llama tiempo promedio de primera
pasada del estado i al estado j.

Se tiene que resolver el siguiente sistema de ecuaciones:

ij
= 1 + E
k = j
p
ik

kj

Cuando i = j,
ij
se llama tiempo promedio de recurrencia:

ij
= 1/t
i

6. Tiempos promedio de primera pasada
Una computadora se inspecciona cada hora. Se encuentra que
est trabajando o descompuesta. Si est trabajando, la
probabilidad de que siga trabajando la siguiente hora es 0.87. Si
est descompuesta, se repara, lo que puede llevar ms de una
hora. Siempre que la computadora esta descompuesta, la
probabilidad de que siga descompuesta la siguiente hora es
0.43.

Encontrar las
ij
.
Ejemplo
Ejemplo - solucin
Estado Descripcin
1 FUNCIONA
2 DESCOMPUESTA
1 2
P = 1
2
0.87 0.13
0.57 0.43
Las ecuaciones para hallar los t

son:
t
1
=

0.87t
1
+ 0.57t
2
t
2
=

0.13t
1
+ 0.43t
2

t
1
+ t
2
= 1

De donde: t
1
=

57/70 t
2
=

13/70

Por tanto:
11
= 1/t
1
= 1.23 horas

22
= 1/t
2
= 5.38 horas
Hay que resolver el siguiente
sistema:
ij
= 1 + E
k = j
p
ik

kj

12
= 1 + p
11

12
= 1 + 0.87
12
21
= 1 + p
22

21

= 1 + 0.43
21

Donde:
12
= 7.69 horas

21
=1.75 horas
7. Cadenas de Markov con recompensa
El costo promedio a largo plazo, por unidad de tiempo est
dado por:

g =

E
j=1,s
(t
j
C
j
)

Donde:
Cj = Inventarios
Nivel de ventas
Mquinas malogradas, etc.
8. Cadenas de Markov absorbentes
Una CM es absorbente, si tiene por lo menos un estado absorbente,
y es posible ir de cada estado no absorbente hasta por lo menos un
estado absorbente.

En una CM absorbente se puede calcular:
Nmero esperado de veces que se estar en un estado transitorio
antes de llegar a un estado absorbente.
Probabilidad de terminar en estados absorbentes.
Se requiere una matriz de transicin ordenada como la que se muestra a
continuacin:
s-m columnas m columnas
s-m filas Q R
m filas 0 I
Se puede entonces determinar:
Nmero esperado de veces en un estado antes de la absorcin: (I Q)
-1
Probabilidad de terminar en cada uno de los estados absorbentes: (I Q)
-1
R
Transitorios
Absorbentes
Transitorios Absorbentes
As tenemos:
I es una matriz identidad de orden m x m que representa las
probabilidades de permanecer dentro de un estado absorbente.

Q es una matriz de orden (s-m) x (s-m) que representa las
probabilidades de ir de un estado transitorio hasta otro estado
transitorio.

R es una matriz de orden (s-m) x m que representa las
probabilidades de ir de un estado transitorio hasta un estado
absorbente.

O es una matriz nula de orden m x (s-m) que representa las
probabilidades de ir de un estado absorbente hasta un estado
transitorio.

En conclusin:
1 2 3 4 S
1 p
11
p
12
p
13
p
14
p
15
2 p
21
p
22
p
23
p
24
p
25
P =
3 p
31
p
32
p
33
p
34
p
35
4 0 0 0 1 0
S 0

0

0

0 1

Q R
O I
Se definen 4 matrices {Q, R, O, I}
Ejemplo
A travs del anlisis de cuentas por cobrar pasadas, un contralor
proporciona la siguiente informacin:
El balance de cuentas por cobrar indica que se tiene $60000 en cuentas
por cobrar con retraso entre 0 y 30 das y $40000 en cuentas por cobrar
con retraso entre 31 y 90 das.
0-30 das 31-90 das pagadas Morosas
0-30 das 0.4 0.1 0.5 0
31-90 das 0.1 0.2 0.6 0.1
Pagadas 0 0 1 0
morosas 0 0 0 1
Cul debe ser la concesin?
Ejemplo - solucin
Estado Descripcin
1 CxC con retraso entre 0 y 30 das
2 CxC con retraso entre 31 y 90 das
3 Cuentas pagadas
4 Cuentas morosas
La concesin ser:
60000(0.021) + 40000(0.128)= $6380
1 2 3 4
1 0.4 0.1 0.5 0
P = 2 0.1 0.2 0.6 0.1
3 0 0 1 0
4 0 0 0 1
Paso = 1 da
3 4
R = 1 0.5 0
2 0.6 0.1
Q R
O
I
1 2
Q = 1 0.4 0.1
2 0.1 0.2
1 2
(I - Q)
-1
= 1 1.702 0.213
2 0.213 1.277
3 4
(I - Q)
-1
R= 1 0.979 0.021
2 0.872 0.128
9. Ejercicios Propuestos
Problema 1
Movimiento de agua
Sea X
i
= cantidad de agua que fluye a una represa en el perodo i.
X
i
tiene la siguiente funcin de densidad:
X
i
1 2 3 4 5
F(X
i
) 1/8 1/4 1/4 1/4 1/8
Para todo i
independientes.
Capacidad de la represa: 5 unidades.
Si la represa se llena, el flujo siguiente se pierde.
Al final de un perodo se dejan escapar 3 unidades de agua (si estn
disponibles), cc se deja escapar toda el agua.
Sea: Y
t
= cantidad de agua en la represa al final del perodo t, luego de dejar
escapar el agua.
Problema 1
Movimiento de agua
Encontrar la matriz de probabilidades de transicin.
Clasificar los estados.
Calcular las probabilidades de estado estable.
Cul es el valor esperado de agua que se pierde a la larga?
Si en un perodo dado no hay 3 unidades de agua, sta se debe comprar
en otra parte. Cul es el valor esperado de este faltante por perodo?
Problema 2
Venta de artesanas
Produccin: 1 tapiz al da (para vender al da siguiente)
II = 1, entonces: P(V=1) = 1/3
II = 2, entonces: P(V>1) = , P(V=2) =
II = 3, entonces: P(V>1) = 2/3, P(V>2) = 1/3, P(V=3) = 1/5
Si II =3, el artesano no produce, slo vende.
Hallar:
La matriz de transicin asociada al proceso
La fraccin promedio de tardes en que el artesano tendr slo el tapiz
producido durante ese da y ningn otro
Fraccin de tardes en que el artesano no produce
Nivel promedio de inventario al final de un da
Problema 3
Mercado Compartido
El mercado de un producto lo comparten 4 marcas. La tabla siguiente
nos muestra la distribucin actual del mercado compartido y el
porcentaje de personas que cambian de marca luego de compras
consecutivas:
A la
marca 1
A la
marca 2
A la
marca 3
A la
marca 4
Mercado
compartido
De la marca 1 60 8 20 12 40%
De la marca 2 15 40 25 20 20%
De la marca 3 25 16 50 9 30%
De la marca 4 28 12 20 40 10%
Problema 3
Mercado Compartido
Si en promedio se realiza una compra cada 2 meses, realizar una
prediccin del mercado luego de 6 meses.
Cul es la participacin promedio a largo plazo del mercado para
cada marca si los patrones actuales de compra no se alteran?
Problema 4
Taller de Produccin
Un taller opera dos mquinas idnticas
Cada mquina requiere de la atencin del operador en momentos
aleatorios.
La probabilidad de que la mquina requiera servicio en un perodo de 5
minutos es p = 0.4
El operador es capaz de dar servicio a una mquina en 5 minutos.
Una mquina requiere servicio siempre al inicio de un intervalo de 5
minutos.
Problema 5
Seis 6 bolas en dos urnas
Se tienen tres bolas blancas y tres bolas negras en dos urnas (tres bolas
en cada urna).
El sistema est en el estado i, i = 0,1,2,3, si la primera urna contiene i
bolas blancas.
En cada paso se saca una bola de cada urna y se intercambian (de
urnas).
Sea X
n
el estado del sistema despus del n-simo paso:
Por qu {X
n
, n = 0, 1, ....} es una CM?
Calcular la matriz de transicin.
Se tienen beneficios de 10, 20, 30 y 40 dlares por estar en los estados
0, 1, 2 y 3 respectivamente. Cul ser el beneficio esperado a largo
plazo?
Problema 6
Vigilante nocturno
Un vigilante nocturno recorre el museo cuya planta se dibuja a
continuacin, de acuerdo a estas reglas:
Desde la pieza D, va a la pieza C, y luego al patio P.
Desde el patio, con igual probabilidad se dirige a la pieza B, o a la
pieza C (continuando luego a D).
Desde la pieza B, vuelve al patio.
Se solicita lo siguiente:
Hallar la Matriz de Transicin.
Analizar la matriz para determinar la
posibilidad de la existencia de estados
estables.
Calcular la probabilidad de encontrarse en
cada estado despus de dar 33, 34, 35 y 36
pasos. Comente.
Espacio de estados de un
proceso:
El conjunto de todos
los posibles estados
que un proceso puede
ocupar en los distintos
movimientos se llama
espacio de estados. Un
espacio de estados
puede ser
finito,
infinito
Usaremos a
1
,a
2
,.....a
n

para representar los (n)
estados de un estado
a
i
------> a
j
para
representar que el
proceso se mueve del
estado (i) al estado (j).
Probabilidades de transicin de un solo paso
P(a
i
-----> a
j
) es la
probabilidad condicional para
que el proceso que se
encuentra en el estado a
i
se
mueva al estado a
j
en un
slo paso, y se designa por P
ij

. Esto recibe el nombre de
probabilidad de transicin de
un slo paso. Si todas estas
probabilidades son conocidas
para todos los pares de
estados se ordenan en una
matriz cuadrada que recibe
el nombre de matriz de
transicin.
P = [p
ij
]
Ejemplo:
Sea una persona sentada en el
asiento de en medio de una fila de
cinco asientos [marcados con
A,B,C,D,E] de izquierda a
derecha. Esta persona se mueve
por seis veces de una silla a la
otra, estando sus movimientos
controlados por una moneda que
se tira al aire.
a) Si no est al final de una fila
de asientos se mueve hacia la
derecha si sale CARA y hacia la
izquierda si sale CRUZ.
b) Si est al inicio o al final se
quedar donde est salga lo que
salga.
Espacio de Estados: [ A, B, C, D, E ]

P[A ---> A] = P[E ---> E] = 1
ya que se queda donde est.
P[B ---> A] = 1/2 puesto
que la probabilidad de que
salga CR es 1/2.
P[C ---> C] = 0 ya que
aqu no se puede quedar.
La p
ij
= 1
Las matrices que tienen
elementos no negativos y a
suma de los elementos de
sus filas valen la unidad
se llaman matrices
estocsticas
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0 1/2
E 0 0 0 0 1
Vector probabilidad inicial
Existe un vector
probabilidad inicial tal
que:
a = (a
1
, a
2
,....a
n
)
en la que los
elementos a
i
son las
probabilidades de
que el estado inicial
del proceso sea S
i
.

En el ejemplo anterior
El vector probabilidad
inicial sera
a = (0, 0,1, 0, 0)
puesto que el proceso
comienza en la silla C.

Propiedad de Markov
Considerar una secuencia S
i
,S
j
,S
k
de
un experimento cuyo vector y matriz
inicial son conocidos. Entonces la
secuencia de probabilidad ser:
P( Si,Sj,Sk ) = P( Si) P( Si->Sj) P( Sj->Sk)
Podramos ampliar la regla para
cubrir secuencias de cualquier nmero
de pasos. A los procesos a los
cuales podemos aplicar esta regla se
dicen que tienen la propiedad de
Markov.
Para tales procesos la
probabilidad de la siguiente
direccin depende del
estado presente del proceso
y no depende del estado
precedente.
Ejemplo:
En el problema anterior
calcular la probabilidad de
la secuencia.
P[C,D,C,B,A,A,A] = P[C]
P[C -->D] P[D -->C]
P[C -->B]. P[B -->A]
P[A -->A] P[A -->A]
=1*1/2*1/2*1/2*1/2*1*1 =1/16
Cadena de Markov finita y
estacionara.
Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:
a) Espacio de estados finito.
b) Una matriz [Pij] de probabilidades de
transicin de un slo paso estacionara.
c) El vector de probabilidad inicial.
Cadena de transicin de n pasos
El diagrama es un grfico
de una secuencia de una
muestra de una cadena de
Markov de cinco estados
A ----> E .En los doce
pasos se recorren todos
los estados.
Evidentemente el proceso
no puede quedarse nunca
atrapado. A los estados
que pueden atrapar un
proceso se les llaman
estados absorbentes.
Probabilidades de transicin superiores
La probabilidad de que el
proceso pase del estado S
i
al
S
j
en (n) pasos se llama
probabilidad de transicin en
n pasos y se simboliza por :
P
(n)
ij

La matriz formada por
todos los P
(n)
ij
es una
matriz cuadrada y se
denomina matriz de
transicin de (n) pasos.
TEOREMA:
Si P es la matriz de
transicin de un paso en una
cadena finita de Markov,
entonces P
n
es la matriz de
transicin de (n) pasos.
La probabilidad P(n)
ij
es la probabilidad de pasar
de S
i
a S
j
en dos pasos.
Suponiendo (n) estados en S.
Existen n caminos mutuamente excluyentes
S
i
---->S
1
---->S
j
S
i
---->S
2
---->S
j
.......
Las probabilidades de esos caminos son:
p
i1
p
1j
p
i2
p
2j
........
Por lo que por la regla de la cadena la probabilidad
del suceso S
i
---->S
j
en dos pasos ser la suma de
estas dos probabilidades.
As
P
ij
(n
) = Pir Prj
Pero por definicin de la multiplicacin de matrices,
la sumatoria es el elemento ij-simo de la matriz
P
2
. Luego
P
2
= P
ij
Por induccin se puede demostrar que
P
n
= P
ij
(n
)
A B C D E
A 1 0 0 0 0
B 1/2 1/4 0 1/4 0
C 1/4 0 1/2 0 1/4
D 0 1/4 0 1/4 1/2
E 0 0 0 0 1
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0 1/2
E 0 0 0 0 1
MATRIZ DE UN SOLO PASO
MATRIZ DE DOS PASOS
CADENAS DE MARKOV ABSORBENTES
Estados ergdicos:

Sea E un subconjunto de S y E' el
complementario de E en S. Si cada estado de
E se puede alcanzar desde cualquier otro
estado de E, pero ningn estado de E' se
puede alcanzar desde E, entonces E recibe
el nombre de conjunto ergdico. Un estado
ergdico es un elemento de un conjunto
ergdico.
CADENAS DE MARKOV
ABSORBENTES
Son cadenas en donde
todos los estados
transitorios son absorbentes.
CADENAS ERGODICAS
Cadena que est formada
por un conjunto ergdico se
llama cadena ergdica. Se
distinguen dos tipos de
cadenas ergdicas:
a) Cadena ergdica cclica:
en ella slo se puede entrar
en un estado a intervalos
peridicos fijos.
b) Cadena ergdica
regular: cadena ergdica
no-cclica.
EJEMPLO DE CADENA REGULAR
S
1
S
2
S
1
1/2 1/2
S
2
1/2 1/2
Est claro que el sistema
completo nunca estar
completamente "atrapado" en un
estado, as que la cadena es
regular.
S
1

S
2

S
3

S
1

0 3/4 1/4
S
2

1/2 0 1/2
S
3

1/4 3/4 0
Siempre es posible moverse de
un estado a cualquier otro, en
cualquier paso siendo los
movimientos no-cclicos. As la
cadena y la matriz son regulares.
EJEMPLO DE CADENA NO REGULAR
S
1

S
2

S
3

S
1

1/4 1/4
S
2

0 1/3 1/3
S
3

0 1/4 1/4
Despus de n pasos la cadena entrar
(con probabilidad 1 cuando n tiende a
) en S
2
o en S
3
. Una vez situada en
uno de estos estados nunca podr pasar a
S
1
. Por lo tanto S
1
es un estado
transitorio y as la cadena es no regular y
por lo tanto no-ergdica, aunque el
conjunto [ S
2
, S
3
] sea un conjunto
ergdico.
EJEMPLO DE CADENA CICLICA
S
1

S
2

S
3

S
1

0 0 1
S
2

1 0 0
S
3

0 1 0
La cadena se mueve con perodo
3 a travs de los conjunto
cclicos [ S
1
] [ S
2
] y [ S
3
]. Es por
lo tanto una cadena cclica
ergdica y no una cadena regular.
Clasificacin de estados en una cadena de Markov
Se dice que el estado i es accesible
desde el estado j si la probabilidad de
transicin en n pasos de j a i es positiva,
p
(n)
ij
> 0, para algn nmero natural n
Si el estado i es accesible desde el estado
j y viceversa se dice que los estados
estn comunicados
Clasificacin de estados de una cadena de Markov
Estado transitorio
Es aqul tal que despus de que el proceso ha entrado ah, nunca
regresar
El estado i es transitorio si y slo si existe un estado j que es
accesible desde i, pero donde el estado i no es accesible desde j
Al no haber acceso al estado i desde j, existe una probabilidad
positiva (incluso igual a 1) de que el proceso se mueva al estado j
y nunca regrese al estado i
Estado recurrente
Es un estado tal que una vez que el proceso ha estado en l,
existe la seguridad de que volver
Un estado es recurrente si y slo si no es transitorio
Estado absorbente
Es un estado tal que despus de haber entrado all, el sistema ya
nunca saldr
Para que un estado i sea absorbente se requiere que p
ii
= 1
Estado transitorio
En la siguiente matriz de
transicin, el estado 2 es
transitorio, ya que de l
es posible pasar
directamente al estado 0,
pero no de regreso
Por tanto existe la
posibilidad de que el
sistema pase del estado
2 al 0 y no regrese
nuevamente
0 1 2 3
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
Estado transitorio
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
El estado 2 es transitorio. Notamos que tiene una
conexin directa al estado 0, pero no de regreso
Estado recurrente
transicin, todos los
estados, excepto el 2,
son recurrentes
Esto es porque desde los
estados 0,1 y 3 se puede
acceder a cualquiera otro
estado, y a su vez, los
estados 0,1 y 3 son
accesibles desde
cualquier otro estado
0 1 2 3
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
Estado recurrente
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
Los estados 1, 2 y 3 son recurrentes. Notamos que cada estado que
tiene una conexin directa desde ellos, tambin la tiene hacia ellos
Las flechas
coloreadas por
pares indican
las conexiones
desde y hacia
el estado 1
Estado absorbente
transicin, el estado 0 y
el estado 2 son
absorbentes, ya que una
vez entrando en alguno
de ellos, el sistema no
vuelve a salir
Esto ocurre porque la
probabilidad de pasar al
estado 0 dado que se
encuentra en el estado 0
es igual a 1
Anlogamente ocurre
para el estado 2
0 1 2 3
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
Estado absorbente
0
2 3
1
1
0.10
0.10
1
0.25
0.40
0.5
0.30
0.15
0.30
0.20
Los estados 0 y 2 son absorbentes. Notamos que una vez
que el sistema llega a alguno de ellos, no vuelve a salir
Ejemplo: La ruina del jugador
Xo es el capital inicial del jugador igual a 2 soles
En cada jugada gana o pierde 1 sol con probabilidad de p o 1-p respectivamente
El juego termina cuando alcanza su meta que es tener 4 soles o pierde todo
ENTNCES:
Proceso Estocstico es la descripcin de
la relacin entre las variables aleatorias
Xo, X1, X2,, Xt (donde t es el nmero de jugadas)
Si Xt fuera el precio de una accin en el
periodo t, entonces se trata de un
PROCESO ESTOCSTICO CONTNUO.

Cadenas de Markov se basa en 2
conceptos: Estado y Transicin.

El sistema ocupa un estado i con probabilidad pi y despus
de un periodo procede a un transicin para el estado j con
una probabilidad de transicin tij

Entnces:
Donde N es el nmero de estados del sistema
Matriz de Transicin de estados T
Por lo tanto, una secuencia de intentos de un experimento es
una Cadena de Markov Si:
a) El resultado del m-simo intento depende slo del
resultado del m-1 simo intento
b) La probabilidad tij de pasar del estado i al estado j en los
intentos sucesivos del experimento permanece constante.
Vector de probabilidad de distribucin de estados al inicio
Vector de probabilidad de distribucin de estados
despus de un periodo (jugada)
Vector de probabilidad de
distribucin de estados despus de
2 periodos (jugadas)
Vector de probabilidad de distribucin
de estados despus de 3 periodos
(jugadas)
Vector de probabilidad de distribucin
de estados despus de n periodos
(jugadas)
Vector de distribucin de estado estable (a la larga)

Diapositivas Cadenas de Markov

Cargado por

Información del documento

Descripción original:

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Diapositivas Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

CADENAS DE MARKOV

1. Definicin de procesos estocsticos

También podría gustarte