Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Cadenas Markov
Cadenas Markov
Sturla
REPBLICA ARGENTINA
CADENAS DE MARKOV
THE RECORDING, COPYING, LOAN, UNAUTHORIZED HIRE, PUBLIC SHOWING OR
BROADCAST OF THIS DATAGRAM IS STRONGLY ENCOURAGED.
Se puede reproducir libremente. Se agradecer citar la fuente.
Claudio L. R. Sturla
Bibliografa:
Winston, Wayne L., Investigacin de Operaciones, Grupo Editorial Iberoamrica S. A. de C. V.,
Mxico, ISBN 970-625-029-8, 1.994.
Software Matlab
Introduccin
A veces nos interesa saber cmo cambia una variable aleatoria a travs del tiempo.
Por ejemplo, desearamos conocer cmo evoluciona el precio de las acciones de una empresa en el
mercado a travs del tiempo.
El estudio de cmo evoluciona una variable aleatoria incluye el concepto de procesos estocsticos.
Aqu veremos esos procesos, en especial uno que se conoce como Cadenas de Markov.
Las cadenas de Markov se han aplicado en reas tales como educacin, mercadotecnia, servicios de
salud, finanzas, contabilidad y produccin.
Qu es un Proceso estocstico?
Supongamos que observamos alguna caracterstica de un sistema en puntos discretos en el tiempo (que
llamamos 0, 1, 2...).
Sea X t el valor de la caracterstica del sistema en el tiempo t
En la mayor parte de los casos no se conoce X t con certeza antes del tiempo t y se puede considerar
como variable aleatoria.
Un proceso estocstico de tiempo discreto es simplemente una descripcin de la relacin entre las variables aleatorias X 0 , X 1 , X 2 , ,
A continuacin vemos unos ejemplos de procesos estocsticos de tiempo discreto.
Ejemplo 1
La ruina del jugador.
En el tiempo 0 tengo 2 UM
En los tiempos 1, 2,... participo en un juego en el que apuesto 1 UM
Gano 1 UM con probabilidad p, y pierdo 1 UM con probabilidad 1 p
Mi meta es aumentar mi capital a 4 UM, y tan pronto como lo logre se suspende el juego.
El juego tambin se suspende si mi capital se reduce a 0 UM
Si definimos que X t es mi capital despus del juego cuando el tiempo es t, si es que lo hay, entonces se
puede considerar que X 0 , X 1 , , X t son procesos estocsticos de tiempo discreto.
Ntese que X 0 = 2 es una constante conocida, pero que X 1 y las dems X t son aleatorias.
cadenas_markov.doc
195
196
(1)
En esencia, la ecuacin (1) dice que la distribucin de probabilidad del estado en el tiempo t + 1 depende
de la del estado en el tiempo t ( it ) y no depende de los estados por los cuales pas la cadena para llegar
a it en el tiempo t
En el estudio de las cadenas de Markov haremos la hiptesis adicional que para todos los estados i y j y
toda t , P( X t + 1 = j X t = i ) es independiente de t
Esta hiptesis permite escribir
P ( X t + 1 = j X t = i ) = pij
(2)
HIPTESIS DE ESTABILIDAD
donde pij es la probabilidad de que dado que el sistema est en el estado i en el tiempo t, el sistema
estar en el estado j en el tiempo t + 1
Si el sistema pasa del estado i durante un periodo al estado j durante el siguiente, se dice que ha ocurrido una transicin de i a j
Con frecuencia se llaman probabilidades de transicin a las pij en una cadena de Markov.
La ecuacin (2) ndica que la ley de probabilidad que relaciona el estado del siguiente periodo con el
estado actual no cambia, o que permanece estacionaria, en el tiempo.
Por este motivo, a menudo se llama hiptesis de estabilidad a la ecuacin (2).
Toda cadena de Markov que cumple con la ecuacin (2) se llama cadena estacionaria de Markov.
El estudio de las cadenas de Markov tambin necesita que definamos qi como la probabilidad de que la
cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P( X 0 = i ) = qi
Al vector q = [ q1 , q 2 , , q s ] se le llama distribucin inicial de probabilidad de la cadena de Markov.
En la mayora de las aplicaciones, las probabilidades de transicin se presentan como una matriz P de
probabilidad de transicin s x s
La matriz de probabilidad de transicin P se puede escribir como
p11
p
( P ) = 21
ps1
p12
p22
ps 2
p1s
p2 s
pss
Dado que el estado es i en el tiempo t, el proceso debe estar en algn lugar en el tiempo t + 1
Esto significa que para cada i
j= s
P( X
j= 1
t+ 1
= j ( X t = i) ) = 1
j= s
j= 1
cadenas_markov.doc
pij = 1
197
( P) = 0 1 p 0
0
1 p
0
0
0
0
0
0
p
0
0
0 0UM
0 1UM
0 2UM
p 3UM
1 4UM
Una matriz de transicin se puede representar con una grfica en la que cada nodo represente un estado
y el arc(i, j) represente la probabilidad de transicin pij
La Fig. 1 es una representacin grfica de la matriz de probabilidad de transicin para este ejemplo.
Ejemplo 2
(Continuacin)
Determine la matriz de transicin del Ejemplo 2.
Solucin
Como el estado de la urna despus del siguiente lanzamiento de la moneda depende slo del pasado del
proceso hasta el estado de la urna despus del lanzamiento actual, se trata de una cadena de Markov.
Como las reglas no varan a travs del tiempo, tenemos una cadena estacionaria de Markov.
La matriz de transicin para el Ejemplo 2 es la siguiente:
cadenas_markov.doc
198
[0
0
1
1
[ P] =
0
1/ 4
1 / 4
1/ 2
0
0
0
1/ 4
0
1/ 2
0
0
0
0
1/ 4
0
0
0
0
0
0
0
0
0
1/ 2
0
1/ 2
0
0
0
1 / 2
1 / 2
[0
[0
[0
[2
[1
[1
1
2
0
0
1
0
1]
0]
2]
0]
0]
1]
Tabla 1
Clculos de las probabilidades de transicin si el estado es [1 1 0]
EVENTO
Sacar cara en el lanzamiento y elegir
una bola sin pintar
Elegir bola roja
Sacar seca en el lanzamiento y elegir
una bola sin pintar
PROBABILIDAD
ESTADO NUEVO
[0
[1
[0
2 0]
0 1]
1 1]
Ejemplo 3
(Continuacin)
En los ltimos aos, los estudiantes de finanzas han dedicado mucho esfuerzo a contestar la pregunta de
si el precio diario de una accin se puede describir mediante una cadena de Markov.
Supongamos que el precio diario de una accin, como la de Computadoras CSL, se puede representar
por una cadena de Markov.
cadenas_markov.doc
199
Para determinar Pij ( 2 ) ntese que si el sistema se encuentra hoy en el estado i, entonces para que el
sistema termine en el estado j dentro de 2 periodos, debemos pasar del estado i al estado k y despus
pasar del estado k al estado j (Figura 3).
Este modo de razonar nos permite escribir
Pij ( 2 ) =
k= s
k= s
k=1
pik p kj
(3)
El segundo miembro de la ecuacin (3) es tan slo el producto escalar del rengln i de la matriz ( P ) por
la columna j de la misma.
Por lo tanto, Pij ( 2) es el ij-simo elemento de la matriz P 2
Generalizando este modo de razonar, se puede demostrar que para n 1
cadenas_markov.doc
200
(4)
Figura 3
cadenas_markov.doc
201
Ntese que P21 ( 2 ) = (probabilidad que la siguiente compra sea cola 1 y la segunda sea cola 1) + (probabilidad que la siguiente compra sea cola 2 y la segunda sea cola 1) =
p 21 p11 + p 22 p 21 = ( 0,20)( 0,90 ) + ( 0,80 )( 0,20) = 0,34
2.
0,20 0,80
( )
202
i= s
i= 1
i= 1
q i Pij ( n ) = q columna j de P n
(5)
donde q = [ q1 q 2 q n ]
Para mostrar el uso de la ecuacin (5) contestaremos la siguiente pregunta:
Supongamos que el 60% de la gente toma hoy cola 1 y el 40% cola 2.
A tres compras a partir de ahora, qu fraccin de los compradores estar tomando cola 1?
Como q = [0,60 0,40] y
q (columna 1 de P 3 ) = probabilidad de que a tres compras a partir de este momento una persona tome
cola 1
la probabilidad que se busca es
[ 0,60
0,781
0,40]
= 0,6438
0,438
Por lo tanto, a tres compras de este momento el 64 % de las personas estar comprando cola 1.
Para mostrar el comportamiento de las probabilidades de transicin en n etapas para grandes valores de
n, hemos calculado algunas de las probabilidades de transicin de n etapas para el ejemplo de la cola y
las mostramos en la Tabla 2.
Cuando n es grande, P11(n) y P21(n) son casi constantes y tienden a 0,67
Esto quiere decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0,67
de que una persona compre cola 1.
Igualmente, vemos que para n grande, tanto P12(n) como P22(n) son casi constantes y tienden a 0,33.
cadenas_markov.doc
203
P11(n)
0,90
0,83
0,78
0,75
0,72
0,68
0,67
0,67
0,67
P12(n)
0,10
0,17
0,22
0,25
0,28
0,32
0,33
0,33
0,33
P21(n)
0,20
0,34
0,44
0,51
0,56
0,65
0,67
0,67
0,67
P22(n)
0,80
0,66
0,56
0,49
0,44
0,35
0,33
0,33
0,33
En el software Matlab, en la pgina 3-20 del manual Getting Started se puede mostrar cmo
convergen las probabilidades de transicin al ir aumentando los valores de la potencia (por ejemplo, P ^
5).
( P ) = 0 0 0,3 0,7 0
cadenas_markov.doc
204
DEFINICIN: Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i a j
Para la matriz P de probabilidad de transicin representada en la Figura 6, el estado 5 es alcanzable
desde el estado 3 (a travs de la trayectoria 3 4 5), pero el estado 5 no es alcanzable desde el estado 1 (no hay trayectoria que vaya de 1 a 5 en la Figura 6).
DEFINICIN: Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i
es alcanzable desde j
Los estados 1 y 2 se comunican: podemos pasar de 1 a 2 y de 2 a 1.
DEFINICIN: Un conjunto de estados S en una cadena de Markov es conjunto
cerrado si ningn estado fuera de S es alcanzable desde un estado en S
De la cadena de Markov con la matriz P de la Figura 6, tanto S1 = {1, 2} como S 2 = { 3, 4, 5} son conjuntos cerrados.
Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca.
En la Figura 6 ningn arco comienza en S1 y termina en S 2 o principia en S 2 y termina en S1
DEFINICIN: Un estado i es estado absorbente si pii = 1
Siempre que entramos a un estado de absorcin, nunca lo podremos dejar.
En el Ejemplo 1, la ruina del jugador, los estados 0 y 4 son absorbentes.
Es natural que un estado absorbente sea un conjunto cerrado que slo contenga un estado.
DEFINICIN: Un estado i es estado transitorio si hay un estado j alcanzable desde i,
pero el estado i no es alcanzable desde el estado j
En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se
regrese a l.
cadenas_markov.doc
205
cadenas_markov.doc
206
0 1 / 4 3 / 4
0
1 / 4 1 / 2 1 / 4
[ P3 ] = 2 / 3 1 / 3 0 Ergdica
0 2 / 3 1 / 3
P2 no es ergdica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la clase 2 = {3, 4}) y
los estados en clases diferentes no se comunican entre si.
lim P n =
n
[ ]
1
1
1
1
2
2
2
2
s
s
207
Observe que para n grande, P tiende a una matriz con renglones idnticos.
Esto quiere decir que despus de largo tiempo, la cadena de Markov se estabiliza e, independientemente
del estado inicial i, hay una probabilidad j de que nos encontremos en el estado j
El vector = [ 1 2 s ] a menudo se llama distribucin de estado estable, o tambin distribucin de equilibrio para la cadena de Markov.
Cmo podemos encontrar la distribucin de probabilidades de estacionario para una cadena dada cuya
matriz de transicin es [ P ] ?
Segn el teorema 1, para n grande y para toda i,
n
Pij ( n + 1) Pij ( n )
(6)
n
Como Pij ( n + 1) = rengln i de P ( columna j de P ) , podemos escribir
Pij ( n + 1) =
k= s
k=1
Pik ( n ) p kj
(7)
k= s
k=1
p kj
(8)
= ( P)
(8')
Desgraciadamente, el sistema de ecuaciones que especifica la ecuacin (8) tiene un nmero infinito de
soluciones, porque el rango de la matriz (P) siempre resulta ser s 1 (puede verse captulo 2, problema de repaso 21 de Winston).
Para obtener valores nicos de probabilidades de estado estable, note que para toda n y toda i,
Pi1 ( n ) + Pi 2 ( n ) + + Pis ( n ) = 1
(9)
1 + 2 + +
=1
(10)
As, despus de reemplazar cualquiera de las ecuaciones (8) por (10), podemos usar la ecuacin (8) para
despejar las probabilidades de estado estable.
Para mostrar cmo determinar las probabilidades de estado estable, las calcularemos para el Ejemplo 4,
de la Cola.
Recuerde que la matriz de transicin de ese ejemplo era
cadenas_markov.doc
208
[ P] =
0,90 0,10
0,20 0,80
[ 1
] = [ 1
0,90 0,10
0,20 0,80
1 = 0,90 1 + 0,20 2
2 = 0,10 1 + 0,80 2
Al reemplazar la segunda ecuacin por la condicin 1 +
= 1 , obtenemos el sistema
1 = 0,90 1 + 0,20
1= 1 + 2
2
1
y 2 =
3
3
Por lo tanto, despus de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y
1/3 de probabilidad de que una persona dada compre cola 2.
Al despejar 1 y 2 , resulta que 1 =
j (1 p ij ) =
k j
k p kj
(11)
209
Actualizado al 31/8/2.003
cadenas_markov.doc
210