Documentos de Académico
Documentos de Profesional
Documentos de Cultura
M (o { }
n
n
X
,
1
y la distribucin inicial es ( ) ( )
1 1 1
0 3 3 3
Pr , , X i
.
Se puede representar a la matriz de transicin como un grafo, donde un vrtice
corresponde a un estado y un enlace orientado del vrtice i al vrtice
j
le
corresponde una probabilidad de transicin
ij
P
de i a
j
cuando sta sea
diferente de cero. Para el ejemplo tenemos su correspondiente representacin en
un grafo orientado en la Figura 1.
Figura1: Grafo orientado correspondiente al Ejemplo 1.
Simulacin: Note que si 1 a b c + + y deseamos elegir un estado en
{ } 1, 2, 3
con probabilidad
a
para 1, b para 2 y
c
para, solamente necesitamos
generar un nmero aleatorio
p
distribuido uniformemente en [ ] 0,1
y si
p a <
se
toma 1, si
a p a b < +
se toma 2 y si
1 a b p a b c + < + +
se toma 3.
Se usar esta tcnica para similar la cadena del ejemplo 1. Los siguientes
nmeros aleatorios
1
u
2
u
3
u
4
u
5
u
6
u
0. 429 0. 156 0.146 0. 951 0. 921 0. 644
han sido muestreados a partir de una distribucin uniforme en [ ] 0,1
. Nuestra
simulacin es como sigue:
1.- Tomar
0
X
usando la distribucin inicial ( ) ( )
1 1 1
0 3 3 3
Pr , , X i
, ya que
tenemos que a b c y
1
0.429 u
seleccionamos a
0
2 X
.
2
1
2 3
0.4
0.5
0.2
0.4
0.1
0.4
0.1
0.2 0.7
2.- Ya que estamos en el estado 2 debemos elegir un nuevo estado saltando
del estado 2. Ya que ( )
7 1 1
2 5 10 10
, ,
j
P
, por lo que como
1
2 5
0. 156 u a <
entonces seleccionamos
1
1 X
.
3.- Estamos ahora en el estado 1. Ya que ( )
2 1 1
1 5 2 10
, ,
j
P
, por lo que como
2
3 5
0.146 u a <
entonces seleccionamos
2
1 X
.
Y as sucesivamente se obtiene una realizacin de la cadena:
0
X
1
X
2
X
3
X
4
X
5
X ...
2 1 1 3 3 2 ...
Mediante la simulacin del proceso se obtiene una realizacin del mismo.
Podemos ver a partir del procedimiento de simulacin que el proceso estocstico
satisface la condicin de Markov: slo se usa el valor del ltimo estado
n
X
para
calcular la distribucin del estado
1 n
X
+
.
La distribucin de
n
X
Considere ( ) Pr
n
X j
, la cual es la probabilidad que despus de una simulacin
de una cadena de Markov para
n
pasos, el estado alcanzado sea
n
X j
.
Estas probabilidades pueden ser arregladas en un vector fila
( ) n
donde, por
definicin
( )
( ) Pr
n
j n
X j . Cuando 1 n , vemos que
( ) ( ) ( ) ( )
1 1 0 1 0 0
Pr Pr , Pr Pr
i i
X j X j X i X j X i X i
Esto puede ser escrito en forma matricial como
( ) ( ) ( ) ( )
[ ]
1 0 1 0
o 0,1
j i ij
i
P P
De manera similar
( ) ( ) 1
n n
P
,
Definicin: Supongamos que
( )
n
cuando
n
para cualquier
( ) 0
.
Entonces es la distribucin de equilibrio de la cadena M y la cadena se dice
que es ergdica.
Para una cadena ergdica y para
n
suficientemente grande, los estados de M
estn distribuidos como y el sistema est en equilibrio.
Ejercicio 1: Suponga que M es ergdica con distribucin de equilibrio .
Mostrar que cuando
n
n
P
,
K L
K L
M
K K
donde ...
n
P PP P es la matriz multiplicada
n
veces.
Solucin: Mediante iteracin
( ) ( ) 1
n n
P
vemos que
( ) ( ) 0
n n
P . Si M es
ergdica
( )
n
cuando
n
para cualquier
( ) 0
. En particular si elegimos
( )
( )
0
0, 0, ,1, , 0 K K donde 1 est en la posicin k , entonces
( ) 0 n
P es igual a la
fila k de
n
P y por suposicin, sta tiende a cuando
n
. Ya que esto se
cumple para cualquier k , la matriz
n
P tiene la forma mostrada.
Ejercicio 2: Verificar que cuando
n
resulta:
2 1 1
5 2 10
7 1 1
5 10 10
2 2 1
5 5 5
5 11 2
1
5 11 2
18
5 11 2
n
_ _
, ,
4
Ejercicio 3: Determinar la distribucin estacionaria si
1
1
a a
P
b b
_
,
donde
0 , 1 a b
.
Solucin: Si 0 2 a b < + < entonces ( ) ( ) ( )
b a b a a b + +
es la distribucin
estacionaria. Si 0 a b , entonces { } 0,1
es reducible bajo
P
, es decir,
dependiendo del estado inicial
( )
( ) 1 0
n
o
( )
( ) 0 1
n
y
( ) ( ) 0 1 0 1 c d +
es una distribucin estacionaria para cualquier
c
y d . Por
otra parte si 1 a b la cadena de Markov es peridica.
Distribuciones de Equilibrio
Bajo que circunstancias una distribucin estacionaria existe?
Si existe, sta es nica?
( )
n
cuando
n
para cualquier
( ) 0
?
Aqu buscaremos condiciones suficientes para la ergodicidad.
Irreductibilidad
Si nosotros podemos hallar una sucesin de estados
1 2
...
n
i k k k j
tal que las probabilidades de transicin
1 1
, , ,
0, 0, 0
m m n
i k k k k j
P P P
+
, entonces existe
una sucesin de estados de i a
j
con una probabilidad de ocurrencia no cero en
M . Se dice que i y
j
se comunican y se escribe
i j
. Si
j
e i tambin se
comunican, es decir, si
j i
, se dice que i y
j
se intercomunican y se escribe
i j
. Conjuntos de estados intercomunicados de clases de equivalencia, si
i m y
m j
i j
y del mismo modo, i m pero
m j
/
i j
/ .
Si todos los estados en se intercomunican, entonces se dice que es
irreducible bajo
P
, es decir, para cualquier dos estados i y
j
en , existe una
trayectoria con probabilidad no cero que enlaza a i con
j
y una trayectoria con
probabilidad no cero que enlaza a
j
con i . En caso contrario se dice que es
reducible bajo
P
.
Si existe ms de una clase de equivalencia distinta de estados intercomunicados
en , la cadena de Markov es reducible bajo
P
y una distribucin estacionaria no
necesita ser nica.
5
Ejemplo 4: Suponga que { } 1, 2, 3, 4
y que
0.4 0.6 0 0
0.2 0.8 0 0
0 0 0.4 0.6
0 0 0.2 0.8
P
_
,
Entonces queda claro a partir del grafo orientado de la figura 2 que { } 1, 2
y { } 3, 4
son clases de equivalencia de estados interconectados. Existen dos vectores
propios izquierdos de
P
con valor propio 1, que son ( )
3 1
4 4
, , 0, 0
y ( )
3 1
4 4
0, 0, ,
.
Si el estado inicial { }
0
1, 2 X
la distribucin estacionaria es
y si es { }
0
3, 4 X
entonces la distribucin estacionaria correspondiente es
.
Figura2: Grafo orientado correspondiente al Ejemplo 4.
Reversibilidad
Si tenemos una realizacin de un proceso reversible de Markov pero no sabemos
en que direccin fue simulado resulta imposible determinar la direccin de la
simulacin a partir de la secuencia de los estados de la realizacin. Esta es una
propiedad rara y especial.
Considere, por ejemplo, la cadena en { } 1, 2, 3
con la matriz de transicin
6
2
4
0.4
0.6
0.2
0.6
0.2
0.8
1
3
0.4
0.8
1 1 1
3 3 3
1 0 0
0 1 0
P
_
,
Esto define una cadena irreducible. Se puede notar que la secuencia
1 3 2 1 es posible en esta cadena pero la sucesin invertida 1 2 3 1
es imposible ya que
23
0 P
. Entonces existe una secuencia de estados para los
cuales es posible decir en qu direccin la simulacin ocurri y la cadena no es
reversible.
Lema: Sea { }
n
n
X
la sucesin { }
n
n
Y
M
es tambin una cadena de Markov, conocida como la cadena invertida de M .
Prueba: Considere la probabilidad condicional ( )
1 1
Pr , ,...
n n n
Y Y Y
+
. Se quiere mostrar
que esta es igual a ( )
1
Pr
n n
Y Y
+
. Por definicin de probabilidades condicionales
tenemos que
( )
( )
( )
( ) ( )
( )
( ) ( )
( )
1 1
1 1
1
1 2 1 1
1
1 2 1 1
1
Pr , , ,...
Pr , ,...
Pr , ,...
Pr , ,... , Pr ,
Pr , ,...
Pr , ,... , Pr ,
Pr , ,...
n n n
n n n
n n
n n n n n n
n n
n n n n n n
n n
Y Y Y
Y Y Y
Y Y
Y Y Y Y Y Y
Y Y
X X X X Y Y
Y Y
+
+
+ +
+ + +
tenemos que
( )
( ) ( )
( )
( ) ( )
( )
( )
( )
( )
1 2 1
1 1
1
1 2 1
1
1
1
Pr , ,... Pr ,
Pr , ,...
Pr , ,...
Pr , ,... Pr ,
Pr , ,...
Pr ,
Pr
Pr
n n n n n
n n n
n n
n n n n n
n n
n n
n n
n
X X X Y Y
Y Y Y
Y Y
Y Y Y Y Y
Y Y
Y Y
Y Y
Y
+ + +
+
+
+
Por lo que M es tambin una cadena de Markov.
7
Definicin: Una cadena de Markov homognea M es reversible si la matriz de
transicin para la cadena invertida M coincide con la de M , de manera que
( ) ( )
1 1
Pr Pr
n n n n
X j X i X j X i
+ +
Si las matrices de transicin son las mismas, el valor de cualquier estadstico que
se desee medir en una realizacin tendr la misma distribucin, si la realizacin
viene de la cadena directa o la inversa.
Por esto no podemos determinar cual fue la direccin de la simulacin mirando a
los resultados.
Condiciones necesarias y suficientes para la reversibilidad
Teorema: Suponga que { }
n
n
X
M ,
donde
n n
Y X
, es decir
( )
1
Pr
ij n n
Q Y j Y i
+
Se debe probar que
ij ij
Q P
si y slo si el balance detallado se cumple. Por
definicin del proceso Y ,
( )
( )
( )
( ) ( )
( )
1
1
1 1
Pr
Pr ,
Pr
Pr Pr
Pr
ij n n
n n
n
n n n
n
Q X j X i
X j X i
X i
X i X j X j
X i
o
( ) ( )
( )
( )
1
1
1
1
i i
i i
m i i
m m
m i
i
+
+
+
+
Usando la relacin, vemos que
( ) ( )
1 0 2 1 3 2
1 2
, , , ...
2 3
m m
m
as que
( ) ( )
( )
0 0
1 ... 1
!
m
i i
m m m i
i
+
Se puede encontrar todas las
i
,
Esta es peridica con perodo 2 ya que
( )
0
1
2
0, si es par
Pr 2 1
, si es impar
n
n
X X
n
'
Las cadenas peridicas no son ergdicas, aunque esta dificultad puede ser
eliminada mediante el sub-muestreo.
10
Teorema de ergodicidad para cadenas reversibles
Teorema: Para una cadena de Markov M irreducible, no peridica en un espacio
de estados contable con matriz de transicin
P
, si existe ( )
i
tal que
0 1, 1
i i
i
y
,
i ij j ji
P P
entonces M es reversible y ergdica con distribucin de equilibrio nica .
Note que si se suma la condicin de balance detallada con respecto a
j
se
obtiene
,
i ij j ji
j j
P P
_
,
o
i j ji
j
P
es contable y que
M
es homognea.
Ejercicio 4: Suponga que
M
es una cadena de Markov irreducible en un espacio
finito de N estados, con
ij ji
P P
, es decir, la matriz de transicin es simtrica.
Probar M es reversible, y que la distribucin uniforme
1
i
N
es su nica
distribucin de equilibrio.
Solucin: Ver ejemplo 11 en la prxima seccin.
Monte Carlo cadena de Markov
Algunos casos especiales
En la seccin anterior se consider el problema de hallar la distribucin de
equilibrio de una cadena con una matriz de transicin dada
P
. En esta seccin
se considerar el problema inverso. Dada una distribucin , cmo construir la
matriz de transicin
P
de una cadena de Markov de manera que la distribucin de
equilibrio de esta cadena sea ?
11
Una cadena de Markov puede ser especificada por una matriz de transicin, o
dando la dinmica microscpica (es decir, un algoritmo que determina a
1 n
X
+
dado
n
X
). El algoritmo de manera implcita fija la matriz de transicin. Los problemas
reales son usualmente demasiado complicados para poder dar la matriz de
transicin de manera explcita. As que el problema de especificar una CM con
una distribucin de equilibrio deseada ser sustituido por el problema de
suministrar un algoritmo que se pueda probar que genera una CM con la
distribucin de equilibrio correcta. Se usa la idea de reversibilidad.
Ejemplo 11: Construir una cadena de Markov
M
ergdica y reversible en el
espacio de estados { } 1, 2, 3, 4
con distribucin de equilibrio
1
4 i
, es decir
uniforme en .
Ya que M es reversible, la matriz transicin debe satisfacer
,
i ij j ji
P P
Y como
1
4 i j
tenemos que
ij ji
P P
. Si es irreducible bajo
P
(es decir, la
cadena puede tomar cualquier estado en ) entonces se han satisfecho las
condiciones del teorema de ergodicidad para cadenas reversibles. As que
cualquier matriz de transicin
P
simtrica e irreducible servira.
Si por ejemplo,
3 4 1 4 0 0
1 4 1 2 1 4 0
0 1 4 1 2 1 4
0 0 1 4 3 4
P
_
,
se satisface que
1
ij
j
P
y
ij ji
P P
. Ahora, ( )
1 1 1 1
4 4 4 4
, , ,
es un vector propio
izquierdo de
P
. Todas las condiciones de ergodicidad estn satisfechas de
manera que se espera que
( ) ( ) 0 n n
P tiende a ( )
1 1 1 1
4 4 4 4
, , ,
cuando
n
desde
cualquier estado inicial. De manera explcita, se puede hallar que
2
.625 .3125 .625 0
.3125 .375 .25 .625
.625 .25 .375 .3125
0 .625 .3125 .625
P
_
,
4
.49219 .32813 .14063 .03906
.32813 .30469 .22656 .14063
.14063 .22656 .30469 .32813
.03906 .14063 .32813 .49219
P
_
,
12
100
.25000 00567 .25000 00235 .24999 99765 .24999 99433
.25000 00235 .25000 00097 .24999 99903 .24999 99765
.24999 99765 .24999 99903 .25000 00097 .25000 00235
.24999 99433 .24999 99765 .25000 00235 .2500
P
0 00567
_
,
Note que este problema es trivial ya que se puede simplemente tomar
1 4
ij
P
para todo
, i j
en . En cada actualizacin se muestrea uniformemente en .
Entonces
( ) n
para todo
n
.
Ejercicio: Considere el espacio de estados
( ) { } { }
, , : 0 y , , 9, 8,..., 8, 9 a b c a b c a b c + +
Construya una cadena de Markov reversible con una distribucin de equilibrio la
cual sea uniforme en .
Solucin: Para moverse del estado
n
X i
al estado
1 n
X j
+
donde i y
j
estn
en , tomar un vector u con elementos ( ) 0,1, 1
en orden aleatorio, y poner
j i u + . Este movimiento respeta la restriccin que 0 a b c + + . Si i u + no est
en , el movimiento no es hecho y se pone
1 n n
X X i
+
. Existen seis opciones
para u . Se puede notar que
1. Para cada par de estados i y
j
existe un o ningn vector u de la forma dada
arriba que los relaciona. Si j i u + , entonces ( ) i j u +
. Debido que la
probabilidad de elegir u es la misma que la de elegir u , vemos que
1
6 ij ji
P P
si existe un u tal que i j u + . Tambin,
0
ij ji
P P
si no existe tal
u .
2. La regla que no se hace movimiento llevndonos fuera de slo afecta la
probabilidad
ii
P
para algn i y no echa a perder la simetra de la matriz de
transicin
P
.
Debido que
P
es simtrica, es claro que una distribucin uniforme en
satisface
i ij j ji
P P
. La cadena es claramente irreducible como para cualquier
par de estados i y
j
en , existe una sucesin de vectores vlidos u los cuales
nos llevan de i a
j
. Mediante el teorema de ergodicidad para cadenas
reversibles,
( )
1
Pr , uniforme en
n
X i
' ;
aceptar
1 n
X j
+
, en caso contrario rechazar, es decir, poner
n
X i
.
Note que debido a que los pasos de generacin y aceptacin son independientes,
la probabilidad de transicin para ir de i a
j
es
( ) ( ) ( )
1
Pr para
n n
X j X i g j i j i i j
+
Esto dice que la probabilidad de pasar al estado
j
a partir del estado actual i es
igual a la probabilidad de generar el estado
j
a partir del estado actual i
multiplicada por la probabilidad de que el nuevo estado
j
sea aceptado. La
probabilidad
ii
P
puede ser hallada a partir del requerimiento de que
1
ij
j
P
.
Afirmacin: (Metropolis et al. 1953, Hastings 1970)
Sea una distribucin de probabilidad dada. La cadena de Markov simulada
mediante el algoritmo de Metropolis-Hastings es reversible con respecto a . Si
esta es adems irreducible y aperidica, entonces sta define una cadena de
Markov ergdica con distribucin de equilibrio nica .
14
Prueba: Hay que mostrar que la matriz de transicin
P
determinada por el
algoritmo de Metropolis-Hastings satisface
i ij j ji
P P
para
i j
(el caso
i j
es trivial). Si ste es el caso entonces la cadena es
reversible y el resto de la afirmacin sale a partir del teorema de ergodicidad.
Suponga sin prdida de generalidad que
( ) ( )
j i
g i j g j i >
Debido que
( ) ( )
( )
( )
( )
( )
P
min 1,
ij
j
i
g j i j i
g i j
g j i g j i
g j i
' ;
por la suposicin. Por otra parte
( ) ( )
( )
( )
( )
( )
( )
( )
( )
P
min 1,
ji
i i
j j
i
j
g i j i j
g j i g j i
g i j g i j
g i j g i j
g j i
' ;
_
' ;
,
Ya que
ij ij ij
P g
para
i j
y
1
ii ij
j i
P P
,
Es fcil comprobar que
P
y que las filas de
n
P tienden a a medida de que
n
se hace grande.
Ejemplo 13: Construir la matriz de transicin
P
de una cadena de Markov espacio
de estados { } 0,1, 2,...
y distribucin de equilibrio
( ) exp
!
i
i
i
'
es decir, dado
n
X i
, el estado candidato para
1 n
X
+
es elegido uniformemente
de { } 1, 1 i i +
.
2. Aceptacin/Rechazo: La probabilidad de aceptacin es determinada mediante
la frmula de Metropolis-Hastings
( )
( )
( )
min 1, ,
j
i
g i j
j i
g j i
' ;
Ahora ( ) ( )
1 2 g i j g j i
as que
16
( )
1
1 min 1, min 1, ,
1
i
i
i i
i
+
+
' ; ' ;
+
y
( )
1
1 min 1, min 1, ,
i
i
i
i i
' ; ' ;
Note que si
0
n
X
y el estado candidato
1 j
es elegido, se rechaza ste y
ponemos
1
0
n
X
+
. Esto afecta a
ii
P
pero deja a
ij
P
correcta para que el balance
detallado se cumpla.
Ejercicio: Implementar el algoritmo para el ejemplo anterior en su lenguaje
favorito. Usando
1
, comprobar la media y la varianza de las muestras
0
...
n
X X
estn cercanas a
cuando
n
es grande.
Ejemplo 14: Campo aleatorio binario de Markov
Considere el espacio ( ) { }
{ } 2
1 2
, ,..., : 1,1
m
N
x x x x
. Se puede considerar
m
x
como el color del pxel
m
donde
1
m
x
es un pxel negro y
1
m
x
es uno blanco.
Entonces es el espacio de todas las imgenes en blanco y negro con
2
N
pxeles. Suponga que la probabilidad de que x est dada por
( )
( )
,
1
Pr exp
1
exp 2 #
m n
m n
x J x x
Z
J x
Z
_