Notas del curso

Cadenas de Markov: Una introduccion

Stella Brassesco
Departamento de Matematicas, Instituto Venezolano de Investigaciones
Cientcas, Apartado Postal 20632 Caracas 1020A, Venezuela
sbrasses@ivic.gob.ve
EMALCA El Salvador
29 de mayo al 9 de Junio de 2011
1
1. Introduccion
Sea , T, P un espacio de probabilidad, y denotemos por a los ele-
mentos de .
Un proceso estocastico es una familia X
t

tT
de variables aleatorias in-
dexadas en T, que puede ser un conjunto discreto, por ejemplo 0, 1, 2, ,
o continuo, como por ejemplo el intervalo [0, 1] o el conjunto de los n umeros
reales R. Se utilizan como modelos para la evolucion del estado de un sistema
cuando la dinamica es de alguna forma aleatoria, o depende de factores que
no se conocen bien. En estos casos se piensa t como el tiempo, y se dice que
X esta en el estado a en el tiempo t cuando X
t
= a.
Supongamos T = N, y consideremos un proceso X
i

iN
. Una trayectoria
de este proceso es la sucesion X
i
()
iN
, que corresponde a una realizacion u
observacion particular a lo largo del tiempo. Estamos interesados en estudiar
caractersticas de estas trayectorias, tales como
Cuantas veces pasa por un determinado estado antes de un tiempo T
dado?
Cual es la distribucion del maximo del proceso hasta cierto N dado?
Cuanto vale es la esperanza del tiempo que tarda en el proceso en alcanzar
un nivel dado A?
Ejercicio Describa matematicamente los eventos de las preguntas anteriores,
en terminos de un proceso X
n
.
2. El paseo aleatorio
Uno de los procesos mas basicos es el paseo aleatorio simple en Z, que
describe la posicion de una partcula que se mueve en una lnea, y en cada
unidad de tiempo da un paso de tama no 1, o bien a la derecha o bien a la
izquierda, con probabilidad p y 1 p respectivamente, donde p (0, 1).
Matematicamente, X
n
se expresa as:
X
n
= X
0
+
1
+
2
+ +
n
(2.1)
2
donde X
0
es la posicion inicial, y
i

iN
son variables aleatorias independi-
entes denidas en , T, P, y tales que P(
i
= 1) = 1 P(
i
= 1) = p.
Podemos representar gracamente los primeros 14 pasos de una trayec-
toria:
Figura 1: Graco de los primeros 14 pasos de un paseo aleatorio simetrico
con posicion inicial 2.
En caso de que p =
1
2
, el paseo se dice simetrico. Supongamos que X
0
= 0.
Podemos calcular EX
n
= n
_
p (1 p)
_
, y V arX
n
= 4np (1 p). Mas a un,
se puede calcular P(X
n
= k), para cada n y k en N. Como cada paso tiene
tama no 1, es claro que si [k[ > n o bien k tiene paridad distinta de la de n,
entonces P(X
n
= k) = 0. En los otros casos, X
n
= k signica que la partcula
da D pasos a la derecha e I pasos a la izquierda, de forma que D I = k.
Como D + I = n, tenemos que D =
n+k
2
de modo que el evento (X
n
= k)
resulta igual al evento (D =
n+k
2
). Pero
P(D =
n + k
2
) =
_
n
n+k
2
_
p
n+k
2
(1 p)
nk
2
que corresponde a contar cuantas trayectorias del paseo en [0, n] pueden
dar
n+k
2
pasos a la derecha (y por lo tanto
nk
2
pasos a la izquierda), y
multiplicarlas por la probabilidad de cada una de ellas, que es p
n+k
2
(1p)
nk
2
.
Hemos demostrado entonces lo siguiente:
Proposicion 2.1. Sea X
n
un paseo aleatorio en Z, con P(
i
= 1) = p, y
3
X
0
= 0. Entonces
P(X
n
= k) =
_

_
_
n
n+k
2
_
p
n+k
2
(1 p)
nk
2
si [k[ < n, y si
n y k tienen la misma paridad
0 en caso contrario
Veamos un ejemplo de aplicacion de lo anterior al calculo de una prob-
abilidad que tiene que ver con la trayectoria completa del paseo hasta un
cierto instante.
Problema 2.2. Supongamos que tenemos un paseo simetrico, con condicion
inicial X
0
= a > 0, y sea b > a, y n N Cual es la probabilidad de que el
paseo este en el estado b en el tiempo n, sin haber tocado el 0?
Una interpretacion de la situacion anterior que es frecuente es la siguiente:
supongamos que un jugador cuya fortuna inicial es a juega un juego justo,
donde si pierde paga 1 y si gana recibe 1, de modo que su fortuna X
n
a lo
largo del tiempo describe un paseo simetrico. En este lenguaje, la pregunta
es cual es la probabilidad de que su fortuna en el tiempo n sea b sin haberse
arruinado antes. Para responderla, observamos
P(X
n
= b, X
n1
,= 0, X
n2
,= 0 X
1
,= 0[X
0
= a) =
P(X
n
= b[X
0
= a) P(X
n
= b, X
j
= 0 para alg un j (1, n 1)[X
0
= a)
Ahora bien, usando la proposicion anterior, obtenemos
P(X
n
= b[X
0
= a) = P(X
n
= b a[X
0
= 0) =
_
n
n+ba
2
_
2
n
Con respecto a la probabilidad de que el paseo llegue a b habiendo visitado
el 0, observamos, como en la siguiente gura, que a cada trayectoria que llega
desde a hasta b tocando el 0 corresponde una trayectoria que llega desde a
al reejado de b respecto del 0. Como todas las trayectorias hasta n tienen
la misma probabilidad (
1
2
n
) tenemos que
P(X
n
= b, X
j
= 0 para alg unj (1, n 1)[X
0
= a) =
P(X
n
= b[X
0
= a) = P(X
n
= b a[X
0
= 0) (2.2)
4
Figura 2: Trayectoria reejada en la barrera 0
de modo que nalmente la respuesta al problema es
P(X
n
= b a) P(X
n
= b a) =
_
n
n+ba
2
_
2
n

_
n
nba
2
_
2
n
La propiedad que nos permitio calcular (2.2) se conoce como principio de
reexion.
Consideremos ahora un paseo aleatorio X
n
. Recordando (2.1) observemos
que, por ejemplo,
P(X
4
= 2 [ X
3
= 1, X
2
= 2, X
1
= 1, X
0
= 0) =
P(X
3
+
4
= 2 [ X
3
= 1, X
2
= 2, X
1
= 1, X
0
= 0) = P(X
4
= 2 [ X
3
= 1)
(2.3)
Esta propiedad, extendida a tiempos y estados cualesquiera, se llama
propiedad de Markov.
Ejercicio
1. Considere un paseo aleatorio X
n
como en (2.1), con P(
1
= 1) = p,
P(
1
= 1) = q := (1 p) y X
0
= k (0, A).
5
Dena u
k
= P(X
n
llegue a 0 antes que aA[ X
0
= k). (En lengua-
je de juego, la probabilidad de que el jugador se arruine antes de
obtener una fortuna A cuando su fortuna inicial es k). Muestre
que, si p ,= q,
u
k
=
(q/p)
k
(q/p)
A
1 (q/p)
A
Sug: Verique que u
k
satisface la recurrencia u
k
= p u
k+1
+q u
k1
si k (1, A1), con las condiciones de contorno u
0
= 1 y u
A
= 0,
y resuelva esta recurrencia.
Calcule v
k
:= P(X
n
llegue a A antes que a 0 [ X
0
= k).
Verique que u
k
+ v
k
= 1
Calcule u
k
y v
k
en el caso p =
1
2
.
Cuanto vale P
_
X
n
(0, A) n 0
_
?
Suponga p > q. Calcule lm
A
v
k
.
3. Deniciones y propiedades basicas
Denicion 3.1. Un proceso X
n
a valores en un espacio o satisface la
propiedad de Markov si
P(X
n+1
= j[X
n
= i, X
n1
= i
n1
, , X
0
= i
0
) = P(X
n+1
= j[X
n
= i)
n N, i
0
, i
1
, i
n1
, i, j o tales que las probabilidades en la igualdad
anterior estan denidas.
Un proceso de Markov homogeneo es un proceso de Markov tal que
P(X
n+1
= j[X
n
= i) no depende de n.
Una cadena de Markov es un proceso de Markov a tiempo discreto con
espacio de estados o nito o numerable.
***
Consideraremos en lo que sigue cadenas de Markov homogeneas.
***
6
Un analisis como el de (2.3) muestra que el paseo aleatorio es una cadena
de Markov homogenea con espacio de estados Z.
Si X
n
es una cadena de Markov homogenea, las probabilidades de tran-
sicion del estado i al estado j las denotaremos P(i, j) := P(X
1
= j[X
0
= i).
Se acostumbra acomodarlas en forma matriz
P := P(i, j)
i,jS
Si n es el n umero de elementos de o, es una matriz de n n. Si o no es
nito, sera una matriz innita. P se llama matriz de transicion asociada a la
cadena de Markov X
n
, y es claro que se cumple

jS
P(i, j) = 1, y que 0 P(i, j) 1 i, j o
Toda matriz con estas propiedades se llama matriz estocastica.
Veremos que esta determina, junto con la condicion inicial, la ley de la
cadena X
n
, y que por otro lado, dadas una condicion inicial y una ma-
triz estocastica P, existe una cadena de Markov X
n
(es decir, un espacio de
probabilidad , T, P donde hay denido un proceso X
n

nN
a valores en
o, que satisface la propiedad de Markov), cuya matriz de transicion es la P
dada.
Si X
n
es una cadena de Markov homogenea en un espacio de estados
o, y e
i
o, i = 0, 1, , por la denicion de probabilidad condicional y la
propiedad de Markov 3.1 tenemos que, n:
P(X
n
= e
n
, X
n1
= e
n1
, X
n2
= e
n2
, , X
0
= e
0
) =
P(X
n
= e
n

X
n1
= e
n1
, X
n2
= e
n2
, , X
0
= e
0
)
P(X
n1
= e
n1
, X
n2
= e
n2
, , X
0
= e
0
) =
P(e
n1
, e
n
) P(X
n1
= e
n1
, X
n2
= e
n2
, , X
0
= e
0
) =
n

i=1
P(e
i
, e
i1
) P(X
0
= e
0
)
Observemos que el conjunto de todas las probabilidades como en la primera
lnea arriba, para cualesquiera conjuntos de estados, y n N determina la
distribucion de la cadena X
n
. Por la ultima expresion obtenida, tenemos
entonces lo siguiente:
7
Proposicion 3.2. La distribucion de X
n
queda determinada por la matriz
de transicion P = P(i, j)
i,jS
y la distribucion inicial de X
0
.
Podemos entonces referirnos a la cadena de Markov con matriz P y condi-
cion inicial X
0
. Esta condicion inicial puede ser una variable aleatoria, o, en
particular, un valor jo en el espacio o. Supongamos que X
0
se distribuye de
manera que P(X
0
= i) = (i), i o (lo cual suele denotarse por X
0
) En
este caso, escribiremos P

cuando se quiera hacer explcita la distribucion de

la condicion inicial:
P

(X
n
= j) =

iS
P(X
n
= j[X
0
= i)(i)
Con un ligero abuso de notacion, escribimos P
i
cuando X
0
= i. Analoga-
mente, E

y E
i
denotaran la esperanza condicional cuando el estado inicial
es o i, respectivamente.
De la propiedad de Markov podemos calcular las probabilidades de tran-
sicion en dos pasos, que denotaremos por P
(2)
:
P
(2)
(i, j) := P(X
2
= j[X
0
= i) =

kS
P(X
2
= j, X
1
= k[X
0
= i)
=

kS
P(X
2
= j, X
1
= k, X
0
= i)/P(X
0
= i)
=

kS
P(X
2
= j[X
1
= k, X
0
= i) P(X
1
= k, X
0
= i)/P(X
0
= i)
=

kS
P(X
2
= j[X
1
= k) P(X
1
= k[X
0
= i) =

kS
P(k, j) P(i, k) = P
2
(i, j)
donde P
2
(i, j) es la entrada (i, j) de la matriz P elevada al cuadrado. Por
induccion obtenemos facilmente que la probabilidad de transicion en n pasos
viene dada por
P(X
n
= j[X
0
= i) = P
n
(i, j),
donde P
n
(i, j) es la entrada (i, j) de la n-esima potencia de la matriz P. A la
matriz P
n
se le llama matriz de transicion en n pasos. Observe que denotamos
P
(n)
(i, j) = P
n
(i, j).
8
La siguiente proposicion muestra como obtener cadenas de Markov por
recurrencia a partir de una sucesion de variables i.i.d. denidas en un espacio
de probabilidad
_
, T, P
_
. Veremos que, ademas de resultar de utilidad para
implementar algoritmos de generacion con un computador, tambien engloba
la mayora de los ejemplos a considerar.
Proposicion 3.3. Sea Y
n

n1
una sucesion de variables aleatorias inde-
pendientes denidas en cierto espacio
_
, T, P
_
. Sea o un conjunto nito o
numerable, y F : o R o una funcion. Sea X
0
una variable aleatoria con
valores en o, independiente de Y
n

n1
, y sea X
n
denida por recurrencia
as:
X
n+1
= F(X
n
, Y
n+1
) (3.1)
Entonces X
n
es una cadena de Markov homogenea.
Demostracion Es claro que la recurrencia planteada genera un proceso a
valores en o. Resta vericar la propiedad de Markov. Tenemos:
P
_
X
n+1
= j[X
n
= i, X
n1
= i
n1
, X
0
= i
0
_
= (3.2)
P
_
F(X
n
, Y
n+1
) = j[X
n
= i, X
n1
= i
n1
, X
0
= i
0
_
=
P
_
F(i, Y
n+1
) = j
_
= P
_
F(X
n
, Y
n+1
) = j[X
n
= i
_
= P
_
X
n+1
= j[X
n
= i
_
Para escribir la tercera igualdad observamos que, iterando la recurrencia,
se concluye que X
n
es una funcion de X
0
y de Y
j

n
j=1
.
Como P
_
F(i, Y
n+1
) = j
_
no depende de n, tenemos que la cadena de
Markov denida por (3.1) es homogenea.
Antes de ver algunos ejemplos, veamos como se puede aplicar la proposi-
cion anterior, mostrando una particular funcion F y sucesion de variables
aleatorias U
n
tal que X
n+1
= F(X
n
, U
n+1
) y de modo que las transiciones
son dadas por P.
Supongamos que o = 1, 2, 3 N, sean U
n
i.i.d. uniformes en [0, 1].
Para denir F, denimos una familia de particiones del intervalo [0, 1], como
sigue:
Asociamos con la primera la de la matriz una particion del intervalo [0, 1]
en N intervalos disjuntos I
1,1
, I
1,2
, I
1,N
de longitudes P(1, 1), P(1, 2) P(1, N).
Analogamente, a la la j, asociamos una particion del intervalo [0, 1] en N in-
tervalos disjuntos I
j,1
, I
j,2
, I
j,N
de tama nos P(j, 1), P(j, 2) P(j, N). Sea
9
entonces F : o [0, 1] o denida por:
F(i, x) =

jS
j 1I
I
i,j
(x) (3.3)
Con la receta de la proposicion 3.3 tenemos que
X
n+1
= F(X
n
, Y
n+1
) (3.4)
es una cadena de Markov, y de (3.2) sigue que
P(X
n+1
= j[X
n
= i) = P(F(i, U
n+1
) = j) = P(U
n+1
I
i,j
) = P(i, j)
Ejemplo. Consideremos la matriz de transicion P dada en la siguiente gu-
ra. Un posible conjunto de particiones del intervalo [0, 1] es mostrado a la
derecha. Observe que los intervalos I
2,2
, I
2,3
I
3,1
e I
3,4
son vacos.
P =
_
_
_
_
_
_
_
_
_
_
1
8
1
2
1
8
1
4
1
2
0 0
1
2
0
1
5
4
5
0
1
4
1
4
1
4
1
4
_
_
_
_
_
_
_
_
_
_
(
I
4,1
[ )
I
4,2
[
I
4,3
)
I
4,4
[ ) ]
(
I
3,2
[ )
I
3,3
]
(
I
2,1
[ )
I
2,4
]
(
I
1,1
[ )
I
1,2
[
I
1,3
)
I
1,4
[ ) ]
Para obtener una realizacion de la cadena correspondiente en o = 1, 2, 3, 4,
dada la condicion inicial X
0
, simplemente aplicamos la formula (3.4). Por
ejemplo, tomando la primera muestra de uniformes (aproximadas) que aparece
en el listado del Apendice, en este ejemplo, tomando X
0
= 2, obtenemos la
siguiente realizacion de los primeros 10 pasos: 2, 1, 4, 3, 3, 3, 2, 4, 3, 3, 3.
Comentario 3.4. La funcion F mostrada arriba no es de ninguna manera
la unica posible. Encontraremos mas adelante situaciones en que sera conve-
niente escoger otra funcion F.
10
4. Algunos ejemplos clasicos
Consideramos primero algunas variaciones del paseo aleatorio.
Paseo aleatorio con barreras
Sean A, B Z dos valores donde se localiza una barrera. Sea X
0
Z, A <
X
0
< B. X
n
sera entonces la posicion de una partcula que realiza un paseo
igual que antes, excepto cuando llega a A o a B. En particular tenemos
* Barreras absorbentes Al llegar a A o a B, el paseo queda absorbido por
esos estados, es decir,
P(i, j) =
_

_
p si A < i < B, j = i + 1
q si A < i < B, j = i 1
1 si i = A, j = A
1 si i = B, j = B
0 en todos los otros casos
* Barreras reejantes Al llegar a A o a B, el paseo es reejado por esos
estados, es decir,
P(i, j) =
_

_
p si A < i < B, j = i + 1
q si A < i < B, j = i 1
1 si i = A, j = A + 1
1 si i = B, j = B 1
0 en todos los otros casos
El paseo aleatorio con barreras absorbentes 0 y B suele interpretarse como
la fortuna de un jugador que en cada unidad de tiempo apuesta 1 para
participar en un juego justo, y que se retira o bien porque se arruina ( llega
a 0, o bien alcanza un nivel prejado B. Por eso se habla de problemas de
ruina para referirse a problemas de llegada a las barreras. En el libro [5] se
puede encontrar un estudio detallado del paseo aleatorio.
Paseo aleatorio simetrico en un grafo Consideremos un grafo conexo
dado, con vertices V
i
, 1 = 1, 2, , n y algunas aristas que los unen. El pro-
11
ceso X
n
toma valores en el conjunto de los vertices, y
P(V
i
, V
j
) =
_
1
d
i
si hay una arista entre V
i
y V
j
0 en todos los otros casos,
donde d
i
es el n umero de vecinos de i, es decir, el n umero de vertices conec-
tados por aristas con i.
Este proceso se conoce como modelo para ratones en laberintos.
Modelo de Eherenfest Supongamos que se tienen M bolas numeradas
de 1 a M, que estan repartidas en dos recipientes A y B. En cada unidad de
tiempo, se sortea un n umero al azar entre 1 y M, y la bola con ese n umero
se cambia de recipiente: si estaba en A se coloca en B, y viceversa. Sea X
n
el n umero de bolas en el recipiente A.
En este caso, tenemos
P(i, i+1) =
M i
M
P(i, i1) =
i
M
y cero en todos los demas casos
Este proceso fue propuesto por P. y T. Eherenfest a comienzos del siglo
XX como un modelo simplicado que pudiera aclarar la aparente contradic-
cion que surgio al tratar de explicar algunos fenomenos fsicos (como el com-
portamiento de un gas en un recipiente cerrado). Por un lado, se esperaba
que el sistema fuese reversible y recurrente, al considerarlo como un sistema
con muchas partculas y aplicar las leyes de la fsica clasica. Por otro, se
deban aplicar las leyes de la termodinamica, que implican convergencia al
equilibrio y decaimiento de la entropa. Un analisis detallado de este modelo,
as como de las motivaciones para su formulacion puede encontrarse en [7] o
en el trabajo original de los Ehrenfest [4]
Cadenas de nacimiento y muerte Una cadena de nacimiento y muerte
es una cadena X
n
con espacio de estados N tal que, para ciertos p
i
, q
i
no
negativos, i = 0, 1, 2, ,
P(i, i + 1) = p
i
P(i, i 1) = q
i
y cero en todos los demas casos
X
n
se puede interpretar como el tama no de una poblacion donde en cada
unidad de tiempo o bien nace o bien muere un individuo, con probabilidades
p
i
o q
i
(que dependen del n umero i de individuos en ese instante).
12
Castillo de naipes o cadena de nacimiento y desastre El espacio
de estados para este proceso es N, y supongamos dados

1
,
2
, 0 <
i
< 1.
Las probabilidades de transicion son dadas por
P(k, k + 1) =
k
, P(k, 0) = 1
k
si k 1, P(0, 1) = 1
y cero en los demas casos. En palabras, del estado k el proceso pasa a k + 1
o a 0, con probabilidades
k
y 1
k
, respectivamente. Puede dar una
interpretacion para el nombre de este proceso?
Un modelo genetico: modelo de WrightFisher. Supongamos que
se tiene una poblacion con un n umero nito jo 2M de genes, que pueden ser
de tipo a o de tipo A. El tiempo se mide en generaciones, e interesa considerar
el n umero de genes del tipo A en la n-esima generacion, X
n
. Para cada uno de
los 2M genes de la la generacion n+1, se escoge su tipo independientemente
de entre los tipos presentes en la generacion n, con probabilidad dada por la
frecuencia relativa de cada tipo, de forma que las probabilidades de transicion
son
P(X
n+1
= j[X
n
= i) =
_
2M
j
_
_
i
2M
_
j
_
2M i
2M
_
2Mj
En el libro [11] hay varios ejemplos y una motivacion para este y otros mode-
los relacionados con genetica de poblaciones, as como una lista de referencias
sobre el tema.
5. Clasicacion de estados y dinamica global
de una cadena de Markov
Una manera de visualizar una cadena de Markov es mediante un grafo
cuyos vertices son los estados de la cadena. Se coloca una echa del estado i
al estado j si P(i, j) > 0, y no se coloca echa en los casos en que P(i, j) = 0.
Las probabilidades de transicion P(i, j) pueden o no colocarse como etiquetas
sobre las echas. Por ejemplo, para el paseo aleatorio con 5 estados y barreras
absorbentes, se tiene el siguiente grafo asociado.
13
`
_
E
1
`
_
E
2
-
I I I
`
_
E
3
R
`
_
E
4
R
`
_
E
5
R

Aquellas propiedades de la cadena que dependen apenas del grafo sin

etiquetas se dicen topologicas. Veremos algunas de ellas.
Denicion 5.1. El estado j de una cadena de Markov X
n
se dice accesible
desde el estado i si existe N > 0 tal que P
(N)
(i, j) > 0. Si j es accesible
desde i e i es accesible desde j, diremos que i y j se comunican, lo cual se
denota por i j.
Como P
(0)
(i, i) = 1, todo estado es accesible desde s mismo. Es facil ver
que establece una relacion de equivalencia en o, y como tal lo divide en
clases disjuntas que se llaman clases comunicantes.
Denicion 5.2. Si solo hay una clase comunicante, la cadena se dice irre-
ducible.
Denicion 5.3. Un conjunto C de estados se dice cerrado si i o,

jC
P(i, j) = 1
Ejemplos En el ejemplo del paseo aleatorio con 5 estados y barreras
absorbentes cuyo grafo esta dibujado mas arriba, tenemos que E
1
y E
5

constituyen dos clases cerradas, y E

2
, E
3
, E
4
constituyen una clase comu-
nicante.
Es facil ver que en cambio los estados de un paseo aleatorio con bar-
reras reejantes se comunican todos entre s por lo que esta cadena resulta
irreducible.
Recurrencia y transitoriedad.
Una variable aleatoria importante para el estudio de la dinamica de una
cadena de Markov X
n
es el tiempo de llegada al estado i o,
T
i
=nfn 1 : X
n
= i
14
Denicion 5.4. El estado i se dice recurrente si
P
i
(T
i
< ) = 1
y transitorio si P
i
(T
i
< ) < 1.
Un estado recurrente se dice recurrente positivo si E
i
(T
i
) < y recur-
rente nulo si E
i
(T
i
) =
Proposicion 5.5. Sea X
n
una cadena de Markov en o, i o y T
i
<
el tiempo de llegada a i. Entonces el proceso X
T
i
+n

n0
es una cadena de
Markov con condicion inicial i, independiente de la cadena antes de T
i
, X
T
i
n
.
Demostracion
Claramente X
T
i
+0
= i. Veamos la propiedad de Markov para X
T
i
+n
.
P
_
X
T
i
+n+1
= k

X
T
i
+n
= j, X
T
i
+n1
= j
n1
, , X
T
i
= i
_
=

r1
P
_
X
T
i
+n+1
= k, X
T
i
+n
= j, X
T
i
+n1
= j
n1
, X
T
i
= i, T
i
= r
_
P
_
X
T
i
+n
= j, X
T
i
+n1
= j
n1
, , X
T
i
= i
_
En vista de la propiedad de Markov (observe que T
i
= r se puede expresar
en terminos de X
k

kr
), el numerador en esta ultima expresion se puede
escribir como
P
_
X
r+n+1
= k

X
r+n
= j, X
r+n1
= j
n1
, X
T
i
= i, T
i
= r
_

P
_
X
T
i
+n
= j, X
T
i
+n1
= j
n1
, , X
r
= i, T
i
= r
_
=
P
_
X
r+n+1
= k

X
r+n
= j
_
P
_
X
T
i
+n
= j, X
T
i
+n1
= j
n1
, , X
T
i
= i, T
i
= r
_
= P(j, k) P
_
X
T
i
+n
= j, X
T
i
+n1
= j
n1
, , X
T
i
= i, T
i
= r
_
,
y entonces
P
_
X
T
i
+n+1
= k

X
T
i
+n
= j, X
T
i
+n1
= j
n1
, , X
T
i
= i
_
= P(j, k)
La vericacion de la segunda armacion sigue de un argumento similar.
Dado i o, sea r(i) la probabilidad de que el tiempo del primer retorno
al estado i sea nito, y sea N(i) en n umero de veces que la cadena pasa por
el estado i:
r(i) = P
i
_
T
i
<
_
N(i) =

n1
1I
{X
n
=i}
15
Proposicion 5.6. Sean T
i
y N(i) como arriba. Entonces,
a) Si r(i) < 1 entonces P
i
_
N(i) =
_
= 0 y E
_
N(i)
_
=
r(i)
1r(i)
.
b) Si r(i) = 1 entonces P
i
_
N(i) =
_
= 1
Demostracion Con ayuda de la proposicion 5.5, no es difcil ver que
P
i
_
N(i) = k
_
= r(i)
k
_
1 r(i)
_
de modo que si r(i) < 1
P
i
_
N(i) =
_
= 1

k0
r(i)
k
_
1 r(i)
_
= 1 1 = 0 y
E
_
N(i)
_
=

k1
k r(i)
k
_
1 r(i)
_
=
r(i)
_
1 r(i)
_
d
dr(i)
_

k1
k r(i)
k1
_
=
r(i)
1 r(i)
Una forma de vericar recurrencia de un estado es dada por la siguiente
proposicion
Proposicion 5.7. El estado i es recurrente

n0
P
(n)
(i, i) =
Demostracion De la proposicion anterior tenemos que el evento N(i) =
tiene probabilidad 0 o 1. X
n
es una cadena con estado inicial i recurrente
r(i) = 1 N(i) = c.s. E
i
_
N(i)
_
= . Pero
E
i
_
N(i)
_
=

n1
P
i
(X
n
= i) =

n1
P
(n)
(i, i)
Tambien se cumple que todos los estado de una misma clase comunicante
tienen las mismas propiedades de recurrencia. Precisamente
16
Proposicion 5.8. Si i j, entonces o bien ambos estados son recurrentes,
o bien ambos estados son transitorios.
Demostracion Sean i, j o, i j. Entonces existen M, N tales que
P
(M)
(i, j) > 0, P
(N)
(j, i) > 0. Para cada k > 0 podemos escribir
P
(M+N+k)
(i, i) P
(M)
(i, j) P
(k)
(j, j) P
(N)
(j, i)
P
(M+N+k)
(j, j) P
(N)
(j, i) P
(k)
(i, i) P
(M)
(i, j) (5.1)
ya que en los lados izquierdos se tienen las probabilidades de retornar al
estado en M + N + k pasos y en la derecha formas particulares de hacerlo.
De estas desigualdades se concluye que

n0
P
(n)
(i, i) y

n0
P
(n)
(j, j) son o
bien ambas divergentes, o bien ambas convergentes, lo cual por la proposicion
5.7 signica ambos estados recurrentes o ambos transitorios.
Dada una cadena de Markov, podemos entonces descomponer el espacio
de estados o = 1T , 1 el conjunto de los estados recurrentes, y T el de los
estados transitorios. 1 a su vez puede descomponerse en clases comunicantes
disjuntas y cerradas (seg un la denicion 5.3) 1 = 1
1
1
2
, y la dinamica
podemos simbolizarla as :

_
1
1
_

_
1
2
_

_
_

1
3
_
`

T
I
6

Reordenando los estados si es necesario, la matriz de transicion luce as :
1
1
1
2
1
3
T
_
_
_
_
_
_
_
_
_
_
_
_
P
1
P
2
P
3
O

_
_
_
_
_
_
_
_
_
_
_
_
17
Si la condicion inicial esta en alguna de las 1
i
, entonces la cadena en el
futuro tomara valores solamente en 1
i
, y podemos considerar la dinamica
restringida a este espacio, con matriz de transicion correspondiente siendo el
i-esimo bloque (P
i
en el diagrama anterior). Si el estado inicial es transitorio,
la cadena podra eventualmente alcanzar 1, y llegar a la situacion anterior, o
bien quedarse en T para siempre. Esto solo puede suceder si la cadena tiene
innitos estados transitorios. (Por que?)
Interesa entonces estudiar la dinamica de cadenas recurrentes e irre-
ducibles.
Ejercicios
1. Muestre que si R es una clase comunicante recurrente, entonces es
cerrada.
2. Encuentre una cadena de Markov que tenga innitos estados transito-
rios.
3. Muestre que si i, j son dos estados transitorios, entonces P
(n)
(i, j) 0
cuando n .
4. Considere el paseo simetrico en Z. Diga si es irreducible. Considere el
estado 0. Es recurrente?
5. Considere el paseo asimetrico, y responda las mismas preguntas del
item anterior.
6. Considere la cadena para el modelo genetico de la seccion 4. Dibuje
el grafo de transiciones correspondiente, y diga cuales son sus clases
comunicantes. Puede clasicarlas en recurrentes o transitorias?
7. Considere la cadena de Markov del castillo de naipes.
Muestre que todos los estados son recurrentes
lm
n

2

n
=

i1

i
= 0
Suponga que todos los estados son recurrentes. Muestre que son
recurrentes nulos 1 +
1

2
+
1

3
+
18
6. Distribucion invariante
Denicion 6.1. Una distribucion de probabilidad en o es invariante (o
estacionaria) para una cadena de Markov en o con matriz de transicion
P = P(i, j) si
j o se cumple que (j) =

iS
(i) P(i, j) (6.1)
Observe que puede pensarse como un vector (i), i o, cuyas compo-
nentes satisfacen
(i) 0 y

iS
(i) = 1
Las ecuaciones (6.1) en notacion vectorial, con escrito como vector la
pueden escribirse como
= P
y la denicion de distribucion invariante es equivalente a decir que es un
autovector a izquierda con autovalor 1. Podramos entonces apelar al teorema
de PerronFrobenius, que garantiza la existencia de un tal autovector, al
menos en el caso de P nita y positiva. (Ver por ejemplo [3]).
Sin embargo, veremos que se puede concluir tambien la existencia de una
tal distribucion, y mas a un caracterizarla usando la dinamica de la cadena
de Markov correspondiente a la matriz P.
Una primera propiedad de la distribucion invariante es que es en efecto
invariante para la cadena, en el sentido de que si X
0
tiene distribucion ,
entonces X
n
, tendra distribucion para todo n 0. Veamos
P

(X
2
= j) =

iS
P(x
2
= j[X
0
= i) (i)
=

iS

kS
P(X
2
= j, X
1
= k[X
0
= i) (i)
=

iS

kS
P(X
2
= j[X
1
= k, X
0
= i) P(X
1
= k[X
0
= i) (i)
=

kS
P(k, j)

iS
P(i, k)(i) =

kS
P(k, j)(k) = (j)
Se ha usado la descomposicion del evento inicial seg un la posicion en el primer
paso, la propiedad de Markov y la denicion de invariancia. Inductivamente,
19
se obtiene de la misma forma que P

(X
n+1
= j) = (j). Mas a un, para todo
k y conjunto de estados i
0
, i
1
, i
k
,
P

(X
n
= i
0
, X
n+1
= i
1
, , X
n+k
= i
k
) = (i
0
)P(i
0
, i
1
)P(i
1
, i
2
) P(i
k1
, i
k
)
no depende de n, y la cadena esta en regimen estacionario.
Ejemplo 6.2. Consideremos la cadena con dos estados, cuya matriz de tran-
sicion es
_
p 1 p
1 q q
_
(6.2)
En este caso, las ecuaciones (6.1) se reducen al sistema de 2 2
(1) = p(1) + (1 q)(2)
(2) = (1 p)(1) + q(2)
Cuya solucion, en caso p ,= 1 o q ,= 1 es
(1) =
1 q
(1 p) + (1 q)
(2) =
1 p
(1 p) + (1 q)
En el caso p = q = 1, cualquier distribucion de probabilidades en o es
invariante.
Ejemplo 6.3. Considere el paseo con barreras absorbentes en
o = 0, 1, 2, 3 , N
(El grafo para el caso particular N = 4 esta dibujado en la seccion 5). Den-
imos
K
la distribucion que asigna probabilidad 1 al estado K (y por consigu-
iente, 0 a los otros). Es facil vericar que
0
es una distribucion invariante,
y tambien lo son
N
y cualquier combinacion
0
+ (1 )
N
, [0, 1].
Ejemplo 6.4. Consideremos el paseo aleatorio simetrico simple en Z, y
supongamos que tiene una distribucion invariante . Esta tiene que satis-
facer las ecuaciones: si j Z
(j) =
1
2
(j + 1) +
1
2
(j 1) =(j + 1) (j) = (j) (j 1)
20
Como
(j + 1) =
_
(j + 1) (j)
_
+
_
(j) (j 1)
_
+
_
(1) (0)
_
+(0)
obtenemos de la recurrencia anterior que
(j + 1) = (j + 1)
_
(1) (0)
_
+ (0)
Como (j) [0, 1] j Z, tiene que ser (1) (0) = 0, de modo que
(j + 1) = (0) j, pero entonces no se puede satisfacer la condicion de
normalizacion

iZ
(i) = 1, de forma que no existe ninguna distribucion
invariante para el paseo simetrico simple en Z.
Ejemplo 6.5. Sea una cadena de nacimiento y muerte con barreras ree-
jantes en 0 y N, es es decir, o = 0, 1, 2, , N y probabilidades de transi-
cion
P(i, i + 1) = p
i
, P(i, i 1) = q
i
, p
i
+ q
i
= 1,
0 < p
i
< 1 si 0 i N 1, p
0
= q
N
= 1
Si =
i
es una distribucion invariante, por (6.1) tiene que satisfacer

j
=
j1
p
j1
+
j+1
q
j+1

j+1
q
j+1

j
p
j
=
j
q
j

j1
p
j1

j+1
q
j+1

j
p
j
=
1
q
1

0
= 0
j+1
=
j
p
j
q
j+1
Iterando obtenemos nalmente

j+1
=
0
p
1
p
2
p
j
q
1
q
2
q
j+1
Despejando
0
de la condicion de normalizacion

i
= 1, se tiene

0
=
_
1 +
1
q
1
+
p
1
q
1
q
2
+ +
p
1
p
2
p
N1
q
1
q
2
q
N
_
1
lo que termina el calculo de .
Como se ve de los ejemplos anteriores, la distribucion invariante puede
o bien no existir en absoluto, o bien no ser unica. Veremos ahora una serie
de resultados que nos permitiran establecer condiciones que garantizan la
unicidad y existencia de la misma.
21
Denicion 6.6. Un vector no nulo (i), i o, (i) [0, 1] tal que P =
para una matriz estocastica se dira una medida invariante para P.
Observe que orresponde con una distribucion invariante que no esta nor-
malizada (es decir, no necesariamente

i
= 1).
El siguiente resultado caracteriza la forma que puede tener una medida
invariante para P en terminos de la dinamica de la cadena correspondiente,
y permitira aclarar el problema de unicidad y existencia de una distribucion
invariante.
Teorema 6.7. Sea X
n
una cadena de Markov irreducible y recurrente con
matriz de transicion P = P(i, j). Sea i
0
un estado cualquiera jo pero
arbitrario, y sea T
i
0
el tiempo de retorno a i
0
. Sea

i
= E
i
0

n1
1I
{X
n
=i}
1I
{T
i
0
n}
(6.3)
Entonces
a)
i
(0, ).
b)
i
es invariante para P.
Demostracion Observamos que si i ,= i
0
,
i
como denido en (6.3) es la
esperanza del n umero de visitas a i antes de retornar a i
0
, y

i
0
= P
_
T
i
0
<
_
= 1,
ya que i
0
es recurrente. Ademas,

iS

n1
1I
{X
n
=i}
1I
{T
i
0
n}
= T
i
0

iS

i
= E
i
0
_
T
i
0
_
Denimos
h
n
(i
0
, i) = E
i
0
_
1I
{X
n
=i}
1I
{T
i
0
n}
_
= P
i
0
_
X
n
= i, X
n1
,= i
0
, X
2
,= i
0
_
Entonces h
1
(i
0
, i) = P(i
0
, i) y descomponiendo la probabilidad anterior de
acuerdo al pen ultimo paso, obtenemos
h
n
(i
0
, i) =

j=i
0
h
n1
(i
0
, j)P(j, i) si n > 1 (6.4)
22
Sustituyendo en (6.3),

i
=

n2
h
n
(i
0
, i) + h
1
(i
0
, i) =

n2

j=i
0
h
n1
(i
0
, j)P(j, i) + P(i
0
, i)
=

j=i
0
P(j, i)
j
+ P(i
0
, i) =

jS
P(j, i)(j),
lo que muestra b).
Supongamos que
i
= 0 para alg un i o. Por la invariancia, sigue que

j
S
P(j, i)
j
= 0. Como
i
0
= 1, entonces P(i
0
, i) = 0. Por la invariancia,
tambien n 1, P
n
= , y por el mismo razonamiento anterior se concluye
que P
(n)
(i
0
, i) = 0 n 1, de forma que i
0
e i no se comunican. Esto
contradice la irreducibilidad de la cadena, y as
i
> 0 i o.
Por la invariancia, tambien se tiene que

jS
P(j, i
0
)
j
= 1. Si
j
=
para alg un j, tiene que ser P(j, i
0
) = 0. Por el mismo argumento sigue que
P
(n)
(j, i
0
) = 0 n 1, lo cual contradice la irreducibilidad de la cadena, y
entonces
i
< i o, con lo cual se concluye la vericacion de a).
Del resultado anterior tenemos entonces la existencia de una medida in-
variante (que no es necesariamente normalizable a una distribucion invari-
ante). Con respecto a la unicidad, tenemos:
Teorema 6.8. La medida invariante de una cadena irreducible y recurrente
es unica salvo constantes multiplicativas.
Demostracion Sea X
n
una cadena de Markov recurrente e irreducible con
espacio de estados o y matriz de transicion P, y una medida invariante.
De la demostracion del resultado anterior, sigue que
i
> 0 i. Sea
Q(j, i) =

i

j
P(i, j). Entonces

iS
Q(j, i) =
1

iS

i
P(i, j) =

j

j
= 1
por lo que Q es una matriz estocastica. Es facil ver por induccion que
Q
(n)
(j, i) =

i

j
P
(n)
(i, j), as que como P es irreducible, tambien Q lo es.
Como

n1
Q
(n)
(i, i) =

n1
P
(n)
(i, i), por la proposicion 5.7, Q es tambien
recurrente. Sea Y
n
una cadena de Markov con matriz Q , y sea
g
n
(j, i) = P
j
(Y
n
= i, Y
n1
,= i Y
1
,= i)
23
(en palabras, la probabilidad de que la cadena Y
n
pase de j a i por primera
vez en el tiempo n). Como Y
n
es recurrente,

n1
g
n
(j, i) = 1 i, j
Por otro lado, haciendo una descomposicion seg un la posicion del primer
paso,
g
n+1
(i, i
0
) =

j=i
0
g
n
(j, i
0
)Q(i, j) =

j=i
0
g
n
(j, i
0
)

j

i
P(j, i) =

i
g
n+1
(i, i
0
) =

j=i
0
g
n
(j, i
0
)
j
P(j, i) (6.5)
Multiplicando por
i
0
la formula (6.4), observamos que las sucesiones
i
g
n
(i, i
0
)
y
i
0
h
n
(i
0
, i) satisfacen la misma recurrencia, y ademas, de las deniciones,

i
g
1
(i, i
0
) =
i
Q(i, i
0
) =
i
0
P(i
0
, i) =
i
0
h
1
(i
0
, i), de modo que
n 1,
i
0
h
n
(i
0
, i) =
i
g
n
(i, i
0
).
Tomando sumatoria en n,

i
0

i
=
i

n1
g
n
(i, i
0
) =
i
,
de modo que es un m ultiplo de como denida en (6.3).
Veamos ahora algunas consecuencias de estos resultados:
Corolario 6.9.
1. Si una cadena de Markov es recurrente e irreducible y un estado es
recurrente positivo, entonces todos lo son.
2. Una cadena de Markov recurrente e irreducible es positiva recurrente
si y solo si sus medidas invariantes satisfacen

i
< .
3. Una cadena de Markov irreducible es recurrente positiva si existe una
unica distribucion invariante . Mas a un,
(j) =
1
E
j
_
T
j
_ j o
24
Demostracion
1. Sea i
0
el estado recurrente positivo. Tomandolo como el estado escogido
en la denicion (6.3), como vimos

i
= E
i
0
_
T
i
0
_
< (6.6)
Sea otro estado i
1
, y la correspondiente medida
(1)
como en (6.3) (con
i
1
en vez de i
0
.) Por el teorema 6.8,
(1)
es un m ultiplo de , por lo
que tiene que ser E
i
1
_
T
i
1
_
=

(1)
i
un m ultiplo de E
i
0
_
T
i
0
_
, y por lo
tanto nita.
2. Sigue por el mismo argumento.
3. Basta normalizar como en (6.6) para obtener
(i
0
) =
1
E
i
0
_
T
i
0
_.
Como i
0
fue arbitrariamente escogido, la formula arriba vale para cualquier
estado, y se cumple (i) =

i

i
.
Teorema 6.10. Una cadena de Markov irreducible es recurrente positiva si
y solo si existe una distribucion invariante .
Demostracion Supongamos que existe una distribucion invariante , es decir,
n N,
j
=

iS

j
P
(n)
(i, j). Si los estados son transitorios, entonces
P
(n)
(i, j) 0 cuando n (ver el ejercicio 3) de la seccion 5). Pero
entonces
j
= 0, lo cual vimos no es posible. Entonces los estados tienen que
ser recurrentes, y se esta en las hipotesis del teorema 6.8, por lo que (como
denida en (6.3)) es un m ultiplo de la dada, de modo que, como en (6.6),
E
i
0
_
T
i
0
_
< . El recproco sigue del corolario anterior.
Corolario 6.11. Una cadena de Markov irreducible con espacio de estados
nito es recurrente positiva.
Demostracion Los estados tienen que ser recurrentes, y como o es nito,
E
i
0
_
T
i
0
_
=

iS

i
< , por lo que i
0
es recurrente positivo, y por el
corolario 6.9, todos los estados lo son.
25
Ejercicios
1. Considere el modelo de Ehrenfest presentado en la seccion 4 con 2N
bolas.
Calcule
E
N+J
(T
N+J
)
E
N
(T
N
)
.
Verique que si j N, entonces el cociente anterior es aproxi-
madamente
_
1 +
J
N
_
J
.
Suponga que N es muy grande (por ejemplo, N 10
20
), y sea J =
N
10
3
. Si se realiza un intercambio por segundo, calcule E
N+J
(T
N+J
),
y exprese el resultado en a nos. Haga aproximaciones si es nece-
sario.
2. Sea X
n
una cadena de Markov en o nito, con probabilidades de transi-
cion P(i, j), sea L > 0 un entero. Denimos Y
n
= (X
n
, X
n+1
, X
n+L
),
un proceso a valores en
c = (i
0
, i
1
, , i
L
) o
L+1
: P(i
0
, i
1
)P(i
1
, i
2
) P(i
L+1
, i
l
) > 0.
Este proceso se conoce como cadena serpiente de largo L.
Verique que Y
n
es una cadena de Markov homogenea, y calcule
sus probabilidades de transicion.
Verique Y
n
es irreducible si X
n
lo es.
Verique que si X
n
tiene distribucion invariante, tambien Y
n
la
tiene, y muestre cual es.
3. Sea P una matriz estocastica en o. Una distribucion de probabilidad
en o se dice reversible para P si i, j o ,
(i) P(i, j) = (j) P(j, i)
Verique que si es reversible, entonces es invariante.
Si X
n
es un paseo aleatorio simetrico en un grafo conexo que tiene
N vertices numerados de 1 a N, y d
i
es el n umero de aristas del
vertice i, verique que la distribucion (i) =
d
i

N
i=1
d
i
es reversible
para esta cadena.
26
Concluya que es invariante.
4. Discuta la existencia y unicidad de una distribucion invariante en el
caso de la cadena del castillo de naipes. Sug.: Vea el ejercicio 6 de la
seccion 5.
5. Discuta existencia y unicidad de una distribucion invariante en el caso
de la cadena de nacimiento y muerte del ejemplo 6.5, en el caso N = .
7. Resultados ergodicos
Sea X
n
una cadena de Markov en o, i
0
un estado jo, y recordemos la
denicion de
i
(6.3), que vimos es una medida invariante para la cadena,

i
= E
i
0

n1
1I
{X
n
=i}
1I
{T
i
0
n}
,
Consideramos (n) el n umero de visitas al estado i
0
antes de n,
(n) =
n

j=1
1I
{X
j
=i
0
}
.
Denotemos por X
k

la cadena con distribucion inicial .

El siguiente resultado relaciona promedios temporales de X
n
con el prome-
dio espacial(en o), con respecto a la medida .
Proposicion 7.1. Sea f : o R tal que

iS
[f(i)[
i
< , y como
arriba. Entonces, para toda condicion inicial ,
lm
N
1
(N)
N

k=1
f(X
k

) =

iS
f(i)(i) con probabilidad 1 (7.1)
Demostracion Sean
n
los sucesivos tiempos de retorno de la cadena al estado
i
0
:
0
= T
i
0
, e, inductivamente,
n+1
=nfK >
n
: X
K
= i
0
, y sean
U

+1

n=

+1
f(X
n
), 0
27
De la proposicion 5.5 sigue que U

es una secuencia de variables aleatorias

i.i.d. Supongamos f 0.
E
_
U
0
_
=E
_

0

n=1
f(X
n
)
_
= E
i
0
_

0

n=1

iS
f(i)1I
{X
n
=i}
_
=

iS
f(i) E
i
0
_
T
i
0

n=1
1I
{X
n
=i}
_
=

iS
f(i)
i
El intercambio en el orden de las sumas esta justicado por el teorema de con-
vergencia dominada, y la ultima igualdad sigue simplemente de la denicion
de . De la ley fuerte de los grandes n umeros sabemos que, con probabilidad
1,
1
N
N

=0
U

iS
f(i)
i
cuando N
Sustituyendo la denicion de U

, tenemos entonces
1
N

N+1

k=
0
+1
f(X
k
)

iS
f(i)
i
cuando N
Como
(N)
N <
(N)+1
, entonces

(N)
k=1
f(X
k
)
(N)

N
k=1
f(X
k
)
(N)
<

(N)+1
k=1
f(X
k
)
(N)
Por ser la cadena recurrente, (N) , de forma que ambos extremos en
las desigualdades precedentes tienen el mismo lmite (

f(i)
i
), y por lo
tanto el termino del medio tambien.
En el caso de que f no sea necesariamente positiva, se puede descomponer
en f = f
+
f

, y la demostracion sigue como antes, observando que por

la hipotesis sobre f, tanto

iS
f

(i)
i
< como

iS
f
+
(i)
i
< son
nitas.
Como corolario, obtenemos el teorema ergodico para cadenas de Markov:
Teorema 7.2 (Teorema Ergodico). Si X
n
es irreducible, recurrente positiva
y su distribucion invariante es , entonces para toda f : o R tal que
28

iS
[f(i)[
i
< , se cumple que, con probabilidad 1, para cualquier cong-
uracion inicial,
lm
N
1
N
N

k=1
f(X
k
) =

iS
f(i)
i
Demostracion Como X
n
irreducible y recurrente positiva,

i
< , y
vale la proposicion 7.1 con f = 1, de donde
N
(N)

i
. Como y son
proporcionales, sabemos

iS
[f(i)[
i
< , y otra vez por la proposicion
7.1,
lm
N
1
(N)
N

k=1
f(X
k
) =

iS
f(i)
i
=
lm
N
1
N
N

k=1
f(X
k
) =

iS
f(i)
i

iS

i
=

iS
f(i)
i
Corolario 7.3. Si X
n
es una cadena de Markov recurrente positiva con dis-
tribucion invariante , L 1 un entero, g : o
L+1
R una funcion dada que
satisface

(i
0
,i
1
, ,i
L
) S
L+1

g(i
0
, i
1
, , i
L
)

i
0
P(i
0
, i
1
) P(i
L1
, i
L
) <
entonces con probabilidad 1, para cualquier conguracion inicial,
lm
N
1
N
N

k=1
g(X
k
, X
k+1
, X
k+L
) =

(i
0
,i
1
,i
2
, ,i
L
) S
L+1
g(i
0
, i
1
, , i
L
)
i
0
P(i
0
, i
1
) P(i
L1
, i
L
)
Demostracion Para demostrarlo, basta considerar la cadena serpiente de largo
L. (Ver Ejercicio 2 de la seccion anterior).
29
Un ejemplo
Inspeccion de una lnea de produccion
Suponga que se tiene una lnea de produccion, donde cada objeto manu-
facturado tiene una probabilidad p de ser defectuoso. Se propone un esquema
de inspeccion para detectar defectos sin tener que inspeccionarlos todos. El
esquema tiene un modo A, donde cada objeto se inspecciona con probabili-
dad r < 1, y un modo B, donde todos son inspeccionados. Se pasa de modo
B a modo A cada vez que N objetos sin defecto han sido consecutivamente
detectados (N > 1 es un entero jado previamente). Se pasa de modo A a
modo B cada vez que se detecta un objeto defectuoso. Sea X
n
el proceso
con valores en o = e
0
, e
1
, e
N
, donde el estado e
j
, j < N signica que se
esta en modo B con j objetos sin defecto consecutivamente observados. El
estado e
N
signica que el proceso de inspeccion esta en modo A.
La matriz de transicion viene dada por
_
_
_
_
_
_
_
_
_
_
_
_
p 1 p 0 0 0 0
p 0 1 p 0 0 0
p 0 0 1 p 0 0



p 0 0 0 0 1 p
pr 0 0 0 0 1 pr
_
_
_
_
_
_
_
_
_
_
_
_
Es facil ver que la cadena es irreducible, y como es nita, es recurrente
positiva, as que tiene una distribucion invariante = (
0
,
1
, ,
N
). Las
ecuaciones para son:

0
= p
N1

i=0

i
+ p r
N

i+1
= (1 p)
i
i = 0, 1, , N 1

N
= (1 pr)
N
+ (1 p)
N1
Resolviendo en terminos de
0
, tenemos

i
= (1 p)
i

0
i = 1, 2, , N 1
n
=
(1 p)
N

0
pr
30
De la primera ecuacion, y usando la normalizacion, despejamos
0
=
pr
r(1p)
N
(r1)
.
Supongamos que queremos calcular la proporcion q de objetos inspecciona-
dos en el largo plazo, y la eciencia E del esquema de inspeccion , denida
por
E =
proporcion de objetos defectuosos detectados
proporcion de objetos defectuosos
.
Tenemos que
q = lm
N
1
N
N

k=1
1I
{e
1
,e
2
, ,e
N1
}
_
X
k
_
+ r 1I
{e
N
}
_
X
k
_
Aplicando el Teorema 7.2 con f(i) = 1I
{e
1
,e
2
, ,e
N1
}
(i) + r 1I
{e
N
}
(i), tenemos
que q =

N1
i=1

i
+ r
N
= 1 + (r 1)
N
.
Analogamente, podemos calcular la proporcion de objetos defectuosos no
detectados en el largo plazo, como
p lm
N
N

k=1
(1 r)1I
e
N
(X
k
) = p (1 r)
N
de donde E = 1 (1 r)
N
Ejercicio
1. Se desea detectar la presencia en la sangre de una substancia rara, que
aparece con probabilidad muy peque na 1 en individuos de una
poblacion muy grande. Cada analisis es muy costoso, por lo que se
procede seg un el siguiente esquema:
A Se toman muestras de r individuos, se mezcla una parte de cada
muestra y se analiza. Si el resultado es negativo, se reporta y se
comienza nuevamente con otros r individuos.
B Si el resultado es positivo, se analizan separadamente las muestras
de los primeros r 1 individuos, y si todos negativos, se reportan
los resultados.
C Si algun resultado en B es positivo, se analiza la muestra restante
del r-esimo individuo, se reportan resultados y se comienza nue-
vamente con otros r individuos.
31
Muestre que el esquema se puede modelar como una cadena de
Markov, indique el espacio de estados y la matriz de transicion.
Los costos de los pasos A, B y C son , (r 1) y respec-
tivamente, y el numero de informes producidos es r. Calcule el
n umero de informes esperado y el costo esperado una vez alcan-
zado el equilibrio.
El cociente mencionado en el item anterior mide el rendimiento del
esquema. Tomando en cuenta que 1, discuta como conviene
escoger r de forma de maximizar el rendimiento.
8. Convergencia al equilibrio y perdida de memo-
ria
En el caso de X
n
una cadena de Markov irreducible y recurrente positiva,
para cada estado e o, podemos tomar f = 1I
{e}
en el teorema ergodico, y
si llamamos la distribucion invariante obtenemos
1
N
N

n=1
1I
{e}
_
X
n
_
(e) cuando N
con probabilidad 1, para toda condicion inicial. En particular, si el estado
inicial es i, tomando esperanza,
1
N
N

k=1
P
i
(X
n
= e) =
1
N
N

k=1
P
(n)
(i, e) (e)
En otras palabras, la sucesion P
(n)
(i, e) converge en promedio (o en media
Cesaro) a (e) cuando n independientemente de la condicion inicial
i. Es natural preguntarse si es verdad que P
(n)
(i, e) (e) cuando n
. Con miras a aplicaciones, es tambien relevante estudiar la velocidad de
convergencia.
Para responder estas preguntas, usaremos el concepto de acoplamiento.
Acoplar uno (o mas) procesos estocasticos consiste simplemente en constru-
irlos en un mismo espacio de probabilidad. Esto se hace con la nalidad de
32
poder traducir, por ejemplo, comparaciones entre probabilidades referentes
a ellos en comparaciones entre eventos correspondientes, que puede resultar
conveniente dependiendo de la particular construccion.
Veamos algunos ejemplos de acoplamientos entre cadenas de Markov en
el caso particular en que ambas tienen el mismo espacio de estados o y la
misma matriz de transicion P, pero el estado inicial es diferente.
En vista de la construccion de la seccion 3, dados dos estados iniciales a
y b, podemos obtener ambas cadenas denidas en el mismo espacio de prob-
abilidad simplemente tomando la familia de variables aleatorias uniformes
en el mismo espacio (, T, P) en ambos casos. Hay muchas formas de hacer
esto, por ejemplo, dada P, consideremos una funcion F que genere la cadena
por recurrencia como en (3.4), y procedemos como sigue:
El acoplamiento libre. Consiste en considerar ambas cadenas obtenidas
con la misma familia de uniformes U
n

n1
:
X
0
= a X
n+1
= F(X
n
, U
n+1
)

X
0
= a

X
n+1
= F(X
n
, U
n+1
)
El acoplamiento de Doeblin Consiste en considerar, en un mismo
espacio, dos familias independientes de variables aleatorias independi-
entes uniformes, U
n

n1
y

U
n

n1
, y as construir las dos cadenas
X
n
y

X
n
(que resultan independientes), tambien en el mismo espacio:
X
0
= a X
n+1
= F(X
n
, U
n+1
)

X
0
= a

X
n+1
F(X
n
,

U
n+1
)
Tiene sentido entonces denir la variable aleatoria tiempo de encuentro
entre los dos procesos,

(a,b)
=nfn 1 : X
n
=

X
n
.
Un tercer ejemplo es el siguiente.
Acoplamiento coalescente independiente Consiste en considerar
las cadenas a partir de dos familias de uniformes independientes hasta
el tiempo
(a,b)
, y evolucionando juntas despues de
(a,b)
Observemos que en el caso del acoplamiento libre y tambien del coales-
cente independiente, las dos trayectorias contin uan juntas despues de
(a,b)
.
Cuando este tiempo es nito, se puede decir que la cadena pierde memoria
de su condicion inicial. El coeciente de ergodicidad es una forma de medir
la tendencia de una cadena a perder la memoria.
33
Denicion 8.1. Dada una matriz de tansicion P = P(i, j) en o, se dene
el coeciente de ergodicidad (P) como
(P) =

jS
nf
iS
P(i, j)
Teorema 8.2. Si P es una matriz de transicion en un espacio de estados o,
entonces para todo par de estados a y b en o existe un acoplamiento
_
X
a
n
, X
b
n
_
de las cadenas de Markov correspondientes a P con condiciones iniciales a y
b tal que
P
_
sup
a,bS

(a,b)
> n
_

_
1 (P)
_
n
Demostracion Presentaremos la demostracion en el caso de o nito. La ex-
tension al caso innito se hace siguiendo el mismo procedimiento.
Supongamos o = 1, 2, 3, , N. Se realizara un acoplamiento usando
la misma familia de uniformes y una funcion F convenientemente construida
de modo de colaborar con el encuentro de las trayectorias al usar la formula
de recurrencia (3.4). Para denir F, construiremos, para cada estado i o,
una particion del intervalo [0, 1) =

jS
I(i, j) en intervalos disjuntos tales
que
_
I(i, j)
_
= P(i, j).
Sean los intervalos J(j), j = 1, 2, , N denidos por
J(1) =
_
0, (1)
_
, con (1) = mn
kS
P(k, 1)
J(j) =
_
(j 1), (j)
_
con (j) = (j 1) + mn
kS
P(k, j) si j > 1
Tenemos que

jS
J(j) es una particion de [0, (N)), con
(N) =

jS
mn
iS
P(k, j) = (P)
Para cada i o, se va a tomar una particion de [(N), 1) =

jS

J(i, j),
de forma que la suma de las longitudes (J(j)) +(

J(i, j)) = P(i, j). Basta
denir

J(i, 1) =
_
(N),

(i, 1)
_

(i, 1) = (N) + P(i, 1) mn
kS
P(k, 1)

J(i, j) =
_

(i, j 1),

(i, j)
_
si j > 1, donde

(i, j) =

(i, j 1) + P(i, j) mn
kS
P(k, j)
34
Es claro que I(i, j) = J(j)

J(i, j) satisface las propiedades requeridas,
esto es, para cada i o,
jS
I(i, j) es una particion en intervalos disjuntos
de [0, 1), y
_
I(i, j)
_
= P(i, j). Sea entonces la funcion
F(i, u) =

jS
j 1I
I(i,j)
(u).
Observamos que si u (N), entonces para i
0
, i
1
dos estados cualesquiera de
o,
F(i
0
, u) = F(i
1
, u) (8.1)
Si se generan recursivamente las cadenas X
(a)
n
y X
(b)
n
con condiciones iniciales
a y b respectivamente, usando la misma famila de uniformes i.i.d U
n

{n1}
,
y esta funcion, se tiene:
X
(a)
n+1
= F
_
X
(a)
n
, U
n+1
_
, X
(b)
n+1
= F
_
X
(b)
n
, U
n+1
_
De (8.1) sigue que si = nfn 1 : U
n
< (N), entonces
(a,b)
< ,
a, b o, de donde
P
_
sup
a,bS

(a,b)
> n
_
P
_
> n
_
P
n

r=1
U
r
> (N)
=
_
1 (N))
_
n
=
_
1 (P)
_
n
(8.2)
Veamos algunas importantes consecuencias de este resultado.
Teorema 8.3. Sea P la matriz de transicion de una cadena de Markov X
n
recurrente positiva e irreducible, y tal que que (P) > 0. Sea su distribucion
invariante. Entonces se satisface que
sup
a,j

P
a
(X
n
= j) (j)

_
1 (P)
_
n
Demostracion

P
a
(X
n
= j) (j)

P
a
(X
n
= j) P

(X
n
= j)|
=

kS
_
P
a
(X
n
= j) P
k
(X
n
= j)
_
(k)

(8.3)
35
Considerando las cadenas X
(a)
n
y X
(k)
n
acopladas como en la demostracion del
teorema anterior y recordando que una vez que las trayectorias se encuentran
(en
a,k
), entonces ellas continuan juntas, podemos estimar
[P
a
(X
n
= j)P
k
(X
n
= j)[ = [P(X
(a)
n
= j, X
(k)
n
,= j)P(X
(k)
n
= j, X
(a)
n
,= j)[
maxP(X
(a)
n
= j, X
(k)
n
,= j) , P(X
(k)
n
= j, X
(a)
n
,= j) sup
k=a
P(
a,k
> n)
Esta ultima probabilidad se estima como (8.2)
Corolario 8.4. Sea P la matriz de transicion de una cadena de Markov
X
n
recurrente positiva e irreducible con distribucion invariante , y tal que
(P
k
) > 0. Entonces, para todo par de estados a, j o,
sup
a,j

P
a
(X
N
= j) (j)

_
1 (P
k
)
_N
k
Demostracion Sea k como en el enunciado. La cadena de Markov X
kn

n0
,
cuya mariz de transicion es P
k
tiene la misma distribucion invariante , por
lo que vale el resultado anterior,
sup
a,j

P
a
(X
kn
= j) (j)

_
1 (P
k
)
_
n
Basta renombrar N = kn.
Ahora bien, para que los resultados anteriores garanticen la convergen-
cia al equilibrio, independientemente de la condicion inicial, hace falta que
(P) > 0, o al menos que para alg un k, (P
k
) > 0. Veamos un ejemplo en
el cual esta hipotesis no se satisface, a un en las condiciones en que vale el
teorema ergodico 7.2.
Ejemplo 8.5. Considere el paseo aleatorio en el grafo formado por los 4
vertices de un cuadrado y sus lados, que corresponde con el siguiente grafo
de transicion, donde todas las probabilidades son
1
2
, y hemos numerado los
vertices 1, 2, 3, 4.
36
`
_
1
-
y
9
`
_
2
3
-
`
_
`
_
4
3
s

`
_
Su matriz de transicion es:
P =
_
_
_
_
0
1
2
0
1
2
1
2
0
1
2
0
0
1
2
0
1
2
1
2
0
1
2
0
_
_
_
_
Es facil ver que esta cadena es irreducible y recurrente positiva, y que
su medida invariante es = (
1
4
,
1
4
,
1
4
,
1
4
). Claramente, (P) = 0. Tambien
tenemos
P
2
=
_
_
_
_
1
2
0
1
2
0
0
1
2
0
1
2
1
2
0
1
2
0
0
1
2
0
1
2
_
_
_
_
Mas a un, en este caso particular es facil obtener todas las potencias de
P: P
2n+1
= P, y P
2n
= P
2
, de modo que (P
k
) = 0 k N. En particular, por
ejemplo, la sucesi on P
(n)
(1, 1) vale
1
2
si n es par, y 0 si n es impar, por lo que
claramente no converge cuando n . (Observe que, como ya sabamos del
teorema ergodico, converge a
1
4
en promedio , o en media Cesaro).
Este fenomeno se llama periodicidad. Precisamente, denimos:
Denicion 8.6. Sea P es la matriz de transicion de una cadena de Markov
en o, y j o. Consideremos d el maximo com un divisor del conjunto
n 1 : P
n
(j, j) > 0, es decir,
d = MCDn 1 : P
n
(j, j) > 0
37
Si d > 1, el estado j se dice periodico de perodo d. Si d = 1, se dice
aperiodico.
Omitimos la demostracion de las siguientes dos proposiciones, que puede
encontrarse por ejemplo en [3].
Proposicion 8.7. Si dos estados i, j se comunican, entonces tienen el mismo
perodo.
Podemos hablar entonces del perodo de una cadena irreducible (o de una
clase comunicante).
Proposicion 8.8. Si P es irreducible y tiene perodo d, entonces para cada
par de estados i, j, existen m > 0 y N
0
tal que P
(m+nd)
(i, j) > 0 n N
0
.
Observacion Si o es nito y la cadena es irreducible y aperiodica, entonces,
en virtud del resultado anterior, tenemos que existe k tal que
P
(k)
(i, j) > 0 i, j o
En particular, vale el Teorema 8.3.
Denicion 8.9. Una cadena de Markov se dice ergodica si es irreducible,
recurrente positiva y aperiodica.
No es difcil a esta altura, demostrar el siguiente resultado, que en el caso
de o nito, es una consecuencia de del teorema 8.3.
Teorema 8.10. Si X
n
es una cadena ergodica en o, y es su distribucion
invariante, entonces
P
(n)
(i, j) (j) cuando n
Con respecto a las cadenas irreducibles y periodicas de perodo d, pode-
mos decir lo siguiente. Supongamos que su matriz de transicion es P. De la
proposicion 8.8, tenemos que existe una particion de o en clases G
0
, G
1
, G
d1
tales que (tomando la convencion G
d
= G
0
),

jG
k+1
P(i, j) = 1 i G
k
(En palabras, la cadena se va moviendo entre estas clases). Si ademas es
recurrente positiva, es facil ver que la cadena con matriz P
d
restringida a
38
cada una de las clases G

es recurrente positiva, irreducible y aperiodica, por

lo que tiene una distribucion invariante . Como la esperanza del tiempo de
retorno a un estado k G

con respecto a la matriz P

d
tiene que ser
E
k
(T
k
)
d
(donde esta ultima esperanza es en relacion a la cadena original) es facil ver
que, si k G

lm
n
P
(nd)
(i, k) =
_
d
E
j
(T
k
)
si i G

0 si no
Ejercicios
1. Considere el paseo simetrico en el grafo formado por un pentagono y
sus lados. Es periodico? Encuentre n tal que P
(n)
(i, j) > 0 para todo
par de estados i, j.
2. Considere la cadena correspondiente a la matriz P dada en la seccion
3, y diga si es periodica.
3. Sean P, y
a,b
como en el teorema 8.2. Deduzca de este resultado una
cota para la esperanza E(
a,b
).
9. Algunos algoritmos de simulacion
Uno de las aplicaciones actuales mas difundidas de las cadenas de Markov
es en los conocidos como metodos de Monte Carlo por Cadenas de Markov
(MCMC por sus siglas en ingles). Son metodos para simular una muestra
de una distribucion denida en un espacio de estados nito o. Consisten
en simular una cadena de Markov ergodica (recuerde la denicion 8.9) en o
cuya distribucion invariante es precisamente la dada, y dejarla evolucionar
hasta alcanzar el equilibrio. En vista de los resultados de la seccion anterior,
se obtiene una realizacion (aproximada) de . En este contexto la distribucion
se denomina blanco, o target, en ingles.
Veamos un par de formas de conseguir una cadena ergodica con distribu-
cion invariante dada en un espacio nito o = 1, 2, , N.
39
1-. Sean las siguientes probabilidades de transicion :
P(i, j) =
1
N 1
(j)
((j) + (i))
si i ,= j
P(i, i) = 1

j=i
P(i, j)
2-. Sean las probabilidades de transicion

P(i, j) dadas as

P(i, j) =
1
N 1
_
1I
{(i)(j)}
+
(j)
(i)
1I
{(i)>(j)}
_
si i ,= j

P(i, i) = 1

j=i

P(i, j)
Es muy facil vericar que las cadenas correspondientes a estas probabilidades
de transicion tienen las propiedades requeridas. En efecto, si i ,= j, entonces
P(i, j) > 0, y

j=i
P(i, j) < 1, por lo que P(i, i) > 0 tambien. Pero entonces
la cadena es irreducible y aperiodica. Como o es nito, tambien es recurrente
positiva. Para mostrar que es invariante para la cadena, basta vericar
que es reversible (como denido en el Ejercicio de la seccion 6), lo cual es
inmediato de la denicion.
9.1. El algoritmo de Propp y Wilson
Este algoritmo fue propuesto por J. Propp y D. Wilson en 1996 en [10]
para obtener una muestra de una medida en un espacio nito, y tiene la
ventaja de que (cuando converge) genera una muestra exacta de la distribu-
cion blanco. Tiene ademas un mecanismo de parada automatico,por lo que no
requiere calculos de velocidad de convergencia. Es un mecanismo de muestreo
desde el pasado. Una discusion de esta propuesta incluyendo ejemplos y
generalizaciones, puede encontrarse en [8] y las referencias all citadas.
Sea entonces el espacio o = 1, 2, 3, , N, donde esta denida una
medida de la cual se desea obtener una muestra. Sea X
n
una cadena de
Markov reversible y ergodica tal que sea su distribucion invariante. (Por
ejemplo, una de las presentadas al comienzo de esta seccion). Sea F una fun-
cion que genera por recurrencia a X
n
, a partir de una muestra de uniformes
U
n
i.i.d. (Por ejemplo, la considerada en (3.3)). El algoritmo consiste en
considerar un acoplamiento de N cadenas, cada una comenzando en un esta-
do diferente de o, desde tiempos en el pasado, mirar el estado de cada una de
40
ellas en el tiempo 0, e ir sucientemente hacia atras hasta que coincidan en el
tiempo 0. Por la forma en que se usan las variables uniformes, el valor X
0
es-
tara distribuido seg un . Concretamente, sea una sucesion creciente de tiem-
pos (N
1
, N
2
, N
3
), por ejemplo N
k
= 2
k
. Los negativos de estos n umeros
seran los tiempos de partida en el pasado de las cadenas, N
1
, N
2
, N
3
, .
Supongamos (por conveniencia en la notacion) que las variables uniformes
estan indexadas en N : U
n

n0
El algoritmo funcion as
1. Tomese m = 1.
2. Para cada j o, sim ulese una cadena de Markov comenzando en j en
el tiempo N
m
, usando una funcion F y las v.a. uniformes
U
N
m
+1
, U
N
m
+2
, , U
1
, U
0
3. Si todas las cadenas estan en el mismo estado k en el tiempo 0, el
algoritmo se detiene, con salida k. En caso contrario, se pasa a 4.
4. Tomese m+ 1 y comiencese nuevamente en el paso 2.
Es importante (y desde el punto de vista practico, complicado) que parte de
las v. a. uniformes son reutilizadas cuando se retrocede en el tiempo.
Tenemos el siguiente resultado:
Teorema 9.1. Supongamos que el algoritmo descrito arriba, en las condi-
ciones consideradas para la cadena de Markov correspondiente, termina con
probabilidad 1, y sea Y su salida. Entonces Y se distribuye seg un , es decir,
para j o,
P
_
Y = j
_
= (j)
Demostracion Basta demostrar que, dado > 0,
[P
_
Y = j
_
(j)[ < (9.1)
Ya que el algoritmo termina con probabilidad 1, existe M tal que
sup
k,jS
[P(X
(j,N
M
)
0
,= X
(k,N
M
)
0
)[ <
donde X
(j,N
M
)
0
y X
(k,N
M
)
0
es la posicion en el tiempo 0 de las cadenas
(acopladas seg un indica el algoritmo) que en tiempo N
M
comienzan en j
41
y k, respectivamente. Sea ahora X
(,N
M
)
n
una cadena que en tiempo N
M
esta distribuida seg un . Como es invariante, entonces X
(,N
M
)
0
. Pero
entonces
P(X
(j,N
M
)
0
,= X
(,N
M
)
0
) < ,
y procediendo como en (8.3), sigue (9.1)
Ejercicios
1. Verique que las probabilidades de transicion

P(i, j) del ejemplo 2-.
dan lugar a una cadena ergodica con distribucion invariante .
2. Considere la distribucion = (
1
6
,
2
6
,
3
6
) en o = 1, 2, 3.
Escriba una matriz de transicion cuya cadena tiene distribucion
invariante .
Implemente el algoritmo de Propp y Wilson para generar una
muestra de .
Apendice
El siguiente es un conjunto de 4 muestras de tama no 10 de variables
uniformes en el intervalo [0, 1]:
0,4186 0,8462 0,5252 0,2026 0,6721 0,8381 0,0196 0,6813 0,3795 0,8318
0,5028 0,7095 0,4289 0,3046 0,1897 0,1934 0,6822 0,3028 0,5417 0,1509
0,6979 0,3784 0,8600 0,8537 0,5936 0,4966 0,8998 0,8216 0,6449 0,8180
0,6602 0,3420 0,2897 0,3412 0,5341 0,7271 0,3093 0,8385 0,5681 0,3704
Formula de Stirling
n! = n
n
e
n

2n
_
1 + (
1
n
)
_
Una demostracion de esta formula se encuentra en [5], por ejemplo. Mas
detalles en [1].
42
Referencias
[1] Stella Brassesco and Miguel A Mendez. The asymptotic expansion
of n! and the Lagrange inversion formula. The Ramanujan Journal,
24(2):219234, 2011.
[2] Leo Breiman. Probability and stochastic processes with a view toward
applications. Houghton Miin Company, 1969.
[3] Pierre Bremaud. Markov chains, Gibbs elds, Monte Carlo simulations
and queues. Springer, 1998.
[4] P Eherenfest and T Ehrenfest. The Conceptual Foundations of the Sta-
tistical Approach in Mechanics. Dover Publications, 1990.
[5] William Feller. Introduction to Probability theory and its applications.
John Wiley and sons Inc., 1968.
[6] Pablo A Ferrari and Antonio Galves. Construction of stochastic process-
es, coupling and regeneration. XIII Escuela Venezolana de Matematica,
2000.
[7] Antonio Galves, Arnaldo C.R. Nogueira, and Maria Eulalia Vares. In-
troducao aos sistemas Markovianos de particulas. 5o Simposio Nacional
de Probabilidade e Estatistica, 1982.
[8] Olle Haggstrom. Finite Markov chains and algorithmic applictions.
Cambridge university press, 2002.
[9] Torgny Lindvall. Lectures on the coupling method. Dover publications
Inc., 2002.
[10] J. Propp and D. Wilson. Exact sampling with coupled Markov chains
and applications to statistical mechanics. Random Strutures and Algo-
rithms, 9(1& 2):223252, 1996.
[11] Henry C Tuckwell. Elementary applications of probability theory. Chap-
man and Hall, second edition, 1995.
43