Documentos de Académico
Documentos de Profesional
Documentos de Cultura
08 Markov
08 Markov
CADENAS DE MARKOV
Un proceso estocástico es una familia arbitraria de variables aleatorias {Xt }t∈T , en donde
cada Xt es una función del espacio muestral en algún conjunto E (el espacio de estados). Se
distinguen diferentes casos, según T sea un conjunto continuo (generalmente R) o discreto (en
general N), y según la cardinalidad de E. Es usual interpretar a t como el tiempo transcurrido
desde el instante inicial (t = 0), y que en cada instante t ∈ T se lleva a cabo un experimento
de cuyo resultado queda determinado el valor de Xt . Principalmente, interesa saber con qué
probabilidad cada Xt asume valores en ciertos subconjuntos de E, y también si esta probabi-
lidad está influenciada de alguna manera por los valores observados en los instantes de tiempo
anteriores (la historia del proceso). Nos interesa aquí el caso en que T = N = {0, 1, 2, 3, . . .} y
E es un conjunto a lo sumo numerable.
Definición 8.1. Sea E un conjunto a lo sumo numerable (de estados) y {Xn }n∈N un proceso
estocástico a valores en E. Se dice que el proceso satisface la propiedad markoviana si para
todo entero n ≥ 0 y todos j, in , . . . , i0 ∈ E, se cumple:
P (Xn+1 = j | Xn = in , . . . , X0 = i0 ) = P (Xn+1 = j | Xn = in )
Una cadena de Markov es un proceso estocástico que satisface la condición markoviana.
Es decir, en una cadena de Markov el conocimiento de los valores de X0 , . . . , Xn−1 no agrega
información a lo que puede esperarse como valor de Xn+1 si se sabe el valor de Xn .
Si X0 = e, se dice que la cadena empezó en e. Si Xn = e, decimos que, en el instante n, la
cadena está en e, o que la cadena visita e. Si X0 = i0 , X1 = i1 , . . ., Xn = in , decimos que la
sucesión de estados i0 , i1 , . . . , in es una historia completa de la cadena hasta el instante n. La
propiedad markoviana establece que la probabilidad de que en el instante n + 1 la cadena pase
al estado j habiendo ocurrido una historia completa i0 , . . . , in sólo depende del estado in .
Notar que, en general, P (Xn+1 = j | Xn = i) podría depender no sólo de i y de j, sino
también de n. Aquellas cadenas en las que P (Xn+1 = j | Xn = i) depende sólo de i y de j
constituyen una importante clase.
Definición 8.2. Una cadena de Markov se dice homogénea si para todo n ≥ 0 y todos i, j ∈
E, es P (Xn+1 = j | Xn = i) = P (X1 = j | X0 = i). En este caso, el número P (Xn+1 = j | Xn = i)
es denotado mediante pij , y se denomina matriz de transición de la cadena a la matriz
P = (pij )i,j∈E .
Aquí trabajaremos sólo con cadenas homogéneas. En estos casos, es usual interpretar a E
como el conjunto de estados en que puede estar un sistema dinámico discreto (es decir, un
sistema que cambia a intervalos de tiempo igualmente espaciados), y a Xn como el estado del
sistema al momento n, de modo que pij representa la probabilidad de cambiar al estado j en
la próxima etapa, suponiendo que en la etapa actual el sistema está en el estado i. Una buena
representación para una cadena homogénea es a través de un grafo cuyos vértices son los estados
de E, habiendo arista desde i ∈ E hasta j ∈ E si, y sólo si, pij > 0. De haber arista de i a j,
se le asocia el valor numérico pij , y representa la probabilidad de transición (en un paso) del
estado i al estado j. A su vez, una interpretación conveniente para este grafo es que los vértices
son ciudades, las aristas son autopistas entre ellas (habiendo a lo sumo una autopista entre dos
119
120 8. CADENAS DE MARKOV
ciudades, y pudiendo una autopista empezar y finalizar en una misma ciudad), y un automóvil
recorre esta red yendo de ciudad en ciudad día tras día, de modo que, estando en alguna ciudad,
debe elegir alguna de las autopistas que salen de esa ciudad, de manera aleatoria, de acuerdo a
las probabilidades que las aristas tienen asignadas. La ciudad en la que el auto se encuentra al
día n equivaldría al estado del sistema en el instante n. La propiedad markoviana establece que
la siguiente ciudad visitada depende sólo de cuál es la ciudad actual, ignorando completamente
la sucesión de ciudades anteriormente visitadas. En este grafo, la probabilidad de recorrer un
camino i0 i1 i2 · · · in−1 in que va desde la ciudad i0 a la in , sabiendo que empezamos en i0 , es
pi0 i1 pi1 i2 · · · pin−1 in . Si estamos en una ciudad i y queremos saber por la probabilidad de que n
días más tarde estemos en la ciudad j, debemos sumar las probabilidades de todos los caminos
de longitud n desde i hasta j.
Surgen entonces preguntas naturales respecto de la evolución del sistema:
Dado que la evolución es aleatoria, no se espera saber exactamente el estado del sistema
al momento n, pero sí probabilísticamente: ¿cuál es la que probabilidad de que el sistema,
al instante n, se encuentre en un cierto estado i?
Suponiendo que en el instante 0 el estado del sistema es i ∈ E, ¿cuánto tarda, en
promedio, en retornar al estado i en algún instante posterior, si es que eso ocurre? O
bien, ¿cuánto tarda, en promedio, en pasar a un cierto estado j?
Ejemplo 8.3. Una moneda honesta se revolea reiteradamente y se asigna a Xn el valor mos-
trado por la cara superior de la moneda en el n-ésimo tiro. Entonces, {Xn }n≥0 es una cadena
de Markov con E = {C, X} (cara, cruz), teniendo que pCX = pCC = pXC = pXX = 1/2, por lo
que para este proceso es
1/2 1/2
P =
1/2 1/2
Ejemplo 8.4. Un dado honesto se arroja repetidamente y se asigna a Xn el máximo de los
valores salidos hasta el n-ésimo tiro. Entonces, {Xn }n≥0 es una cadena de Markov con E =
{1, 2, 3, 4, 5, 6}, teniendo la siguiente matriz de transición:
1/6 1/6 1/6 1/6 1/6 1/6
0 1/3 1/6 1/6 1/6 1/6
0 0 1/2 1/6 1/6 1/6
P =
0 0 0 2/3 1/6 1/6
0 0 0 0 5/6 1/6
0 0 0 0 0 1
Ejemplo 8.5. Una compañía con sedes en Tucumán y Salta alquila autos por día, con la
siguiente modalidad: un cliente alquila un auto en alguna de las dos ciudades, y lo devuelve al
día siguiente en una de esas dos ciudades, a su propia elección. La compañía posee 2000 autos,
disponiendo inicialmente 1000 en cada ciudad. De los registros históricos, se determina que, de
los autos alquilados en Salta, el 60 % es devuelto en Salta, y el 40 % en Tucumán; y de los autos
alquilados en Tucumán, el 70 % es devuelto en Tucumán, y el 30 % restante en Salta. Se desea
analizar cómo varía la proporción de los autos que la compañía tiene en ambas ciudades.
Ese análisis puede hacerse considerando itinerarios de un auto promedio, que va recorriendo
las dos ciudades (E = {S, T }), asignando a Xn la ciudad en que el auto está al n-ésimo día
(con P (X0 = S) = P (X0 = T ) = 1/2, ya que la compañía arranca con iguales cantidades de
autos en ambas ciudades). {Xn }n≥0 es una cadena de Markov con matriz de probabilidades de
transición dada por: pSS = 0,6, pST = 0,4, pT S = 0,3, pT T = 0,7.
Ejemplo 8.6. (Paseo aleatorio) Un caminante se encuentra sobre la recta numérica Z (origi-
nalmente en 0) y tiene una moneda honesta. En cada unidad de tiempo la revolea; si sale cara,
8. CADENAS DE MARKOV 121
se mueve una unidad en el sentido positivo, y en caso contrario una unidad en sentido negativo.
Interesa saber qué posiciones de la recta visita. Llamando Xn a la posición en el instante n, se
tiene que {Xn }n≥0 es una cadena de Markov con E = Z y matriz de transición como sigue:
..
.
··· 0 0 1/2 0 1/2 0 · · ·
P = · · · 0 1/2 0 1/2 0 0 · · ·
· · · 1/2 0 1/2 0 0 0 ···
..
.
(Comparar con el ejemplo 7.2.) Este ejemplo muestra que E podría ser un conjunto infinito.
La intuición seguramente indica al lector que, en relación al ejemplo 8.3, la probabilidad de
que Xn = C es 1/2, independientemente de n. En relación al ejemplo 8.4, para un n grande
es de sospechar que P (Xn = 1) es pequeña y P (Xn = 6) es cercana a 1. A no afligirse si, en
relación al ejemplo 8.5, la intuición no arroja pistas sobre la probabilidad de que un auto, al
día 50, esté en Tucumán. Más adelante veremos cómo, en muchos casos, los interrogantes que
se plantean respecto de la evolución del sistema pueden responderse mediante manipulación
algebraica de la correspondiente matriz de transición.
Observación 8.7. La matriz de transición de un proceso de Markov es una matriz estocástica,
lo cual quiere decir que es una matriz a valores no negativos (pues corresponden a probabilidades
de paso de un estado a otro) y que la suma de los elementos de cualquier fila da 1: para cualquier
i ∈ E, tenemos
!
X X [
pij = P (X1 = j | X0 = i) = P X1 ∈ j | X0 = i
j∈E j∈E j∈E
P (X1 ∈ E, X0 = i) P (X0 = i)
= = =1
P (X0 = i) P (X0 = i)
Queda como ejercicio mostrar que cualquier potencia natural de una matriz estocástica es
otra matriz estocástica.
La condición markoviana se refiere a probabilidades de cambios de estado que involucran
historias completas de la cadena. Veremos ahora una condición equivalente pero que tiene que
ver con historias incompletas, mostrando que, de alguna manera, las probabilidades de cambios
hacia nuevos estados están influenciadas sólo por el último estado conocido de la historia.
Lema 8.8. Sean {Xn }n≥0 una cadena de Markov, n0 , n1 , . . . , nk (k ≥ 0) enteros tales que
0 ≤ n0 < n1 < · · · < nk , e in0 , in1 , . . . , ink , j estados cualesquiera. Entonces,
P (Xnk +1 = j | Xnk = ink , . . . , Xn1 = in1 , Xn0 = in0 ) = P (Xnk +1 = j | Xnk = ink )
Demostración. Llamemos F al conjunto de instantes que faltan para completar la historia hasta
el momento nk , es decir,
F = {x ∈ Z : 0 ≤ x ≤ nk } − {nk , . . . , n1 , n0 }
y veamos, por inducción en la cantidad de elementos de F , el cumplimiento de la proposición.
Si |F | = 0, es F = ∅ y el enunciado es verdadero pues corresponde a la condición markoviana.
Ahora supongamos F 6= ∅. Sea n∗ un elemento de F , debiendo ser n∗ < nk . Usando el hecho
de que P ((A ∩ B) | C) = P (A | (B ∩ C)) P (B | C), resulta que
P (Xnk +1 = j | Xnk = ink , . . . , Xn1 = in1 , Xn0 = in0 ) =
P
= e∈E P (Xnk +1 = j , Xn∗ = e | Xnk = ink , . . . , Xn1 = in1 , Xn0 = in0 )
P
= e∈E P (Xnk +1 = j | Xnk = ink , . . . , Xn1 = in1 , Xn0 = in0 , Xn∗ = e) ·
P (Xn∗ = e | Xnk = ink , . . . , Xn1 = in1 , Xn0 = in0 )
122 8. CADENAS DE MARKOV
Teorema 8.9. El proceso estocástico {Xn }n≥0 es una cadena de Markov si, y sólo si, para
cualquier sucesión finita de enteros 0 ≤ n0 < n1 < · · · < nk , cualquier entero m ≥ 1 y
cualquier selección de estados in0 , in1 , . . . , ink , j ∈ E, se cumple que
P (Xnk +m = j | Xnk = ink , . . . , Xn1 = in1 , Xn0 = in0 ) = P (Xnk +m = j | Xnk = ink )
Demostración. Primero veamos la ida por inducción en m ≥ 1. El caso m = 1 es el lema 8.8.
Suponiendo ahora la propiedad válida para m, tenemos:
P (Xnk +m+1 = j | Xnk = ink , . . . , Xn0 = in0 ) =
P
= e∈E P (Xnk +m+1 = j , Xnk +m = e | Xnk = ink , . . . , Xn0 = in0 )
P
= e∈E P (Xnk +m+1 = j | Xnk +m = e, Xnk = ink , . . . , Xn0 = in0 ) ·
P (Xnk +m = e | Xnk = ink , . . . , Xn0 = in0 )
P
= e∈E P (Xnk +m+1 = j | Xnk +m = e) P (Xnk +m = e | Xnk = ink )
P
= e∈E P (Xnk +m+1 = j | Xnk +m = e, Xnk = ink ) P (Xnk +m = e | Xnk = ink )
P
= e∈E P (Xnk +m+1 = j, Xnk +m = e | Xnk = ink )
y por Pn a la matriz con índices en E cuya posición i, j es pij (n). Por la suposición de homoge-
neidad, P (Xm+n = j | Xm = i) no depende de m (su demostración queda de ejercicio) así que
pij (n) está bien definida, y se cumple que pij (n) = P (Xn = j | X0 = i). Obviamente, se cumple
que pij (0) = δij y que P1 = P . Por otro lado, para cualquier n ≥ 1 y cualesquiera i, j ∈ E,
tenemos que, de acuerdo al teorema 8.9,
(Pn+1 )ij = pij (n + 1) = P (Xn+1 = j | X0 = i)
X
= P (Xn+1 = j, Xn = e | X0 = i)
e∈E
X
= P (Xn+1 = j | Xn = e, X0 = i) P (Xn = e | X0 = i)
e∈E
X
= P (Xn+1 = j | Xn = e) P (Xn = e | X0 = i)
e∈E
X
= pie (n) pej = (Pn P )ij
e∈E
y, por lo tanto, Pn+1 = Pn P (producto matricial de Pn y P ). De aquí se puede ver que, para
cualquier n ≥ 1, es Pn = P n (la n-ésima potencia de la matriz P ) y, en consecuencia, para todos
m, n ≥ 1, es Pm+n = Pm Pn . Estas dos últimas expresiones son las denominadas ecuaciones
de Chapman-Kolmogorov, claves para el entendimiento de la evolución del sistema.
Observación 8.10. Con las ecuaciones, es directo ver que pij (m + n) ≥ pik (m) pkj (n) cuales-
quiera sean i, j, k ∈ E, m, n ≥ 1, pues
X
pij (m + n) = (Pm+n )ij = (Pm Pn )ij = pie (m) pej (n) ≥ pik (m) pkj (n)
e∈E
Más generalmente, pij (m1 + m2 + · · · + mr ) ≥ pik1 (m1 ) pk1 k2 (m2 ) · · · pkr−1 j (mr ) cualesquiera
sean los enteros m1 , m2 , . . . , mr ≥ 1 y los estados i, j, k1 , k2 , . . . , kr−1 .
En muchos sistemas, es conocido el estado del mismo en el instante 0 (en el cual comienza el
proceso). En otros, sólo se conoce la distribución de X0 . Designemos por µ(0) al correspondiente
(0)
vector de distribución, es decir, µi = P (X0 = i). Más generalmente, designemos µ(n) al vector
(n)
de distribución de Xn , vale decir, µi = P (Xn = i).
Lema 8.11. Para todo n ≥ 1, se tiene que µ(n) = µ(0) Pn .
Demostración. Para cualquier j ∈ E,
(n)
X X
µ(0) n
" (0)
µj = P (Xn = j) = P (Xn = j | X0 = e) P (X0 = e) = e Pej = µ Pn j
e∈E e∈E
Una cuestión central es saber si µ(n) converge a algo cuando n tiende a infinito. Para ello,
nos preguntamos si Pn converge a alguna matriz fija. Habrá casos en que no. Por ejemplo, para
la matriz estocástica
0 1
P =
1 0
tenemos que
1 0 0 1
P2k = P2k+1 =
0 1 1 0
Para la matriz P del ejemplo 8.3, es Pn = P , cualquiera sea n.
Para la matriz P del ejemplo 8.5, tenemos las siguientes aproximaciones:
0,42996 0,57004 0,428575 0,571425 0,428571 0,571429
P5 = P10 = P14 =
0,42753 0,57247 0,428569 0,571431 0,428571 0,571429
124 8. CADENAS DE MARKOV
√
Si {an }n∈N es una sucesión de reales no negativos tal que lı́m sup n an ≤ 1,
n→∞
∞ ∞
n
P P
entonces lı́m− an x = an .
x→1 n=0 n=0
Notar que, siendo 0 ≤ fjj (n) ≤ 1 y 0 ≤ pjj (n) ≤ 1, se cumplen para ambas sucesiones las
hipótesis del Lema de Abel, por lo que
∞
X ∞
X
n
lı́m− Fjj (x) = lı́m− fjj (n) x = fjj (n)
x→1 x→1
n=0 n=0
∞
X ∞
X
lı́m Pjj (x) = lı́m pjj (n) xn = pjj (n)
x→1− x→1−
n=0 n=0
Para la ida del teorema, supongamos j persistente. Entonces, por propiedad demostrada
anteriormente, es fjj = 1, es decir, ∞
P
n=0 jj (n) = 1. Luego lı́mx→1− Fjj (x) = 1. Del lema 8.14,
f
se tiene que
1
Pjj (x) =
1 − Fjj (x)
P∞
así que lı́mx→1 Pjj (x) = ∞, por lo que n=0 pjj (n) = ∞.
−
Corolario 8.17. Cualquier cadena de Markov con cantidad finita de estados posee al menos
un estado persistente.
Demostración.
P∞ Supongamos que todos los estados de la cadena son transitorios. Entonces,
Pn=0 Pp ij (n) < ∞ para todos i, j ∈ E (corolario 8.16). Consideremos i ∈ E fijo. Ocurriría que
∞
j∈E p
n=0Pij (n) < ∞. Sin embargo, esto no puede ser pues Pn es una matriz estocástica
y entonces j∈E n=0 pij (n) = ∞
P∞ P P P∞ P P∞
n=0 j∈E pij (n) = n=0 j∈E (Pn )ij = n=0 1 = ∞. La
contradicción proviene de suponer que no hay estados persistentes.
Cada estado persistente de una cadena cae en una de dos categorías de acuerdo al tiempo
promedio que tarda la cadena en regresar a ese estado, suponiendo que empezó en él.
Definición 8.18. Dado e ∈ E, el tiempo de la primera visita a e, denotado Te , es el menor
de los enteros positivos n tales que Xn = e, con la convención de que Te = ∞ si no existe tal
n. En símbolos,
mı́n {n ≥ 1 : Xn = e} si existe n tal que Xn = e
Te =
∞ si no
Es decir, Te es lo que demora la cadena en visitar a e en un instante posterior al del inicio
de la cadena (la cadena podría o no empezar en e). Por supuesto, Te es una variable aleatoria,
por lo que podemos preguntarnos por su valor medio si suponemos que la cadena empieza en e.
Definición 8.19. El tiempo medio de retorno a e, denotado Re , se define mediante
P∞
Re = E (Te | X0 = e) = n=0 nfee (n) si e es persistente
∞ si e es transitorio
Obsérvese que, aún siendo e persistente, la suma infinita podría divergir a infinito. Por esta
razón, distinguiremos dos clases de estados persistentes.
Definición 8.20. Un estado persistente e se dice nulo si Re = ∞, y positivo (o no nulo) si
Re < ∞.
Más adelante (observación 8.26) enunciaremos un criterio para decidir si un estado persis-
tente es positivo o nulo, en términos de la matriz P .
0.5. Comunicación de estados.
Veremos ahora una importante relación de equivalencia en el conjunto de estados de una cadena
de Markov, en función de las probabilidades de pasar de un estado a otro. Posteriormente,
deduciremos propiedades fundamentales de las respectivas clases de equivalencia.
Definición 8.21. Dados i, j ∈ E, decimos que i se comunica con j (denotado i → j) si existe
n ≥ 0 tal que pij (n) > 0, es decir, si la cadena visita j (con probabilidad positiva) habiendo
empezado en i. Si i → j y j → i, decimos que i se intercomunica con j, y escribimos i ↔ j.
Se tiene que ↔ es una relación de equivalencia en E, quedando como ejercicio la demostra-
ción de este hecho.
Proposición 8.22. Si i ↔ j, entonces son ambos transitorios o ambos persistentes.
Demostración. Supongamos que i ↔ j. Tomemos m y n tales que pij (m) > 0 y pji (n) > 0.
Designemos α = pij (m) pji (n) > 0. Sea k cualquier entero mayor o igual que 0. Tenemos
que pii (m + k + n) ≥ pij (m) pjj (k) pji (n) = αpjj (k) P
(observación 8.10),
P y simétricamente
pjj (m + k + n) ≥ αpii (k). En consecuencia, las series k≥0 pii (k) y k≥0 pjj (k) son ambas
convergentes, o bien ambas divergentes, y el resultado se sigue del teorema 8.15.
8. CADENAS DE MARKOV 127
De allí,
P (X2 6= i, X3 6= i, . . . | X1 = j, X0 = i) = 1
128 8. CADENAS DE MARKOV
y entonces
P (X1 = i ∨ X2 = i ∨ X3 = i ∨ . . . | X0 = i) =
= 1 − P (X1 6= i, X2 6= i, X3 6= i, . . . | X0 = i)
≤ 1 − P (X1 = j, X2 6= i, X3 6= i, . . . | X0 = i)
= 1 − P (X2 6= i, X3 6= i, . . . | X1 = j, X0 = i) P (X1 = j | X0 = i)
= 1 − pij < 1
contradiciendo que el estado i es persistente.
mostrando así que u es vector de distribución estacionaria, es decir, la cadena admite una
distribución estacionaria.
Ahora sea w cualquier distribución estacionaria
P∞para la cadena.PYa vimos que esto implica
n M
que wP = w cualquiera sea n ≥ 1. Luego, wj = e=0 we pej (n) ≥ e=0 we pej (n) cualesquiera
sean j, M ∈ E y n ≥ 1, y, por lo tanto,
M
X M
X M
X M
X
wj ≥ lı́m we pej (n) = we lı́m pej (n) = we vj = vj we
n→∞ n→∞
e=0 e=0 e=0 e=0
así que
M
X ∞
X M
X ∞
X M
X ∞
X
wj ≤ lı́m we pej (n) + we = we vj + w e = vj we + we
n→∞
e=0 e=M +1 e=0 e=M +1 e=0 e=M +1
Hemos probado entonces que wj = vj , es decir, que la cadena posee una única distribución
estacionaria, que es v.
Por lo tanto, para una cadena irreducible y aperiódica con estados persistentes positivos,
la matriz Pn converge a una matriz cuyas filas son idénticas, e iguales al vector de distribución
estacionaria. Esto proporciona un método para encontrar la distribución estacionaria en tales
130 8. CADENAS DE MARKOV