Traducido del inglés al español - www.onlinedoctranslator.

com

80 CADENAS DE MARKOV A LARGO PLAZO

Estas proporciones están relativamente cerca de la distribución límite real de la cadena a

pesar del hecho de que las estimaciones se basan en solo 100 pasos. Compare los resultados
con la simulación de un millón de pasos, también dada en elRcódigo. ◾

R:ángel en el gimnasio

# gimnasio.R
>P
Aerobic Masaje Pesas Yoga
Aeróbicos 0.1 0.2 0.4 0.3
Masaje 0.4 0.0 0.4 0.2
Pesos 0.3 0.3 0.0 0.4
Yoga 0.2 0.1 0.4 0.3
> init <- c(1/4,1/4,1/4,1/4) # distribución inicial
> estados <- c("a","m","w","y")
# simular la cadena de Markov por 100 pasos
> listasim <- markov(init,P,100,estados)
> mwyaaywyayawyayawymwywamwawyawywywyywywyamwaway
> amamawywmyawawmawywmwywmwmyaywaywywamwyyymwawamaay
> tabla(listasim)/100
Aeróbicos Masaje Pesos Yoga
0.26 0.14 0.31 0.29
> pasos <- 1000000 # un millón de pasos
> simlist <- markov(inicio,P,pasos,estados)
> tabla(simlist)/pasos
Aerobic Masaje Pesas 0.237425 0.164388 Yoga
0.285548 0.312640

3.2 DISTRIBUCIÓN ESTACIONARIA

Es interesante considerar qué sucede si asignamos la distribución límite de una cadena

de Markov como la distribución inicial de la cadena.
Para la cadena de dos estados, como en el ejemplo 3.1, la distribución límite es

( )
q pags
 = , .
pags+q pags+q

Dejar Sea la distribución inicial para tal cadena. Entonces, la distribución deX1es

(q ) (
pags 1 -pags
)
pags
PAGS= ,
pags+q pags+q q 1 -q
( )
q(1 -pags) +pq qp+pags(1 -q)
= ,
pags+q pags+q
DISTRIBUCIÓN ESTACIONARIA 81

( q )
pags
= , = .
pags+q pags+q

Eso es, PAGS= . Un vector de probabilidad que satisface PAGS= juega un papel especial para las

cadenas de Markov.

Distribución Estacionaria

DejarX0,X1,…sea una cadena de Markov con matriz de transiciónPAGS. Adistribución

estacionariaes una distribución de probabilidad , que satisface

= PAGS. (3.2)

Eso es, ∑
 j= iPAGSyo,para todosj.
i

Si suponemos que una distribución estacionaria es la distribución inicial, entonces la

Ecuación (3.2) dice que la distribución deX0es igual a la distribución deX1. Desde que la cadena
comenzó ennorte=1 es también una cadena de Markov con matriz de transiciónPAGS, resulta
queX2tiene la misma distribución queX1. De hecho, todos losXnortetienen la misma distribución,
como

PAGSnorte= ( PAGS)PAGSnorte−1= PAGSnorte−1= ( PAGS)PAGSnorte−2= PAGSnorte−2=· · · = PAGS= .

Si la distribución inicial es una distribución estacionaria, entoncesX0,X1,X2,…es una secuencia de

variables aleatorias idénticamente distribuidas.
El nombreestacionarioproviene del hecho de que si la cadena comienza en su distribución
estacionaria, entonces se queda en esa distribución. Nos referimos a lacadena de Markov estacionaria
o la cadena de Markoven estacionariedadpara la cadena iniciada en su distribución estacionaria.
SiX0,X1,X2,…es una cadena de Markov estacionaria, entonces para cualquiernorte >0, la secuencia X
norte,Xnorte+1,Xnorte+2,…es también una cadena de Markov estacionaria con la misma matriz de
transición y distribución estacionaria que la cadena original.
(El hecho de que la cadena estacionaria sea una secuencia de variables aleatorias idénticamente
distribuidas no significa que las variables aleatorias sean independientes. Por el contrario, la
estructura de dependencia entre variables aleatorias sucesivas en una cadena de Markov se rige por
la matriz de transición, independientemente de la distribución inicial.)
Otros nombres para la distribución estacionaria soninvariante,estado estable, y
equilibriodistribución. Este último destaca el hecho de que existe una íntima conexión
entre la distribución estacionaria y la distribución límite. Si una cadena de Markov tiene
una distribución límite, entonces esa distribución es una distribución estacionaria.

Las distribuciones límite son distribuciones estacionarias

Lema 3.1.Asumir que es la distribución límite de una cadena de Markov con matriz de
transiciónPAGS. Después, es una distribución estacionaria.
82 CADENAS DE MARKOV A LARGO PLAZO

Prueba.Asumir que es la distribución límite. Necesitamos mostrar que PAGS= . Para cualquier

distribución inicial ,

( )
=límite PAGSnorte=límite (PAGSnorte−1PAGS) = límite PAGSnorte−1PAGS= PAGS,
norte→∞ norte→∞ norte→∞

que utiliza el hecho de que si limnorte→∞Xnorte=X, entonces limnorte→∞Xnorte−1=X. ◾

Desafortunadamente, lo contrario del Lema 3.1 no es cierto: las distribuciones estacionarias no

son necesariamente distribuciones limitantes. Como contraejemplo, tome la cadena de Markov
con matriz de transición
( )
0 1
PAGS= .
1 0

Resolviendo PAGS= , o
( )
( ) 0 1 ( )
1,  2 = ,  1 2 ,
1 0

da 1= 2. Dado que la distribución estacionaria es un vector de probabilidad, la única

solución es = (1∕2,1∕2). La distribución estacionaria es uniforme en cada estado. Sin
embargo, la cadena no tiene una distribución limitante. El proceso evoluciona cambiando
de un estado a otro. Como en el caso de la caminata aleatoria en un ciclo con un número
par de vértices, la posición de la caminata despuésnortepasos depende del vértice inicial
y la paridad denorte.
Otro contraejemplo es la cadena de Markov con matriz de transición

( )
1 0
PAGS= .
0 1

Este proceso es bastante aburrido: la cadena simplemente permanece para siempre en su estado
inicial. La cadena no tiene distribución limitante, ya que el estado a largo plazo de la cadena depende
del estado inicial. Sin embargo,cadavector de probabilidad es una distribución estacionaria ya que xP=
X, para todos los vectoresX.
Así, existen cadenas de Markov con más de una distribución estacionaria; hay cadenas de
Markov con distribuciones estacionarias únicas que no son distribuciones limitantes; e incluso
hay cadenas de Markov que no tienen distribuciones estacionarias.
Sin embargo, una clase grande e importante de cadenas de Markov tiene distribuciones
estacionarias únicas que son la distribución límite de la cadena. Un objetivo de este capítulo es
caracterizar tales cadenas.

Matrices Regulares

una matrizMETROse ha dichopositivosi todas las entradas deMETROson positivos. Nosotros escribimosMETRO>0. Del
mismo modo, escribeX>0 para un vectorXcon todas las entradas positivas.
DISTRIBUCIÓN ESTACIONARIA 83

Matriz de Transición Regular

Una matriz de transiciónPAGSse ha dichoregularsi algún poder dePAGSes positivo. Eso es,PAGS
norte>0, para algunosnorte≥1.

Por ejemplo,
⎛0 1∕2 1∕2⎞
PAGS=⎜1 0 0⎟
⎜ ⎟
⎝1∕2 1∕2 0⎠

es normal, ya que
⎛9∕dieciséis 5∕dieciséis 1∕8⎞
PAGS4=⎜1∕4 3∕8 3∕8⎟
⎜ ⎟
⎝1∕2 5∕dieciséis 3∕dieciséis⎠

es positivo. Sin embargo,

⎛0 1 0⎞
PAGS=⎜0 0 1⎟
⎜ ⎟
⎝1 0 0⎠

no es regular, ya que las facultades dePAGSrecorrer las matrices

⎛0 1 0⎞ ⎛0 0 1⎞ ⎛1 0 0⎞
PAGS=⎜0 0 1⎟,PAGS2=⎜1 0 0⎟,yPAGS3=⎜0 1 0⎟.
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎝1 0 0⎠ ⎝0 1 0⎠ ⎝0 0 1⎠

Si la matriz de transición de una cadena de Markov es regular, entonces la cadena tiene una
distribución límite, que es la única distribución estacionaria de la cadena.

Teorema del límite para cadenas regulares de Markov

Teorema 3.2.Una cadena de Markov cuya matriz de transiciónPAGSes regular tiene

una distribución límite, que es la distribución única, positiva y estacionaria de la
cadena. Es decir, existe un único vector de probabilidad >0, tal que

yo= 
límitePAGSnorte j,
norte→∞

para todo i, j, donde ∑

iPAGSyo= j.
i

De manera equivalente, existe una matriz estocástica positiva tal que

límitePAGSnorte= ,
norte→∞
84 CADENAS DE MARKOV A LARGO PLAZO

dónde tiene filas iguales con fila común , y es el único vector de

probabilidad, que satisface
PAGS= .

La demostración del Teorema 3.2 se remite a la Sección 3.10.

Ejemplo 3.3 Suponga que una cadena de Markov tiene matriz de transición

⎛ 0 1 -pags pags⎞
PAGS=⎜ pags 0 1 -pags⎟,
⎜ ⎟
⎝1 -pags pags 0 ⎠

por 0<pag <1. Encuentra la distribución límite.

SoluciónEncontramos eso

⎛2pags(1 -pags) pags2 (1 -pags)2⎞

PAGS2=⎜ (1 -pags)2 2pags(1 -pags) pags2
⎟.
⎜ ⎟
⎝ pags2 (1 -pags)2 2pags(1 -pags)⎠

Desde 0<pag <1, la matrizPAGS2es positivo. De este modo,PAGSes regular Por el Teorema 3.2,
la distribución límite es la distribución estacionaria.
Cómo encontrar la distribución estacionaria de una cadena de Markov es el tema de la siguiente
sección. Sin embargo, por ahora le brindamos al lector un poco de ayuda y lo instamos a que intente  
= (1∕3,1∕3,1∕3).
Por cierto, PAGS= , como

( )⎛ 0 1 -pags pags⎞ ( )
1 1 1 ⎜ pags 0 1 1 1
,, 1 -pags⎟ = ,, .
3 3 3 ⎜ ⎟ 3 3 3
⎝ 1 -pags pags 0⎠

La distribución uniforme es la distribución estacionaria única de la cadena y, por lo

tanto, la distribución límite deseada.
El ejemplo es interesante porque la distribución límite es uniforme paratodos
opciones de 0<pag <1. ◾

Aquí hay una forma de saber si una matriz estocástica no es regular. Si por algún podernorte, todos los 0
enPAGSnorteaparecen en las mismas ubicaciones que todos los 0 enPAGSnorte+1, entonces aparecerán en los
mismos lugares para todos los poderes superiores, y la matriz no es regular.
DISTRIBUCIÓN ESTACIONARIA 85

Ejemplo 3.4 Una cadena de Markov tiene matriz de transición

⎛0 0 0 0 1⎞
⎜1 0 0 1 1⎟
⎜4 2 4⎟
PAGS=⎜0 0 1 0 0⎟.
⎜ 1 1 ⎟
⎜0 0 2 2
0⎟
⎜ 1 1⎟
⎝14 2 0 0 4⎠

Determine si la matriz es regular.

SoluciónEncontramos eso

7 1 3 21 21 7 13 71
⎛9 32 8 64⎞
⎛35256 128 32 64 256⎞
⎜64 ⎜
dieciséis

11 15 11 49⎟ 49 71 33 155⎟
⎜⎜256
21
128 32 64 256⎟
⎜711024 512 128 256 1024⎟
⎟ ⎜ ⎟
PAGS4=⎜0 0 1 0 0⎟y PAGS5 =⎜0 0 1 0 0⎟.
⎜ 15 1 ⎟ ⎜ 31 1 ⎟
⎜0 0 0⎟ ⎜ 0 0 32 32
0⎟
⎜ ⎝⎜113 253⎠⎟
dieciséis dieciséis

21 7 13 71⎟ 71 41 47
⎝35
256 128 32 64 256
⎠ 1024 512 128 256 1024

Dado que los 0 están en las mismas ubicaciones para ambas matrices, concluimos quePAGSno es
regular ◾

Encontrar la distribución estacionaria

Asumir que es una distribución estacionaria para una cadena de Markov con matriz de transición PAGS.
Después,
∑
iPAGSyo= j,para todos los estadosj,
i

lo que da un sistema de ecuaciones lineales. SiPAGSes unk×kmatriz, el sistema tienek

ecuaciones ykincógnitas Dado que las filas dePAGSsuma a 1, elk×kEl sistema contendrá una
ecuación redundante.
Para la cadena general de dos estados, con

( )
1 -pags pags
,
q 1 -q
PAGS=

las ecuaciones son

(1 -pags) 1+q 2= 1
pags 1+ (1 -q) 2= 2.
86 CADENAS DE MARKOV A LARGO PLAZO

Las ecuaciones son redundantes y conducen a 1pags= 2q. Sipagsyqambos no son cero,

entonces junto con la condición 1+ 2= 1, la única solución es
( )
q pags
 = , .
pags+q pags+q

Ejemplo 3.5 Encuentre la distribución estacionaria de la cadena de Markov meteorológica de

Ejemplo 2.3, con matriz de transición

Lluvia Nieve clara

Lluvia⎛1∕5 3∕5 1∕5⎞
PAGS=Nieve⎜1∕10 4∕5 1∕10⎟⋅
⎜ ⎟
Claro⎝1∕10 3∕5 3∕10⎠

Solución El sistema lineal a resolver es

(1∕5) 1+ (1∕10) 2+ (1∕10) 3= 1

(3∕5) 1+ (4∕5) 2+ (3∕5) 3= 2
(1∕5) 1+ (1∕10) 2+ (3∕10) 3= 3
1+ 2+ 3= 1.

Una de las tres primeras ecuaciones es redundante. La única solución es

( )
1 3 5
 = ,, .
9 4 36
◾

R:Encontrar la distribución estacionaria

losRfunciónestacionario (P)encuentra la distribución estacionaria de una cadena de Markov con

matriz de transiciónPAGS.La función está contenida en elutilidades.Rexpediente.

>P
Lluvia Nieve Claro
Lluvia 0.2 0.6 0.2
Nieve 0.1 0.8 0.1
Claro 0.1 0.6 0.3
> estacionario(P)
[1] 0,1111 0,7500 0.1389
# comprobar que se trata de una distribución estacionaria
> estacionario(P) %*% PAGS
Lluvia Nieve Claro
[1] 0,1111 0.75 0.1389
DISTRIBUCIÓN ESTACIONARIA 87

Aquí hay una técnica útil para encontrar la distribución estacionaria, que reduce en uno el número
de ecuaciones a resolver. Hace uso del hecho de que siXes un vector, no necesariamente un vector de
probabilidad, que satisfacexP=X, después (CX)PAGS=CX, para todas las constantesC. De ello se
deduce que si uno puede encontrar un no negativoX, que satisfacexP=X,
entonces una solución de vector de probabilidad única =CXpuede ser obtenido por un apropiado
∑
elección deCpara que las filas deCXsuma a 1. En particular, seaC=1∕jXj, El recíproco
de la suma de los componentes deX.
∑ ∑
El sistema lineal i iPAGSyo= j, sin la restricción i i=1, tiene una redun-
maldita ecuación. Nuestro método de solución consiste en (i) eliminar una ecuación
redundante y (ii) resolver el sistema resultante paraX= (1,X2,X3,…),donde el primer (o cualquier)
componente deXse reemplaza por 1.
Para una cadena de Markov conkestados, este método reduce el problema a resolver un (k−
1)× (k−1) sistema lineal. Si la cadena original tiene una distribución estacionaria única, entonces
el sistema lineal reducido tendrá una solución única, pero que no es necesariamente un vector
de probabilidad. Para convertirlo en un vector de probabilidad cuyos componentes suman 1, se
divide por la suma de los componentes. En otras palabras, la estacionaria única
la distribución es
1
 = (1,X2,…,X). k
1 +X2+· · · +Xk

Para ilustrar el método, considere la matriz de transición

⎛1∕3 1∕2 1∕6⎞

PAGS=⎜1∕2 1∕2 0⎟.
⎜ ⎟
⎝1∕4 1∕2 1∕4⎠

Para encontrar la distribución estacionaria, primero seaX= (1,X2,X3). Después,xP=Xda un 3×3 sistema
lineal. Las dos primeras ecuaciones son

(1∕3)(1) + (1∕2)X2+ (1∕4)X3= 1,

(1∕2)(1) + (1∕2)X2+ (1∕2)X3=X2,

o
(1∕2)X2+ (1∕4)X3= 2∕3,
(-1∕2)X2+ (1∕2)X3= −1∕2,

con solución únicaX= (1,11∕9,2∕9). La suma de los componentes es

11 2 22
1+ += .
9 9 9
La distribución estacionaria es

( )( )
9 11 2 9 11 2
 = 1, , = ,, .
22 99 22 22 22
88 CADENAS DE MARKOV A LARGO PLAZO

Ejemplo 3.6 Una cadena de Markov en {1,2,3,4} tiene matriz de transición

⎛ pags 1 -pags 0 0 ⎞
⎜(1 -pags)∕2 pags (1 -pags)∕2 0 ⎟
PAGS=⎜
⎜
0 (1 -pags)∕2 pags (1 -pags)∕2⎟,
⎟
⎝ 0 0 1 -pags pags⎠
por 0<pag <1. Encuentra la distribución estacionaria.

SoluciónDejarX= (X1,X2,X3,X4), conX1= 1. Tomar

∑4
Xj= XiPAGSyo,

i=1

porj=1,2 y 4. Esto da
()
1 -pags
pags+ X2 =1,
2
( )
1 -pags
1 -pags+ píxeles2+ X3 =X2,
2
( )
1 -pags
X3 + píxeles4 =X 4,
2
con solucionX2=X3= 2 yX1=X4= 1. La distribución estacionaria es
( )( )
1 1221
 = 1,2,2,1 = ,,,.
1+2+2+1 6666
◾

Ejemplo 3.7 (El modelo perro-pulga de Ehrenfest)El modelo perro-pulga Ehrenfest fue
propuesto originalmente por los físicos Tatyana y Paul Ehrenfest para describir la
difusión de gases. El matemático Mark Kac lo llamó “uno de los modelos más instructivos
de toda la física”.
Dos perros, Lisa y Cooper, comparten una población denortepulgas En cada unidad
de tiempo discreta, una de las pulgas salta del perro al otro perro. DejarXnortedenote el
número de pulgas en Lisa después denortesalta Si hayipulgas en Lisa, luego, en el
siguiente salto, el número de pulgas en Lisa aumenta en uno, si uno de losnorte−ipulgas
en Cooper salta a Lisa, o cae por uno, si uno de losipulgas en Lisa salta a Cooper.

El proceso es una cadena de Markov en {0,1,…,norte}, con matriz de transición

si j=i−1,
⎪
⎧i∕NORTE,

PAGSyo=⎨(norte−i)∕NORTE, si j=i+1,
⎪0, de lo contrario.
⎩
DISTRIBUCIÓN ESTACIONARIA 89

Aquí está la matriz de transición de Ehrenfest paranorte=5 pulgas:

0 1 2 3 4 5
0⎛0 1 0 0 0 0⎞
1⎜1∕5 0 4∕5 0 0 0⎟
⎜ ⎟
2⎜0 2∕5 0 3∕5 0 0⎟.
PAGS=
3⎜0 0 3∕5 0 2∕5 0⎟
4⎜0 0 0 4∕5 0 1∕5⎟
⎜ ⎟
5⎝0 0 0 0 1 0⎠

Para encontrar la distribución estacionaria de la cadena general de Ehrenfest, sea X= (

X0,X1,…,Xnorte), conX0= 1. Conjunto

∑
norte
norte− (j−1) j+1
Xj= XiPAGSyo=Xj−1 + Xj+1norte , (3.3)
norte
i=0

porj=1,…,norte−1. Además, 1 = (1∕norte)X1, asi queX1=norte. Resolución de la ecuación (3.3) a partir de

j=1 daX2=norte(norte−1)∕2, entoncesX3=norte(norte−1)(norte−2)∕6. El término general es
()
norte(norte−1)· · · (norte−j+1)
Xj= = = ,
norte! norte
porj=0,1,…,NORTE,
j! j!(norte−j)! j
que puede derivarse por inducción. La distribución estacionaria es
()()
1 1
= ,
norte norte
j=∑ () porj=0,…,NORTE.
norte norte j j 2norte
i=0 i

La distribución es una distribución binomial con parámetrosnortey 1/2.

La matriz de transición de Ehrenfest no es regular y la cadena no tiene una distribución
limitante. Sin embargo, podemos interpretar que la distribución estacionaria da la proporción a
largo plazo del tiempo pasado en cada estado. Consulte el Ejemplo 3.19 para obtener la
descripción de un esquema Ehrenfest modificado, que tiene una distribución límite. ◾

Para el siguiente ejemplo, en lugar de resolver un sistema lineal para encontrar la

distribución estacionaria, tomamos unaadivinaren la distribución basado en nuestra intuición
de cómo evoluciona la cadena de Markov. La distribución de candidatos luego se verifica para
ver si cumple = PAGS.

¡Adivinar antes de probar! ¿Necesito recordarte que es así como se han hecho todos los
descubrimientos importantes?
—Henri Poincaré

Ejemplo 3.8 (Paseo aleatorio en un gráfico)Para encontrar la distribución estacionaria de un

paseo aleatorio simple en un gráfico, considere la interpretación de la distribución como la
fracción de tiempo a largo plazo que el paseo visita cada vértice.
90 CADENAS DE MARKOV A LARGO PLAZO

2 1

3 6 7 8 9 10

4 5

Figura 3.1Gráfico de piruletas.

Para un ejemplo concreto, considere elgráfico de piruleta, que se muestra en la Figura 3.1. Uno espera
que, a largo plazo, una caminata aleatoria en el gráfico tenga más probabilidades de estar en el dulceen el
extremo izquierdo del gráfico, y es menos probable que esté en el extremo derecho de la barra. (El dulce es
un gráfico completo donde todos los pares de vértices están unidos por aristas).
La intuición sugiere que los vértices que tienen más conexiones tienen más probabilidades de ser
visitados. Es decir, el tiempo pasado en el vértice está relacionado con el grado de .
Esto sugiere considerar una distribución en vértices que esté relacionada con el grado de
los vértices. Una posibilidad es una distribución que sea proporcional al grado del vértice. Dejar

grado( ) grado( )
 =∑ = ,
grado( ) 2mi

dóndemies el número de aristas en el gráfico. La suma de los grados de los vértices es igual al
doble del número de aristas, ya que cada arista aporta dos vértices (sus extremos) a la suma de
los grados de los vértices.
Queda por comprobar, para esta elección de , ya sea de hecho = PAGS. por vértice ,
( )
∑ ∑grado( ) 1
( PAGS) =  PAGS  =
  ∼ 
2mi grado( )

1∑ grado( )
= 1= =  .  
2mi
∼ 
2mi

De hecho, nuestro candidato es una distribución estacionaria.

Para el gráfico de piruleta de la figura 3.1, la suma de los grados de los vértices es 38. Esta es la
distribución estacionaria.

Vértice 1 2 3 4 5 6 7 8 9 10

   5/38 5/38 5/38 5/38 5/38 6/38 2/38 2/38 2/38 1/38
◾

El paseo aleatorio simple en un gráfico es un caso especial de paseo aleatorio en un gráfico

ponderado, con pesos de borde todos iguales a 1. La distribución estacionaria para un gráfico
ponderado tiene una forma similar a la de un gráfico no ponderado. Si es un vértice, digamos que una
arista esincidentea si es un punto final de la arista.
DISTRIBUCIÓN ESTACIONARIA 91

Distribución estacionaria para paseo aleatorio en un gráfico ponderado

DejarGRAMOser un gráfico ponderado con función de peso de borde (yo, j). Para caminar al azar
GRAMO, la distribución estacionaria es proporcional a la suma de los pesos de las aristas que
inciden en cada vértice. Eso es,

(  )
 =∑ , para todos los vértices , (3.4)
z (z)

dónde
∑
( ) = ( ,z)
z∼ 

es la suma de los pesos de los bordes en todos los bordes que inciden en .

Distribución estacionaria para paseo aleatorio simple en un gráfico

Para una caminata aleatoria simple en un gráfico no ponderado, configure (yo, j) =1, para todosyo, j.
Después,  ( ) = grado( ), lo que da

grado( ) grado( )
 =∑ = ,
zgrado(z) 2mi

dóndemies el número de aristas en el gráfico.

Ejemplo 3.9 La cadena de Markov de dos estados con matriz de transición

1 2
( )
1 1 -pags pags
q 1 -q
PAGS=
2

se puede expresar como un paseo aleatorio en el gráfico ponderado de la figura 3.2.

Después,  (1) =q(1 -pags) +pq=qy (2) =pq+pags(1 -q) =pags. Por la Ecuación (3.4), la
distribución estacionaria es
( )
q pags
 = , .
pags+q pags+q
◾

pq
q(1 -pags) 1 2 pags(1 -q)

Figura 3.2La cadena de Markov general de dos estados expresada como un gráfico ponderado.
92 CADENAS DE MARKOV A LARGO PLAZO

El lector puede preguntarse cómo se deriva el gráfico ponderado de la figura 3.2 a partir de
la matriz de transiciónPAGS. El algoritmo se explicará en la Sección 3.7.

Ejemplo 3.10Encuentre la distribución estacionaria para la caminata aleatoria en el hipercubo.

Soluciónlosk-el gráfico de hipercubo, como se describe en el ejemplo 2.8, tiene 2kvértices. Cada
vértice tiene gradok. La suma de los grados de los vértices esk2k, y la distribución estacionaria 
es dado por

k 1
 = = , para todos .
k2k 2k
Es decir, la distribución estacionaria es uniforme en el conjunto de vértices. ◾

El hipercubo es un ejemplo deregulargrafico. Una gráfica es regular si todos los grados de los
vértices son iguales. Para una caminata aleatoria simple en un gráfico regular, la distribución
estacionaria es uniforme en el conjunto de vértices, ya que jes constante para todosj. Además del
hipercubo, los ejemplos de gráficos regulares con distribuciones estacionarias uniformes incluyen el
gráfico de ciclo (deg( ) =2) y el gráfico completo enkvértices (grados( ) =k−1).

La conexión de valor propio*

La distribución estacionaria de una cadena de Markov está relacionada con la estructura propia de la matriz
de transición.
Primero, un recordatorio sobre la notación. para una matrizMETRO, latransponerdeMETROse denota
METROT. En este libro, los vectores se consideran como vectores fila. SiXes un vector,XTes un vector columna.

Recuerde que un vector propio deMETROes un vector columnaXTtal queMXT= XT,para algún

escalar . A este vector lo llamamosvector propio derechodeMETRO. Avector propio izquierdode
METROes un vector filay, que satisfaceyM= y, para algún escalar . Un vector propio izquierdo de
METROes simplemente un vector propio derecho deMETROT.
Si es la distribución estacionaria de una cadena de Markov y satisface PAGS= , después  es un
vector propio izquierdo dePAGScorrespondiente al valor propio =1.
Dejar denote el vector columna de todos los 1. Como las filas de una matriz estocástica
suman 1,PAGS = = (1) . Eso es, es un vector propio derecho dePAGScorrespondiente al valor
propio  =1.
Una matriz y su transpuesta tienen el mismo conjunto de valores propios, posiblemente con
vectores propios diferentes. Resulta que =1 es un valor propio dePAGSTcon algún vector propio
derecho correspondienteyT.Equivalentemente,yes un vector propio izquierdo dePAGS. Es decir, existe
un vector filaytal queyP=y. Si un múltiplo deyse puede normalizar para que sus componentes no sean
negativos y sumen 1, entonces esto da una distribución estacionaria. Sin embargo, algunas de las
entradas deypuede ser negativo o de valor complejo, y es posible que el vector no pueda
normalizarse para dar una distribución de probabilidad.
Si una cadena de Markov tiene una distribución estacionaria única, entonces la distribución es un
vector propio dePAGSTcorrespondiente a =1.
DISTRIBUCIÓN ESTACIONARIA 93

R:Distribución estacionaria y vectores propios

losRdominiopropio(P)devuelve los valores propios y los vectores propios de una matriz

cuadradaPAGS.Estos se dan en una lista con dos componentes:valorescontiene los valores
propios, yvectorescontiene los vectores propios correspondientes almacenados como una
matriz. SiPAGSes una matriz estocástica, un vector propio correspondiente al valor propio  
=1 se almacenará en la primera columna de lavectoresmatriz. losRdominio t(P)da la
transposición dePAGS.
A continuación, se encuentra un vector propio paraPAGSTcorrespondiente a =1.
Luego, el vector se normaliza para que los componentes sumen 1 para calcular la
distribución estacionaria. Ilustramos en la matriz meteorológica con distribución
estacionaria = (1∕9,3∕4,5∕36) = (0.111,0.750,0.139).

>P
Lluvia Nieve Claro
Lluvia 0.2 0.6 0.2
Nieve 0.1 0.8 0.1
Claro 0.1 0.6 0.3
> propio(P)
$valores
[1] 1,0 0,2 0,1
$vectores
[,1] [,2] [,3]
[1,] 0.5773503 0.6882472 - 0.9847319
[2,] 0.5773503 - 0.2294157 0.1230915
[3,] 0.5773503 0.6882472 0.1230915
> valores propios(P)$ # valores propios
[1] 1,0 0,2 0,1
# los valores propios de P y su transpuesta son iguales
> valores propios(t(P))$valores
[1] 1,0 0,2 0,1
# vectores propios de P-transpuesta
> vectores propios(t(P))$
[,1] [,2] [,3]
[1,] 0.1441500 - 2.008469e-16 7.071068e-01
[2,] 0.9730125 - 7.071068e-01 3.604182e-16
[3,] 0.1801875 7.071068e-01 - 7.071068e-01

# la primera columna da el vector propio para el valor propio 1

> x <- eigen(t(P))$vectores[,1]
>x
[1] 0,1441500 0,9730125 0,1801875
# normalizar para que las filas sumen 1
> x/suma(x)
94 CADENAS DE MARKOV A LARGO PLAZO

[1] 0,1111111 0,7500000 0,1388889

# comando de una línea para encontrar la distribución estacionaria

> x <- eigen(t(P))$vectores[,1]; x/suma(x)
[1] 0,1111111 0,7500000 0,1388889

3.3 ¿PUEDES ENCONTRAR LA MANERA DE DECLARa?

El comportamiento a largo plazo de una cadena de Markov está relacionado con la frecuencia con la
que se visitan los estados. Aquí, observamos más de cerca la relación entre los estados y qué tan
accesibles son los grupos de estados entre sí.
decir ese estadojesaccesibledel estadoi, siPAGSnorte>0, para algunosnorte≥0. Es decir, hay
yo
es probabilidad positiva de alcanzarjdeien un número finito de pasos. estadosiyj
comunicarsesiies accesible desdejyjes accesible desdei.
La comunicación es una relación de equivalencia, lo que significa que cumple las
siguientes tres propiedades.

1.(Reflexivo)Todo estado se comunica consigo mismo.

2.(Simétrico)Siise comunica conj, despuésjse comunica coni.
3.(Transitivo)Siise comunica conj, yjse comunica conk, despuési se
comunica conk.

La propiedad 1 se mantieneyodesdePAGS0=PAGS(X0=i|X0=i) =1. Se sigue la propiedad 2

ya que la definición de comunicación es simétrica. Para la Propiedad 3, suponga queise
comunica conj, yjse comunica conk. Entonces, existenorte≥0 ymetro≥0 tal que PAGSnorte>
yPAGSmetro>0.
0 yo jk
Por lo tanto,

∑
PAGSnorte+metro=
PAGSnortePAGSmetro≥ nortePAGSmetro>0.
yo eso es PAGSyo jk
t

De este modo,kes accesible desdei. Similarmente,ies accesible desdek.

Dado que la comunicación es una relación de equivalencia, el espacio de estados se puede dividir
en clases de equivalencia, denominadasclases de comunicacion. Es decir, el espacio de estado se
puede dividir en subconjuntos separados, cada uno de cuyos estados se comunica entre sí pero no se
comunica con ningún estado fuera de su clase.
Un gráfico de transición modificado es una herramienta útil para encontrar las clases de
comunicación de una cadena de Markov. Los vértices del gráfico son los estados de la cadena.
Se dibuja un borde dirigido entreiyjsiPAGSyo>0. Para efectos de estudiar la relación de
comunicación entre estados, no es necesario etiquetar los bordes con probabilidades.