Capı́tulo 3:

Cadenas de Markov.

Una propiedad de especial importancia que poseen los ya estudiados caminos aleatorios
y procesos de ramificación, es que sus valores en el n−ésimo paso sólo dependen de
los valores en el (n − 1)−ésimo paso, y no de los anteriores. Esta propiedad conocida
como propiedad markoviana es de gran importancia en el estudio de estos procesos, y
en el estudio general de la teorı́a de procesos estocásticos, y por ello prestamos especial
dedicación en este capı́tulo. A lo largo del capı́tulo se supondrá que trabajamos con
procesos de parámetro discreto, que toman valores discretos en un conjunto numerable.

3.1. Cadenas de Markov

Definición 3.1 Un proceso X = {Xn : n ≥ 0}, es una cadena de Markov si satisface
la siguiente condición, llamada condición de Markov:

P (Xn = xn | X0 = x0 , X1 = x1 , . . . , Xn−1 = xn−1 ) = P (Xn = xn | Xn−1 = xn−1 )

∀n ≥ 1 y ∀x0 , x1 , . . . , xn−1 , xn ∈ S.

Observación: Intuitivamente, se interpreta esta ecuación como que, dado el “presente”

del proceso, el “futuro” es independiente del “pasado”. Es decir, una cadena de Markov
es una sucesión de v.a. que “ven el pasado a través del último suceso”.

Nota 3.1 La propiedad markoviana es equivalente a cualquiera de las siguientespropie-

dades:

1. P (Xn = xn |Xn1 = xn1 , Xn2 = xn2 , . . . , Xnk = xnk ) = P (Xn = xn |Xnk = xnk )
∀n ≥ 0, ∀k; 0 ≤ n1 ≤ n2 ≤ . . . ≤ nk ≤ n; xn1 , . . . , xnk , xn ∈ S.
2. P (Xn+m = xn+m | X0 = x0 , . . . , Xn = xn ) = P (Xn+m = xn+m | Xn = xn )
∀n ≥ 0, m ≥ 1; x0 , . . . , xn , xn+m ∈ S.

Es decir, el valor en el instante n−ésimo depende solamente de la última observación,

que no tiene porque ser la del instante (n − 1)−ésimo.

41
Nota 3.2 La evolución de una cadena de Markov viene descrita por sus “probabilidades
de transición”, pnij = P (Xn+1 = j | Xn = i), que en un principio dependen de n, i y j.
Restringiremos nuestro estudio al caso de que no dependa de n , y sólo sean relevantes i
y j.
No obstante, señalar que cuando las probabilidades de transición dependan de la etapa
n, se dirá que la cadena de Markov es no homogénea.

Definición 3.2 Diremos que una cadena de Markov X es homogénea si

P (Xn+1 = j | Xn = i) = P (X1 = j | X0 = i) ∀n,

es decir, la probabilidad de transición no depende de la etapa n.

Nota 3.3 A partir de ahora consideraremos que todas las cadenas de Markov que tratemos
son homogéneas, a no ser que se diga explı́citamente lo contrario.

Definición 3.3 Dada una cadena de Markov X , definimos su matriz de transición,

P, como la matriz de las probabilidades de transición de dimensión |S| × |S|, Esto
es:
P = (pij )i,j∈S donde pij = P (X1 = j | X0 = i).

Ejemplo: (El clima en la tierra de Oz)

Según el cuento, en la tierra de Oz nunca hay dos dı́as seguidos con buen tiempo. A
un dı́a soleado siempre le sigue (con igual probabilidad) un dı́a de lluvia o nieve. Por otra
parte, si un dı́a tenemos mal tiempo hay 2 posibilidades, que el tiempo sea el mismo al dı́a
siguiente o que cambie. De este modo, si un dı́a nieva (o llueve) al dı́a siguiente nevará (o
lloverá) con probabilidad 12 ; pero si cambia el tiempo sólo la mitad de las veces será un
dı́a soleado.

Resolución:

Sea Xn ≡ Tiempo en la tierra de Oz el dı́a n-ésimo.

(Xn ) es una cadena de Markov, ya que el tiempo en el dı́a n-ésimo sólo

dependerá del tiempo que haga el dı́a anterior.

Para estudiar este problema, en primer lugar calculamos las probabilidades de tran-
sición; es decir, las probabilidades de que teniendo cierto tiempo un dı́a determinado al
dı́a siguiente el tiempo cambie. Para ello, notaremos por s si el dı́a está soleado, con l si
llueve y con n si nieva.

42
 pss = 0 de un dı́a soleado a un dı́a soleado
psl = 1/2 de un dı́a soleado a un dı́a lluvioso
psn = 1/2 de un dı́a soleado a un dı́a con nieve
pll = 1/2 de un dı́a lluvioso a un dı́a lluvioso
pls = 1/4 de un dı́a lluvioso a un dı́a soleado
pln = 1/4 de un dı́a lluvioso a un dı́a con nieve
pnn = 1/2 de un dı́a con nieve a un dı́a con nieve
pnl = 1/4 de un dı́a con nieve a un dı́a lluvioso
pns = 1/4 de un dı́a con nieve a un dı́a soleado

Ordenamos todos estos datos en la siguiente tabla:

s l n
s 0 1/2 1/2
l 1/4 1/2 1/4
n 1/4 1/4 1/2

donde las filas indican el tiempo en un dı́a determinado, las columnas el tiempo que
hace al dı́a siguiente y las entradas son las probabilidades de cambio o transición.

A partir de aquı́ obtenemos la matriz de transición:

 
0 1/2 1/2
P =  1/4 1/2 1/4 
1/4 1/4 1/2

Ejemplo: Sea el proceso estocástico X = {Xn : n ≥ 0}, definido por:


 p si j = i + 1
P (Xn = j | Xn−1 = i) = q si j = i donde q = 1 − p.

0 en casao contrario

Tenemos que,

P (Xn = j | Xn−1 = i, Xn−2 = xn−2 , . . . , X0 = x0 ) = P (Xn = j | Xn−1 = i)

Luego verifica la condición de Markov.

Veamos ahora la matriz de transición. Dado que S = {0, 1, 2, . . .}, la matriz de transi-
ción va a ser de dimensión infinita:

43
  
q p 0 0 ··· 0 ···
 0 q p 0 ··· 0 ··· 
 
 0 0 q p ··· 0 ··· 
 .. .. .. . . .. .. 
 .. 
P= . . . . . . . 
 
 0 0 0 0 q p ··· 
 
 0 0 0 0 0 q ··· 
.. .. .. .. .. .. . .
. . . . . . .

Proposición 3.1 La matriz de transición de una cadena de Markov P es una matriz

estocástica, es decir, verifica:

Cada elemento de P es no negativo,

pij = P (Xn+1 = j | Xn = i) ≥ 0; ∀i, j ∈ S.

Cada fila de P suma 1,

X X
pij = P (X1 = j | X0 = i) = 1
j∈S j∈S

Estudiaremos las cadenas de Markov a “corto plazo” y a “largo plazo”. Como ya

hemos visto, la matriz de transición nos permite el estudio a “corto plazo”, describiremos
la evolución a “largo plazo” como sigue:

Definición 3.4 La matriz de transición del n-ésimo paso, Pn = (pij (n)), es la

matriz de las probabilidades de transición en el n−ésimo paso desde el origen,

pij (n) = P (Xn = j | X0 = i)

Es decir, es la probabilidad de partiendo de i llegar a j en n pasos.

Nota 3.4 Trivialmente P1 = P.

En el siguiente teorema, mostraremos la relación que existe entre el desarrollo a “largo

plazo” y el desarrollo a “corto plazo”, y veremos como Xn depende de la variable inicial
X0 .

Teorema 3.1 (Ecuaciones de Chapman-Kolmogorov)

X
pij (m + n) = pik (m)pkj (n)
k∈S

44
Demostración:
prob. total
pi,j (m + n) = P (Xn+m = j | X0 = i) =
P (A ∩ B|C) = P (A|B ∩ C)P (B|C)
| {z }
X ↓
= P (Xn+m = j, Xm = k | X0 = i) =
k∈S
X cond. Markov
= P (Xn+m = j | Xm = k, X0 = i)P (Xm = k|X0 = i) =
k∈S
X
= P (Xn+m = j | Xm = k)P (Xm = k|X0 = i) =
k∈S
X
= pik (m)pkj (n)
k∈S

Nota 3.5 De aquı́ se deduce que Pm+n = Pm Pn y, por lo tanto, que Pn = Pn .

Estudiaremos ahora la función de probabilidad de la variable aleatoria Xn , notaremos

xni = P (Xn = i) ≡ Probabilidad de que la cadena en la etapa n esté en el estado i.

xn = (xn1 , . . . , xn|S| ).

Veamos la relación que hay entre xni y la matriz de transición.

Lema 3.1 xm+n = xm Pn y, por lo tanto, xn = x0 Pn .

Demostración:
P.T.
X
xjm+n = P (Xm+n = j) = P (Xm+n = j, Xm = i) =
i∈S
X X
= P (Xm+n = j | Xm = i)P (Xm = i) = xm m m n
i pij (n) = (x Pn )j = (x P )j .
i∈S i∈S

Observación: La evolución aleatoria de una cadena de Markov queda completamente

determinada por su matriz de transición P y su distribución de densidad inicial x0 .
Por lo tanto, el estudio de las cadenas de Markov es reducible al estudio algebraico de
las propiedades de las matrices de transición.
Ejemplo: Camino Aleatorio.
S = {0, ±1, ±2, . . .}. Partı́cula que se mueve hacia arriba o hacia abajo.

 p si j = i + 1
pij = q si j = i − 1 P = (pij )

0 e.c.c.

45
• Calcular la matriz de transición del n−ésimo paso.
Podrı́amos intentar calcular Pn partiendo de la matriz anterior por sucesivas multipli-
caciones, pero en éste caso podemos proceder:
Si hubiese u pasos hacia arriba, tenemos
 
n
pij (n) = pu q n−u
u

j−i+n
como j − i = u − (n − u) ⇒ j − i = 2u − n ⇒ u = ∈ Z. Por tanto:
2
  

 n n+j−i n−j+i
n+j−i p 2 q 2 si n + j − i par
pij (n) = 2


0 en caso contrario

Ejemplo: Número de caras en sucesivos lanzamientos de una moneda.

Sea la cadena Y = {Yn : n ≥ 0}, con Y0 = 0, que representa el número de caras en n
lanzamientos.
)
P (Yn+1 = s + 1 | Yn = s) = p
∀n ≥ 0; 0 < p < 1.
P (Yn+1 = s | Yn = s) = q = 1 − p

• Calcular pij (m):

 
m
pij (m) = P (Yn+m = j | Yn = i) = pj−iq m−j+i , j ≥ i.
j −i

Luego que en m lanzamientos salgan j − i caras ∼ Bi(m, p).

Ejemplo: Si perturbamos el proceso anterior y definimos,

X = {Xn : n ≥ 0}

donde Xn = Yn (mod. 10).

En este caso, tenemos solo 10 estados, S = {0, 1, . . . , 9}. Luego la matriz de transición es
de orden 10 × 10:
 
q p 0 0 ··· 0
 0 q p 0 ··· 0 
 
 0 0 q p ··· 0 
 
P =  .. .. .. . . .. ..
 . . . . . .
 
 0 0 0 ··· q p 
p 0 0 ··· 0 q

46
Ejemplo:
El nivel de negocio de la Bolsa puede considerarse cada dı́a alto (A) o bajo (B). Para un
periodo de 5301 dı́as se dispone de la secuencia BAABBA..., y que nos permite representar
la alternancia mediante el cuadro adjunto:

B A
B 3077 543
A 588 1092

¿Podrı́a indicar alguna relación entre la duración de ciclos de dı́as de nivel alto con los
dı́as de nivel bajo a tenor de dichos datos?
Debemos normalizar la matriz por filas:

B A
B 0.85 0.15 = P
A 0.35 0.65

Supongamos que la bolsa está regida por dicho matriz de probabilidad.

Si la bolsa está baja ⇒ la probabilidad de que al dı́a siguiente esté baja es 0.85.
Si elevamos la matriz al cuadrado, P2 , significa el pasar de A a B o de B a A en dos dı́as.
Si vamos calculando potencias de P, veamos por ejemplo P8 ,
 359 153 
 512 512 
P8 =  
357 155
512 512
observamos que las dos filas se van pareciendo cada vez más, el sistema se va estabilizando.
Nosotros estamos interesados en lo que ocurre en el lı́mite, es decir,
" #
0.7 0.3
lı́m Pn = (se obtiene resolviendo πP = π).
n→∞ 0.7 0.3
Esto va a representar la fracción de tiempo que la bolsa está en B y la fracción de tiempo
que la bolsa está en A. Entonces nos dice que la bolsa está más tiempo en baja que en
alta.

Nota 3.6 πi ≡ probabilidad estacionaria de estar en el estado i.

1
Siendo µi = ≡ frecuencia que tarda en ser visitado el estado i.
πi

47
 Ası́,
)
µ1 = 1.4 → la bolsa tarda en volver a baja 1.4 dı́as.
⇒
µ2 = 3.3 → la bolsa tarda en volver a alta 3.3 dı́as.
⇒ tarda en volver a alta más del doble que en volver a baja.

Nota 3.7 Nos interesa, para estos modelos, ver si se ajusta a una cadena de Markov y,
en tal caso, hallar la matriz de transición y su comportamiento lı́mite.

Ejemplo: Un taller de reparación se ocupa de dos tipos de motores. La reparación de un

motor de tipo M1 requiere dos dı́as y la del tipo M2 sólo un dı́a. La probabilidad de averı́a
para los motores de tipo uno es de 1/3 mientras que es de 1/2 para los de tipo dos.
Los trabajos no admitidos en el taller se encargan al exterior.
Sabiendo que si una jornada de reparación ha sido asignada a un motor de tipo uno, se
rechaza todo trabajo que pueda presentarse al dı́a siguiente; en otro caso se admitirá cual-
quier tarea si no se presenta más que una.
Decidir que polı́tica es mejor: dar prioridad a los motores de tipo uno (dos) cuando se
presenten para su reparación motores de ambos tipos.
Podemos tener el taller sin trabajo, con un motor de tipo 1 en un dı́a,con un motor de
tipo 1 en dos dı́as o con un motor de tipo 2. Al dı́a siguiente el taller puede estar en tres
estados distintos, de los cuatro posibles . Intentemos determinar la matriz de transición
dando prioridad al motor de tipo 1, M1 :

0 1 2 3
NO TRABAJO 1

1

1 1 1


1− 3
1− 2 3
0 2
1− 3
ESTADO: 0
M1 (1)
0 0 1 0
ESTADO: 1
M1 (2) 1

1

1 1 1


1− 3
1− 2 3
0 2
1− 3
ESTADO: 2
M2 1

1

1 1 1


1− 3
1− 2 3
0 2
1− 3
ESTADO: 3
 
1/3 1/3 0 1/3
 
 0 0 1 0 
 
 1/3 1/3 0 1/3 
 
1/3 1/3 0 1/3
Dando prioridad al motor de tipo 2, M2 , tenemos:

48
  
1/3 1/6 0 1/2
 
 0 0 1 0 
 
 
 1/3 1/6 0 1/2 
1/3 1/6 0 1/2
El taller tiene dos comportamientos según elijamos la polı́tica de dar prioridad a M1 ó a
M2 , que están regidos por las dos matrices de transición.
Si calculamos la matriz lı́mite, haciendo π = πP tenemos:
 
1 1 1 1
π= , , , para el primer caso.
4 4 4 4
 
2 1 1 3
π= , , , para el segundo caso.
7 7 7 7
Ası́, dado que no queremos tener mucho tiempo el taller 
parado, 
nos interesa la polı́tica
2 1
del tipo 1, pues a largo plazo tiene mas ocupado el taller, > .
7 4

3.2. Clasificación de estados.

Podemos pensar en el desarrollo de una cadena como el movimiento de un partı́cula
que salta entre los estados de S en cada momento. Nos interesaremos por el número
(posiblemente infinito) de instantes que tarda la partı́cula en regresar a su punto de
origen. Sin embargo, ¿ha de volver la partı́cula a su punto inicial? Con esta pregunta en
mente realizamos la siguiente definición.

Definición 3.5 El estado i es persistente ( o recurrente) si:

P (Xn = i para algún n ≥ 1 | X0 = i) = 1

es decir, si la probabilidad de que la partı́cula regrese al estado i, habiendo empezado en

i, es 1. Si el estado i no es persistente lo llamaremos al estado transitorio, es decir, si
esta probabilidad es menor que la unidad.

También estamos interesados en el número de pasos hasta la primera visita al estado

j partiendo del estado i. La probabilidad de que partiendo del estado i lleguemos por
primera vez al estado j en n pasos la representamos por:
(
fij (n) = P (X1 6= j, X2 6= j, . . . , Xn−1 6= j, Xn = j | X0 = i)
fij (0) = 0

49
 Notaremos la probabilidad de que partiendo del estado i alcancemos alguna vez el
estado j será: X
fij = fij (n)
n≥1

Claro es que el estado i es persistente si y sólo si fii = 1.

Ahora buscamos un criterio para determinar si un estado es persistente o no, basándo-
nos en las probabilidades de transición. Como ya hicimos en las caminos aleatorios, defi-
nimos las siguientes funciones generatrices:
X
Pij (s) = pij (n)sn
n≥0
X
Fij (s) = fij (n)sn
n≥1

Con la convención de que pij (0) = δij (delta de Kronecker) y fij (0) = 0 ∀i, j ∈ S.
Claramente se tiene que
fij = Fij (1).
A continuación, veremos que se verifican relaciones análogas al caso de los caminos
aleatorios entre las dos funciones generatrices Fij y Pij .

Teorema 3.2 Se verifican las siguientes relaciones:

1. Pii (s) = 1 + Pii (s)Fii (s).

2. Pij (s) = Pjj (s)Fij (s) si i 6= j.

Demostración:
Fijamos i, j ∈ S, sea Am = {Xm = j} y Bm el suceso de que la primera visita a j
ocurra en el instante m, es decir, Bm = {Xr 6= j para 1 ≤ r < m, Xm = j}. Los Bm son
disjuntos luego tenemos:
m
X
P.T.
P (Am | X0 = i) = P (Am ∩ Br | X0 = i)
r=1

Utilizando la propiedad de Markov y la definición de probabilidad condicionada tenemos:

P (Am ∩ Br | X0 = i) = P (Am | Br ∩ X0 = i)P (Br | X0 = i) =

= P (Am | Xr = j)P (Br | X0 = i) = pjj (m − r)fij (r)
Ası́ pues:
m
X
pij (m) = P (Am | X0 = i) = pjj (m − r)fij (r), ∀m ≥ 1.
r=1

50
Ahora basta multiplicar por sm y sumar en m aplicando las propiedades sobre convolución
para llegar a lo que querı́amos. Ası́,
∞
X ∞ X
X m
m
pij (m)s = pjj (m − r)fij (r)sm =
m=1 m=1 r=1
X∞ X ∞
= pjj (m − r)sm−r fij (r)sr =
r=1 m=r
∞
X ∞
X
= pjj (m − r)sm−r fij (r)sr .
m=r r=1

Luego,

Pij (s) − δij = Pjj (s)Fij (s).

Veamos ahora como caracterizamos los estados a partir de las probabilidades de tran-
sición.

Corolario 3.1 Los estados de una cadena de Markov se clasifican en:

∞
X
1. Un estado j es persistente ⇐⇒ pjj (n) = ∞. Además, en este caso:
n=0

∞
X
pij (n) = ∞, ∀i tal que fij > 0.
n=0

∞
X
2. Un estado j es transitorio ⇐⇒ pjj (n) < ∞. Además,
n=0

∞
X
pij (n) < ∞, ∀i.
n=0

Demostración:
1. Sea I{Xn =i} la variable indicador de {Xn = i}.

 
1 si Xn = i
I{Xn =i} =
0 si Xn =
6 i

I{Xn =i} ≈ Be(p) ; con p = P [Xn = i|X0 = i]

51
 Sea Ni el número de veces que se visita el estado i (dado X0 = i)

X∞ ∞
X
E[Ni ] = E[ I{Xn =i} |X0 = i] = E[I{Xn =i} |X0 = i] =
n=0 n=0
∞
X ∞
X (∗)
P [Xn = i|X0 = i] = pii (n) = ∞ ⇐⇒ i es recurrente.
n=0 n=0

Ya sólo quedarı́a probar el paso (∗):

P [Ni = n] = fiin−1 (1 − fii ) ; n = 1, 2, ...

Ni ≈ Ge(p) ; p = 1 − fii .
1 1
N(i) ≈ Ge(p) =⇒ E[Ni ] = =⇒ E[Ni ] =
p 1 − fii

E[Ni ] = ∞ ⇐⇒ fii = 0 ⇐⇒ i es recurrente.

1
Del apartado 1. del teorema 3.2 tenemos que Pjj (s) = , ∀|s| < 1. Entonces,
1 − Fjj (s)
si tomamos lı́mite tenemos

lı́m Pjj (s) = ∞ ⇔ lı́m Fjj (s) = 1 ⇔ fjj = 1

s→1 s→1

es decir,
∞
X
Pjj (1) = pjj (n) = ∞ ⇔ j es persistente.
n=0

Cuando i 6= j se tiene
∞
X X∞
s→1
Pij (s) = Fij (s)Pjj (s) =⇒ pij (n) = fij pjj (n) = ∞.
n=0
|{z} n=0
∨
0

Para b,razonamos por exclusión, si la suma es infinita ⇒ el estado es persistente. Por

tanto, si la suma es finita ⇒ el estado será transitorio.
n→∞
Corolario 3.2 Si j es transitorio ⇒ pij (n) −→ 0, ∀i.

Demostración:
Basta aplicar el corolario anterior:
∞
X n→∞
j es transitorio ⇔ pjj (n) < ∞, ∀i ⇒ pij (n) −→ 0, ∀i.
n=0

52
Observación: Ası́ pues cada estado es ó persistente ó transitorio. Es intuitivamente claro
que el número N(i) de veces que la cadena visita el estado i satisface:

1 si i es persistente
P (N(i) = ∞) =
0 si i es transitorio

Ya que tras cada visita a i el regreso es cierto si y solo si fii = 1, es decir, si i es persistente.

Supongamos {Xn : n ≥ 0} una cadena de Markov tal que X0 = i. Otra forma de

clasificar los estados es a través de la variable que nos indica el número de instantes antes
de la primera visita al estado i :

Ti = mı́n{n ≥ 1 : Xn = i}

Tomamos el convenio de que Ti = ∞ cuando tal visita nunca ocurra.

Tenemos que P (Ti = ∞ | X0 = i) > 0 si y solo si i es transitorio, y en este caso,
E[Ti | X0 = i] = ∞.

Definición 3.6 Definimos el tiempo medio de recurrencia µi del estado i como:

∞
X
µi = E[Ti | X0 = i] = nfii (n)
n=0

es decir, como el número de instantes esperado para regresar al estado i por primera
vez.

Nota 3.8 Si i es transitorio =⇒ µi = ∞.

Nota 3.9 Puede darse el caso de que siendo i persistente el tiempo medio de recurrencia,
µi , sea infinito; siendo éste el caso en el que aunque el regreso a i es cierto se necesita un
tiempo infinito. Ası́ pues, realizamos la siguiente distinción entre los estados persistentes.

Definición 3.7 Sea i un estado persistente, entonces:

(
i es un estado persistente nulo si µi = ∞
i es un estado persistente no nulo si µi < ∞

El siguiente teorema nos da una caracterización para estados persistentes nulos.

n→∞
Teorema 3.3 Un estado i es persistente nulo ⇔ pii (n) −→ 0. Además, en este caso,
n→∞
pji(n) −→ 0, ∀j.

53
 ∞
X
Nota 3.10 Destacar que al ser un estado j persistente se tiene que pij (n) = ∞, y
n=0
n→∞
ası́ para ser persistente nulo tiene que darse que pij (n) −→ 0, ∀i. También destacar
n→∞
que la condición pij (n) −→ 0 es necesaria para que un estado sea transitorio, pero no
suficiente como se mostró en el corolario 3.2.

Ejemplo: Recorrido Aleatorio.

Supongamos un recorrido aleatorio, y sean

p0 (n) ≡ probabilidad de volver al estado 0 tras n pasos.

f0 (n) ≡ probabilidad de 1a visita al estado 0 tras n pasos.

• Calcular P0 (s) y F0 (s).

Como P0 (s) = 1 − F0 (s)P0 (s), basta calcular una de ellas.
  

 n n n
n p2q2 si n par
p0 (n) = 2


0 si n impar

Con p0 (n) podemos calcular la f.g.p.:

∞
X ∞
X ∞ 
X 
2k 2k 1
P0 (s) = n
p0 (n)s = p0 (2k)s = pk q k s2k = (1 − 4pqs2 )− 2 .
k
n=0 k=0 k=0

Por tanto, )
1
P0 (s) = (1 − 4pqs2 )− 2 1
=⇒ F0 (s) = 1 − (1 − 4pqs2 )− 2
P0 (s) = 1 − F0 (s)P0 (s)

En base a ello podemos clasificar los estados de la cadena:

X ∞  − 12
1 1 1
Si p = ⇒ p0 (n) = P0 (1) = 1 − 4· · ·1 = ∞.
2 n=0
2 2

Luego el estado 0 es persistente ( por conexión, todos los estados son persistentes).
Para ver si son persistentes nulos o no nulos, calculamos µ0 :
∞ 
X ′ s 
µ0 = nf0 (n) = F0 (1) = . . . = √  =∞
1 − s 2 
n=0 s=1

Luego el estado 0 es persistente nulo. Aunque la probabilidad de volver al estado 0

es 1 (persistente), el no medio de pasos para volver es ∞.

54
 1 1
Si p 6= ⇒ P0 (1) = (1 − 4pq1)− 2 < ∞ ⇒ el estado 0 es transitorio.
2
( todos los estados son transitorios).

Finalmente, introducimos una definición que nos permite estudiar sobre los periodos
de tiempo en los cuales el regreso al punto de partida es posible.

Definición 3.8 Definimos el periodo d(i) de un estado i ∈ S como:

d(i) = mcd{n : pii (n) > 0}

es decir, como el mayor común divisor de los lapsos de tiempo tomados en regresar a i
cuando el regreso a i es posible. Diremos que un estado i es periódico si d(i) > 1 y que
un estado i es aperiódico si d(i) = 1.

Las cadenas de mayor aplicación son aquellas en las que los estados tienen mejor
comportamiento, por ello damos la siguiente definición

Definición 3.9 Diremos que un estado i es ergódico si es persistente no nulo y ape-

riódico. Es decir, si P (Xn = i para algún n ≥ 1 | X0 = i) = 1, µi < ∞ (el tiempo esperado
de regreso es finito) y mcd{n : pii (n) > 0} = 1.

3.3. Clasificación de las cadenas.

Comenzaremos viendo la forma en la que los estados de una cadena de Markov se
relacionan entre sı́.

Definición 3.10 Sean i, j ∈ S.

Diremos que i comunica con j(se denota i → j), si la cadena visita el estado j
con probabilidad positiva partiendo del estado i. Es decir, si

∃n ≥ 0 tal que pij (n) > 0.

Diremos que i y j están intercomunicados(se denota i ↔ j), si i → j y j → i.

Es decir, si
∃n, m ≥ 0 tales que pij (n) > 0 y pji (m) > 0.

Nota 3.11 La relación ↔ es de equivalencia y, por tanto, define una partición en el

conjunto de estados S en clases de equivalencia. Dentro de cada clase de equivalencia
todos los estados son del mismo tipo como veremos en el siguiente teorema.

Teorema 3.4 Supongamos que i ↔ j, entonces:

1. d(i) = d(j), es decir, i y j tienen el mismo periodo.

55
 2. i es transitorio ⇔ j es transitorio.
3. i es persistente nulo ⇔ j es persistente nulo.

Demostración:
1. Si i ↔ j ⇒ ∃m, n tales que pij (m) > 0 y pji (n) > 0.
Por el teorema de Chapman-Kolmogorov, tenemos:
pii (m + n) ≥ pij (m)pji (n) > 0 ⇒ m + n es múltiplo de d(i). (∗)
pjj (m + n) ≥ pji(n)pij (m) > 0 ⇒ m + n es múltiplo de d(j). (∗∗)
pii (m + d(j) + n) ≥ pij (m)pjj (d(j))pji(n) > 0 ⇒ m + d(j) + n es múltiplo de d(i). (⋆)
pjj (m + d(i) + n) ≥ pij (n)pjj (d(i))pji(m) > 0 ⇒ m + d(i) + n es múltiplo de d(j). (⋆⋆)

De aquı́, )
(∗) y (⋆) ⇒ d(j) es múltiplo de d(i)
⇒ d(i) = d(j).
(∗∗) y (⋆⋆) ⇒ d(i) es múltiplo de d(j)

2.
X X
Supongamos i transitorio ⇔ pij (n) < ∞ ⇒ ∀j, pij (n) < ∞.
n n

Supongamos ahora que i es transitorio y que hay otro estado j que comunica con él
que no lo es. Ası́, i transitorio, j no transitorio, i ↔ j. Entonces,
∃m, n tales que pij (m) > 0 y pji (n) > 0.
Por el teorema de Chapman-Kolmogorov, tenemos:
pii (m + r + n) ≥ pij (m)pjj (r)pji (n) = αpjj (r), ∀r,
donde α = pij (m)pji(n) > 0.
Sumando en r esta expresión,
X X α>0
X
∞> pii (m + r + n) ≥ α pjj (r) =⇒ pjj (r) < ∞ ⇒ j es transitorio.
r r r

3.
n→∞
Supongamos i persistente no nulo ⇔ pii (n) −→ 0.
Análogamente a la demostración de 2., pero usando la caracterización anterior, se llega
a que si i es persistente nulo ⇒ j también lo es, pues
n→∞
pii (m + r + n) −→ 0, y pii (m + r + n) ≥ αpjj (r)

56
con α = pij (m)pji (n) > 0. Entonces,
r→∞
pjj (r) −→ 0 ⇒ j es persistente nulo.

Nota 3.12 Por exclusión, si i es persistente no nulo, como j no puede ser ni transitorio
ni persistente nulo ⇒ j será persistente no nulo.

A continuación definimos distintos tipos de clases de estados:

Definición 3.11 Sea C ⊆ S un conjunto de estados, diremos que C es:

i. cerrado si ∀i ∈ C, j ∈
/ C, pij = 0.

ii. irreducible si ∀i, j ∈ C, i ↔ j.

Observación: Una vez que la cadena toma un valor en una clase cerrada de estados C
entonces nunca la dejará en el futuro. Si un conjunto de estados cerrado está formado por
un único estado, a este estado se le llamará absorbente.
Es claro que las clases de equivalencia de ↔ son irreducibles. Diremos que C tiene
una propiedad si todos los estados de C tienen dicha propiedad. Si todo el conjunto de
estados S es irreducible entonces diremos que la cadena es irreducible.
Podemos ya formular el siguiente importante teorema.

Teorema 3.5 (Teorema de descomposición de las Cadenas de Markov) El espa-

cio de estados S de una cadena de Markov X, tiene la siguiente partición única:

S = T ∪ C1 ∪ C2 ∪ · · ·

donde T es un conjunto de estados transitorios, y Ci son clases cerradas e irreducibles de

estados persistentes.

Nota 3.13 El teorema de descomposición nos muestra las posibilidades que pueden darse
en una cadena de Markov. Esto es, si X0 ∈ Cr , entonces la cadena nunca abandonará la
clase Cr y entonces, podemos considerar el espacio de estados S = Cr . Por otra parte,
si X0 ∈ T entonces, o la cadena permanece por siempre en T o se mueve a una clase
Ck y permanece ahı́ por siempre. Ası́, o la cadena siempre toma valores en el conjun-
to de estados transitorios o acaba en un conjunto cerrado persistente de estados donde
permanecerá por siempre. Veamos ahora que en el caso en el que S sea finito la primera
situación no puede darse.

Nota 3.14 Eventualmente T puede ser vacı́o.

Nota 3.15 Si |S| < +∞ ⇒ las cadenas son más sencillas.

57
Teorema 3.6 Si S es finito, todos los estados no pueden ser transitorios, siendo todos
los estados persistentes no nulos.

Demostración:
Por reducción al absurdo, supongamos que todos los estados son transitorios. Entonces
tendrı́amos que X
∀i, pij (n) = 1
j∈S

Además, por el corolario 3.2, tenemos que

n→∞
pij (n) −→ 0, ∀i, j ∈ S.

Luego: X X X
f ta.
1 = lı́m 1 = lı́m pij (n) = lı́m pij (n) = 0=0
n→∞ n→∞ n→∞
j∈S j∈S j∈S

Llegarı́amos a la misma contradicción si supusiésemos que existe un estado persistente

n→∞
nulo, ya que en este caso también se tiene que pij (n) −→ 0.

Ejemplo: Sea S = {1, 2, 3, 4, 5, 6}.

 
1/2 1/2 0 0 0 0
 
 3/4 1/4 0 0 0 0 
 
 
 1/4 1/4 1/4 1/4 0 0 
P=  1/4 0 1/4 1/4 0 1/4


 
 
 0 0 0 0 1/2 1/2 
 
0 0 0 0 1/2 1/2

Clasificación de los estados:

El estado 3 es transitorio, ya que para ser persistente tendrı́a que tener probabilidad
1 de volver a 3 saliendo de 3 y si salimos al estado 1 ya no volvemos a 3.
El estado 4 también es transitorio. Luego,

T = {3, 4}

La clase {1, 2} es irreducible , al igual que {5, 6} .

Con la matriz de transición es suficiente para conocer una cadena.
Utilizando los teoremas anteriores, tenemos que dada una cadena de Markov sobre el
espacio S, el conjunto de estados puede descomponerse como:

S = T ∪ C1 ∪ C2 ∪ · · ·

58
Renombrando a los estados adecuadamente llegamos a que la matriz de transición se
puede expresar como sigue:
 
C1 0 ··· 0 0
 0 C2 ··· 0 0 
 
 
P =  ... ..
.
..
.
..
.
..
.
 
 0 0 · · · Cm 0 
D1 D2 · · · Dm Q
donde Ci son las matrices correspondientes a los estados persistentes, y Di a los transi-
torios.
Ejemplo: Sea X una cadena de Markov con S = {1, 2, . . . , 10}. Sea
 
1/2 0 1/2 0 0 0 0 0 0 0
 
 0 1/3 0 0 0 0 2/3
0  0 0
 
 1 0 0 0 0 0 0 0 0 0 
 
 
 0 0 0 0 1 0 0 0 0 0 
 
 
 0 0 0 1/3 1/3 0 0 0 1/3 0 
 
P= 
 0 0 0 0 0 1 0 0 0 0 
 
 
 0 0 0 0 0 0 1/4 0 3/4 0 
 
 
 0 0 1/4 1/4 0 0 0 1/4 0 1/4 
 
 
 0 1 0 0 0 0 0 0 0 0 
0 1/3 0 0 1/3 0 0 0 0 1/3

Hacemos el siguiente grafo:

4 9
5

8 10 2 7
1 3

1,3 8 , 5 , 4 , 10 2,7,9

y ası́,

59
 
{1, 3} 
{2, 7, 9} conjuntos cerrados, irreducibles, recurrentes, no nulos.

{6}
{4, 5, 8, 10} conjunto transitorio.
{1, 3, 2, 7, 9, 6} ninguno es transitorio o recurrente nulo.
{6} es absorvente.
Luego la matriz de transición se puede expresar del siguiente modo:
 
1 0 0 0 0 0 0 0 0 0
 0 1/2 1/2 0 0 0 0 0 0 0 
 
 0 1 0 0 0 0 0 0 0 0 
 
 0 0 0 1/3 2/3 0 0 0 0 0 
 
 0 0 0 0 1/4 3/4 0 0 0 0 
P=  0 0


 0 1 0 0 0 0 0 0 
 0 0 0 0 0 0 0 1 0 0 
 
 0 0 0 0 0 1/3 1/3 1/3 0 0 
 
 0 0 1/4 0 0 0 1/4 0 1/4 1/4 
0 0 0 1/3 0 0 0 1/3 0 1/3

Ejemplo: Sean las cadenas de Markov dadas por las siguientes matrices de transición.
Identificar gráficamente el tipo de estado al que pertenecen cada uno de ellos.
a)
 
1/2 0 1/2 0 0
 
 0 1/4 0 3/4 0 
 
 
P1 =  0 0 1/3 0 2/3 
 
 1/4 1/2 0 1/4 0 
 
1/3 0 1/3 0 1/3
Hacemos en primer lugar un grafo de los estados. A través del grafo se puede identificar
qué estados son recurrentes y cuáles transitorios.
Asignamos a un estado cualquiera los signos ±. Por ejemplo, al estado 1.

Si se señala un estado con un signo + (por ejemplo el i) se señalan también con + los
estados j que siguen al i. Por ejemplo, hemos señalado 1 con +, entonces seguirá el
estado 3 con + y, después del estado 3, el estado 5 también con +.
Si se señala un estado con signo −, se señalan también con − a todos los estados
que lo preceden. Por ejemplo, si el 1 tiene signo −, ponemos signo − también a
los estados 4 y 5; como el 3 precede al 5 le ponemos también signo −, y como el 2
precede al 4, le ponemos también signo −.

60
 −
2
+
− 1
+
−
3

5
4

+ −
−

Aquellos estados señalados con el doble signo ± forman una clase de estados comuni-
cados. En nuestro caso, forman esa clase los estados 1,3,5.
Para ver lo que les ocurre a los estados restantes, le damos ± de partida a otro estado
que no esté en la clase que ya nos ha salido y repetimos los mismos pasos. En nuestro caso,
le damos ± al estado 2 por ejemplo, obteniendo que {2, 4} forman una clase comunicada.
+
−
2

+ 1
+
3

5
4

+ +
−

Tenemos entonces dos clases comunicadas, {1, 3, 5} y {2, 4}, ya que si cogemos otros
estados distintos de partida para asignarles el ± nos salen las mismas clases.

{2, 4} son estados transitorios porque cuando salen ya no vuelven. Una cadena finita
nunca puede tener todos sus estados transitorios.

Ahora reescribimos la matriz P1 de forma que los elementos de una misma clase estén
juntos. Ası́, nos queda:

61
  
1/2 1/2 0 0 0
 0 1/3 2/3 0 0 
 
P1 = 
 1/3 1/3 1/3 0 0 

 0 0 0 1/4 3/4 
1/4 0 0 1/2 1/4

b)  
0 0.8 0 0 0 0 0.2
 0 0.3 0 0 0 0 0.7 
 
 0 0 0.3 0.5 0.2 0 0 
 
P2 = 
 0 0 0.6 0 0.4 0 0 

 0 0 0 0.4 0.6 0 0 
 
 0.1 0.1 0.1 0.2 0.2 0.3 0 
0.4 0.1 0.1 0 0.1 0.2 0.1

+− − −+
−1
2
3 + {1 , 2 , 6 , 7} Transitorios
7 +− {3 , 4 , 5}
−
+−

4
6 5
−+ +
− +−
+− +

Reescribimos la matriz P2 :
 
0.3 0.5 0.2 0 0 0 0
 0.6 0 0.4 0 0 0 0 
 
 0 0.4 0.6 0 0 0 0 
 
P2 = 
 0 0 0 0 0.8 0 0.2 

 0 0 0 0 0.3 0 0.7 
 
 0.1 0.2 0.2 0.1 0.1 0.3 0 
0.1 0 0.1 0.4 0.1 0.2 0.1
Ahora nos interesa saber que ocurre con la cadena {Xn } cuando n → ∞. La matriz P
en conjunto no tiene un estado lı́mite, sino cada uno de los estados que están en la misma
clase.

62
3.4. Distribuciones estacionarias y teoremas lı́mite.
¿Cómo se comportará una cadena cuando haya pasado un largo perı́odo de tiempo?

Definición 3.12 El vector π = (πj )j∈S es una distribución estacionaria de la cadena

si:

1. Es una distribución de probabilidad, es decir:

X
πi ≥ 0, πi = 1.
i∈S

X
2. π = πP, i.e., πj = πi pij ∀j ∈ S.
i∈S

Observación: Se dice distribución estacionaria, pues si iteramos se obtiene:

πP2 = (πP)P = πP = π ⇒ . . . ⇒ πPn = π ∀n ≥ 0.

Luego si X0 sigue la distribución dada por π, se tiene que dicha distribución no será mo-
dificada, es decir, ∀n, Xn tiene la misma distribución.
A continuación enunciamos un teorema importante .

Teorema 3.7 (Teorema fundamental de las cadenas de Markov) Una cadena de

Markov tiene una distribución estacionaria π si y sólo si todos sus estados son persistentes
no nulos; en cuyo caso, la distribución π es única y viene dada por πi = µ−1 i para cada
i ∈ S, donde µi es el tiempo medio de recurrencia del estado i.
" #
1/2 1/2
Ejemplo: Sea P =
1/4 3/4
!  
1/2 1/2 1 1 1 9
πP = π ⇒ (π1 , π2 ) = (π1 , π2 ) = π1 + π2 , π1 + π2 ⇒
1/4 3/4 2 4 2 4

1
( 
 π = 14 π2
2 1
1 1
π1 = 2 π1 + 4 π2  π1 = 1
1 1 3
⇒ ⇒ 4
π2 = 2
π1 ⇒
π2 = 12 π1 + 34 π2 

 π +π =1 π2 = 2
3
1 2

Nota 3.16 Observemos que:

i. Si la cadena es transitoria o recurrente nula, como µj = ∞, entonces

n→∞
pij (n) −→ 0, ∀i, j ∈ S.

63
ii. Si la cadena es persistente no nula,
n→∞
pij (n) −→ πj = µ−1
j .

X n→∞ 1
iii. P (Xn = j) = P (X0 = i)pij (n) −→ .
i
µj
Notese que lı́m pij (n) no depende del punto inicial X0 = i.
n→∞

iv. Si X es periódica de periodo d, Y = {Yn = Xnd : n ≥ 0} es una cadena aperiódica:

n→∞ d
pjj (nd) = P (Yn = j | Y0 = j) −→ .
µj

Nota 3.17 Si X es irreducible y aperiódica, el sistema siguiente tiene solución única.

 X

 π(j) = π(i)pij j ∈ S

 i∈S
X

 π(j) = 1


j∈S

Además, se tiene
π(j) = lı́m Pijn ∀i, j ∈ S
n→∞

Una cadena de Markov no tiene porque tener distribución estacionaria, para que ası́ sea
ha de ser una cadena irreducible y todos sus estados deben ser persistentes no nulos.
Luego para estudiar el comportamiento lı́mite de una cadena cualquiera, hay que
considerar cada una de sus clases Ci , ya que cada una va a tener un comportamiento
lı́mite. También la clase de estados transitorios T va tener su comportamiento; aunque
acabe por desaparecer, nos interesa ver en cuanto tiempo. Por tanto, es fundamental para
el estudio del comportamiento lı́mite la separación de una cadena en estados persistentes
y transitorios, pues es en la separación donde está el comportamiento lı́mite. Se estudia
cada una por separado, se hace π = πCi .
La matriz lı́mite de Pn va a coincidir en cada fila con la distribución estacionaria:
 
π
 π 
P∗ =  
 ··· 
π

si la cadena es irreducible.
A continuación vemos resultados sobre el comportamiento asintótico de las cadenas
de Markov con estados periódicos.

64
Lema 3.2 Sea X una cadena de Markov irreducible con estados periódicos recurrentes
de perı́odo δ. Entonces, los estados se dividen en δ clases disjuntas B1 , B2 , . . . , Bδ (clases
cı́clicas), tales que pij = 0, a menos que:

i ∈ B1 y j ∈ B2 ó i ∈ B2 y j ∈ B3 ó . . . ó i ∈ Bδ y j ∈ B1 .

Teorema 3.8 Sea P la matriz de transición de una de cadena de Markov con estados
periódicos recurrentes de periodo δ, y sean B1 , . . . , Bδ definidas en el lema anterior. En-
tonces, en la cadena de Markov con matriz de transición P = Pδ las clases B1 , . . . , Bδ son
cerradas e irreducibles de estados aperiódicos.

Del lema anterior se deduce que si i ∈ Bα entonces:

P (Xm ∈ Bβ | X0 = i) = Pi (Xm ∈ Bβ ) = 1, β = α + m(mod δ).

Teorema 3.9 Sean P y Bα como en el teorema anterior, y supongamos que la cadena no

es nula. Entonces para algún m = {0, 1, . . . , δ − 1},
(
π(j) si i ∈ Bα j ∈ Bβ β = α + m (mod δ)
lı́m Pijnδ+m =
0 en otro caso

Supongamos que tenemos una cadena finita. Veamos el procedimiento que vamos a
seguir para calcular la matriz lı́mite de una cadena de Markov:

1. Identificar los conjuntos cerrados e irreducibles, es decir, las distintas clases de es-
tados persistentes.

2. Los restantes son los transitorios.

3. Estudiar la periodicidad de cada clase cerrada por separado.

Recordemos que la matriz después de haber identificado cada clase y haber organizado
las filas y columnas según esa clasificación, la matriz P toma la forma:
 
P1 0 · · · 0 0
 0 P2 · · · 0 0 
 
 .. .
. . . .
. .
. 
P= . . . . . 
 
 0 0 · · · Pm 0 
D1 D2 · · · D m Q
donde Pi son los estados persistentes y Di los transitorios.
b donde las cajas Pi que tenemos
Aplicando los resultados anteriores tenemos la matriz P
en P se contraen a un número que es la unidad, es decir,

65
  
1
 1 
  X
b  .. 
P= .  donde bj (i) = pik i ∈ D.
 
 1  k∈Cj

b1 b2 · · · bm Q

b tiene la forma:
Ası́, la matriz P !
I 0
b=
P
B Q

Para continuar necesitamos calcular las matrices:

F = [fij ]i,j∈S
R = [rij ]i,j∈S
donde R es lo que se conoce como matriz de potencial, siendo rij el número medio de
visitas a j partiendo de i. Por fij notábamos la probabilidad de alcanzar el estado j, por
primera vez, partiendo del i. Luego,

rij = E[Nj | X0 = i]

donde Nj representa el número de visitas a j.

Veamos como calcular R y F .

Cálculo de R: R = (rij )i,j∈S viene dada por los siguientes valores:

Si j es recurrente, entonces:
(
0 si fij = 0
rij =
∞ si fij > 0

Si j es transitorio e i es recurrente ⇒ rij = 0.

Si j e i son transitorios, entonces:

(rij )i,j∈D = (I − Q)−1 .

Cálculo de F : Para calcular F = (fij )i,j∈S, definimos la matriz G = (I − Q)−1 B.

Si i es transitorio y k es recurrente ⇒ fik = gij .

66
 Si i, j son transitorios tal que tienen rij < ∞, entonces:

 1

 fjj = 1 − r
jj

 rij
 fij =
rjj
Si i, j son recurrentes de la misma clase ⇒ fij = 1.
Si i es recurrente y j transitorio ó recurrente de distinta clase ⇒ fij = 0.

Una vez que hemos calculado R y F podemos calcular la matriz lı́mite P ∗ , que en
realidad es el lı́mite de cada una de las entradas, pues cada clase recurrente Pk tiene su
propio lı́mite. Cuando llamamos a P∗ matriz lı́mite nos estamos refiriendo al comporta-
miento lı́mite de todos los estados por separado, en conjunto no es realmente una matriz
lı́mite (aunque por abuso del lenguaje la llamemos ası́); luego podemos calcular la matriz
lı́mite de cada clase cerrada, no de la matriz lı́mite en general. Ası́, dada una matriz Pk ,
su matriz lı́mite viene dada por
π(k) = π(k)Pk
X
donde πi (k) = 1.
i

Ası́, llegamos a:
 
P∗1
 P∗2 
 
 .. 
P∗ =  . 
 
 P∗m 
D1∗ D2∗ · · · Dm∗
0
donde Dk∗ nos indica la probabilidad de ir de los estados transitorios a los estados re-
currentes. Además, si i ∈ D (i.e., i es un estado transitorio), en esas cajas se verifica
que:
lı́m pnij = fij πj .
n→∞

Veamos ejemplos de como se lleva a la práctica:

Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 8}, y sea:
 
0.4 0.3 0.3 0 0 0 0 0
 0 0.6 0.4 0 0 0 0 0 
 
 0.5 0.5 0 0 0 0 0 0 
 
 0 0 0 0 1 0 0 0 
P=  0

 0 0 0.8 0.2 0 0 0  
 0 0 0 0 0 0.4 0.6 0 
 
 0.4 0.4 0 0 0 0 0 0.2 
0.1 0 0.3 0 0 0.6 0 0

67
 Se observa que,

{1, 2, 3}
clases de estados recurrentes, irreducibles y aperiódicos.
{4, 5}
{6, 7, 8} clases de estados transitorios, sólo pueden alcanzar los estados 1,2 y 3.
Tenemos,
 
1 0 0 0 0  
 0 1 0 0 0  0.4 0.6 0
 
b=
P 0 0 0.4 0.6 0  y Q= 0 0 0.2 
 
 0.8 0 0 0 0.2  0.6 0 0
0.4 0 0.6 0 0
Entonces,
 −1  
0.6 −0.6 0 125 75 15
1 
(I − Q)−1 = 0 1 −0.2  = 15 75 15 
66
−0.6 0 1 75 45 75

Luego la matriz potencial será:

 
∞ ∞ ∞ 0 0 0 0 0
 ∞ ∞ ∞ 0 0 0 0 0 
 
 ∞ ∞ ∞ 0 0 0 0 0 
 
 0 0 0 ∞ ∞ 0 0 0 
R=  0


 0 0 ∞ ∞ 0 0 0 
 ∞ ∞ ∞ 0 0 125 75 15 
 66 66 66 
 ∞ ∞ ∞ 0 0 15 75 15 
66 66 66
75 45 75
∞ ∞ ∞ 0 0 66 66 66
Por otro lado,
 125 75 15
   
66 66 66
0 0 1 0
15 75 15
G= 66 66 66
  0.8 0  =  1 0 
75 45 75
66 66 66
0.4 0 1 0
| {z } | {z }
(I−Q)−1 B

ahora la matriz F , será

 
1 1 1 0 0 0 0 0
 1 1 1 0 0 0 0 0 
 
 1 1 1 0 0 0 0 0 
 
 0 0 0 1 1 0 0 0 
F =



 0 0 0 1 1 0 0 0 
 1 1 1 0 0 0.472 1 0.20 
 
 1 1 1 0 0 0.12 0.12 0.20 
1 1 1 0 0 0.60 0.60 0.12

68
Nota 3.18 En las cadenas markovianas todas las filas de la matriz del comportamiento
lı́mite son iguales. Esto quiere decir que es independiente del estado inicial.
La matriz lı́mite es de la forma,
 
π1 π2 π3 0 0 0 0 0
 π1 π2 π3 0 0 0 0 0 
 
 π1 π2 π3 0 0 0 0 0 
 
 0 0 0 π4 π5 0 0 0 
P =
∗



 0 0 0 π4 π5 0 0 0 
 π1 π2 π3 0 0 0 0 0 
 
 π1 π2 π3 0 0 0 0 0 
π1 π2 π3 0 0 0 0 0
donde las πi verifican los siguientes sistemas de ecuaciones:
  

 0.4 0.3 0.3

 (π1 π2 π3 ) = (π1 π2 π3 )  0 0.6 0.4 
 0.5 0.5 0



π1 + π2 + π3 = 1
  

 (π4 π5 ) = (π4 π5 ) 0 1
0.8 0.2


π4 + π5 = 1
Resolviendo los sistemas nos queda:
 
0.22 0.51 0.27 0 0 0 0 0
 0.22 0.51 0.27 0 0 0 0 0 
 
 0.22 0.51 0.27 0 0 0 0 0 
 
 0 0 0 0.4 0.6 0 0 0 
P∗ = 
 0


 0 0 0.4 0.6 0 0 0 
 0.22 0.51 0.27 0 0 0 0 0 
 
 0.22 0.51 0.27 0 0 0 0 0 
0.22 0.51 0.27 0 0 0 0 0

Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 7}, y sea:

 
0.2 0.8 0 0 0 0 0
 0.7 0.3 0 0 0 0 0 
 
 0 0 0.3 0.5 0.2 0 0 
 

P= 0 0 0.6 0 0.4 0 0  
 0 0 0 0.4 0.6 0 0 
 
 0 0.1 0.1 0.2 0.2 0.3 0.1 
0.1 0.1 0.1 0 0.1 0.2 0.4

69
 Se observa que,

{1, 2}
clases de estados recurrentes.
{3, 4, 5}
{6, 7} clases de estados transitorios.

En este caso, tenemos que

 
1 0 0 0  
 0 1 0 0  0.1 0.5
b 
P=  ⇒B
0.1 0.5 0.3 0.1  0.2 0.2
0.2 0.2 0.2 0.4
Por otro lado,
 −1    
−1 0.7 −0.1 1 0.6 0.1 1.5 0.25
(I − Q) = = =
−0.2 0.6 0.4 0.2 0.7 0.5 1.75

Luego,
    
−1 1.5 0.25 0.1 0.5 0.2 0.8
G = (I − Q) B = =
0.5 1.75 0.2 0.2 0.4 0.6
Con esto, ya podemos obtener R y F :

   
∞ ∞ 0 0 0 0 0 1 1 0 0 0 0 0
 ∞ ∞ 0 0 0 0 0   1 1 0 0 0 0 0 
   
 0 0 ∞ ∞ ∞ 0 0   0 0 1 1 1 0 0 
   
R=
 0 0 ∞ ∞ ∞ 0 0 ,
 F =
 0 0 1 1 1 0 0 

 0 0 ∞ ∞ ∞ 0 0   0 0 1 1 1 0 0 
   
 ∞ ∞ ∞ ∞ ∞ 1.5 0.25   0.2 0.2 0.8 0.8 0.8 0.3 0.14 
∞ ∞ ∞ ∞ ∞ 0.5 1.75 0.4 0.4 0.6 0.6 0.6 0.3 0.43

En este caso, los sistemas de ecuaciones son:

  
 (π1 π2 ) = (π1 π2 ) 0.2 0.8

0.7 0.3


π1 + π2 = 1
  

 0.3 0.5 0.2

 (π3 π4 π5 ) = (π3 π4 π5 )  0.6 0 0.4 
 0 0.4 0.6



π3 + π4 + π5 = 1

70
Resolviendo los sistemas podremos escribir P∗ :
 7 8

15 15
0 0 0 0 0
7  7 8 
π1 = 0.47 = 15  15 15
0 0 0 0 0 
π2 = 0.53 = 8  0 0 6 7 10
0 0 
15  23 23 23 
π3 = 0.26 = 6
23 ⇒P =
∗
 0 0 6
23
7
23
10
23
0 0 

π4 = 0.30 = 7  0 0 6 7 10
0 0 
23  23 23 23 
π5 = 0.43 = 10  1.4 1.6 4.8 5.6 8
0 0 
23 15 15 23 23 23
2.8 3.2 3.6 4.2 6
15 15 23 23 23
0 0

Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 7}, y sea:

 
0.5 0.5 0 0 0 0 0
 0.8 0.2 0 0 0 0 0 
 
 0 0 0 0.4 0.6 0 0 
 
P=  0 0 1 0 0 0 0 

 0 0 1 0 0 0 0 
 
 0.1 0 0.2 0.2 0.1 0.3 0.1 
0.1 0.1 0.1 0 0.1 0.2 0.4
Al igual que en el ejemplo anterior, se tiene

{1, 2}
clases de estados recurrentes.
{3, 4, 5}periodo2
{6, 7} clases de estados transitorios.

b es la misma que
En este caso, la matriz P la del ejemplo anterior.
 
1 0 0 0
 0 1 0 0 
Pb= 
 0.1 0.5 0.3 0.1 
0.2 0.2 0.2 0.4
Luego B y Q son las mismas que antes, lo que implica que G también coincida con la del
ejemplo anterior. En este caso, tenemos:

   
∞ ∞ 0 0 0 0 0 1 1 0 0 0 0 0
 ∞ ∞ 0 0 0 0 0   1 1 0 0 0 0 0 
   
 0 0 ∞ ∞ ∞ 0 0   0 0 1 1 1 0 0 
   
R=
 0 0 ∞ ∞ ∞ 0 0 ,
 F =
 0 0 1 1 1 0 0 

 0 0 ∞ ∞ ∞ 0 0   0 0 1 1 1 0 0 
   
 ∞ ∞ ∞ ∞ ∞ 1.5 0.25   0.2 0.2 0.8 0.8 0.8 0.3 0.1 
∞ ∞ ∞ ∞ ∞ 0.5 1.75 0.4 0.4 0.6 0.6 0.6 0.3 0.4

71
En este caso, los sistemas de ecuaciones quedan:
  

 (π1 π2 ) = (π1 π2 ) 0.5 0.5
0.8 0.2


π1 + π2 = 1
  

 0 0.4 0.6

 (π3 π4 π5 ) = (π3 π4 π5 )  1 0 0 
 1 0 0



π3 + π4 + π5 = 2

Resolvemos los sistemas para obtener P∗ :

 
8/13 5/13 0 0 0 0 0
π1 = 8/13  8/13 5/13 0 0 0 0 0 
 
π2 = 5/13  0 0 0 0.4 0.6 0 0 
 
π3 = 1 ⇒ P1 = 
∗
 0 0 1 0 0 0 0 

π4 = 0.4  0 0 1 0 0 0 0 
 
π5 = 0.6  0.12 0.08 0.4 0.16 0.24 0 0 
0.24 0.16 0.3 0.12 0.18 0 0
y  
8/13 5/13 0 0 0 0 0
 8/13 5/13 0 0 0 0 0 
 
 0 0 1 0 0 0 0 
 
P2 = 
∗
 0 0 0 0.4 0.6 0 0 

 0 0 0 0.4 0.6 0 0 
 
 0.12 0.08 0.4 0.16 0.24 0 0 
0.24 0.16 0.3 0.12 0.18 0 0
Cuando la cadena es infinita es más costoso identificar los estados, pues debemos resolver
un sistema infinito. Además, puede darse el caso de que haya estados transitorios, recu-
rrentes no nulos y recurrentes nulos (en las cadenas finitas no puede haber recurrentes
nulos).
En las cadenas infinitas hay que empezar identificando si hay estados no nulos dadas
las clases cerradas. Para ello, tenemos el siguiente teorema:

Teorema 3.10 Dada una cadena de Markov irreducible, consideramos el sistema:

 X

 π(j) = π(i)pij j ∈ S

 i∈S
X

 π(j) = 1


j∈S

72
 Todos los estados serán recurrentes no nulos si y sólo si existe solución única de este
sistema.

Si el sistema anterior no tuviese solución, tenemos el siguiente teorema:

Teorema 3.11 Sea P la matriz de transición asociada a la cadena de Markov que estamos
estudiando, y sea Q la matriz obtenida de P al suprimir la fila y la columna k−ésima
(k ∈ S cualquiera). Entonces, los estados son recurrentes nulos si y sólo si el sistema que
la matriz Q produce tiene solución trivial, es decir, si el sistema tiene precisamente la
solución trivial. O sea,
X 
h(i) = qij h(j) 

j∈S\{k} =⇒ h(i) = 0.


0 ≤ h(i) ≤ 1; i ∈ S \ {k}

Nota 3.19 Si existe solución no trivial del sistema, los estados serán transitorios.

Ejemplo: Estudiar el comportamiento de los estados de los recorridos aleatorios dados

por la matriz de transición
 
q p 0 0 0 ···
 q 0 p 0 0 ··· 
 
P=
 0 q 0 p 0 ···  
 0 0 q 0 p ··· 
··· ··· ··· ··· ··· ···
en función del valor p. Determinar las distribuciones lı́mite.
En P, vemos que todos los estados se comunican entre sı́, forman una sola clase.
Resolvemos el sistema π = πP:

π0 = π0 q + π1 q
π1 = π0 p + π2 q
π2 = π1 p + π3 q
..
.
Esto es un sistema infinito. Para resolverlo tomamos π0 = 1 (ya que el sistema es ho-
mogéneo y, por tanto, tenemos un grado de libertad) y despejamos el resto de las πi :
p
π1 =
q
p2
π2 = 2
q
..
.

73
  
p p2
Ası́, queda: π = c, c , c 2 , . . .
q q
(Tomamos π0 = c en lugar de π0 = 1, para tener todas las soluciones posibles).
Luego hemos resuelto el sistema, pero esa solución no es buena para cualquier p, q. Ha de
X∞  i
p
ser p < q para que el sistema tenga solución, pues al normalizar, la serie · c ha
i=0
q
p
de ser convergente y, como es una serie geométrica de razón , para que sea convergente
q
ha de ser p < q.
Por tanto, si p < q todos los estados son recurrentes no nulos, y la solución del sistema
serı́a:
   j
p p
πj = 1− , j = 0, 1, 2, . . .
q q
X
pues ésta es la solución que hace que πj = 1:
j

∞  k
X p 1 p
c =1⇒c p = 1 ⇒ c = 1 − q.
q 1−
k=0
q
La matriz lı́mite es una matriz infinita.
Por otro lado, nos va a salir:
Si p = q ⇒ todos los estados son recurrentes nulos.
Si p > q ⇒ todos los estados son transitorios.
Para obtener esta solución, le quitamos a P la 1a fila y la 1a columna, por ejemplo, y
obtenemos ası́ Q. Después, volvemos a plantear el sistema anterior para ver si tiene o no
solución.
Estudiamos entonces el sistema h = Qh:
 
0 p 0 0 ··· h1 = ph2
 q 0 p 0 ···  h = qh1 + ph3
Q= ⇒ 2
 0 q 0 p ···  h3 = qh2 + ph4
··· ··· ··· ··· ··· ..
.

Haciendo manipulaciones algebraicas obtenemos:

"  i−1 #
q q
hi = c 1 + + · · · + , i = 1, 2, . . .
p p

74
Con esto:
0 ≤ hi ≤ 1
| {z }
Si p = q ⇒ hi = c · i=⇒ c = 0 ⇒ todos los estados son recurrentes nulos.
 i
q
Si p > q ⇒ hi = 1 − ⇒ todos los estados son transitorios.
p

75
3.5. Tablas Resumen.
3.5.1. Clasificación de los procesos de Markov.
Los procesos de Markov se dividen en cuatro tipos básicos según sea el parámetro y
el espacio de estados.

Párametro T
DISCRETO CONTINUO
D
I Cadenas Cadenas
S de de
C Markov Markov
R de de
E Parámetro Parámetro
Espacio T Discreto Continuo
de O
Estados C Procesos Procesos
S O de de
N Markov Markov
T de de
I Parámetro Parámetro
N Discreto Continuo
U (Ej. Series (Ej. Difusión)
O Temporales)

3.5.2. Métodos para calcular las probabilidades de primer paso.

k
RECURRENTE
 NO RECURRENTE
1 si j ↔ k
j RECURRENTE fjk = fjk = 0
0 e.c.c. X
pjk (n)
X X n
NO RECURRENTE fjk = pjifik + pji fjk = X
i∈T i∈C pkk (n)
n

76
3.5.3. Clasificación de una cadena de Markov irreducible.

NO RECURRENTE RECURRENTE

RECURRENTE NULA (*) RECURRENTE POSITIVA

APERIODICA PERIODICA
(PERIODO=1) (PERIODO>1)

POSEE DISTRIBUCION POSEE DISTRIBUCION

DE LARGA DURACION ESTACIONARIA

(*) Propiedad que solo puede poseer una cadena infinita.

77
3.6. Ejercicios.

Ejercicio 3.1.
Sea (Xn ) una cadena de Markov y sea un conjunto {nr : r ≥ 0} de números enteros
ordenados en orden creciente. Demostrar que Yr = Xnr constituye una cadena de Markov.
Encontrar la matriz de transición de (Yr ) cuando nr = 2r y (Xn ) es:

1. Un camino aleatorio simple.

2. Un proceso de ramificación.

Ejercicio 3.2. Sea Xn la máxima puntuación obtenida en las primeras n tiradas de un

dado. Demostrar que (Xn ) es una cadena de Markov y encontrar su matriz de transición
de probabilidades.

Ejercicio 3.3. Consideramos la secuencia aleatoria de polı́gonos convexos generada

de la siguiente manera: Tomamos dos lados del polı́gono inicial, trazamos un segmento
que unan sus puntos medios y obtenemos dos nuevos polı́gonos. Cogemos aleatoriamente
uno de ellos para ser el próximo en la secuencia y ası́ sucesivamente. Sea Xn + 3 el número
de lados del n-ésimo polı́gono de la secuencia ası́ construida.
1. Encontrar E[Xn ] en términos de X0 .
2. Encontrar la distribución estacionaria de la cadena de Markov (Xn ).
Nota: El número de lados es Xn + 3 para garantizar que el polı́gono inicial sea al menos
un triángulo.

Ejercicio 3.4 Sea {Sn : n ≥ 0} una caminata al azar con S0 = 0.

1. Demostrar que Xn = |Sn | es una cadena de Markov. Encontrar la matriz de transi-
ción de probabilidad de la cadena.
2. Sea Mn = max{Sk : 0 ≤ k ≤ n}, demostrar que Yn = Mn − Sn es otra cadena de
Markov.

Ejercicio 3.5. La copia de un libro es leı́da por una secuencia infinita de editores
detectando errores. Cada error es detectado con una probabilidad p en cada lectura.
Entre las distintas lecturas el corrector detecta errores pero introduce un número aleatorio
de errores nuevos (los errores pueden ser introducido incluso si no detecta ningún error).
Teniendo en cuenta, que el número de errores son diferentes en cada lectura del corrector
pero idénticamente distribuidos:
Buscar una expresión para la función generatriz de probabilidad de la distribución esta-
cionaria Xn donde Xn : número de errores después de la n-ésima lectura del corrector.
Buscar una expresión para la función generatriz de probabilidad explı́cita cuando el co-
rrector introduce un número de errores en cada lectura regida por una distribución de
Poisson.

78
 Ejercicio 3.6. Una partı́cula recorre un camino aleatorio sobre los vértices de un
grafo G conexo, el cual para simplificar suponemos que no tiene bucles. En cada etapa
la partı́cula se mueve de un vértice a otro de los adyacentes, teniendo cada punto igual
probabilidad de ser elegido. Si G tiene η(< +∞) aristas, mostrar que la distribución
dv
estacionaria está dada por Πv = 2η donde dv es el grado del vértice.

Ejercicio 3.7. Mostrar que un camino aleatorio sobre un árbol binario infinito com-
pleto es una cadena de Markov de estados transitorios.

Ejercicio 3.8. Una partı́cula realiza una caminata al azar sobre los vértices de un
cubo.En cada etapa permanece en el vértice en que se encuentra con una probabilidad 41 y
se desplaza a sus vecinos con la misma probabilidad. Sean v,w dos vértices diametralmente
opuestos y supongamos que la caminata comienza en v. Hallar:
1. El número medio de etapas hasta la primera visita a v.

2. El número medio de etapas hasta la primera visita a w.

Ejercicio 3.9. Sea la siguiente figura:

A D

B E
Comenzamos en el vértice (A). Nos piden:
1. El tiempo de primer paso por A partiendo de A (tiempo medio de recurrencia).

2. Números de visitas a D antes de llegar a A sabiendo que partimos de A

3. Números de visitas a C antes de llegar a A sabiendo que partimos de A

4. Tiempo de primer paso por A sabiendo que parte de A sin que pase por E

5. Números de visitas a D antes de llegar a A sabiendo que partimos de A,sin pasar

por E

Ejercicio 3.10. Sea Xn la cantidad de agua que hay en un embalse el dı́a n sobre el
mediodia.Ddurante las 24 horas anteriores al dı́a n el embalse recibe agua que cuantifi-
caremos en la variable Yn , justamente antes de cada mediodı́a la presa arroja 1 unidad
de agua (si hay tal cantidad).La capacidad máxima del embalse es k, y si la presa recibe

79
excesiva cantidad este agua se desborda y se pierde. Suponemos que las Yn son indepen-
dientes e idénticamente distribuidas y que todos los numeros de valoración son enteros no
negativos.
(1)Demostrar que {Xn : n > 0} es una cadena de Markov.
(2)Hallar la matriz de transición de {Xn : n ≥ 1}
(3)Encontrar una expresión de la distribución estacionaria Π en términos de la función
generatriz de probabilidad de Yn
(4)Calcular Π cuando Gy (s) = p(1 − qs)−1

Ejercicio 3.11. Clasificar los estados de las cadenas de Markov, con matrices de
transición siguientes:
(a)
 
1 − 2p 2p 0
P = p 1 − 2p p 
0 p 1−p

(b)
 
0 p 0 1−p
 1−p 0 p 0 
P =
 0

1−p 0 p 
p 0 1−p 0

Calcular en cada caso el comportamiento lı́mite.

Ejercicio 3.11

Clasificar los estados de las cadenas de Markov, con matrices de transición siguientes:
(a)
 
1 − 2p 2p 0
P = p 1 − 2p p 
0 p 1−p

(b)
 
0 p 0 1−p
 1−p 0 p 0 
P =
 0

1−p 0 p 
p 0 1−p 0

Además, calcular en cada caso el comportamiento lı́mite. Ejercicio 3.12. Clasificar

los estados de la Cadena de Markov dada por la siguiente matriz de paso:

80
  
0 0 0.4 0.6 0
 0 0.2 0 0.5 0.3 
 
P ≡
 0.5 0 0.5 0 0 
 0 0 1 0 0 
0.3 0 0.5 0 0.2

Ejercicio 3.13. Clasificar los estados de la cadena de Markov dada por la matriz
adjunta, ası́ como su matriz lı́mite.
a b c d e f g
 
a 0.8 0 0 0 0 0.2 0
b 0 0 0 0 1 0 0 
c 0.1 0 0.9 0 0 0 0 


d 0 0 0 0.5 0 0 0.5 

e 0 0.3 0 0 0.7 0 0 

f 0 0 1 0 0 0 0 
g 0 0.5 0 0 0 0.5 0

Ejercicio 3.14. Sea X una cadena de Markov con espacio de estados E={1,2,3,4,5,6,7,8}
y matriz de transición:
 
0.4 0.3 0.3 0 0 0 0 0
 0 0.6 0.4 0 0 0 0 0 
 
 0.5 0.5 0 0 0 0 0 0 
 
 0 0 0 0 1 0 0 0 

P = 
0 0 0 0.8 0.2 0 0 0 
 
 0 0 0 0 0 0.4 0.6 0 
 
 0.4 0.4 0 0 0 0 0 0.2 
0.1 0 0.3 0 0 0.6 0 0
clasificar los estados y determinar la matriz lı́mite.

Ejercicio 3.15. Clasificar los estados de la cadena de Markov dada por la siguiente
matriz de transición, ası́ como determinar la matriz limite.

1 2 3 4 5
1 0.5 0 0 0.5 0
2 0 0.6 0 0 0.4
c)
3 0.3 0 0.7 0 0
4 0 0 1 0 0
5 0 1 0 0 0

Ejercicio 3.16. Clasificar los estados de la cadena de Markov con la siguiente matriz
de transición, y su comportamiento lı́mite :

81
  
0.8 0 0.2 0
 0 0 1 0 
P =
 1

0 0 0 
0.3 0.4 0 0.3

Ejercicio 3.17. Estudiar las cadenas de Markov dadas por las matrices de transición:
   
p0 p1 p2 p3 · · h0 g0 0 0 0 ·
 p0 p1 p2 p3 · ·   h1 g1 g0 0 0 · 
   
 0 p0 p1 p2 · ·   h2 g2 g1 g0 0 · 
P = 0 0 p0 p2 · · 
 Q=  h3 g3 g2 g1 g0 · 

   
 · · · · · ·   · · · · · · 
· · · · · · · · · · · ·

Determinar el comportamiento de los estados a través de las funciones generatrices de las

sucesiones {pi } y {gj }, respectivamente.

Ejercicio 3.18. Estudiar el comportamiento de los estados de los recorridos aleatorios

dados por las matrices de transición:
   
q p 0 0 0 · 0 1 0 0 0 ·
 q 0 p 0 0 ·   q 0 p 0 0 · 
   
 0 q 0 p 0 ·   0 q 0 p 0 · 
P1 =  0 0 q 0 p · ,
 P2 =  0 0 q 0 p · 

   
 · · · · · ·   · · · · · · 
· · · · · · · · · · · ·
en función del valor de p. Determinar las distribuciones lı́mite.

Ejercicio 3.19. El número de dı́as que transcurren hasta que se recibe una petición
para la suit presidencial de un hotel, es una v.a. G(p). Cada cliente que realiza la petición
de la suit por un número de dı́as que es una v.a. discreta X.

1. Calcular la fracción de tiempo que la suit está ocupada.

2. Calcular el beneficio para el hotel, si la estancia de X dı́as produce un beneficio

cX + k, y un coste D.

82