Estadística

Estadística yy Procesos
Procesos Estocásticos
Estocásticos
Tema
Tema 4.4. Cadenas
Cadenas de
de Markov
Markov

Grado en Ingeniería en Tecnologías de la Telecomunicación

Cadenas de Markov

2 / 36
Cadenas de Markov
Consideremos:

Un espacio de probabilidad (Ω, S, P )

Una sucesión de variables aleatorias {X n : Ω → E, n ∈ N}

E finito o numerable

Xn cumple la condición de Markov si

∀n ∈ N ; i0 , i1 , ⋯ , i, j ∈ E

P [Xn+1 = j |X0 = i0 , X1 = i1 , … , Xn = i ] = P [Xn+1 = j |Xn = i ]

Es decir, conocer el pasado (X , X , … , X ) no aporta información para la

0 1 n−1

predicción del futuro ( X ) una vez que se conoce el presente ( X ).

n+1 n

Las sucesiones X que verifican la condición anterior reciben el nombre de

n

cadenas de Markov en tiempo discreto y con espacio de estados E.

3 / 36
Cadenas de Markov homogéneas

4 / 36
Cadenas de Markov homogéneas
Una cadena de Markov se dice homogénea cuando para cualesquiera estados
i, j ∈ E , la probabilidad de ir de i a j no depende de la etapa n considerada,

esto es:

P [Xn+1 = j |Xn = i ] = pij

Dada una cadena de Markov homogénea, se define la matriz de

probabilidades de transición en una etapa como aquella matriz P que en la
posición (i, j) contiene la probabilidad p :
ij

P = (pij )
i,j∈E

5 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)

"La Tierra de Oz ha sido bendecida con muchas cosas, pero no con un buen
tiempo. Nunca tiene dos días soleados seguidos. Si tiene un día soleado, es igual
de probable que al día siguiente haya tanto nieve como lluvia. Si un día nieva o
llueve, al día siguiente hay la misma probabilidad de que el tiempo siga igual o
de que cambie. Si cambia, sólo la mitad de las veces cambia a soleado."

¡¡Vamos a modelizar el tiempo de la tierra de Oz mediante una cadena de

Markov!!
6 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)
"La Tierra de Oz ha sido bendecida con muchas cosas, pero no con un buen
tiempo. Nunca tiene dos días soleados seguidos. Si tiene un día soleado, es igual
de probable que al día siguiente haya tanto nieve como lluvia. Si un día nieva o
llueve, al día siguiente hay la misma probabilidad de que el tiempo siga igual o
de que cambie. Si cambia, sólo la mitad de las veces cambia a soleado."

Espacio de Estados:

E = { S, L, N }

siendo S="Soleado", L="Lluvioso" y N="Nieve"

7 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)
"La Tierra de Oz ha sido bendecida con muchas cosas, pero no con un buen
tiempo. Nunca tiene dos días soleados seguidos. Si tiene un día soleado, es igual
de probable que al día siguiente haya tanto nieve como lluvia. Si un día nieva o
llueve, al día siguiente hay la misma probabilidad de que el tiempo siga igual o
de que cambie. Si cambia, sólo la mitad de las veces cambia a soleado."

Matriz de Transición:

S L N
S 0 0.5 0.5
⎛ ⎞
P = L ⎜ 0.25 0.5 0.25 ⎟
⎝ ⎠
N 0.25 0.25 0.5

8 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)
Si hoy hace soleado ¿cuál es la probabilidad de que en dos días vuelva a
hacer soleado?

Aplicando el teorema de la probabilidad total:

(2)
p = P (X2 = S) = P ( X2 = S| X1 = S) P (X1 = S) + P ( X2 = S| X1 = L) P (X1 = L) +
S

+P ( X2 = S| X1 = N ) P (X1 = N ) =

Llamando pij = P (X2 = j|X1 = i) y p

(1)

i
= P (X1 = i) :
(1) (1) (1)
= p ⋅ pSS + p ⋅ pLS + p ⋅ pN S =
S L N

en forma matricial:

pSS pSS
⎛ ⎞ ⎛ ⎞
(1) (1) (1) (1)
= (p ,p ,p )) ⋅ ⎜ pLS ⎟ = p ⋅ ⎜ pLS ⎟
S L N
⎝ ⎠ ⎝ ⎠
pN S pN S

9 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)
Tenemos:
(1)
p = P (X1 = S) = P ( X1 = S| X0 = S) P (X0 = S) + P ( X1 = S| X0 = L) P (X0 = L) +
S

+P ( X1 = S| X0 = N ) P (X0 = N ) =

pSS pSS
⎛ ⎞ ⎛ ⎞
(0) (0) (0)
= (P (X0 = S) , P (X0 = L) , P (X0 = N )) ⋅ ⎜ pLS ⎟ = (p ,p ,p ) ⋅ ⎜ pLS ⎟
S L N
⎝ ⎠ ⎝ ⎠
pN L pN L

Análogamente:

pSL
⎛ ⎞
(1) (0) (0) (0)
p = P (X1 = L) = (p ,p ,p ) ⋅ ⎜ pLL ⎟
L S L N

⎝ ⎠
pN L

pSN
⎛ ⎞
(1) (0) (0) (0)
p = P (X1 = N ) = (p ,p ,p ) ⋅ ⎜ pLN ⎟
N S L N

⎝ ⎠
pN N

10 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)
Podemos expresar las tres probabilidades anteriores en una única expresión
matricial:

(1) (1) (1) (1)

p = (p ,p ,p ) = (P (X1 = S) , P (X1 = L) , P (X1 = N )) =
S L N

pSS pSL pSN

⎛ ⎞
(P (X0 = S) , P (X0 = L) , P (X0 = N )) ⋅ ⎜ pLS pLL pLN ⎟ =

⎝ ⎠
pN S pN L pN N

pSS pSL pSN

⎛ ⎞
(0) (0) (0) (0)
= (p ,p ,p ) ⋅ ⎜ pLS pLL pLN ⎟ = p ⋅ P
S L N
⎝ ⎠
pN S pN L pN N

11 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)
El mismo razonamiento nos permite concluir que:

(2) (2) (2) (2)

p = (p ,p ,p ) = (P (X2 = S) , P (X2 = L) , P (X2 = N )) =
S L N

pSS pSL pSN

⎛ ⎞
(P (X1 = S) , P (X1 = L) , P (X1 = N )) ⋅ ⎜ pLS pLL pLN ⎟ =

⎝ ⎠
pN S pN L pN N

pSS pSL pSN

⎛ ⎞
(1) (1) (1)
= (p ,p ,p ) ⋅ ⎜ pLS pLL pLN ⎟ =
S L N
⎝ ⎠
pN S pN L pN N

(1) (0) (0) 2

= p ⋅ P = (p ⋅ P) ⋅ P = p ⋅ P

12 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)
Como hoy (día 0) está soleado, la distribución inicial de la cadena es:
(0)
p = (P (X0 = S) , P (X0 = L) , P (X0 = N )) = (1, 0, 0)

y por tanto la probabilidad de cada posible estado ( S , L ó N ) dentro de dos

días es:
2
0 0.5 0.5
⎛ ⎞
(2) (0) 2
p = p ⋅ P = (1, 0, 0) ⋅ ⎜ 0.25 0.5 0.25 ⎟ =
⎝ ⎠
0.25 0.25 0.5

0.25 0.375 0.375

⎛ ⎞
= (1, 0, 0) ⋅ ⎜ 0.1875 0.4375 0.375 ⎟ = (0.25, 0.375, 0.375)
⎝ ⎠
0.1875 0.375 0.4375

Así pues, la probabilidad de que dentro de dos días el tiempo esté soleado es
P (X2 = S) = 0.25

13 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)
Para resolver:

Si hoy es un día lluvioso ¿cuál es la probabilidad de que en dos días haga

un día soleado?

Si hoy es un día de nieve ¿cuál es la probabilidad de que en dos días haga

un día soleado?

Si hoy es un día de sol ¿cuál es la probabilidad de que en tres días haya

un día de nieve?

14 / 36
Ejemplo: la maravillosa tierra de Oz (Frank Baum, 1904)

Calcular la distribución de probabilidad del tiempo en la tierra de Oz dos

días después de un día en el que se supone que la distribución de la
cadena es:

(0)
1 1 1
p = ( , , )
3 3 3

En este caso:

0.25 0.375 0.375

⎛ ⎞
(2) (0) 2
1 1 1
p = p P = ( , , ) ⎜ 0.1875 0.4375 0.375 ⎟ = (0.20833, 0.39583, 0.39583)
3 3 3
⎝ ⎠
0.1875 0.375 0.4375

15 / 36
Ejemplo
Sea una cadena de Markov homogénea con espacio de estados E = {0, 1, 2, 3} y
matriz de transición:

Estado 0 1 2 3
0 0.0 1.0 0.0 0.0
1 0.3 0.2 0.5 0.0
2 0.0 0.3 0.2 0.5
3 0.0 0.0 1.0 0.0

Calcular P (X = 3) sabiendo que inicialmente la cadena puede estar, con la

1

misma probabilidad, en cualquiera de sus cuatro estados.

La distribución inicial de la cadena es entonces: p (0)

= (0.25, 0.25, 0.25, 0.25)

Utilizando el Teorema de la Probabilidad Total

(0) (0) (0) (
P (X1 = 3) = p ⋅ p03 + p ⋅ p13 + p ⋅ p23 + p 0) ⋅ p33 =
0 1 2 3

= 0.25 ⋅ 0 + 0.25 ⋅ 0 + 0.25 ⋅ 0.5 + 0.25 ⋅ 0 = 0.125

16 / 36
Elementos que determinan una cadena de Markov homogénea
Una cadena de Markov homogénea está, pues, determinada por tres
elementos, a saber:

El espacio de estados E (conjunto finito o numerable)

La matriz de probabilidades de transición P = (pij ) siendo

pij = P (Xn+1 = j |Xn = i )

La distribución inicial p (0)

= (p
(0)

i
)
i∈E

17 / 36
Distribuciones marginales
Dada una cadena homogénea de Markov {X n; n ∈ N} , representaremos la
distribución marginal de X mediante:
n

(n)
p = P (Xn = i)
i

Dado el vector de probabilidades en la etapa n, p (n)

= (p
(n)

i
; i ∈ E) , se tiene que:

(n) (n−1)
p = p ⋅ P

Como hemos visto en el ejemplo del tiempo en Oz, este resultado se deduce
directamente aplicando el teorema de la probabilidad total:
(n−1)
P (Xn = i) = ∑ P (Xn−1 = k) P (Xn = i |Xn−1 = k ) = ∑ p pk,i
k

k∈E k∈E

y por tanto:

(n) (n−1)
p = p ⋅ P

18 / 36
Distribuciones marginales
Si aplicamos recursivamente la relación:
(n) (n−1)
p = p ⋅ P

tenemos:
(n) (n−2) 2
p = p ⋅ P

(n) (n−3) 3
p = p ⋅ P

(n) (0) n
p = p ⋅ P

19 / 36
Probabilidad de transición en n etapas: Ecuación de Chapman
Kolmogorov
Sea {X ; n ∈ N} una cadena de Markov homogénea con espacios de estados E.
n

La probabilidad de ir del estado i al estado j en n etapas se expresa como:

(n)
p = Pr (Xm+n = j |Xm = i )
ij

Obviamente al ser la cadena de Markov homogénea, esta probabilidad es

independiente de m. Dispondremos estas probabilidades en la matriz de
transición en n etapas:

(n) (n)
P = (p )
i,j
i,j∈E

20 / 36
Probabilidad de transición en n etapas: Ecuación de Chapman
Kolmogorov
Ahora bien:

Pr (X0 = i, Xn+1 = j)
(n+1)
p = Pr (Xn+1 = j |X0 = i ) = =
i,j
Pr (X0 = i)

1
= ∑ Pr (X0 = i, X1 = k, Xn+1 = j) =
Pr (X0 = i)
k∈E

1
= ∑ Pr (X0 = i) Pr (X1 = k |X0 = i ) ⋅ Pr (Xn+1 = j |X0 = i, X1 = k ) =
Pr (X0 = i)
k∈E

(n)
= ∑ Pr (X1 = k |X0 = i ) Pr (Xn+1 = j |X1 = k ) = ∑ pi,k p
k,j

k∈E k∈E

21 / 36
Probabilidad de transición en n etapas: Ecuación de Chapman
Kolmogorov
El resultado anterior puede expresarse en forma matricial:

(n) (n−1)
P = P ⋅ P , ∀n

Aplicando reiteradamente esta igualdad se obtiene la Ecuación de Chapman-

Kolmogorov:

(n) n
P = P

22 / 36
Distribuciones estacionarias.
Una distribución de probabilidad π = (π )
i i∈E
es una distribución estacionaria
para {X ; n ∈ N} si verifica
n

π ⋅ P = π

con

∑ πi = 1

i∈E

No todas las cadenas de Markov poseen alguna distribución estacionaria.

23 / 36
Ejercicio
Calcular la distribución estacionaria del tiempo meteorológico en la tierra de
Oz.

La distribución estacionaria es de la forma π = (π S, πL , πN ) , cumpliendo que

π ⋅ P = π, esto es:

0 0.5 0.5
⎛ ⎞
(πS , πL , πN ) ⎜ 0.25 0.5 0.25 ⎟ = (πS , πL , πN )
⎝ ⎠
0.25 0.25 0.5

y que π S + πL + πN = 1

Si llamamos I a la matriz identidad, la ecuación π ⋅ P = π se puede expresar

como π ⋅ P = π ⋅ I , o lo que es lo mismo:

π ⋅ (P − I ) = 0

24 / 36
Ejercicio
En este caso, la matriz P − I es:

−1 0.5 0.5
⎛ ⎞
P − I = ⎜ 0.25 −0.5 0.25 ⎟
⎝ ⎠
0.25 0.25 −0.5

Por tanto todas las filas suman 0; es fácil ver que el rango de P − I es 2.

Ello significa que en el sistema π ⋅ (P − I) = 0 sólo hay dos ecuaciones

independientes.

Si nos quedamos con las dos primeras y le añadimos la condición

π + π
S L + π = 1, nos queda el sistema:
N

−πs + 0.25πL + 0.25πN = 0⎫

⎪

0.5πS − 0.5πL + 0.25πN = 0⎬

⎭
⎪
πS + πL + πN = 1

Tanto el rango de la matriz de coeficientes como el de la ampliada son iguales

a 3 e iguales al número de incógnitas; por tanto este sistema tiene una única
solución. 25 / 36
Ejercicio
Expresando nuevamente el sistema de forma matricial:

−πs + 0.25πL + 0.25πN = 0⎫ −1 0.5 1

⎪ ⎛ ⎞
0.5πS − 0.5πL + 0.25πN = 0 ⎬ ⇒ (πS , πL , πN ) ⎜ 0.25 −0.5 1 ⎟ = (0, 0, 1)
⎭
⎪ ⎝ ⎠
πS + πL + πN = 1 0.25 0.25 1

obtenemos que su solución (distribución estacionaria) es:

−1
−1 0.5 1
⎛ ⎞
(πS , πL , πN ) = (0, 0, 1) ⎜ 0.25 −0.5 1⎟ = (0.2, 0.4, 0.4)
⎝ ⎠
0.25 0.25 1

Podemos comprobar que, efectivamente, π ⋅ P = π :

0 0.5 0.5
⎛ ⎞
(0.2, 0.4, 0.4) ⎜ 0.25 0.5 0.25 ⎟ = (0.2, 0.4, 0.4)
⎝ ⎠
0.25 0.25 0.5

26 / 36
Ejercicio
El sistema de ecuaciones anterior puede resolverse fácilmente utilizando
octave/matlab:

A= [ -1 0.5 1
0.25 -0.5 1
0.25 0.25 1];

b=[0 0 1];

b*inv(A)

>> ans =
>>
>> 0.20000 0.40000 0.40000

27 / 36
Ejercicio
También podemos obtener la distribución estacionaria partiendo
directamente de la matriz de transición P mediante el código siguiente:

P= [ 0 0.5 0.5
0.25 0.5 0.25
0.25 0.25 0.5 ];

[P' - eye(size(P)); ones(1, length(P))] \ [zeros(length(P), 1); 1]

>> ans =
>>
>> 0.20000
>> 0.40000
>> 0.40000

28 / 36
Distribuciones estacionarias.
Supongamos que una cadena de Markov X , i = 0, 1, 2, . . . tiene una
i

distribución estacionaria π.

Si en alguna etapa k, la cadena de Markov la alcanza, esto es p (k)

= π

entonces:
(k+1) (k)
p = p P = πP = π

(k+2) (k+1)
p = p P = πP = π

Por tanto p (n)

= π ∀n ≥ k

En el caso particular de que p (0)

= π , entonces p (n)
= π ∀n .

29 / 36
Distribución límite o de equilibrio
Se denomina distribución límite o de equilibrio de una cadena de Markov a
la distribución de probabilidad:

(n)
πj = lim p , ∀j ∈ E
i,j
n→∞

La distribución límite no tiene por qué existir siempre. En caso de

existir, implica que independientemente del estado de partida, transcurrido
un número de etapas muy grande, existe una probabilidad fija de que la
cadena se encuentre en cada uno de sus posibles estados.

Cuando existe la distribución límite, la cadena de Markov se dice

ergódica

La distribución límite, cuando existe, es estacionaria.

30 / 36
Cálculo de la distribución límite
De acuerdo con la ecuación de Chapman-Kolmogorov, P = P . Por (n) n

tanto, la probabilidad p es igual al término (i, j) de la matriz P .

(n)

i,j
n

En caso de que la matriz de transición P sea diagonalizable, entonces

llamando D a la matriz diagonal de sus autovalores y C a la matriz cuyas
columnas son los autovectores correspondientes, se tiene:
−1
P = C ⋅ D ⋅ C

Por tanto, en tal caso:

n n −1
P = C ⋅ D ⋅ C

y la distribución límite puede obtenerse a partir de:

n n −1
lim P = C ⋅ ( lim D ) ⋅ C
n→∞ n→∞

31 / 36
Ejemplo:
Utilizaremos matlab/octave para calcular los autovalores y autovectores de la
matriz de transición P del tiempo en Oz:

P= [ 0 0.5 0.5
0.25 0.5 0.25
0.25 0.25 0.5 ];

[C,D]=eig(P);

>> D =
>>
>> Diagonal Matrix
>>
>> -0.25000 0 0
>> 0 1.00000 0
>> 0 0 0.25000

32 / 36
Ejemplo:
>> C
C =
-9.4281e-01 5.7735e-01 -1.5701e-16
2.3570e-01 5.7735e-01 -7.0711e-01
2.3570e-01 5.7735e-01 7.0711e-01

>> inv(C)
ans =

-8.4853e-01 4.2426e-01 4.2426e-01

3.4641e-01 6.9282e-01 6.9282e-01
2.7756e-17 -7.0711e-01 7.0711e-01

33 / 36
Ejemplo:
Por tanto:
−1
P = C ⋅ D ⋅ C =

−0.9428 0.57735 0 −0.25 0 0 −0.8485 0.4243 0.4243

⎛ ⎞⎛ ⎞⎛ ⎞
= ⎜ 0.2357 0.57735 −0.7071 ⎟ ⎜ 0 1 0 ⎟⎜ 0.3464 0.6928 0.6928 ⎟
⎝ ⎠⎝ ⎠⎝ ⎠
0.2357 0.57735 0.7071 0 0 0.25 0 −0.7071 0.7071

n n −1
P = C ⋅ D ⋅ C =

n
−0.9428 0.57735 0 (−0.25) 0 0 −0.8485 0.4243 0.4243
⎛ ⎞⎛ ⎞⎛ ⎞
n
= ⎜ 0.2357 0.57735 −0.7071 ⎟ ⎜ 0 1 0 ⎟⎜ 0.3464 0.6928 0.6928 ⎟
⎝ ⎠⎝ n ⎠⎝ ⎠
0.2357 0.57735 0.7071 0 0 0.25 0 −0.7071 0.7071

Cuando n → ∞: (−0.25)
n
→ 0 , 1
(n)
→ 1 y (0.25)
n
→ 0

34 / 36
Ejemplo:
Por tanto, al tomar límite cuando n → ∞:
n n −1
limn→∞ P = C ⋅ (limn→∞ D ) ⋅ C =

−0.9428 0.57735 0 0 0 0 −0.8485 0.4243 0.4243

⎛ ⎞⎛ ⎞⎛ ⎞
= ⎜ 0.2357 0.57735 −0.7071 ⎟ ⎜ 0 1 0⎟⎜ 0.3464 0.6928 0.6928 ⎟
⎝ ⎠⎝ ⎠⎝ ⎠
0.2357 0.57735 0.7071 0 0 0 0 −0.7071 0.7071

0.2 0.4 0.4

⎛ ⎞
= ⎜ 0.2 0.4 0.4 ⎟
⎝ ⎠
0.2 0.4 0.4

Ahora, cualquiera que sea la distribución inicial p : (0)

0.2 0.4 0.4

⎛ ⎞
(0)
p ⋅ ⎜ 0.2 0.4 0.4 ⎟ = (0.2, 0.4, 0.4)
⎝ ⎠
0.2 0.4 0.4

Por tanto (0.2, 0.4, 0.4) es la distribución de equilibrio. 35 / 36

Ejemplo:
Nota: el cálculo anterior realizado en octave/matlab:

>> limD=[ 0 0 0
0 1 0
0 0 0 ];

>> C*limD*inv(C)
ans =

0.20000 0.40000 0.40000

0.20000 0.40000 0.40000
0.20000 0.40000 0.40000

36 / 36