CADENAS DE MARKOV

1. VECTORES PROBABILSTICOS, MATRICES ESTOCSTICAS

Un vector u = (u1, u2, ... un) se llama vector de probabilidad si las componentes no son
negativas y su suma es 1.

Ejemplo 1: Considrense los vectores siguientes:

3 1 1 3 1 1 1 1 1
u = ,0 , v = , ,0, y w = , ,0,
4 4 2 4 2 4 4 4 2

Entonces:
u no es un vector de probabilidad puesto que su tercera componente es
negativa
v no es un vector de probabilidad puesto que la suma de sus componentes
es mayor que 1;
w es un vector de probabilidad.

Una matriz cuadrada P = (pij) se denomina matriz estocstica si cada una de sus filas es un
vector de probabilidad, esto es, si cada elemento de P es no negativo y la suma de los
elementos en cada fila es 1.

Ejemplo 2: Considrense las matrices siguientes:

1 2
3 0 3 1 3 0 1 0
4 4
3 1 1 1 1 1
-
4 2 4 1 1 2 6 3
3 3
1 1 1 1 2
3 3 3 3 3 0

(i) (ii) (iii)

 (i) no es una matriz estocstica puesto que el elemento de la segunda fila y tercera
columna es negativo;
(ii) no es una matriz estocstica puesto que la suma de los elementos de la segunda
fila no es 1;
(iii) es una matriz estocstica puesto que cada fila es un vector de probabilidad.

Teorema 1: Si A y B son matrices estocsticas, entonces el producto AB es una matriz

estocstica. Adems, en particular, todas las potencias An son matrices
estocsticas.

2. MATRICES ESTOCSTICAS REGULARES

Ahora definimos una clase importante de matrices estocsticas cuyas propiedades ser
enunciadas posteriormente.

Definicin: Se dice que una matriz estocstica P es regular si todos los elementos de
una potencia pm son positivos.

0 1
Ejemplo 3: La matriz estocstica A = es regular puesto que
1 1
2 2

1 1
0 1 0 1
2 2
1 1 1 3
A2 = 1 1 =
2 2 4 4
2 2

es positiva en cada elemento.

3. PUNTOS FIJOS Y MATRICES ESTOCSTICAS REGULARES

Definicin: Se dice que un vector V es punto fijo (o vector fijo) de la Matriz A si y solo
si se verifica que V. A = V .

Las propiedades fundamentales de las matrices estocsticas regulares se detallan en el

teorema siguiente:

Teorema 2: Sea P una matriz estocstica regular. Entonces:

(i) P tiene un vector de probabilidad fijo nico t y sus componentes son

todas positivas;
(ii) La sucesin P, P2, P3, ... de potencias de P se aproxima a la matriz T
cuyas filas sean cada punto fijo t;
(iii) Si p es un vector de probabilidad, entonces la sucesin de vectores
pP, pP2, pP3 ... se aproxima al punto fijo t.

Nota: Pn se aproxima a T significa que cada elemento de Pn se aproxima al elemento

correspondiente de T, pPn se aproxima a t significa que cada componente de pPn se
aproxima a la componente correspondiente de t.

Ejemplo 4: Consideremos la matriz estocstica regular P = 0 1

1 1
2 2

Buscamos un vector de probabilidad con dos componentes, que podemos denotar por
t = (x, 1 x ), tal que t P = t:

0 1
(x, 1- x) . = (x,1-x)
1 1
2 2
Multiplicando el lado izquierdo de la ecuacin de la matriz anterior, obtenemos

1 1 1 1 1 1
x, + x = (x,1-x) o x=x
2 2 2 2 2 2

1 1 1
+ x = 1 x o x=
2 2 3

1 1 1 2
As, t = ,1 = , es el vector de probabilidad fijo nico de P. Por el
3 3 3 3
teorema 2, la sucesin P, P2, P3, ... se aproxima a la matriz T cuyas filas son cada
vector t:
1 2

3 3 0,33 0,67
T = =
1 2 0,33 0,67

3 3

Presentamos algunas potencias de P para indicar el resultado anterior:

1 1 1 3
0,50 0,50 0,25 0,75
2 2 4 4
P =
2 =

; P3 =

=
1 3 0,25 0,75 3 5 0,37 0,63

4 4 8 8

Ejemplo 5: Hallar el vector de probabilidad fijo nico de la matriz estocstica regular

0 1 0
P= 0 0 1
1 1
0
2 2

Mtodo 1. Buscamos un vector de probabilidad con tres componentes, que podemos

representar por t = ( x, y, 1- x- y). Tal que t.P = t:
 0 1 0
0 0 1
(x, y, 1- x- y) . 1 1 = (x, y, 1- x - y )
2 2 0

Multiplicando el lado izquierdo de la ecuacin de la matriz anterior y colocando luego

componentes correspondientes iguales a cada lado, obtenemos el sistema.

1 1 1
x y = x 3x + y = 1
2 2 2

1
x=
5
1 1 1
x+ x y = y x 3 y = 1
2 2 2

2
y=
5

y = 1 x y x + 2y =1

1 2 2
As, t = , , es el vector de probabilidad fijo nico de P:
5 5 5

Mtodo 2. Primero buscamos un vector fijo u = (x, y, z) de la matriz P:

0 1 0 1
z=x
2
( x, y , z ) 0 0 1 = ( x, y , z ) o 1
x+ z=y
2
1 1 y=z
2 2 0

Sabemos que el sistema tiene una solucin no nula; por consiguiente, podemos asignar
arbitrariamente un valor a una de las incgnitas. Establecemos z = 2 . Entonces por primera
ecuacin x = 1 , y por la tercera ecuacin y = 2 . As, u = (1, 2, 2) es un punto fijo de P.
 1
Por tanto, multiplicamos u por para obtener el vector de probabilidad fijo buscado t =
5
1 1 1 2 2
= para obtener el vector de probabilidad fijo buscado t = u = , ,
5 5 5 5 5

4. CADENAS DE MARKOV

Consideremos ahora una sucesin de pruebas cuyos resultados, o sea, x1 x2, .... satisfacen las
dos propiedades siguientes:

(i) Cada resultado pertenece a un conjunto finito de resultados { a1, a2,...am }

llamado espacio de estados del sistema; si el resultado de la n-sima prueba es
ai, entonces decimos que el sistema est en estado ai en la vez n o en el paso
n-simo.

(ii) El resultado de la prueba depende a lo sumo del resultado de la prueba

inmediatamente precedente y no de cualquier otro resultado previo; con cada par
de estados (ai, aj) se establece la probabilidad Pij de que aj suceda
inmediatamente despus de que suceda ai.

A un proceso estocstico tal, se llama cadena de Markov (finita). Los nmeros P i j ,

llamados probabilidades de transicin, pueden ordenarse en una matriz.

p 11 p12 ... p 1m

p 21 p22 p2m
P = .
pm1 pm2 pmm

llamada matriz de transicin.

As, para cada estado ai corresponde la i-sima fila (pi1, pi2 ..., pim) de la matriz de transicin
P; si el sistema est en estado ai entonces este vector fila representa las probabilidades de
todos los resultados posibles de la prueba siguiente y, por tanto, es un vector de
probabilidad. En consecuencia,

Teorema 3: La matriz de transicin P de una cadena de Markov es una matriz

estocstica.

Ejemplo 6: Un hombre o maneja su carro o toma el tren para ir a trabajar cada da.
Supngase que nunca toma el tren dos das seguidos; pero si maneja para
trabajar, entonces al da siguiente es tan posible que maneje de nuevo como
que tome el tren.

El espacio de estados del sistema es { t (tren), d (manejar) }. Este proceso estocstico es

una cadena de Markov puesto que los resultados de un da dependen nicamente de lo que
sucedi el da anterior. La matriz de transicin de la cadena de Markov es

t d
t 0 1

d 1 1
2 2

Ejemplo 7: Tres nios A B y C se pasan una bola unos a otros. A siempre tira la bola a B y
ste siempre la pasa a C; pero C pasa la bola tan posiblemente a B como a A.
Denotemos xn la n-sima persona a quien se pasa la bola. El espacio de
estados del sistema es { A, B, C }. Esta es una cadena de Markov puesto que
la persona lanza la bola no est influenciada por aquella que tena previamente
la bola. La matriz de transicin de la cadena de Markov es:

A B C
A 0 1 0
B 0 0 1
C 1 1
2 2 0
La primera fila de la matriz corresponde al hecho de que A pasa la bola a B. La segunda fila

corresponde al hecho de que B siempre le pasa la bola a C. La ltima fila corresponde al

hecho de que C la pasa a A o a B con probabilidad igual (y no se la pasa a s mismo).

5. PROBABILIDADES DE TRANSICIN SUPERIOR

El elemento pij en la matriz de transicin P de una cadena de Markov es la probabilidad de

que el sistema cambie del estado ai al estado aj en un paso:

ai aj. Averiguar: Cul es la probabilidad, denotada por pij(n ) , de que el sistema cambie

del estado ai al estado aj en n pasos exactamente:

ai a k 1
ak 2
... ak n 1
aj

El siguiente teorema resuelve la pregunta; aqu los pij(n ) se ordenan en la matriz p (n )

llamada matriz de transicin de n pasos.

Teorema 4: Sea P la matriz de transicin de un proceso de cadena de Markov. Entonces

la matriz de transicin de n pasos es igual a la n-sima potencia de P; esto es
P(n) = P n.

Ahora supngase que despus de un tiempo arbitrario, la probabilidad de que el sistema

est en estado ai es pi; denotamos estas probabilidades por el vector de probabilidad p = (
p1, p2, ... pm) que se denomina distribucin de probabilidad del sistema para tal tiempo. En
particular, denotaremos por

P (o) = (p (0)
1 , p2( 0 ) ,... pm( 0 ) )
La distribucin de probabilidad inicial, o sea la distribucin cuando el proceso comienza, y
denotaremos por

P (n) = (p(n)
1 , p2( n ) ,... pm( n ) )

La distribucin de probabilidad de paso n-simo, o sea la distribucin despus de los

primeros n pasos. Aplicamos el siguiente teorema.

Teorema 6: Sea P la matriz de transicin de un proceso de cadena de Markov. Si p = (pi)

es la distribucin de probabilidad del sistema para un tiempo arbitrario,
entonces pP es la distribucin de probabilidad del sistema un paso ms tarde
pn
yp es la distribucin de probabilidad del sistema n pasos ms tarde. En
particular,

p(1) = p (0) P, p(2) = p(1) P, p(3) = p(2) P, , p(n) = p(0) Pn

Ejemplo 8: Considrese la cadena de Markov del ejemplo 6 cuya matriz de transicin es

t d
t 0 1
P = d 1 1
2 2

Aqu t es el estado de tomar el tren para ir a trabajar y d el de manejar para ir a trabajar. Por
el ejemplo 3,

1 1 1 1 8 5
4
P = P 2.P 2 = 2 2 2 2 8 8
=
1 3 1 3 5 11
4 4 4 4 16 16
As, la probabilidad de que el sistema cambie de, por ejemplo, el estado t al estado d en 4
5 5 8 5 11
pasos exactamente es , o sea ptd( 4 ) = . Similarmente ptt( 4 ) = , pdt( 4 ) = ( 4)
y p dd =
8 8 8 16 16

Ahora supngase que en el primer da de trabajo el hombre lance un dado corriente y

maneje para ir al trabajo si y solo si sale un 6. En otras palabras,

5 1
p (0) = , es la distribucin de probabilidad inicial. Entonces
6 6

5 1 3 11 35 61
p (4) = p(0) P4 = , = ,
6 6 8 16 96 96

35 61
es la distribucin probabilidad despus de 4 das, o sea, pt( 4 ) = y p d( 4 ) =
96 96

6. DISTRIBUCIN ESTACIONARIA DE CADENAS DE MARKOV

REGULARES

Supngase que una cadena de Markov es regular, esto es, que su matriz de transicin P es
regular. Por el teorema 7.3 la sucesin de las matrices de transicin Pn de n pasos se
aproxima a la matriz T cuyas filas son cada una el vector de probabilidad fijo nico t de P;
por consiguiente, la probabilidad pij(n ) de que aj suceda para n suficientemente grande es

independiente del estado original ai y se aproxima a la componente tj de t. En otras

palabras,

Teorema 6: Considrese que la matriz de transicin P de una cadena de Markov es

regular. Entonces, a la larga, la probabilidad de que un estado aj suceda es
 igual aproximadamente a la componente tj del vector de probabilidad fijo
nico t de P.

As, vemos que el efecto del estado inicial o de la distribucin de probabilidad inicial del
proceso desaparece a medida que el nmero de pasos del proceso aumentan. Adems, cada
sucesin de distribuciones de probabilidad se aproxima al vector de probabilidad fijo t de P,
llamado la distribucin estacionaria de la cadena de Markov.

Ejemplo 9: Considrese el proceso de cadena de Markov del ejemplo 6 cuya matriz de

transicin es

t d
t 0 1
P = d 1 1
2 2

1 2
Segn el ejemplo 4 el vector de probabilidad fijo nico de la matriz es , . Por
8 8
1 2
consiguiente, a la larga, el hombre tomar el tren de las veces, y manejar los otros del
8 8
tiempo.

7. ESTADOS ABSORBENTES

Un estado ai de una cadena de Markov se llama absorbente si el sistema permanece en el

estado ai una vez que entra en l. As, un estado ai es absorbente si y slo si la fila i-sima
de la matriz de transicin P tiene un 1 en la diagonal principal y, ceros en las dems partes.
(La diagonal principal de una matriz cuadrada de orden n A = (aij) consta de los elementos
a11, a22, ann)
Ejemplo 10: Supngase que la siguiente matriz es la matriz de transicin de una cadena de
Markov:

a1 a2 a3 a4 a5

a1 1 0 1 1 1
4 4 4 4
P = a2 0 1 0 0 0
a3 0 1 1 0
4 4

a4 0 1 0 0 0
a5 0 0 0 0 1

Los estados a2 y a5 son cada uno absorbentes, puesto que cada una de la segunda y quinta
filas tiene un 1 en la diagonal principal.

Sea ai un estado absorbente de una cadena de Markov con matriz de transicin P. Entonces,
para j i, la probabilidad de transicin de paso n es pij(n ) = 0 para cada n. En consecuencia,

cada potencia de P tiene un elemento cero y, por tanto, P no es regular. As:

Teorema 7: Si una matriz estocstica P tiene un 1 en la diagonal principal, entonces P no

es regular (a menos que P sea una matriz 1 x 1).