Está en la página 1de 29

1

CADENAS FINITAS DE MARKOV


( Segunda Versin )

Octubre, 2005.

Ing. Guillermo F. Parodi

1. Introduccin.
Las cadenas de Markov son un subconjunto propio de los llamados
procesos estocsticos o procesos aleatorios.
Un proceso estocstico es una familia de variables aleatorias:
X(t) con t T . La variable t generalmente se asocia al tiempo, cosa que
haremos en este estudio.
En todo proceso estocstico existe un sistema que evoluciona entre los
distintos estados posibles pertenecientes a un conjunto E, y lo hace en
instantes contenidos en un conjunto T.
El conjunto E puede ser discreto ( finito o infinito numerable, definido a
priori) o continuo (uno o ms intervalos de medida no nula). Lo mismo
sucede con el conjunto T, siempre se debe recalcar que para ser discreto los
instantes deben ser conocidos de antemano (deterministas). Este conjunto
tambin se considera discreto aunque los instantes puedan ser puntos
aleatorios en un continuo, pero que no interese su abscisa exacta en el
tiempo sino que solo interese su orden de sucesin, caso contrario se
considerar continuo. Evidentemente ser tambin continuo el caso en que
el sistema cambie de estado constantemente, como podra por ejemplo las
coordenadas de una molcula de gas interactuando con otras en un
recipiente.
Un ejemplo bien simple de proceso aleatorio es una sucesin de tiradas de
un dado. Los estados del sistema son las caras del dado, numeradas del 1 a
6. La distribucin de probabilidades asociada a cada tirada sabemos que es
una distribucin uniforme sobre los valores de 1 a 6. Una trayectoria
posible de ese proceso puede ser:

X(1)=5; X(2)=1; X(3)=2; ...


Hablamos de trayectoria cuando se especifican los estados para cada t.
En este caso el sistema (el dado) evoluciona en tiempo discreto y la
evolucin es caracterizada por la independencia entre los resultados. La
probabilidad condicional est dada por:
P(X(n)= e n / X(n-1)= e n 1 ; X(n-2)= e n 2 ; ... ; X(1)= e 1 ) = P(X(n)= e n )
Donde e i 1, 2, 3, 4, 5, 6
La frmula de la probabilidad condicional pone en evidencia el carcter
independiente del proceso.
En la seccin siguiente introduciremos las cadenas de Markov que
constituyen el primer paso hacia la dependencia.
2. Cadenas de Markov.
Supongamos que una rana est saltando de una plantita de agua a la otra.
Estudiaremos la evolucin de la posicin de la rana sobre las cuatro plantas
de la figura siguiente:

2
1

En este momento el sistema se encuentra en el estado 4, la prxima


evolucin (suponiendo que la rana no se tire al agua), puede llevar al
sistema a cualquiera de los otros estados e inclusive a quedarse en el estado

4. En este caso no nos interesa el intervalo entre saltos solo el orden de los
estados alcanzados. Por ello a los instantes los describiremos con enteros
no negativos y usaremos para esa variable el smbolo n. Se trata entonces
de un proceso en tiempo discreto. Siendo la cantidad de estados finita el
conjunto E ser tambin discreto.
Si la probabilidad de pasar de una planta a otra slo depende de cul es la
planta en que se encuentra ahora, el comportamiento de la rana se puede
describir mediante una matriz de pasaje, en la que las filas representan el
origen y las columnas el destino. El elemento p ij , ubicado en la fila i y la
columna j, es la probabilidad de pasaje en el prximo salto desde la plantita
i a la j. Cuando se cumple la condicin enunciada al principio del prrafo
decimos que el proceso es una cadena de Markov en tiempo discreto.
Formalmente, el proceso se llama cadena de Markov si se cumple:
P(X(n)= e n / X(n-1)= e n 1 ; X(n-2)= e n 2 ; ... ; X(0)= e0 ) =
= P(X(n)= e n / X(n-1)= e n 1 )
Donde e i E (finito)
La denominacin de cadena de Markov se extiende al caso en que el
conjunto de estados E sea infinito numerable, y al caso en que interese el
intervalo aleatorio entre estados, en este ltimo caso la denominacin sera
cadena de Markov en tiempo continuo. Si los estados formasen parte de un
continuo ya no se utiliza la palabra cadena de Markov sino proceso de
Markov. En este estudio nos restringiremos a cadenas de Markov finitas en
tiempo discreto.
Si las probabilidades de pasaje no varan con el tiempo diremos que se trata
de una Cadena de Markov homognea, que es el caso que estudiaremos.
Supongamos que para nuestro ejemplo la matriz de pasaje sea:
0,2
0
P
0,5

0,1
0,7
0,2
0,4

0,5
0,2
0
0,5

0,2
0,1

0,3

0,1

Por ejemplo la probabilidad que estando en 4 salte a 2 es 0,4.


La matriz de pasaje es lo que se llama una matriz estocstica, ya que
cumple con las condiciones:
p ij 0

(2.1)

p ij 1
j1

para i = 1, 2, ... , m

(2.2)

Donde m es la cantidad de estados posibles.


Para estudiar la evolucin de la rana en el tiempo necesitamos partir de un
cierto instante, como no nos interesa el intervalo de tiempo entre saltos
podemos usar simplemente un nmero entero que indique el nmero del
salto (ordinal).
As si llamamos 0 al instante inicial, debemos contar con la informacin
sobre la plantita sobre la que est la rana o ms generalmente una
distribucin de probabilidades sobre las cuatro plantitas.
Si llamamos al vector probabilidades de estado y la rana est en la planta
4 en el instante 0, podremos escribir:
(0)=[ 0 0 0 1 ]
Si todos los estados son equiprobables en el instante 0, el vector ser:
(0)=[ 0,25 0,25 0,25 0,25 ]
En general podremos definir al vector probabilidad de estado inicial
mediante:
(0)=[ 1(0) 2(0) 3(0) 4(0) ]
Como suponemos que en el instante inicial la ranita est en el sistema debe
cumplirse que:
m

i (0) 1
j1

Para calcular la probabilidad de que despus del primer salto la rana se


encuentre en el estado j, usando las leyes del clculo de probabilidades
obtendremos:

j(1) = 1(0)p1j + 2(0)p2j +3(0)p3j + 4(0)p4j


Utilizando la notacin matricial podemos escribir entonces:
(1) (0) P

( 2) (1) P (0) P 2

y en general:
( n ) ( n 1) P (0) P n

(2.3)

Como se demostrar en el Corolario 1 a continuacin, se cumple:


m

i (n ) 1
j1

(2.4)

La ecuacin (2.3) nos permite obtener el vector de probabilidades de estado


para cualquier n finito. La componente i(n) es la probabilidad de encontrar
al sistema en el estado i inmediatamente despus del salto n (ensima
transicin).
Cabe ac una observacin. En el ejemplo de la ranita los saltos se producen
en intervalos aleatorios sin que nos interese la duracin de los mismos, por
lo que retenemos solo el nmero de salto. Para definir qu significa i(n)
debemos especificar en qu momento observamos al sistema y para que la
probabilidad sea correcta decimos que en este caso es despus del ensimo
salto. Esto tiene importancia y la probabilidad de estado as definida ser
diferente a la que provendra de observar el sistema en un instante
cualquiera. En efecto la ranita puede tener alguna planta preferida y
quedarse sistemticamente ms en ella, con lo que la probabilidad de
estado de esa plantita sera mayor si observamos el sistema en cualquier
instante.
Los otros casos de T discreto son cuando observamos al sistema en
instantes predefinidos no esperamos que se produzca una transicin sino
que observamos al sistema en los instantes definidos. Ejemplos de estos
casos son los problemas de stock en los que se revisa el nivel, por ejemplo,
al final del da. Es claramente una cadena de Markov ya que el estado

(nivel) al final del da depende del estado al final del da anterior y si la


demanda es independiente del da podr ser una cadena homognea.
Otro ejemplo de ese tipo es cuando estudiamos la participacin en el
mercado de un cierto producto. Estudiamos por ejemplo las ventas
mensuales del producto y de sus competidores. Si definimos las
probabiliddes de estado como el % de mercado, entonces solo debemos,
para fines comparativos observar al sistema al finalizar cada perodo.
Veamos ahora una de las propiedades de P n .
Teorema 1: La matriz P n es una matriz estocstica.1
Demostracin:
Sea P una matriz estocstica de orden mm y C un vector columna de
orden m cuyos elementos son todos unos. Entonces la igualdad:
P.C=C
se cumple siempre por la propiedad (2.2) de las matrices estocsticas
La demostracin se completa por induccin.
Supongamos que P n cumple con (2.2) entonces:
P n 1 .C=P.( P n .C)= P.C=C

con lo que queda demostrado el teorema, ya que la condicin (2.1) se


cumple siempre por ser elementos del producto de matrices con elementos
no negativos.
Corolario 1. Si (0) es una distribucin de probabilidades sobre E (es decir
m

i (0) 1, con todos los


j1

i (0) 0 ), entonces (n) ser tambin una

distribucin de probabilidades sobre E, para cualquier n entero positivo.


1

El incluir alguna demostracin en el texto no significa que se demostrar todo lo que sea necesario. En
el caso de horizonte infinito se recurrir a la teora de grafos para obviar mediante percepciones intuitivas
teoremas largos y complicados. La idea de incluir algunos teoremas no demasiado tediosos proviene de la
experiencia didctica de que estudiando crticamente una demostracin, el lector desarrolla su capacidad
para demostrar por s mismo.

Demostracin:
Por (2.3) se cumple:
( n ) (n 1) P (0) P n
(n)
Llamando p ij al elemento (i,j) de Pn, se tiene:
(n)
(n)
(n)
j(n) = 1(0) p1 j + 2(0) p 2 j + . . . + m(0) p mj

Por el Teorema 1 la matriz Pn es estocstica y como la suma de los j(0) es


igual a 1 por hiptesis, haciendo la sumatoria para todo j queda:
m

j1

j1

j1

j1

j1

j (n ) 1 (0) p1( nj ) 2 (0) p (2nj ) ... m (0) p (mjn ) j (0) 1


La no negatividad de j(n) queda asegurada ya que se obtiene mediante la
suma de productos de nmeros no negativos.
Veremos a continuacin que los elementos de Pn tienen una interpretacin
interesante.
Teorema 2: El elemento (i,j) de Pn es igual a la probabilidad de comenzar en
el estado i y terminar en el estado j en n evoluciones (Tambin puede
decirse que es la probabilidad de pasar de i a j en n evoluciones pudiendo
haber pasado por j en alguna o algunas evoluciones anteriores).
Demostracin (por induccin):
La proposicin es cierta para n =1 por la definicin de pij.
Supongamos ahora que es cierta para n-1. Se tiene:
p

(n)
ij

p ik( n 1) . p kj
k 1

El segundo miembro es la suma de la probabilidad de pasar de i a k en n-1


evoluciones por la probabilidad de pasar de k a j en una evolucin,
extendida para todo kE.

El problema fundamental para n finito queda totalmente resuelto con la


ecuacin (2.3). Esto es, conocido (0) puede conocerse cualquier (n).
Sabemos que Pn es una matriz estocstica cuyos elementos representan la
probabilidad de pasar de i a j en n evoluciones (pudiendo haber pasado
antes pero en la ensima llega a j) y como era de esperarse que (n) es una
distribucin de probabilidades sobre E .

Resulta interesante estudiar el proceso cuando n tiende a infinito. Si


existen los lmites la ecuacin (2.3) podr escribirse:
* * P (0) P *

(2.5)

y la ecuacin equivalente a (2.4) ser:


m

*i 1
j1

(2.6)

El caso en que el proceso no sea homogneo, no tiene ninguna


complicacin para n finito, slo que deberemos considerar las diferentes
matrices de pasaje de acuerdo al nmero de la evolucin. La ecuacin (2.1)
quedara:
( n ) ( n 1) P (0) P (1) P ( 2 ) P ( n )

donde P (i ) la matriz de probabilidades de pasaje para la i-sima transicin.


Sin embargo para cuando n tiende a infinito deberamos tener alguna
funcin que permita expresar a las P (i ) en funcin del nmero de evolucin
i. En lo que sigue asumiremos que tratamos con procesos homogneos.
Tambin es necesario remarcar que el caso tratado se denomina cadena de
Markov de orden 1 (si se omite el orden se asume siempre que es 1),
pudindose extender a otros ordenes redefiniendo la nocin de estado. Si
se tratase de una cadena de orden 2, el estado vendr dado por el estado

actual y el anterior, y as sucesivamente para los otros ordenes. En lo que


sigue nos limitaremos a cadenas de orden 1.
3. Grafos y cadenas de Markov.
Si leemos los escritos de Andrei Andreyevich Markov (1856-1922), quin
desarroll la teora de los procesos que llevan su nombre, notaremos que no
utilizaba la notacin matricial ni utilizaba el recurso de la teora de grafos.
Hoy con estas herramientas la presentacin original de Markov nos
parecera innecesariamente engorrosa.
Recordemos que un grafo es un conjunto de nodos interrelacionados
mediante arcos. Usaremos grafos dirigidos lo que significa que cada arco
tiene una direccin. Formalmente, dado un conjunto de nodos X y de arcos
U, un grafo se define como el triple (X, U, ), donde es una aplicacin
inyectiva del conjunto U sobre XX (producto escalar). Como
trabajaremos con grafos dirigidos cada arco tendr un inicio y un final que
se asignar en ese orden a cada par (i, j) XX.
Si a cada estado lo asociamos a un nodo de un grafo y a cada

p ij 0

un arco

de i a j, obtendremos el grafo asociado o correspondiente de la cadena de


Markov.
Vamos a introducir los conceptos fundamentales que nos permitirn
clasificar a las cadenas y deducir su comportamiento asinttico a travs de
ejemplos.
Ejemplo 1: Sea una cadena con una matriz de pasaje como sigue:
0,1
P 0

0
0,7

Su grafo asociado ser:

0,9
0,3
1

10

Vamos a definir una relacin de equivalencia para los nodos mediante la


proposicin: Estar en el mismo circuito o confundido con.
Las clases de equivalencia resultantes son 1 y 2, 3.
Se dice que una clase es transitoria si una vez entrada a ella se puede salir.
Una clase se llama final si una vez entrada en ella no se puede salir. En
nuestro ejemplo la clase 1 es transitoria y la 2, 3 es una clase final.
En el lmite, cuando n tiende a infinito la probabilidad de estado de los
nodos que se encuentran en clases transitorias es cero. Adems por el hecho
de existir una sola clase final las probabilidades de estado lmite sern
independientes del estado inicial ya que necesariamente el sistema estar en
esa clase final cuando n tienda a infinito. O sea cualquiera sea el estado
inicial, al entrar a la nica clase final el sistema quedar permanentemente
en ella.
Antes de proceder al clculo de las probabilidades de estado lmite vamos a
analizar el caso de n finito.
Con la ecuacin (2.3), que repetimos por comodidad:
( n ) ( n 1) P (0) P n

se pueden calcular las probabilidades de estado para cualquier n finito,


dado el vector de probabilidades de estado inicial. Notamos que calculando
las distintas potencias de P el clculo resulta directo. En muchos textos [2],
se utiliza la transformacin z (que es el equivalente en discreto de la
transformada de Laplace) o el anlisis espectral [1], para hallar la expresin
de (n), y posteriormente el lmite cuando n tiende a infinito, sin embargo
con el fcil acceso a las computadoras personales resulta preferible el
clculo directo ya que el uso de la transformacin z entraa no solo el
conocimiento de la trasformada sino una gran cantidad de manipulacin
algebraica.

11

Veremos el clculo de las potencias de P ya que basta premultiplicarla por


el vector de probabilidades de estado inicial (0) para obtener el vector
correspondiente a la etapa n, (n).
La convergencia de la secuencia P n , en caso que exista (como es nuestro
caso por razones que explicaremos ms adelante), puede ser lenta pero una
forma de acelerarla puede ser hallar el cuadrado de P y luego el cuadrado
de la matriz resultante que dara la cuarta potencia, y as siguiendo
obteniendo las potencias 8, 16, 32, 64, 128, 256, 512, 1024, ... o sea las
potencias que constituyen una serie geomtrica de razn 2.
Las hojas de clculo como por ejemplo el Excel dan una precisin
aceptable ya que almacenan 15 dgitos significativos y llegan al lmite de
1E-308.
En general para detectar la llegada a la matriz lmite de P n podremos
comparar cada potencia con la siguiente hasta encontrar dos sucesivas con
el mismo valor. Si se desea trabajar con una precisin , se podr parar
cuando
Max ij p ij( n 1) p ij( n )

Es fcil de comprobar que al obtener dos matrices iguales se ha llegado al


lmite. En efecto, si el lmite existe:
P * Lim n P n (Lim n P n 1 ) P P (Lim n P n 1 )
P* P P P *

(3.1)

La tabla siguiente es el resultado de las potencias de P hasta 8.

MATRIZ
0,1
0,9
0
0,3
0
1

EXPONENTE
0
1
0,7
0

12

0,01
0,36
0,63
0
0,79
0,21
0
0,3
0,7
0,001
0,747
0,252
0
0,447
0,553
0
0,79
0,21
0,0001
0,477
0,5229
0
0,6871
0,3129
0
0,447
0,553
0,00001
0,66609
0,3339
0
0,51903
0,48097
0
0,6871
0,3129
0,000001
0,533736
0,466263
0
0,636679
0,363321
0
0,51903
0,48097
0,0000001 0,6263847 0,3736152
0 0,5543247 0,4456753
0
0,636679
0,363321
0,00000001 0,5615307 0,43846929
0 0,61197271 0,38802729
0 0,5543247 0,4456753

Si queremos calcular por ejemplo (8) sabiendo que


(0) 0

0,6

0,4

lo obtendremos realizando la multiplicacin:


(8) 0

= [0

0,6

0,00000001
0,4
0

0,58889551

0,5615307
0,61194271
0,5543247

0,43846929
0,38802729

0,4456753

0,41108649]

Buscaremos ahora el lmite de las potencias de n cuando n tiende a infinito.


Para llegar ms rpido al lmite aplicaremos ahora el mtodo de elevar al
cuadrado la matriz que antecede obteniendo:

13

0,1
0
0
0,01
0
0
0,0001
0
0
1E-08
0
0
1E-16
0
0
1E-32
0
0
1E-64
0
0
1E-128
0
0
1E-256
0
0
0
0
0
0
0
0

MATRIZ
0,9
0,3
1
0,36
0,79
0,3
0,477
0,6871
0,447
0,5615307
0,61197271
0,5543247
0,586695827
0,589603709
0,586280416
0,588230178
0,588239842
0,588228797
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294
0,588235294

POTENCIA
0
1
0,7
0
0,63
2
0,21
0,7
0,5229
4
0,3129
0,553
0,43846929
8
0,38802729
0,4456753
0,413304173
16
0,410396291
0,413719584
0,411769822
32
0,411760158
0,411771203
0,411764706
64
0,411764706
0,411764706
0,411764706
128
0,411764706
0,411764706
0,411764706
256
0,411764706
0,411764706
0,411764706
512
0,411764706
0,411764706
0,411764706
1024
0,411764706
0,411764706

14

En este caso hemos usado la mxima precisin de la hoja de clculo. La


potencia de 512 no necesariamente ser la requerida para llegar al lmite
con la precisin mxima de la hoja de clculo. Se puede comprobar que
con 308 hubiera bastado. El hecho de que la potencia coincida en nmero
con la potencia negativa que se observa en el primer elemento de la primera
fila fue una mera casualidad ya que ese elemento en cada multiplicacin se
multiplica por 0,1 que es el nico valor diferente de cero de la primera
columna de P.
De hecho con la matriz obtenida elevando a la potencia 64 ya se hubiese
obtenido una buena aproximacin tomando al elemento de la primera fila
primera columna igual a cero.
La comprobacin interesante es que todas las filas de la matriz lmite son
iguales, lo que confirma lo adelantado al analizar el grafo, diciendo que la
probabilidad de estado lmite era independiente del vector probabilidad de
estado inicial. En efecto cualquiera sea (0) al multiplicarlo par la matriz
lmite de P n , por el simple hecho de tener todas las filas iguales se
obtendr siempre:
*=[ 0

0,588235294

0,411764706 ]

Que coincide con el valor de las filas de P* que son todas iguales.
Notar que se cumple, la ecuacin (2.5) que repetimos a continuacin:
* * P (0) P *

Toda cadena cuya probabilidad de estado lmite sea independiente del


vector de probabilidades de estado inicial se denomina cadena ergdica.
Una cadena de Markov es ergdica si y solo si posee una sola clase final.
El procedimiento que hemos usado para hallar el vector de probabilidades
de estado lmite, fue el de elevar a la matriz P a potencias crecientes hasta
que obtuvimos el lmite. Sin embargo tambin existe la posibilidad de

15

obtener el mismo vector usando los dos primeros trminos de la (2.5) y la


(2.6).
Intentaremos resolver el sistema para nuestro caso:
Aplicando la (2.5) se obtiene:

1*

*2

*3

1*

*2

*3

0,1 0,9
0 0,3

0
1

0
0,7

Que es la representacin matricial de las tres ecuaciones que siguen:


1* 1* 0,1
*2 1* 0,9 *2 0,3 *3
*3 *2 0,7

Que es un sistema de ecuaciones lineales homogneo. Haciendo pasaje de


trminos queda:
0 1* 0,9
0 1* 0,9 *2 0,7 *3
0 *2 0,7 *3

El determinante de los coeficientes es cero ( no es necesario calcularlo ya


que sumando las tres ecuaciones da 0=0, lo que indica que el sistema es
redundante). Existirn por tanto infinitas soluciones no triviales (solucin
trivial: todas las variables iguales a cero). Para resolver el problema
agregamos la (2.6) y eliminamos una de las ecuaciones del sistema
redundante, por ejemplo la primera, quedando:
0 1* 0,9 *2 0,7 *3
0 *2 0,7 *3
1 1* *2 *3

Resolviendo el sistema de ecuaciones planteado queda:


*=[ 0

0,588235294

0,411764706 ]

Que coincide con el calculado mediante el otro mtodo.


Ejemplo 2. Sea ahora la cadena definida por la siguiente matriz de pasaje:

16

0,3
P 0

0,5
1

0,2
0

El grafo correspondientes es:


En este caso tenemos tres clases de equivalencia: Una clase transitoria 1
y dos clases finales 2 y 3.
1

Al haber dos clases finales ya la cadena no ser ergdica, el vector de


probabilidades de estado lmite depender de (0). Si el sistema comienza
por ejemplo en 1, podr pasar a 2 donde queda atrapado o a 3 con la misma
consecuencia,
pero
dado que puede pasar a cualquiera de los dos tanto la
2
3
probabilidad de estado lmite de 2 como de 3 sern mayores que cero
mientras que en todos los casos la de uno ser cero. En cambio si comienza
en 2 quedar en 2, con lo que la probabilidad de estado lmite ser de uno
para el estado 2 y cero para el resto. Lo mismo ocurrir si comienza en 3.
Si (0) tuviese valores mayores que cero para todos los estados el vector
de estado lmite tendr valores mayores que cero para los estados 2 y 3 y
siempre cero para el 1.
Procediendo como en el ejercicio 1, vamos a calcular las primeras
potencias de P.

MATRIZ
0,3
0,5
0
1
0
0
0,09
0,65
0
1
0
0
0,027
0,695
0
1

EXPONENTE
0,2
0
1
0,26
0
1
0,278
0

17

0
0
1
0,0081
0,7085
0,2834
0
1
0
0
0
1
0,00243 0,71255 0,28502
0
1
0
0
0
1
0,000729 0,713765 0,285506
0
1
0
0
0
1

Notamos ya desde el comienzo, como era de esperar si se parte en el estado


2 el sistema queda atrapado en 2, lo mismo que si comienza en 3. Por
ejemplo si parte en el estado 2, multiplicando por cualquier potencia
positiva de P siempre dar el mismo resultado.
Si partimos de un vector de probabilidad de estado en el instante cero,
como por ejemplo 0,3 0,1

1 ( 6)

2 ( 6)

3 (6) 0,3

0,6 , el valor de (6) estar dado por:


0,1

0,0007
0,6
0

0,7137
1
0

El resultado ser:

1 ( 6)

2 (6) 3 (6) 0,00021 0,31411 0,68565

Elevando P a potencias crecientes obtenemos:


0,3
0
0
0,09
0
0
0,0081
0

MATRIZ
0,5
1
0
0,65
1
0
0,7085
1

EXPONENTE
0,2
0
1
0,26
0
1
0,2834
0

0,2855
0

18

0
6,56E-05
0
0
4,3E-09
0
0
1,85E-17
0
0
3,43E-34
0
0
1,18E-67
0
0
1,4E-134
0
0
1,9E-268
0
0
0
0
0

0
0,714239
1
0
0,714286
1
0
0,714286
1
0
0,714286
1
0
0,714286
1
0
0,714286
1
0
0,714286
1
0
0,714286
1
0

1
0,285696
0
1
0,285714
0
1
0,285714
0
1
0,285714
0
1
0,285714
0
1
0,285714
0
1
0,285714
0
1
0,285714
0
1

16

32

64

128

256

512

1024

Notamos ac que las filas de P* ya no son iguales como lo adelantamos en


el anlisis que hicimos de su grafo. La primera fila de P* nos da el vector de
probabilidad de estado lmite si se parte del estado 1, la segunda si se parte
de 2 y la tercera de 3. Si el (0) tiene probabilidades no concentradas en
ningn estado entonces el vector probabilidad de estado se calcular como
el producto de (0) por P* y dar un valor que no es igual a ninguna de las
filas.

19

Notamos entonces que si existe ms de una clase final la cadena no es


ergdica y el vector probabilidad de estado lmite ser dependiente de (0)
y podr adoptar infinitos valores en correspondencia con los infinitos
valores de (0). Sin embargo la matriz P* contiene toda la informacin
necesaria para calcular los vectores de probabilidad lmite para cualquier
(0).
En estos casos la utilizacin de las ecuaciones (2.5) y (2.6) no permite el
clculo de las infinitas probabilidades de estado lmite. Como ilustracin
veamos las ecuaciones que corresponden al presente ejemplo. Aplicando la
ecuacin (2.5) obtenemos:
1* 1* 0,3
*2 1* 0,5 *2
*3 1* 0,2 *3

Que es un sistema de ecuaciones lineales homogneo. Haciendo pasaje de


trminos queda:
0 1* 0,7
0 1* 0,5
0 1* 0,2

Agregando la (2.6)
1 1* *2 *3

vemos que lo nico que nos permite afirmar es que

1* 0

y que la suma de

las probabilidades de estado debe ser uno. Sin embargo en ejemplos ms


complejos veremos la utilidad de ambas ecuaciones para el clculo de las
probabilidades de estado lmite en las clases finales por separado. Ese
mtodo que se llama de descomposicin y que usaremos en casos de tener
cadenas no ergdicas (con ms de una clase final).
El mtodo de descomposicin consiste en separar la cadena en las clases y
proceder con cada una de ellas. Se calculan los vectores de probabilidad

20

lmite de cada clase final y as se obtienen las filas de P* que corresponden


a ellas, usando si necesario las (2.5) y (2.6). Para las filas que corresponden
a los estados transitorios (que pertenecen a una clase transitoria) se coloca
0 en las columnas que corresponden a estados transitorios y se calculan los
valores para las columnas correspondientes a estados que se encuentran en
alguna clase final. En otro ejemplo estudiaremos un caso ms complicado.
En el caso de el ejemplo actual la obtencin de es sumamente sencilla,
como veremos a continuacin.
Vamos a obtener las diferentes filas de la matriz P* que como hemos visto
nos permite calcular el vector de probabilidad de estado lmite para
cualquier (0)

0,3
P 0

0,5
1
0

0,2
0

Comencemos con las clases


finales.
Ya sabemos que si el sistema parte del estado 2 ya no sale de all. Entonces
la segunda fila de P* ser:
0

Lo mismo ocurre con el estado 3, por lo que la tercera fila de P* ser:


0

Ahora comencemos en el estado 1, en el lmite su probabilidad de estado


ser 0. Ahora dado que sali de 1 debemos calcular la probabilidad

21

condicional de que pase a 2. Usando la definicin de probabilidad


condicional, en el numerador ir la probabilidad de que vaya a dos y que
salga de uno lo cul da directamente la probabilidad que vaya de 1 a 2,
dividido por la probabilidad de que el sistema salga de 1:
0,5/(1-0,3) = 0,714285714
Operando de la misma manera con 3 obtenemos:
0,2/(1-0.3) = 0,285714286
Con lo que la primera fila de P* quedar:
0

0,714285714

0,285714286

Ejemplo 3. Sea la cadena de Markov definida por la siguiente matriz de


pasaje:
0
1

1
0

Su grafo correspondiente es:


1

En este grafo notamos que existe


una sola clase y que esa clase es final. Hasta ahora postergamos la
discusin sobre la convergencia de la secuencia de Pn , la convergencia
apareci en los dos ejemplos anteriores. Este es un caso en que la secuencia
no converge. Basta con calcular algunos elementos de la secuencia de
potencias de P para notar que una secuencia de potencias de P no converge
sino que aparece un perodo en el que se reproduce el mismo elemento de
la secuencia. La cadena se llama peridica y en este ejemplo el perodo es
2.
Es de notar que todas las clases finales tienen circuitos, pero slo son
peridicas, de perodo w, si todos los circuitos posibles, comenzando en

22

cualquier estado de la clase, son de longitud w>1 y sus mltiplos. Si una


clase final tiene un bucle entonces ya no podr ser peridica. Para calcular
el perodo se toma el MCD (Mximo Comn Divisor) de la longitud de
todos los circuitos obtenidos partiendo de uno de los estados de la clase
final. Si ese valor que llamamos w, es mayor que 1 hace que la clase final
sea peridica y consecuentemente la cadena ser peridica. Si la cadena
tiene varias clases finales basta que una sea peridica para que la cadena lo
sea. Puede ocurrir naturalmente que varias clases finales sean peridicas
con perodos diferentes, siendo en todos los casos la cadena peridica.
Continuando con el ejemplo:
MATRIZ
EXPONENTE
0
1
1
1
0
1
0
2
0
1
0
1
3
1
0
1
0
4
0
1
0
1
5
1
0
1
0
6
0
1
0
1
7
1
0
1
0
8
0
1
0
1
9
1
0
1
0
10
0
1
Ac los matemticos sacaron un conejo de la galera. Como no existe el
lmite en el sentido habitual, se recurri al lmite en el sentido de Csaro.

23

Dada una secuencia ai con valores acotados siempre existir el lmite de la


expresin siguiente:
n

A lim n

ai
i 1

En nuestro caso todos los elementos de Pn estn acotados superiormente


por 1 e inferiormente por 0, entonces existir siempre:
n

P C lim n

Pi
i 1

(3.2)

Notar que en el caso en que Pn converja en el sentido habitual, a partir de


un cierto valor de n finito ser Pn=P* por lo que en ese caso P C P * .
Para el clculo directo de las potencias de P ahora habr que calcular
potencia por potencia no pudiendo recurrir a calcular el cuadrado de la
anterior con la que acelerbamos los clculos. Sin embargo si se detecta el
perodo es fcil notar que basta con extender la suma a un perodo y dividir
por el perodo. En nuestro caso basta sumar P y P2 y luego dividir por el
perodo que es 2. El resultado ser:
0,5
Pc
0,5

0,5
0,5

Vemos que las filas son iguales y corresponden a la matriz de


probabilidades de estado lmite, que es independiente del vector de
probabilidades de estado inicial.
El hecho de haber usado el lmite en el sentido de Csaro no cambia el
concepto de probabilidad de estado lmite, que siempre es la probabilidad
de encontrar el sistema en cada estado si se observa el sistema en un
instante cualquiera tT, cuando la cantidad de evoluciones n es
suficientemente grande.
El mtodo de usar (2.5) y (2.6) nos dar el siguiente sistema:

24
1* *2
*2 1*
1* *2 1

Eliminando una de las dos primeras ecuaciones y resolviendo obtendremos:

*
1

*2 0,5 0,5

Ejemplo 4. En este ejemplo estudiaremos con ms detalle el mtodo de


descomposicin- Sea la cadena definida por la matriz de pasaje siguiente:
0
0

0
P
0
0

0,2

0,5

0,3

1
1
0
0

0
0
0
0

0
0
0
0

0
0
1
0,3

0
0

0
0,7

El grafo asociado es:

3
2

5
6

Tenemos dos clases finales definidas por 2 y 4,5,6


Dado que la rutina de clculo ya se ha mostrado en los ejercicios anteriores,
en este caso daremos ya la matriz lmite obtenida por sucesivas
multiplicaciones y luego nos concentraremos en cmo hallar esa matriz
lmite con las ecuaciones (2.5) y (2.6) usando el mtodo de
descomposicin.

25

La matriz lmite obtenida por multiplicaciones sucesivas es la siguiente:


0
0,7
0
0,0875
0,125
0,0875
0
1
0
0
0
0
0
1
0
0
0
0
0
0
0 0,29166667 0,41666667 0,29166667
0
0
0 0,29166667 0,41666667 0,29166667
0
0
0 0,29166667 0,41666667 0,29166667
Vamos ahora a aplicar las (2.5) y (2.6) a la clase final definida por los
estados 4, 5, y 6.
La submatriz de pasaje es:
0
0
1

1
0,3
0

0
0,7
0

Tenemos entonces por la (2.5):


*4 *6
*5 *4 *5 0,3
*6 *5 0,7

Pasando trminos:
*4 *6 0
*4 0,7 *5 0
*5 0,7 *6 0

El sistema tiene determinante igual a cero por lo que existirn soluciones


no triviales. Eliminando una de las ecuaciones del sistema redundante, por
ejemplo la primera y agregando la (2.6) queda:
*4 0,7 *5 0
*5 0,7 *6 0
*4 *5 *6 1

Resolviendo el sistema se obtiene:


*4 =0,29166667
*5 =0,41666667

26

*6 =0,29166667
Vemos que con estos valores podemos completar las filas 4, 5 y 6,
teniendo en cuenta que si comenzamos por cualquiera de esos estados la
probabilidad de estado lmite de los estados 1, 2 y 3 ser nula.
Podemos completar la 2 fila notando que esa clase final tiene como nico
elemento el estado 2, por lo que su fila tendr un 1 en la segunda columna y
ceros en el resto.
Para facilitar la comprensin de la obtencin de la primera y tercera fila
vamos a colocar las probabilidades en el grafo:

1
0,5

0,2

0,3

3
2

5
6

Veamos la primera fila, que representa las probabilidades de estado lmite


cuando se parte de l estado 1.
La columna 1 tendr el valor cero ya que el estado es transitorio. La
segunda columna tendr una probabilidad dado por la suma de
0,2+0,5=0,7, la tercera tendr el valor 0 ya que corresponde a un estado
transitorio. Para las columnas restantes tenemos que tener en cuenta que si
el sistema parte del estado 1 tiene una probabilidad de 0,3 en pasar a la
clase compuesta por los estados 4, 5, y 6. Una vez entrada a esa clase las
probabilidades respectivas son los valores de 4 , 5 y 6 respectivamente.

27

Los valores de esas tres columnas se obtendrn multiplicando las


probabilidades de estado lmite de cada uno de esos estado por el valor 0,3.
Para obtener la fila 3 percibimos que de comenzar en ese estado el sistema
pasa al estado 2 que es absorbente por lo que la fila tendr un 1 en la
segunda columna y cero en el resto.
Estos clculos se pueden sistematizar usando la ecuacin (3.1):
P* P* P P P*

Calculando las filas de las clases transitorias usando las filas


correspondientes a cada una de ellas, colocando ceros en las columnas
correspondientes a estados transitorios. En este ejemplo las clases
transitorias contienen cada uno un estado por lo que deberemos calcular fila
por fila.
AGREGAR AC EL MTODO DE DESCOMPOSICIN BIEN
DESARROLLADO Y VARIOS EJEMPLOS.
A CONTINUACIN COLOCAR EL CUADRO DADO EN CLASE.
Conclusiones.
Con razonamientos intuitivos sobre los grafos no pretendemos que las
conclusiones que damos a continuacin sean demostraciones formales. Sin
embargo los enunciados que nos sugiere la intuicin coinciden con los de
las demostraciones formales que podrn encontrarse en algn texto ms
avanzado como por ejemplo [1].
1) Si la cadena de Markov tiene una sola clase final y esta clase es no
peridica el lmite de las potencias de P existe, y la matriz lmite tiene todas
sus filas iguales y como consecuencia el vector de probabilidades de estado
lmite ser nico e independiente del vector de probabilidades de estado
inicial e igual a el valor comn de las filas. Las cadenas que cumplen esta
condicin se llaman ergdicas y ms especficamente en el caso de no ser
peridicas se llaman regulares. Los valores de el vector de probabilidades
de estado lmite obtenidos hallando el lmite de la secuencia de potencias

28

de P y premultiplicando ese valor por (0) y los obtenidos con las


ecuaciones (2.5) y (2.6) coinciden. Para las cadenas ergdicas esas
ecuaciones son suficientes para calcular el vector de probabilidades de
estado lmite, sin requerir ninguna descomposicin como la que es
necesaria para las no ergdicas.
2) Si la cadena de Markov tiene una sola clase final peridica, aplican los
enunciados de 1) salvo que el lmite habitual de las potencias de P no
existe, sin embargo s existe el lmite en el sentido de Csaro y ese lmite es
el usado.
Una cadena es ergdica si tiene una sola clase final. La matriz de pasaje
lmite en el sentido de Csaro, tendr todas sus filas iguales al vector de
probabilidades de estado lmite. Notar que si una cadena es regular
(ergdica y clase final no peridica) el lmite comn coincide con el lmite
de Csaro.
3) Si la cadena de Markov tiene ms de una clase final y ninguna es
peridica el lmite de las potencias de P existe, y la matriz lmite no tiene
todas sus filas iguales y el vector de probabilidades de estado lmite
depende del vector (0). La matriz puede obtenerse directamente hallando
las distintas potencias de P hasta encontrar que dos potencias sucesivas son
iguales con la precisin usada o que la mxima diferencia en valor absoluto
entre los elementos correspondientes sea menor que una precisin . Para
hallar el lmite de las potencias de P pueden usarse alternativamente las
ecuaciones (2.5) y (2.6) para calcular las filas de la P lmite
correspondientes a cada elemento de cada clase final. El resto de las filas se
calcular considerando la probabilidad de acceder a cada clase final desde
cada estado transitorio y los resultados obtenidos para las filas
correspondientes a los estados pertenecientes a clases finales.

29

4) Si la cadena de Markov tiene ms de una clase final, con alguna de ellas


peridica, aplican las mismas conclusiones de 3) pero la matriz lmite de
las potencias de P debe calcularse como lmite en el sentido de Csaro.
5) Si una cadena es ergdica sabemos que existe una solucin nica al
sistema (2.5) y (2.6) con lo que podemos deducir que el rango de la matriz
(I P)

ser m-1.

En efecto tomando los dos primeros trminos de la (2.5):


* * P *

que puede escribirse:


* ( I P ) 0

o lo que es lo mismo tomando las traspuestas:


T

( I P ) T * 0

La matriz
(I P) T

tendr rango m-1, ya que unida con la (2.6) da una solucin nica. Por
supuesto que el rango de la matriz:
(I P) .

tambin ser m-1, ya que el rango de matrices traspuestas es idntico.


Bibliografa.
[1] Gordon, P. Cadenas finitas de Markov y sus aplicaciones. Ed. Hispano
Europea.
[2] Howard, R. Dynamic Programming and Markov Processes. Wiley.

Revision 11/10/05.