Capitulo 3

Cadenas de Markov
3.1 Introduccin a los Procesos Estocsticos

Condiciones de
Observacin

Proceso Estocstico
Fenmeno aleatorio

Variables Interrelacionadas
Sistema en
Estudio

Una o ms variables aleatorias

Figura 3.1. Elementos de un sistema estocstico

Podemos definir un Proceso Estocstico como una coleccin indexada de variables
aleatorias {Xt}, donde el ndice t toma valores de un conjunto T dado, considerndose
generalmente a t como un momento particular en el tiempo y a T el conjunto de instantes
de tiempo en los cuales Xt tomar valores. Se define pues a Xt como una caracterstica de
inters que evoluciona en el tiempo de manera probabilstica.
Es bueno sealar aqu que a pesar de que frecuentemente se considera a lo Probabilistico
como opuesto a lo Deterministico, esta percepcin del comportamiento de los sistemas no
viene a ser del todo cierta cuando se trata de analizar Sistemas Complejos, con variables
que evolucionen en el tiempo de una manera catica. No necesariamente existe lo
puramente probabilistico (viable de asociar racionalmente a cierta distribucin de

39

probabilidad) ni lo puramente deterministico (viable de determinar con certeza), existiendo,

sobre todo en el anlisis de sistemas dinmicos no lineales, comportamientos extraos,
confusos, altamente sensibles a las condiciones iniciales, afectando incluso el poder asociar
al comportamiento de las variables ciertas probabilidades empricas subjetivas segn la
metodologa bayesiana. Esta interesante discusin est por fuera del alcance de estas notas
de clase, y el lector interesado puede consultar las mltiples fuentes bibliogrficas sobre
Teora del Caos y sistemas dinmicos disponibles sin mayores restricciones en internet.
Ahondemos un poco ms en los conceptos fundamentales. Supngase un proceso
estocstico elemental con una variable aleatoria indexada {Xt}. Definiremos los
componentes bsicos de ste proceso estocstico atendiendo al alcance de ste curso.
Instantes de Tiempo t
Corresponden a momentos en el tiempo donde probablemente se producen cambios de la
variable aleatoria. En un experimento se puede decir que t T son los momentos de
observacin del fenmeno aleatorio, donde se verifican los cambios de estado de la
variable aleatoria ( variables aleatorias). Ejemplos de representacin de los instantes de
tiempo son los siguientes:
t0 = 0

t1 = 1 pm

t2 = 2 pm .

t0 = Enero

t1 = Febrero t2 = Marzo .

t0 = Enero

t1 = Febrero t2 = Octubre .

Instantes de Tiempo
Discretos

Instantes de Tiempo Continuos

dentro de un intervalo

t > 0 2 < t < 10

Tenga en cuenta que los momentos t que se definan dentro del conjunto T de instantes de
tiempo, son aquellos momentos donde nos interese inspeccionar el estado de la variable.
Como ejemplo, supngase el estudio de la variable demanda de un producto, y que adems
dicha demanda puede variar mes a mes. Para estudiar este fenmeno aleatorio puedo
establecer que los meses en los cuales quiero verificar el valor que toma la demanda son
nicamente Enero, Febrero y Octubre, esto por motivo de que en los dems meses sta

40

variable se comporta de manera estable y uniforme, siendo factible en esos otros meses
determinar con algo de certeza cual ser su valor. En este caso, estos tres meses seran
entonces mis instantes de tiempo, y el proceso de demanda se considerara un proceso
estocstico ya que no s cul ser la demanda en dichos meses con exactitud mas s
dispongo de cierta informacin probabilstica espero disponer de ella.
Estado
Un estado es un valor que toma la variable aleatoria en cada momento t (en otras palabras,
en cada momento t el proceso estocstico {Xt} se encuentra en un determinado estado).
Los estados son mutuamente excluyentes para cada t, y pueden ser finitos o infinitos,
cualitativos o cuantitativos. En el curso consideraremos un nmero finito de estados.
Ejemplo 1
Sea Xt = nmero de camiones que esperan a ser descargados en un muelle de recepcin de
mercancas en un tiempo t.
Instantes de

Estados de la

Estados posibles

Tiempo t

Variable Xt

(Espacio de estados )

t=0

8:00 AM

Xo = 2 camiones

t=1

9:00 AM

X1 = 0 camiones

t=2

10:00 AM

X2 = 4 camiones

t=3

11 :00 AM

X3 = 0 camiones

= {0, 1, 2, 3, 4,5}

En la tabla anterior se muestra una informacin de la variable aleatoria Xt, datos que
surgieron seguramente de cierto estudio. Los momentos de observacin de la variable
fueron cada hora a partir de las 8:00 AM, anotndose en cada ocasin el estado de la
variable. En este estudio se estableci (tercera columna de la tabla) que la variable poda
tener slo seis valores posibles, no pudiendo haber ms de cinco camiones esperando a
descargarse. Esta ltima consideracin puede deberse a polticas de la empresa en cuanto a
eficiencia en descargue que han hecho posible que siempre se est en ese rango de

41

camiones en espera,

tambin puede deberse al conocimiento exacto, adquirido por

experiencia, acerca del rango de valores que la variable puede tomar en los instantes de
tiempo que se han definido como los relevantes.
Ejemplo 2
Supongamos que estamos estudiando el nmero de llamadas que se producen en una central
telefnica. Para un intervalo de tiempo determinado, por ejemplo una hora, se puede
definir la variable aleatoria X= Nmero de llamadas que se producen en una hora. Si
consideramos un intervalo mayor, por ejemplo dos horas, es evidente que el nmero de
llamadas observadas tender a ser superior y, por tanto, la distribucin de probabilidad de
esta nueva variable aleatoria ser distinta a la anterior. As para cada tiempo que fijemos
tendremos una variable aleatoria, en principio distinta. En situaciones de este tipo surge de
modo natural la conveniencia de definir una familia de variables aleatorias que dependen
de una variable determinista prefijada como lo es el tiempo.
Ejemplo 3
Puede definirse un proceso estocstico como Xt = estado del clima en el momento t.
Dependiendo de la profundidad de mi estudio las condiciones de mi experimento puedo
decir que los valores de esta variable estarn enmarcados dentro del siguiente espacio de
estados ={lluvioso, seco}. Otro analista podra definir el espacio de estados distinto
dadas sus necesidades de investigacin as: = {lluvioso_alta humedad relativa,
lluvioso_baja humedad relativa, seco_altamente soleado, seco_nublado}. Note que las
condiciones del experimento son en cada caso claramente distintas y arrojaran informacin
de dos variables aleatorias en esencia distintas.

As que no solo los instantes de

observacin como en el anterior ejemplo, sino tambin las caractersticas del experimento
condicionan la informacin que obtendr de la variable aleatoria, su utilidad prctica y su
comportamiento probabilstico especfico.

42

3.2 Conceptos relevantes de probabilidad

Sea un experimento E, donde todos los posibles resultados a obtener se almacenan en un
conjunto . Al conjunto se le denomina espacio muestral.
Si X es la variable aleatoria a analizar en el experimento, entonces el espacio muestral
abarca todos los posibles valores (estados) que dicha variable puede tomar, bajo unas
mismas condiciones de experimentacin.
Dado que, bajo unas mismas condiciones de experimentacin, se tienen en todos los
estados posibles de la variable, entonces la sumatoria de las probabilidades de ocurrencia de
los estados confinados en el espacio muestral debe ser igual a la unidad. Esto se puede
simbolizar como:
P () = 1
Se define tambin a un evento a cualquier subconjunto del espacio muestral .
3.2.1. Dependencia, independencia y condicionalidad de eventos
Se dice que dos eventos son independientes cuando la ocurrencia de uno de ellos, no
modifica la ocurrencia del otro, ni esta influenciado por este. Si se realiza una serie de
pruebas repetidas, las pruebas son independientes, cuando el resultado de una de ellas no
est influenciada por el resultado de la prueba anterior, ni tampoco influenciar el resultado
de la prueba siguiente.
Es importante no confundir independencia con exclusin. Pues en este ltimo caso, la
ocurrencia de un suceso hace imposible la ocurrencia del otro (lo que se conoce como
sucesos disjuntos). O sea, se obligan entre s. Esto lleva a pensar que dos sucesos son
excluyentes disjuntos cuando su interseccin es el conjunto vaco, o sea, la probabilidad
de que ocurra uno y el otro, ser nula. Pero observe que a pesar de que no existe
interseccin, estos dos eventos no son independientes entre s, ya que el que ocurra un
evento depende de si ocurre o no el otro.
De hecho, la interseccin de los sucesos independientes existe y est definida por:

43

P (A B) = P (A). P (B)

Se dice entonces que dos sucesos A y B son independientes cuando la probabilidad de que
ambos ocurran es igual al producto de sus probabilidades mutuas (independencia
estadstica).
Se puede generalizar con: Sean n sucesos Ci todos independientes entre s, entonces se
Cumple que:
P (C1 C2 C3 ... Cn) = P(C1) . P(C2) . P(C3) ... P(Cn)

Por otro lado, para que un suceso condicione a otro tambin debe haber algn elemento en
comn, pues si no hay ninguna relacin entre ellos no podr haber influencia de uno sobre
el otro.
Se necesita entonces, definir un nuevo concepto: la probabilidad condicional que ocurra
un suceso A, luego de que ha sucedido un suceso B, puede ser calculada con:
P(A / B) = P(A B) / P(B)
O lo que es lo mismo,
P(A B) = P(A / B)*P(B)

Se dice entonces, la ocurrencia de B incide en la ocurrencia de A.

Esto permite encontrar otra manera de definir dos sucesos independientes. Si sucede que se
cumple: P(A / B) = P(A), entonces B no condiciona la ocurrencia de A y resultan
independientes.
Resumiendo:

Condicionalidad:

P (A B ) = P ( A / B ) . P(B)

Independencia:

P (A B ) = P ( A) . P(B)

Exclusin:

P (A B ) = 0

44

Como se ve, la condicin ms general es la condicionalidad, y como casos muy particulares

de la misma, se da la condicin de independencia o la de exclusin.
3.2.2. Probabilidad condicional y rboles
Otra manera natural y til de estudiar probabilidad condicional es por medio de una
estructura de rbol. Esta forma de visualizar el experimento es particularmente pertinente
cuando ste se ejecuta en etapas y posteriormente veremos su aplicacin en el estudio de
Cadenas de Markov. Observe por ejemplo el experimento de seleccionar a la vez dos bolas
al azar de una caja que contiene 2 rojas y 3 azules. Este experimento es equivalente al de
seleccionar al azar una bola, y entonces, sin reemplazar la primera, seleccionar al azar otra
bola. Este proceso se puede visualizar fcilmente por medio de un rbol como el que se
muestra a continuacin. En cada nodo del rbol representamos el nmero de bolas rojas y
azules que quedan en la caja. Las ramas que emanan de cada nodo representan los dos
resultados posibles que se pueden obtener cuando se selecciona una bola al azar: roja o
azul. Cada rama es rotulada por el resultado obtenido y por la probabilidad condicional de
observar ese resultado. Los nodos al final representan los estados finales posibles que
podemos obtener como resultado del experimento.

Figura 3.2. Diagrama de rbol que ilustra el experimento de seleccionar dos bolas de una
caja

45

Pregunta: Cul es la probabilidad que la segunda bola seleccionada sea roja dado que la
primera es azul?
Si la primera bola fue azul, ahora quedan en la caja dos bolas rojas y dos azules. De ah
seleccionamos otra bola. La probabilidad de que una bola seleccionada de esa caja sea roja
es 2/4.
Para ahondar un poco ms denotamos el evento de que la primera bola seleccionada es roja
por R1 y el evento de que la segunda sea roja por R2. Hacemos lo propio para las bolas
azules denotndolas por B1 y B2, respectivamente. Esta representacin es til para encontrar
probabilidades conjuntas y marginales.
Por ejemplo, la probabilidad que la primera bola sea roja y la segunda azul, denotada P (R1
B2) es el producto de las probabilidades que rotulan el camino de la raz del rbol y que
son consistentes con los resultados R1 y B2. Entonces P (R1 B2) = 2/5 x 3/4 = 6/20.
Si nos interesamos por la probabilidad marginal de que la segunda bola sea roja, P(R2),
tenemos que darnos cuenta de que hay dos caminos posibles en que la segunda bola es roja.
Estos dos caminos dependen del resultado que se observ cuando seleccionamos la primera
bola, que pudo haber sido rojo o azul. As observamos una bola roja en la segunda
seleccin cuando cualquiera de los dos eventos conjuntos (B1 y R2) (R1 y R2) ocurren.
Estos son eventos son disjuntos por lo cual P(R2) = P (B1 R2) + P (R1 R2) = 6/20+
2/20 = 8/20.
3.2.3. Teoremas de Probabilidad Total y de Bayes
Sean n sucesos {Ci , i =1, 2,.n} pertenecientes al mismo espacio muestral , tales que
particionan al suceso A, entonces se cumple que :
n

P( A ) =

P( A Ci )

i =1

Y equivalentemente podemos escribir tambin:

n

P( A ) =

[P(Ci ) . P(A / Ci )]

i =1

46

Teorema de Probabilidad Total

De una manera extendida se puede decir que:

P(A) = P(C1 ) . P(A / C1) + P(C2) . P(A / C2) + ..+ P(Cn) . P(A / Cn)
Este teorema de probabilidad total ser til para los anlisis markovianos posteriores.
Como una consecuencia del teorema anterior, haciendo sustituciones adecuadas, se obtiene
el Teorema de Bayes. En efecto, de la definicin resulta:
P(Ci ) . P(A / Ci ) = P( A Ci ) = P( Ci A) = P(A ) . P(Ci / A)
Despejando,
P(Ci / A) = { P(Ci ) . P(A / Ci ) } / P(A )
Y reemplazando P(A ) con el Teorema de Probabilidad Total, se obtiene el Teorema de
Bayes:

Donde:
P(Ci ) : son las llamadas probabilidades a priori por ser las que tienen los sucesos Ci
antes de saber que ha ocurrido el suceso A.
P( A Ci ) : son las probabilidades conjuntas
P(A / Ci ) : son las probabilidades condicionales
P(Ci / A) : son las llamadas probabilidades a posteriori porque son las que tienen los
sucesos Ci, luego de saber que ha ocurrido el suceso A.

3.3 Introduccin a las Cadenas de Markov

47

Los procesos estocsticos denominados markovianos deben su nombre a Andrei

Andreyevich Markov quien fue un destacado matemtico graduado de la Universidad de
San Petersburgo en 1878. Despus de 1900 Markov realiz grandes avances en la teora de
la probabilidad, probando incluso el importante Teorema Central del Lmite.
Markov es particularmente recordado por sus estudios de las Cadenas de Markov, teora
que desarroll a sus 51 aos y que public en el ao de 1907. Pero, Que utilidad se busca
en las Cadenas de Markov?
La idea es encontrar una herramienta telescpica que permita aproximarnos
objetivamente al futuro. El anlisis de Markov, permite encontrar la probabilidad de que un
sistema se encuentre en un estado futuro en particular en un momento dado. Con esta
informacin probabilstica se pretende entonces predecir el comportamiento del sistema a
travs del tiempo.
Procesos de prediccin y
planeacin

Cadenas de Markov

3.3.1. La Memoria Temporal de las Cadenas de Markov

Sea la siguiente secuencia de estados para el proceso estocstico {Xt}
Xt+1 = j

Estado
Futuro

Xt = i

Xt-1 = kt-1,

Estado Actual

Xt-2 = kt-2..

Estados Pasados

Las cadenas de Markov tienen la propiedad particular de que las probabilidades que
describen la forma en que el proceso evolucionar en el futuro, dependen slo del estado
actual en que se encuentra el proceso, y por lo tanto, son independientes de los eventos
ocurridos en el pasado.
Sea Xt = i, la indicacin de que el proceso estocstico est en el estado i en el tiempo t.

48

Llamemos Pij la probabilidad de estar en el estado j en el momento t+1, conocidos los

estados anteriores:
Pij = P {Xt+1 = j / Xt = i, Xt-1 = kt-1, ..., X1 = k1, X0 = k0}
Si el proceso estocstico se dice que es markoviano entonces:
Pij = P {Xt+1 = j / Xt = i, Xt-1 = kt-1, ..., X1 = k1, X0 = k0}= P {Xt+1 = j / Xt = i}
Pij = P (Xt+1 = j / Xt = i)
El estado futuro de la variable en el tiempo t + 1, est condicionado nicamente por el
recuerdo que se tiene de lo ocurrido en el tiempo t.
A la probabilidad condicional P(Xt+1 = j / Xt = i) se le llama Probabilidad de Transicin
del estado i al estado j y se seguir simbolizando simplemente como pij.
3.3.2. Notacin
En esta seccin iniciaremos formalmente el estudio de las cadenas de markov en tiempo
discreto y finito (particularmente en tiempo entero), es decir, de la forma {Xt / t =
{0,1,2,}}. El estado del sistema en el instante t, Xt, es una variable aleatoria que toma
valores con base en un espacio finito de estados E = {E1,.,i,...., Er} siendo entonces que
hay r estados e i representando a uno cualquiera de estos estados.
Se denotar a i (t ) la probabilidad de alcanzar el estado i en el instante t !
P(Xt = i) = i (t )
Siguiendo la lgica de la notacin, escribiremos la Ley de Probabilidades asociada a Xt
como:

(t ) = [ 1 (t ) , 2 (t ) , .., r (t ) ]

Se simboliza entonces a la Ley Inicial del Sistema como:

49

 (0) = [ 1 (0) , 2 (0) , .., r (0) ]

Observe que tanto la Ley Inicial del Sistema como las Leyes de Probabilidad para cualquier
instante t, se definen aqu como Probabilidades Totales asociadas a los distintos estados.
3.3.3. Matriz de Probabilidades de Transicin de un Paso

Es la matriz conformada por las probabilidades condicionales de transicin de estados,

desde el instante t hasta el instante t + 1. Se puede intuir que se llama de un paso, puesto
que se evalan las probabilidades condicionales despus de pasada una unidad de tiempo.
Esta matriz se representa como en la siguiente tabla.

Estados
actuales

Estado
1
.
i

Estados Futuros
1
j
Pll
.
.
.
.
Pij
.
.
Pr1
.

r
P1r
.

.
.
Prr

A esta Matriz de Transicin de un Paso tambin se le simboliza como Pt t+1 [i, j ]

simplemente Pt t+1 .
3.3.4. Ejemplo Ilustrativo

Despus de mucho estudio sobre el clima, hemos visto que si un da est soleado, en el 70%
de los casos el da siguiente continua soleado y en el 30% se pone nublado. En trminos de
probabilidad, lo que nos sirve entonces para predecir el clima, vemos que la probabilidad de
que contine soleado el da siguiente es 0,7 y la probabilidad de que al da siguiente est
nublado es 0,3. Tambin nos fijamos en que si un da est nublado, la probabilidad de que
est soleado el da siguiente es 0,6 y la probabilidad de que se ponga nublado es 0,4. Si hoy
est nublado, cul es la probabilidad de que maana contine nublado?

50

Analicemos este caso a travs de las Cadenas de Markov.

La informacin que nos

proporcionan es la siguiente:
Estados: Soleado y Nublado
Periodo de tiempo de transicin de estados: Un da
Matriz de Probabilidades de Transicin de un Paso !

P(X1 = nublado/ X0 = nublado) = 0,4

P(X1 = nublado/ X0 = soleado) = 0,3
P(X1 = soleado/ X0 = nublado) = 0,6
P(X1 = soleado/ X0 = soleado) = 0,7

t
t +1

Estados

Soleado

Nublado

Soleado

0,7

0,3

Nublado

0,6

0,4

Ley Inicial del Sistema: Hoy est nublado (condicin inicial) y por tanto la ley inicial es:

soleado (0) = P(X0 = soleado) = 0

nublado (0) = P(X0 = nublado) = 1
(0) = [ soleado (0) , nublado (0) ] = [0, 1]
La pregunta entonces es, dada la ley inicial en t = 0, hallar las Leyes de Probabilidad un da
despus, es decir, en t = 1.
Para lograr esto debemos recordar el Teorema de Probabilidad Total, que lo aplicaramos
de la siguiente forma:
P (X1 =nublado) = P(X0 =nublado) P(X1 =nublado/ X0 =nublado) + P(X0 =soleado) P(X1 =nublado/ X0 =soleado)

Por lo tanto, P (X1 = nublado) = (1) * 0,4 + (0) * (0,3) = 40%

51

Respuesta

Se puede notar que maana hay ms probabilidad de que est el da soleado. Si calcula en
este caso P (X1 = soleado) se dar cuenta que es igual al 60%, y por lo tanto la Ley de
Probabilidades el da de maana dada la condicin inicial de nublado ser :

(1) = [ soleado (1), nublado (1) ] = [60%, 40%]

Y que pasa si quiero predecir de alguna manera lo que ocurrir maana, cuando no tengo
precisin acerca de la Ley Inicial del Sistema. Supongamos que en vez de afirmar tan
rotundamente que hoy est nublado, dijeramos que est nublado con una precisin del 80%
en nuestra afirmacin, es decir, que est bastante nublado pero no tanto como para
afirmar que est totalmente nublado. En este caso podemos decir que la Ley Inicial del
Sistema es: (0) = [ soleado (0) , nublado (0) ] = [20%, 80%].

Y de nuevo hacemos la

pregunta: cul es la probabilidad de que maana est nublado?

P (X1 =nublado) = P(X0 =nublado) P(X1 =nublado/ X0 =nublado) + P(X0 =soleado) P(X1 =nublado/ X0 =soleado)

P (X1 = nublado) = (0,8) * 0,4 + (0,2) * (0,3) = 38%

Respuesta

En cualquiera de los dos casos anteriores observe detenidamente que:

[ soleado (0) , nublado (0) ] x

0,7 0,3
= [ soleado (1), nublado (1) ]
0,6 0,4

En general, se tiene que para cualquier cadena de markov:

(1) = (0) P10

3.3.5 Ley de Probabilidades para los Estados del Sistema en cualquier
instante t

52

Acabamos de ver una primera generalizacin de las Leyes de Probabilidad:

0

(1) = (0) P1

(3.1)

Esta generalizacin puede ir ms all considerando que:

t

(t + 1) = (t ) Pt +1

(3.2)

Y si usamos de una manera inductiva sta ltima ecuacin, tendremos que:

0

(n) = (0) P1

n 1

P ...P
2

(3.3)

La ecuacin (3.3) corresponde a la Ley de Probabilidades a priori para el estado de sistema

en un instante futuro n, y se observa que depende exclusivamente de la Ley Inicial (0) y

{P }.
t

del conjunto de Matrices de Transicin de un paso

t +1

3.3.6 Ecuacin de Chapman-Kolmogorov

Supongamos ahora que nos interesa conocer la Ley de Probabilidad del proceso estocstico
{Xt} pero en el instante t + 2.
Segn la ecuacin 3.2 tenemos que:

(t + 2) = (t + 1)

t +1
t+2

Pero por la misma ecuacin 3.2 podemos reemplazar (t + 1) por su equivalente:

t

t +1

(t + 2) = (t ) Pt +1 Pt + 2

(3.4)

Con base en la ecuacin (3.4) se puede definir la Matriz de Transicin de Dos Pasos
como:

t
t +2

t +1

t +1

t +2

P P

53

(3.5)

Los elementos de la Matriz de Transicin de Dos pasos

P [i, j ] representan por tanto las

t

t+2

probabilidades condicionales de que el sistema evolucione a un estado j en el instante t+2,

dado que en el instante t se encuentra en el estado i.
La Ecuacin de Chapman-Kolmogorov corresponde a una generalizacin de la ecuacin
(3.5) y afirma que: dados tres instantes de tiempo cualquiera n, k y m, tal que n k m, se
cumple siempre que:

n
m

P P

n, k , m

nkm

(3.6)

A la ecuacin (3.6) se le conoce como la Ecuacin de Chapman-Kolmogorov y es una

consecuencia directa de la definicin de probabilidades condicionales.

3.3.7. Cadenas de Markov Homogneas

El resto de este captulo se enfocar en los casos especiales en que la probabilidad de
evolucin del sistema no depende de t, es decir que se tienen las siguientes igualdades:

= P2 =

2
3

= ........... =

t
t +1

Es decir, lo anterior es equivalente a imponer que las probabilidades de transicin de un

paso son constantes, independientes de t:

t
t +1

=P

A esto se le llama Probabilidades de Transicin Estacionarias u Homogneas.

Esto implica que la evolucin del sistema en Cadenas de Markov Homogeneas, es decir, las
Leyes de Probabilidad n periodos de tiempo hacia el futuro, viene dada por:

54

(n) = (0) P1

n 1

P ... P

= (0) .( P)

(n) = (0). P

(n)

(3.7)

A P(n) se le denomina Matriz de Transicin de n Pasos, y como puede notarse es igual a

multiplicar n veces la Matriz nica P.
En Cadenas de Markov Homogneas la evolucin del sistema queda plenamente definida
entonces solamente con la Ley Inicial del Sistema, (0), y la Matriz de Transicin de Un
Paso nica P.

3.3.8. La Matriz P(n) y su representacin con Arboles de Decisin

Considrese la siguiente Matriz de Probabilidades de Transicin de un paso para el caso de
tres estados A, B y C de un proceso estocstico cualquiera.
A

A 0.2 0.5 0.3

B 0.7 0.2 0.1

P=

C 0.3 0.6 0.1

En general, una de las propiedades de la Matriz de Transicin P, es que la sumatoria de los

elementos de las filas suman 1, es decir:
r

P
j =1

ij

= 1,

i = 1,....., r

Y esta propiedad tiene sentido recordando el concepto de espacio muestral. Veamos

porqu. En nuestro ejemplo solo existen 3 estados posibles para el proceso estocstico: A,

55

B C, y son mutuamente excluyentes, pudiendo decirse que en el momento actual el

sistema se puede encontrar en cualquiera de estos tres estados. Si el sistema se encuentra
actualmente en el estado A, con el paso del tiempo evolucionar nicamente a A, B C con
ciertas probabilidades asociadas, tal como lo define la primera fila de la Matriz P anterior:
A

A 0.2 0.5 0.3

Dado que stos son todos los posibles resultados de la evolucin del sistema, dado que se
inici en un estado cualquiera, entonces el conjunto de estados futuros posibles forman por
definicin un espacio muestral, pudindose aplicar la propiedad de que la sumatoria de las
probabilidades asociadas a todos los eventos del espacio muestral es igual a uno.
Esa misma propiedad de P la tienen como es razonable todas las matrices P(n). Calculemos
en nuestro ejemplo la Matriz P(2).
0.2 0.5 0.3
P(2)= P. P =

0.2 0.5 0.3

0.7 0.2 0.1 . 0.7 0.2 0.1

0.3 0.6 0.1

0.3 0.6 0.1

0.48 0.38 0.14

(2)

P = 0.31 0.45 0.24

0.51 0.33 0.16

Observe que la sumatoria de los elementos de cada fila suman uno, tal como debe
esperarse.
La interpretacin de los elementos de la matriz P(2) puede verse con estos dos ejemplos:

Existe una probabilidad del 48% de que el proceso evolucione despus de dos periodos
de tiempo hacia el estado A, dado que actualmente se encuentre en el estado A.

Hay una probabilidad del 24% de que el proceso evolucione despus de dos periodos de
tiempo hacia el estado C, dado que actualmente se encuentre en el estado B.

56

Ahora intentemos encontrar los elementos de la matriz P(2) pero a travs de Arboles de
Decisin, considerando que se trata de una Cadena de Markov Homognea. Recordemos la
matriz original:
A

A 0.2 0.5 0.3

B 0.7 0.2 0.1

P=

C 0.3 0.6 0.1

Ahora, dado que esta matriz P es homognea, nica e independiente de t, y suponiendo que
el estado actual del sistema es A, podemos construir el siguiente rbol de decisin:

0.2

A
t=0

0.5

0.3

0.2
0.5
0.3

0.7
0.2
0.1

0.3
0.6
0.1

t=1

Transicin de t = 0 a t = 1

A
B
C
A
B
C
A
B
C
t=2

Transicin de t = 1 a t = 2

Figura 3.2. Arbol de Decisin para Cadena de Markov Homognea de dos pasos.

Si se simbolizan los elementos de la matriz P(2) como:

57

A
A
P(2) =

B
C

( 2)
AA

(2)

BA

CA

( 2)

(2)
AB
( 2)

BB

CB

( 2)

(2)
AC
( 2)

BC

CC

( 2)

Podemos entonces decir que, dado el rbol de decisin anterior:

p
p
p

( 2)
AA

( 2)
AB
( 2)
AC

= (0.2) (0.2) + (0.5) (0.7) + (0.3) (0.3) = 0.48

= (0.2) (0.5) + (0.5) (0.2) + (0.3) (0.6) = 0.38

= (0.2) (0.3) + (0.5) (0.1) + (0.3) (0.1) = 0.14

Estos resultados obtenidos a travs de los Arboles de Decisin corresponden exactamente a

los mismos resultados obtenidos cuando se calcul P(2) = P . P.
Entonces, tenemos dos herramientas para hallar los elementos de la matriz P(n) : a) la
sencilla herramienta de rboles de decisin que sera en este caso de n ramas, y b) La
multiplicacin de la matriz P por s misma n veces.

Qu es mas sencillo hacer?.

Depende de sus pretensiones de anlisis y del tamao de n. Si el nmero n de periodos

hacia el futuro es muy grande, entonces para una calculadora computador no es muy
complicado multiplicar sucesivamente una matriz por s misma n veces. Pero realizar la
representacin de un rbol de decisin con ese gran nmero de ramas (que es el caso de un
n grande) sera bastante impractico.

3.3.9. Tiempos de Primera Pasada

Como bien sabemos, los elementos de la matriz P(n), simbolizan las probabilidades de pasar
a un estado j despus de n perodos de tiempo, dado que estoy actualmente en el estado
i.

58

Retomemos el ejemplo de la seccin 3.3.7. Sea la matriz P(2) y sus rboles de decisin
asociados:
0.48 0.38 0.14
(2)

P = 0.31 0.45 0.24

0.51 0.33 0.16
(a)

(b)
0.2
05

02

0.3
07

05

02
01
03

t=0

0.6

03

01

t=1

0.2

A
0.7

B
C
A

02

B
t=0
01

0.3
0.7

0.2
0.1
0.3

t=0

0.1

0.6

C
t=1

0.1

01

0.6

C
t=1

0.5

02

03

0.3
07

0.2

0.6

t=2

0.3

05

01

A
B
C
A
B
C
A
B
C

t=2

A
B
C
A
B

(c)

C
A
B
C

t=2

Detallemos el segundo elemento de la primera columna de la matriz P(2), es decir, 0.31, y el

rbol de decisin (b) del cual resulta. Ntese que, segn el rbol (b):

( 2)
BA

= (0.7) (0.2) + (0.2) (0.7) + (0.1) (0.3) = 0.31

Ahora, si deseamos encontrar la probabilidad de que pasar por primera vez del estado B
al estado A, despus de 2 perodos de tiempo, sta probabilidad sera la siguiente
observando de nuevo el rbol (b) y las lneas resaltadas con rojo:

59

(2)

= (0.2) (0.7) + (0.1) (0.3) = 0.17

BA

(3.7)

Esta probabilidad es ms especfica, y generalmente til en la prctica, y se interesa por

evaluar la probabilidad de la primera transicin de un estado a otro. Se simboliza en
general como

(n)
ij

y significa la probabilidad de pasar por primera vez del estado i al j

despus de n periodos. Empleemos ahora una forma ms general de hallar esta probabilidad
de primera pasada, en caso de que sea impractico emplear la representacin de rboles de
decisin, y utilizando la informacin de las matrices P y P(n).
(1)

Dado que por lgica simple se tiene que

BA

(1)
BA

, observe cuidadosamente la siguiente

relacin:

( 2)
BA

( 2)
BA

(1)
BA

.p

(1)

(3.8)

BB

Entonces con nuestra frmula (3.8) tenemos por este otro lado que:

(2)
BA

= 0.31 - (0.7) (0.2) = 0.17

(3.9)

En la teora, la frmula (3.8) se ha estudiado y se ha generalizado para el clculo de las

probabilidades de primera pasada as:

f
f

(1)
ij
( 2)
ij

ij
( 2)
ij

(1)
ij

.p

jj

.....

(n)
ij

(n)
ij

(1)
ij

.p

( n 1)
jj

( 2)
ij

.p

Para dos estados cualquiera i y j, las probabilidades

( n 2)
jj

(n)
ij

f
n =1

(n)
ij

(3.10)

60

( n 1)
ij

.p

jj

son nmeros no negativos tales

que :

En caso de ser la inecuacin (3.10) una desigualdad, estrictamente menor que uno,
significa que un proceso que inici en el estado i puede no llegar nunca al estado j.
Esto quiere decir tambin que si la relacin (3.10) es una estricta igualdad se asegura por
tanto la transicin del estado i al j.
Vamos a hallar ahora un dato generalmente muy buscado en procesos estocsticos, y es
cuanto tiempo en promedio debe pasar para que partiendo de un estado i se llegue por
primera a un estado j. A este tiempo se le suele llamar ij tiempo de primera pasada.
Hay dos formas de calcular ij. Primeramente hay que decir que ij tomar valores siempre
y cuando la formula (3.10) corresponda a una igualdad, es decir:

ij =
nf

n =1

si

f
n =1

( n)
ij

si

f
n =1

(n)
ij
( n)
ij

<1
(3.11)

=1

Segn la ecuacin (3.11), ciertos estudiosos han desarrollado la siguiente formula simple
para ij:

ij = 1 + pik . kj

(3.12)

k j

Donde pik son probabilidades condicionales, que corresponden a datos de la conocida

matriz P.
Por ejemplo, calculemos el tiempo de primera pasada del estado B al A en el caso ya
visto.
Se construye entonces la ecuacin segn la formula (3.12):

BA = 1+ PBB BA + PBC CA

(3.13)

Dado que en esta ecuacin se tiene a CA como incgnita, entonces construimos tambin su
ecuacin respectiva:

CA = 1+ PCB BA + PCC CA

61

(3.14)

Ahora, con las ecuaciones (3.13) y (3.14) se hace un sistema de ecuaciones, que tiene en
este caso la siguiente estructura:

BA = 1+ 0.2 BA + 0.1 CA
CA = 1+ 0.6 BA + 0.1 CA
La resolucin de este sistema arroja el resultado buscado: BA = 1,51 periodos de tiempo

3.3.10. Representacin con Grafos y Clasificacin de Estados

Considere la siguiente matriz de transicin de un paso P, para una Cadena de Markov
Homognea de 6 estados:

A
B
C
P= D
E
F

A
0.4
0
0.5
0
0
0

B
0.6
0
0.5
0
0
0

C
0
1
0
0
0
0

D
0
0
0
0
1
0

E
0
0
0
1
0
0

F
0
0
0
0
0
1

Normalmente se suelen utilizar grafos para visualizar la relacin en probabilidad de la

transicin entre los estados, siendo el grafo asociado a la matriz P anterior el que se
muestra a continuacin:

62

0.4
A

0.6

0.5

0.5

1
E

(a)

(c)

(b)

Observe cuidadosamente la informacin probabilstica de la matriz P as como los datos

que aparecen en el grafo, o mas bien los grafos (a), (b) y (c) representativos de la matriz
P. Para efectos de interpretar los grafos es de considerar siempre que la direccin de las
flechas representan la transicin de un estado a otro. As, en el grafo (c) se dice que la
probabilidad de la transicin del estado F hacia el mismo es de 1. Por su parte, en el grafo
(a) se dice que la probabilidad de que exista una transicin del estado C al B es de 0.5,
mientras que estando en el estado B la probabilidad de que haya una transicin hacia C es
de 1.
3.3.10.1.

Definiciones Generales

Partiendo de este ejemplo, veamos los siguientes conceptos claves de esta seccin.
Accesibillidad

Un estado Ej es accesible desde un estado Ei si existe un entero n 0 tal que la

probabilidad de evolucionar de Ei a Ej es n perodos es no nula

(n)
ij

>0. En este caso se

denota que Ei ! Ej.

Veamos en el caso anterior que:
A ! C , puesto que a pesar de que en n =1 en un paso el estado A no se comunica con
C (observe tambin la matriz P y probabilidad de cero de pasar de A a C en un paso), si

63

existe una probabilidad de acceder a C desde A pasando por B, en un numero de periodos n

> 1. Por lo anterior se dice que A ! C, que se puede acceder a C partiendo de A.
C ! A, ya que existe una probabilidad de acceder a A partiendo de C. En este caso es
probable acceder a A en tan solo un paso (n = 1).
E ! A, ya que partiendo de E no es probable acceder a A por ninguna va.
Comunicacin

Los estados Ei e Ej estn comunicados si Ej es accesible desde Ei y a su vez, Ei es

accesible desde Ej, denotndose en este caso que: Ei Ej
En el caso del ejemplo estudiado seale verdadero o falso segn corresponda:
(

) AC

) ED

) AB

) BC

) EB

) FD

Una propiedad importante es que al tener 3 estados Ei, Ej e Ek , se cumple que:

Si Ei Ej y tambin Ei Ek, entonces se tiene que Ej Ek

Concepto de Clase

Si varios estados se comunican entre s se dice que forman una CLASE. En nuestro
ejemplo se puede observar la existencia de 3 clases cada una conformada por los siguentes
estados:
Clase 1: A, B y C

Clase 2: D y E

Clase 3: F

64

Accesibilidad entre Clases

Para observar la accesibilidad entre clases veamos el siguiente ejemplo:

1
0.3
0.3
0
0
0

1
2
3
4
5

P=

2
0.7
0.4
0
0
0

3
0
0.1
0
0.5
0.7

4
0
0.2
1
0
0.3

0.3
1

5
0
0
0
0.5
0

0.4

0.7

0.3

0.2

0.1
3

0.5
0.7

0.3

0.5
5

Corrobore usted mismo el hecho de que existen las siguientes 2 clases en este ejemplo en
particular:
Clase I: formada por los estados 1 y 2, ya que entre ellos se comunican (12)
Clase II: formada por los estados 3, 4 y 5, ya que entre ellos se comunican (34, 45 y

por tanto 53).

Fjese que a pesar de que los estados 3 y 4 se pueden acceder desde el estado 2, una vez que
se haya llegado a dichos dos estados es imposible (improbable) regresar al estado 2, por lo
cual el estado 2 no se comunica ni con el estado 3 ni con el 4 y no puede formar parte de la

65

Clase II. En cambio los estados 1 y 2 s forman una clase independiente ya que la
comunicacin entre ellos es probable.
De lo anterior se concluye que se puede acceder a la Clase II, a partir de la Clase I y no a la
inversa.
A la Clase I se le denomina Clase Transitoria, ya que si, por ejemplo, el proceso
estocastico inicia en el estado 1, a medida que avanza el tiempo es probable que haya una
transicin hacia el estado 2, y estando el dicho estado es probable que ocurra una transicin
hacia los 3 4, momento a partir del cual, el proceso estocstico jams regresar a los
estados de la clase I, y permanecer evolucionando entre los estados de la Clase II por toda
la eternidad.
A la Clase II, se le denomina Clase Recurrente, ya que una vez lleguemos a esa clase
nunca saldremos de ella, como se puede fcilmente notar.
En el primero de los ejemplos de esta seccin se puede decir que (marque con una X):
0.4
0.6

0.5

0.5

1
E

Clase 1: A, B y C

) Recurrente

) Transitoria

Clase 2: D y E

) Recurrente

) Transitoria

Clase 3: F

) Recurrente

) Transitoria

Se puede afirmar entonces que las clases recurrentes estn conformadas por estados
recurrentes, y las clases transitorias la conforman estados transitorios.

66

Es por los motivos anteriores que, considerando la evolucin probabilstica de la cadena de

markov a travs del tiempo, se dice y con toda razn que las clases transitorias son clases
de paso, y que las clases recurrentes son clases finales.
Responda esta pregunta: Es posible que una cadena de markov finita homognea con
matriz de transicin P est conformada slo por clases transitorias?.
Sea fij la probabilidad que el sistema evolucione alguna vez al estado Ej si actualmente se
encuentra en Ei, es decir,
f ij =

f
n =1

(n)
ij

Responda Verdadero o Falso a las siguientes afirmaciones:

(

) Ei se dice que es un estado transitorio si fii < 1

) Ej se dice que es un estado recurrente si fjj = 1

) Si Ei y Ej son dos estados recurrentes de una misma clase entonces fij = 1

3.3.10.2. Periodicidad de las Clases Recurrentes

Para una clase recurrente se puede obtener el perodo (p) como el mximo comn divisor
(MCD) de las longitudes de los ciclos que pueden encontrarse en esa clase. Partiendo de la
observacin de un grafo, un ciclo es una ruta que sale de un estado y regresa a l mismo.
Veamos los siguientes ejemplos.

67

Ejemplo 1

0.5
0.7

0.5

0.3
5

Para determinar el periodo de esta y de cualquier otra

clase recurrente, pueden obviarse los valores de las
probabilidades asociadas a los arcos y nicamente
observar los ciclos existentes. Registraremos entonces
las longitudes de dichos ciclos:
Ciclos de longitud 2 (Ejm:3-4-3 5-4-5)
Ciclos de longitud 3 (Ejm: 3-4-5-3)
MCD (2;3) = 1 ! perodo p = 1

Ejemplo 2
A

En este caso pueden observarse las siguientes

longitudes de ciclos:
Ciclos de longitud 2 (Ejm: B-C-B, etc.)
Ciclos de longitud 4 (Ejm: B-C-D-A-B, A-BC-B-A, etc.)
Ciclos de longitud 6 (Ejm: A-B-C-D-C-B-A,
etc.).
MCD (2;4;6) = 2 ! perodo p = 2

Ejemplo 3
A

En este caso, por existir un ciclo de longitud 1 (B-B),

el mximo comn divisor ser de cualquier forma
tambin igual a uno, y por tanto se dice que esta clase
recurrente tiene periodo p = 1.

Considerando lo anterior se definen dos tipos de clases recurrentes:

Clase recurrente aperidica: aquella que tenga perodo p = 1.

Clase recurrente peridica: aquella que tenga perodo p > 1.

68

3.3.11. Leyes Estables y Probabilidades Estacionarias

3.3.11.1. Clases Recurrentes Aperidicas

Cuando una cadena de markov finita homognea posee una nica clase la cual es
recurrente aperidica, se dice que la cadena es ergdica totalmente aleatoria. Y aqu es
necesario mencionar ciertos aspectos importantes del concepto clsico de ergodicidad de
Boltzman. Veamos el ejemplo de ergodicidad comentado por Caldentey y Mondschein de
la Universidad de Chile. Supongamos que disponemos de dos estanques A y B unidos por
una tubera, la que contiene una llave de paso originalmente cerrada.
B

El estanque A contiene oxigeno a una presin Pa y el B helio a una presin Pb. Si la

vlvula se abre las molculas de oxigeno evolucionan hacia el estanque B, mientras que las
de helio lo hacen hacia el estanque A.

Un esquema aleatorio puede perfectamente

representar la evolucion de las presiones parciales de las mezclas en cada estanque. Se

constata que rpidamente un equilibrio se alcanza, las presiones en los estanques A y B se
igualan y mantiene este comportamiento aunque se mantengan los intercambios
moleculares entre ambos estanques.
Un estado permanente se ha alcanzado, en el cual estado del sistema definido nicamente
por las presiones parciales se mantiene constante.

Ms an, el estado final que ha

alcanzado el sistema es independiente de las condiciones iniciales, el resultado sera el

mismo si las cantidades de oxigeno y helio hubiesen sido arbitrariamente repartidas desde
el inicio en los estanques A y B.
Esto es lo que en general se conoce como principio de ergodicidad de Boltzman, y seala
que en un sistema complejo evolucionando en forma aleatoria, su repeticin en el tiempo
tiende a regularizar su comportamiento pese a los caprichos del azar que intervienen en
cada instante.

Algunos autores han definido sistema ergdico como un sistema en

evolucin markoviana, homogneo en el tiempo, con una nica clase recurrente

aperidica.

69

Veamos con estos ejemplos la forma en que las cadenas ergdicas llegan al equilibrio,
independientemente de las condiciones iniciales del proceso.
Ejemplo 1: Considrese la siguiente matriz de probabilidades de transicin P* para un

proceso estocstico con dos estados:

1
2

P* =

1
0.2
0.6

2
0.8
0.4

Observe que esta matriz la conforma una nica clase la cual es recurrente aperidica.
Con ayuda de la funcin MMULT de Microsoft Excel, se calculan aqu las potencias
sucesivas de P* que denotan la evolucin del sistema en el tiempo:

P ( 2) =

0.52 0.48
0.36 0.64

P ( 8) =

0.42894592 0.57105408
0.42829056 0.57170944

P ( 24 ) =

P ( 3) =

0.392 0.608
0.456 0.544

P ( 4) =

P (16) =

0.4432 0.5568
0.4176 0.5824

0.42857167 0.57142833
0.42857124 0.57142876

0.42857143 0.57142857
0.42857143 0.57142857

Detalle la evolucin de esta cadena de markov hasta llegar al equilibrio en la matriz P(24).
Observe que con el paso del tiempo, no importa si inicialmente se arranc en el estado 1
en el 2, la probabilidad a largo plazo de permanecer en el estado 1 es constante e igual a
42,857143%. Para ambos estados las probabilidades se estabilizan con el pasar del tiempo
y se vuelven probabilidades absolutas independientes de la condicin inicial (principio de
ergodicidad).

70

Ejemplo 2: Sea la siguiente matriz P con una nica clase la cual es recurrente aperidica.
1
1
2

P=

0
0.6

2
1
0.4

Esta cadena de markov llega a la estabilidad despus de evolucionar 37 periodos, es decir,

en P(37), tal como se muestra a continuacin (verifquelo con la funcin MMULT de Excel):

P (37 ) =

0.375 0.625
0.375 0.625

Se observa aqu tambin que el proceso estocstico a llegado a unas probabilidades

estables que se sostienen de all en adelante y a travs del tiempo.
Definicin 1: Toda clase recurrente aperidica evoluciona en el largo plazo (cuando n!)

hacia una nica Ley Estable representada en una matriz de probabilidades de estado
estable probabilidades estacionarias.
Definicin 2: Una cadena de markov ergdica, la cual tiene una nica clase recurrente

aperidica, posee una nica Ley Estable.

Definicin 3: Una cadena de markov ergdica se dice que es totalmente aleatoria puesto

que en el largo plazo todos sus estados tienen asociada cierta probabilidad de ocurrencia
(representada en la Ley Estable) lo cual hace imposible una prediccin exacta.
3.3.11.2. Cadenas Semiergdicas

Una cadena de markov finita homognea es semi-ergdica si tiene varias clases, entre las
cuales pueden haber una o ms clases transitorias pero tan solo una clase recurrente
aperiodica. Veamos este concepto con el siguiente ejemplo:

71

P= 1
2
3
4

1
0.5
0.3
0
0

2
0.4
0.3
0
0

3
0.1
0.4
0.2
0.6

4
0
0
0.8
0.4

En esta cadena de markov representada por la matriz P existen las siguientes clases:
Clase 1: Transitoria e incluye los estados 1 y 2.
Clase 2: Recurrente e incluye los estados 3 y 4.

Observe que la clase recurrente aqu considerada es igual a la matriz P* analizada en el

ejemplo1 de la seccin anterior.
Es de imaginar, sin necesidad de verificar la evolucin de la matriz como en los casos
anteriores, que en el largo plazo la probabilidad de permanecer en una clase transitoria debe
ser cero, ya que por definicin estas son clases de paso. Reafirmemos esto observando la
evolucin en el tiempo de esta matriz:

P (16 )

0.00800518 0.00695264
0.00521448 0.00452886
=
0
0
0
0

0.42392446 0.56111773
0.42554426 0.5647124
0.42857167 0.57142833
0.42857124 0.57142876

72

P (1414 )

1.21E 122 1.05 E 122

7.888E 123 6.85E 123
=
0
0
0
0

P ( 4242 )

0
0
=
0
0

0
0
0
0

0.42857143
0.42857143
0.42857143
0.42857143

0.42857143
0.42857143
0.42857143
0.42857143

0.57142857
0.57142857
0.57142857
0.57142857

0.57142857
0.57142857
0.57142857
0.57142857

Fjese que despus de 16 periodos de tiempo, en la matriz P(16), las probabilidades

estacionarias asociadas a la nica clase transitoria (estados 1 y 2) ya tendan a cero.
Observe que en el largo plazo, despus de evolucionar el proceso 4.242 unidades de
tiempo, finalmente la clase transitoria toma el valor estable de cero, tal como le
corresponde por ser clase transitoria.
Note que las probabilidades estacionarias encontradas aqu son iguales a las encontradas en
la seccin 3.3.10.1 cuando analizamos la matriz P*.
Definicin 4: En las cadenas semi-ergdicas, para estudiar la estabilidad del sistema en el

largo plazo, slo basta con estudiar las probabilidades estacionarias de la nica clase
recurrente aperiodica de la matriz, no siendo necesario estudiar la(s) clase(s) transitoria(s)
ya que en el largo plazo es siempre improbable estar en ellas.
Definicin 5: Las cadenas semi-ergdicas no se consideran totalmente aleatorias ya que por

tener clases transitorias, es posible predecir con exactitud que los estados pertenecientes a
dichas clases no ocurrirn en el futuro.

73

3.3.11.3. Calculo Algebraico de las Probabilidades de Estado Estable

A las probabilidades de estado estable estacionarias se les suele simbolizar como j. El

estudio de las probabilidades estacionarias se entiende como el estudio del comportamiento
a largo plazo de las Cadenas de Markov. Retomemos el ejemplo 1 de la seccin 3.3.10.1
pero ahora calculemos las probabilidades estacionarias algebraicamente:
P* =

1
0.2
0.6

2
0.8
0.4

Sea:
1 : la probabilidad de estado estable asociada al estado 1
2 : la probabilidad de estado estable asociada al estado 2

Recordando que el Teorema de la Probabilidad Total dice que:

P(A) = P(B) P(A/B) + P(C) P(A/C) + P(D) P(A/D) +.... , se puede generalizar ms este
teorema y decir que:
P(A) = P(A) P(A/A) + P(B) P(A/B) + P(C) P(A/C) + P(D) P(A/D) +....
Ahora podemos construir las ecuaciones de las dos probabilidades totales 1 y 1 de la
siguiente manera:
1 = 1 P11 + 2 P21
2 = 2 P22 + 1 P12
A las ecuaciones construidas le agregamos la siguiente ecuacin que siempre debe
cumplirse en matrices estocasticas: 1 + 2 = 1
1 = 1 (0.2) + 2 (0.6)
2 = 2 (0.4) + 1 (0.8)
1 + 2 = 1

74

Escogiendo solo
dos de estas tres
ecuaciones se
resuelve:
1 = 0.8/1.4
2 = 0.6/1.4

Veamos este otro ejemplo ilustrativo:

Con la siguiente matriz de transicin de un paso P` con cuatro estados,
0
0.080
0.632
0.264
0.080

0
P` = 1
2
3

1
0.184
0.368
0.368
0.184

2
0.368
0
0.368
0.368

3
0.368
0
0
0.368

Antes del clculo algebraico debe corroborarse si esta matriz es ergdica semi-ergdica a
travs de grafos:

0 1 y 0 3 por lo que: 1 3
0 2 y 0 3 por lo que: 2 3
Dado que 1 3 y 2 3, entonces 1 2
De lo anterior se tiene que los estados 0,1,2 y 3
se comunican entre s, formando una nica
clase, que por ser nica tambin es recurrente,
y adems se observa que es aperidica.
Por lo tanto, la cadena es ergdica.

Se construyen ahora las ecuaciones:

0 = 0 P00 + 1 P10 + 2 P20 + 3 P30
1 = 0 P01 + 1 P11 + 2 P21 + 3 P31
2 = 0 P02 + 1 P12 + 2 P22 + 3 P32
3 = 0 P03 + 1 P13 + 2 P23 + 3 P33
0 + 1 + 2 + 3 =1

Escogiendo tan solo cuatro de estas ecuaciones (siempre hay una redundante excepto la
ltima), se obtienen las probabilidades estacionarias de largo plazo:
0 = 0.286

1 = 0.285

2 = 0.264

3 = 0.166

Estos resultados pueden comprobarse en Hoja Electrnica, obtenindose la estabilidad

despus de 8 periodos de tiempo:

P` (8) =

0
1
2
3

0
0
0.286
0.286
0.286
0.286

1
1
0.285
0.285
0.285
0.285

75

2
2
0.264
0.264
0.264
0.264

3
3
0.166
0.166
0.166
0.166

3.3.11.4. Tiempos de Primera Recurrencia

Recordemos que ya habamos simbolizado como ij a los tiempos de primera pasada, o el

tiempo de hacer la primera transicin al estado j a partir del estado actual i.
Se simboliza tambin a jj como el tiempo de primera recurrencia, el tiempo promedio
que transcurre al iniciar en un estado j y regresar por primera vez a l mismo.
Se ha encontrado que:

jj =

Gracias a esta relacin se suele interpretar tambin a j como la fraccin de tiempo

promedio que el sistema permanece en el estado j.

3.3.12. Cadenas No-Ergdicas

Ya vimos que si al analizar el grafo asociado a una matriz de transicin encontramos que
existe una nica clase recurrente aperiodica, es porque la matriz es ergdica (en caso de no
haber en la matriz clases transitorias) semi-ergdica (en caso de haber una o mas clases
transitorias adicionales a la clase recurrente aperiodica encontrada).
Pero al analizar una matriz de transicin pueden encontrarse otros tres casos que
corresponden al caso de cadenas no-ergdicas:

Si hay varias clases recurrentes, todas ellas aperiodicas, se tiene una cadena de markov
semiregular.

Si hay una varias clases recurrentes, todas ellas peridicas, se tiene una cadena de
markov policclica.

Si hay varias clases recurrentes, algunas peridicas y otras aperiodicas, se tiene una
cadena de markov mixta.

En el anexo de este capitulo puede encontrar teora y tratamientos apropiados a las cadenas
no-ergdicas.

76

3.12.13. Problemas Propuestos Nivel Bsico

1. Una costurera trabaja exclusivamente en una fase del proceso de produccin de un

diseo especial de prendas de vestir. Esta fase requiere exactamente 30 minutos para
terminar una prenda. Cada 30 minutos llega un mensajero a la mesa de la costurera para
recoger todas aquellas prendas que estn terminadas y para entregar las nuevas prendas que
deben ser cosidas.
El nmero de nuevas prendas que lleva el mensajero es aleatorio: 30% del tiempo el
mensajero llega sin prendas; 50% del tiempo el mensajero trae una sola prenda para dejar y
el 20% restante del tiempo el mensajero trae dos prendas para la costurera. Sin embargo, el
mensajero tiene instrucciones de nunca dejar ms de tres prendas juntas no terminadas a la
costurera y simplemente llevarlas a otra costurera que s tenga capacidad.
Determine el porcentaje del tiempo que la costurera permanece ociosa,
considerando que las prendas no terminadas que estn sobre la mesa de la costurera
al final del turno de trabajo, permanecen all para ser procesadas por la costurera
durante el siguiente da de trabajo.
2. Un profesor de optimizacin tiene tres preguntas claves en sus exmenes y una de ellas

sale en cada examen que l realiza. Los estudiantes conocen muy bien sus extraos hbitos:
l nunca utiliza la misma pregunta en dos exmenes consecutivos. Si utiliz la pregunta
No. 1 en el ltimo examen, arroja una moneda al aire y si sale cara usa la pregunta No. 2. Si
haba usado la pregunta No. 2, arroja dos monedas al aire y si salen dos caras, utiliza la
pregunta No. 3 y, finalmente, si haba usado la pregunta No. 3, arroja tres monedas al aire y
si salen tres caras, usa la pregunta No. 1.
a) Si en el examen pasado el profesor utiliz la pregunta No. 2, qu pregunta debe
estudiar preferiblemente un estudiante para el prximo examen?
b) Con el correr del tiempo, cul es la pregunta ms utilizada por el profesor y con
qu frecuencia?

77

3. Sean dos partidos polticos A y B. Los votantes pueden cambiar su afiliacin partidaria

solo si se abstienen por un perodo de elecciones. Las observaciones hasta el momento

indican que la cantidad de votantes que se abstienen para el siguiente perodo es la
siguiente:
Partido A: la mitad
Partido B: la cuarta parte
Un votante que se abstuvo durante un perodo, tiene igual probabilidad de votar al partido
A que al B, sin poder abstenerse nuevamente
a)

Hallar la probabilidad que una persona que vot a A el perodo inicial, se

abstenga dentro de 3 perodos.

b) En un perodo dado, de la poblacin vot a A, a B y el resto se abstuvo.
Qu proporcin de votantes se espera para dentro de dos perodos?
4. Due to a flu epidemic, the school nurse estimates that 30% of the students who are well

today will be sick tomorrow and 50% of the students who are sick today will be well
tomorrow.
a) Write a transition matrix to show this situation.
b) If 80% of the student population is well today, predict what percent will be sick
tomorrow.
c) If you are sick Monday predict what percent chance that you will be still be sick on
Wednesday.
5. A psychologist notes the behavior of mice at a certain point in a maze. For any

particular trail, 70% of the mice that went right on the previous trail will go right on this
trial, and 60% of those that went left on the previous trial will go right on this trial. The
following transition matrix can represent this information:

T=

R 0.7 0.3
L 0.6 0.4

78

Suppose 50% of the mice went right on the first trial. This is represented by the following
probability matrix.

P=

0.50 0.50

a)

Make a prediction for the second trial.

b)

Make a prediction for the third trial. Explain your reasoning.

6. Draw a picture corresponding to this transition matrix:

Look closely at C in your picture. What do you notice that is strange about the way
information flows near C? What effect do you think this might have on the long-range
distribution of matter in this system?
7. Which of the following are transition matrices? Explain.

a.

b.

c.

79

8. Which of these situations can be modeled by a homogeneous Markov chain? If they

cannot be modeled by a Markov chain, explain why not.

a. The picture represents the probability that a delivery truck that is currently in
region i (A, B, or C) will be in region j (A, B, or C) for the next time period.

b. The picture represents the probability that a person eating meal i (H, S, or P) for
lunch today will eat meal j (H, S, or P) for lunch tomorrow. The letter H stands
for hamburger, S stands for salad, and P stands for pizza.

80

9. Assume S is the transition matrix

a. What is the probability of going from state A to state B in one step?

b. What is the probability of going from state B to state C in exactly two steps?
c. What is the probability of going from state C to state A in exactly three steps?
d. Give the transition matrix, S2, for two steps (S2 would give the probabilities of
going from state i to state j in exactly 2 steps).
e. Give the transition matrix for three steps.
f. Give the transition matrix for four steps.
g. To what matrix do these transition matrices appear to converge after a large
number of steps? Your solution should be accurate to two decimal places.

10. A math teacher, not wanting to be predictable, decided to assign homework based on

probabilities. On the first day of class, she drew this picture on the board to tell the
students whether to expect a full assignment, a partial assignment, or no assignment the
next day.

81

Construct and label the transition matrix that corresponds to this drawing. Label it .
a. If students have a full assignment today, what is the probability that they will
have a full assignment again tomorrow?
b. If students have no assignment today, what is the probability that they will have
no assignment again tomorrow?
c. Today is Wednesday and students have a partial assignment. What is the
probability that they will have no homework on Friday?
d. Matrix A is the transition matrix for one day. Find the transition matrix for two
days (for example, if today is Monday, what are the chances of getting each kind
of assignment on Wednesday?).
e. Find the transition matrix for three days.
f. If you have no homework this Friday, what is the is the probability that you will
have no homework next Friday (since we are only considering school days,
there are only 5 days in a week)? Give your answer accurate to two decimal
places.
g. Find, to two decimal places, the matrix to which matrix A would appear to
converge after many days.

82