INVESTIGACIÓN

OPERATIVA II

CADENAS DE MARKOV

2015
INTRODUCCION

Las cadenas de Markov son modelos probabilísticos que se usan para predecir
la evolución y el comportamiento a corto y a largo plazo de determinados
sistemas.

Ejemplos:

-Reparto del mercado entre marcas.

-Dinámica de las averías de máquinas para decidir política de mantenimiento
-Evolución de una enfermedad.

Las cadenas de Markov tienen la propiedad particular de que las

probabilidades que describen la forma en que el proceso evolucionará en
el futuro, depende sólo del estado actual en que se encuentra el proceso, y
por lo tanto, son independientes de los eventos ocurridos en el pasado.
 ELEMENTOS DE UNA CADENA DE MARKOV

 Un conjunto finito de M estados, exhaustivos y mutuamente

excluyentes (ejemplo: estados del tiempo climático)
 Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para
examinar las transiciones entre estados (ejemplo, un mes)
 Probabilidades de transición entre estados, en un ciclo (matriz P)
 Distribución inicial del sistema entre los M estados posibles
Sea el proceso estocástico {Xn donde n = 0, 1, 2, ….n} donde Xn = t, es el
estado t del sistema en el tiempo n.

DEFINICIONES BÁSICAS
Propiedad Markoviana (Independencia Condicional)

El estado futuro del sistema depende de su trayectoria pasada solo a

través del presente:

Pij = Pr{ Xn+1=j / X0=i0, X1=i1, …Xn-1= in-1, Xn=i} = Pr{ Xn+1 = j / Xn = i}

Por tanto:
Pij = Pr{ Xn+1=j / Xn=i } para todo n=0, 1, ……….

Llamaremos Pij la probabilidad de transición de estar en el estado j en

el momento n+1, conocidos los estados anteriores.
Ejemplo

 Mañana lloverá( estado j), dado que hoy está nublado (estado i).
 Mañana cortarán la energía eléctrica en el sector dado que hoy
derribaron un poste en el sector.
 La máquina MM3 mañana estará detenida dado que hoy falló.
 EJEMPLO:
Consideremos que en un locutorio telefónico con 3 líneas de teléfono, en un instante de
tiempo dado, puede haber un número cualquiera de las líneas ocupadas. Durante un
período de tiempo se observan las líneas telefónicas a intervalos de 2 minutos y se anota
el número de líneas ocupadas en cada instante.
 EJEMPLO:
Consideremos que en un locutorio telefónico con 3 líneas de teléfono, en un instante de
tiempo dado, puede haber un número cualquiera de las líneas ocupadas. Durante un
período de tiempo se observan las líneas telefónicas a intervalos de 2 minutos y se anota
el número de líneas ocupadas en cada instante.
-Sea Xo la v.a. que representa el número de líneas ocupadas al principio del período.
-Sea X1 la v.a. que representa el número de líneas ocupadas cuando se observa en el
segundo instante de tiempo, 2 minutos más tarde.
- En general Xn es una v.a. que representa el número de líneas ocupadas cuando se
observan en el instante de tiempo n-ésimo.

El estado del proceso en cualquier instante de tiempo es el número de líneas que están
siendo utilizadas en ese instante.

Un proceso estocástico como el que acabamos de describir se llama proceso de

parámetro discreto, ya que las líneas se observan en puntos discretos a lo largo del
tiempo.

Para que este proceso estocástico del número de líneas ocupadas sea
una cadena de Markov es necesario que la probabilidad de cada posible
número de líneas ocupadas en cualquier instante de tiempo dependa
solamente del número de líneas ocupadas 2 minutos antes.
DEFINICIONES BÁSICAS

Propiedad de estacionalidad

La probabilidad del estado futuro depende del valor del estado presente,
pero no de la etapa en que nos encontramos, es decir, no depende de n.

La probabilidad de transición no cambia en el tiempo.

Pij = Pr{ Xn+1=j / Xn=i} = Pr{ Xn+m+1=j / Xn+m=i}

Definición 5:

Sea {Xn = 0,1,2,….n} un proceso estocástico con la propiedad markoviana

y con la propiedad de estacionalidad, entonces este proceso se denomina
“cadena de Markov” en tiempo discreto.

Pij= probabilidad de transición en una etapa

P = ( Pij ) = matriz de probabilidades de transición en una etapa.

Ejemplo

 La probabilidad de que un estudiante apruebe una

asignatura es 0,5 independiente de si esta es la primera,
segunda ….n oportunidad en que la está cursando.
DEFINICIONES BÁSICAS

P = ( Pij ) = matriz de probabilidades de transición en una etapa.

 P00 P01 ... P0m 

P P1m 
 10
P  ( Pij )   . 
 ... 
Pn 0 .. Pmm 
 

Propiedades de la matriz P:

- Es una matriz cuadrada y puede ser finita o infinita

- P no tiene porqué ser simétrica Pij ≠ Pji
- La dimensión de P corresponde al número de estados del sistema.
- La suma de las probabilidades de cada estado en una fila debe ser 1
i = 0,1,2…..m
- La suma de los estados de una columna no tiene ninguna interpretación
especial.
Matriz de Transición: Ejemplo

Tiempo n+1

Estado 0 Estado 1 Estado 2 Estado 3

Estado 0 0,20 0,65 0,15 0 =1

Estado 1 0 0,60 0 0,40

=1
Tiempo
n Estado 2 0,15 0,15 0,30 0,40
=1
Estado 3 0 0 0 1
=1
 DIAGRAMA DE TRANSICIÓN:
La sucesión de elecciones que forman una cadena de Markov, pueden representarse
gráficamente utilizando un diagrama de transición de la siguiente manera:

Consideremos una sucesión de elecciones políticas en un país, si sólo hay dos partidos políticos fuertes,
llamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir que el país se
encuentra en el estado A ó B, si el partido A o B ganara la elección. Supongamos que las probabilidades
de que el partido A o B ganen la próxima elección son determinadas por completo por el partido que está
en el poder ahora, podríamos tener las probabilidades siguientes:

•Si el partido A está en el poder, existe una probabilidad de ¼ que el partido A gane la próxima elección y
una probabilidad de ¾ de que el partido B gane la elección siguiente.

•Si el partido B está en el poder, hay una probabilidad de 1/3 que el partido A gane la elección siguiente y
una probabilidad de 2/3 que el partido B permanezca en el poder.

El diagrama de Transición es el siguiente:

Los círculos A y B se denominan
nodos y representan los estados
1/4 del proceso, las flechas que van de
3/4 2/3 un nodo a si mismo o al otro son los
A B arcos y representan la probabilidad
1/3 de cambiar de un estado a otro.
 EJEMPLO 1.
En un pueblito el clima puede cambiar de un día para otro, considere sólo dos estados del
tiempo clima seco ó húmedo. La probabilidad de tener un clima seco al día siguiente es de
0.8 si el día actual es seco, pero si el clima es húmedo la probabilidad de tener un clima
seco es de 0.6. Suponga que dichos valores no han cambiado en el tiempo, se pide
determinar: a) La matriz de transición b) El diagrama de transición

Solución:

Definimos la variable: Xn= Estado del clima

Estado 0: Clima Seco

Estado 1: Clima Húmedo

P 00 = P(Xt+1 = 0 / Xt = 0) = 0.8 : probabilidad que el clima esté seco mañana dado

que hoy esta seco
P 01 = P(Xt+1 = 1/ Xt = 0) = 0.2 : probabilidad que el clima esté húmedo mañana dado
que hoy esta seco
P 10 = P(Xt+1 = 0/ Xt = 1) = 0.6 : probabilidad de que el clima esté húmedo mañana dado que
hoy esta seco
P 11 = P(Xt+1 = 1/ Xt = 1) = 0.4 : probabilidad de que el clima esté húmedo mañana
dado que hoy esta húmedo
P 00 = P(Xt+1 = 0 / Xt = 0) = 0.8
P 01 = P(Xt+1 = 1/ Xt = 0) = 0.2
P 10 = P(Xt+1 = 0/ Xt = 1) = 0.6
P 11 = P(Xt+1 = 1/ Xt = 1) = 0.4

a) Matriz de transición:
0.8 0.2
Pij =  P00 P01  = 0.6 0.4
 P 10P 11   

b) El diagrama de transición:

0.8 0.2 0.4

0 1
0.6
EJEMPLO 2.

Según el cuento, en la Tierra de Oz nunca hay dos días buenos en sucesión.

Después de un día con buen tiempo, le sigue (con igual probabilidad) un día
con lluvia o nieve. Del mismo modo, si nieva (o llueve), el día siguiente nevara
(o lloverá) con probabilidad 1/2, pero si cambia el tiempo solo la mitad de las
veces será un lindo día.
a) Determinar las probabilidades de transición del sistema.

Solución.

Sean los siguientes estados:

(0) = Buen Día 0,5
(1) = Día con lluvia
(2) = Día con nieve 0,5
1 0,25
0,5
0,25 0,25
0 0,25 2

0,5
b) Determinar la matriz de transición del Proceso
0 1 2

0
Pij = 1 P12
2

c) Si hoy está lloviendo, cuál es la probabilidad de que mañana nieve?

P12 = P {mañana nieva/ hoy esta lloviendo}
P12 = 1/4 = 25%
 Elementos para representar un problema de CM

Conocer las
probabilidades

Definir los estados

Construir la matriz de
una etapa. a
1-a

0 1
lluev No 1- b
Construir el diagrama e lluev
e

b
Ejercicio. Dibuje los grafos para las matrices siguientes
EJERCICIO:
Construya la matriz de probabilidades. Solución
Probabilidades de transición en n etapas

Pregunta: Si en el tiempo t el proceso de Markov se encuentra en el

estado i, ¿cuál es la probabilidad de que n pasos después se
encuentre en el estado j ?

Se trata de encontrar

P {Xn+t= j /Xt= i } = P{Xn= j /X0= i } (estacionaria)

= p(n)i,j (notación)
= elemento (i,j) de la matriz Pn
 Probabilidad de Transición en n etapas
Ecuaciones de Chapman-Kolmogorov

Las ecuaciones de Chapman-Kolmogorov proporcionan un método para

calcular las probabilidades de transición de n pasos.

i
k

Etapa m
Etapa m+r
j

Etapa m+n
 ntonces:
Entonces:
(n) Entonces:
(n) (r) (n-r)
j = P = P P = matriz de transición en n etapas
(n) (n) (r) (n-r) Matriz dede
transición de nen
etapas
Pij =P =P P = matriz transición
Entonces: n etapas
na matriz de transición en n etapas, se puede determinar
(n) (n)
conociendo la matriz de transición
(r) (n-r)
elevarla n veces. Pij = P = P P = matriz de transición en n etapas
Una
Una matriz
matrizdede
transición de n en
transición etapas, se puede
n etapas, sedeterminar conociendo la
puede determinar matriz de
conociendo la matr
yPtransición
(n) de una
... ...
elevarla
00 n veces.
)
 P, y se obtiene laUna
P0(Mnetapa, n_ésima potencia
matriz de de en
transición P n etapas, se puede determina
  y elevarla n veces.
 .  P00 ... ... P0 M 
(n)
. (n)
 

(n) (n)
P (n) 
(n)= P*P*…P= Pn-1P= Pn

P00 ... ... P0 M
 . P
. .  .

. .

P ((nn))   (n) 
 P 
(n) 
 . . 
 P0 M ... ... . PMM  .   
 (n) (n) 
 P0 M 
(n) (n)
... ... PMM
Propiedades
ropiedades:  P0 M ... ... PMM 
Propiedades:
 P
(n+m) (n) (m)
=P P : El producto de matrices de Markov
P
(n+m) es (n)
= P unaP matriz de Markov.
(m)

 Propiedades:
El producto de dos matrices de Markov siempre es una matriz
 El producto de Markov.
de dos matrices de Markov siempre es
En el ejemplo del tiempo
(n) en
(m)la Tierra de OZ, las probabilidades de transición en dos etapas
son: 
(n+m)
P =P P
 El producto
0 1de dos
2 matrices de Markov siempre es una matriz de Mark 0,25 0,38 0,38
0 Pij( 2 )  0,19 0,44 0,38
Pij = 1
2 0,19 0,38 0,44
EJEMPLO:

Una multi-tienda tiene un modelo especial de cámaras fotográficas que puede

ordenar cada semana.

Sean D1, D2, …..Dn, las demandas durante la primera, segunda y n-ésima
semana respectivamente. (se supone que las Di son v.a. que tienen una
distribución de probabilidad conocida)

X0 : número de cámaras que se tiene al iniciar el proceso. Suponga que X0=0

X1 : número de cámaras que se tiene al final de la semana 1
X2 : número de cámaras que se tiene al final de la semana 2
Xn : número de cámaras que se tiene al final de la semana n

Suponga que la multitienda utiliza una política de pedidos (s,S), es decir

siempre que el nivel de inventario sea menor que s, se ordenan hasta S
unidades (S>s). Si el nivel de inventario es mayor o igual, no se ordena. Se
tiene: s=1; S=3
Se supone que las ventas se pierden cuando la demanda excede el
inventario.

Entonces {Xt } para t=1, 2, ………n es un proceso estocástico

El número posible de cámaras en inventario al final de la semana t son: { 0, 1,

2, 3 } estados posibles del sistema.

Las v.a. Xt son dependientes de la demanda y se pueden evaluar en forma

iterativa por medio de la expresión:

Max {(3 – Dt+1), 0} si Xt < 1

Xt+1 =
Max {(Xt – Dt+1), 0} si Xt ≥ 1
Para este caso observe que {Xt} es una cadena de Markov.

Xt= número de cámaras al final de la semana t (antes de recibir el pedido)

Dt= demanda de cámaras en la semana t. Suponga que tiene
Dt~Poisson(λ=1)

P00  Pr{ X t 1  0 / X t  0}  Pr { Dt  3}  1 - Pr { Dt  2 }  0.08

P10  Pr{ X t 1  0 / X t  1}  Pr { Dt  1}  1 - Pr { Dt  0 }  0.632
P21  Pr{ X t 1  1 / X t  2}  Pr { Dt  1}  0.368

Similarmente se obtienen las otras probabilidades

0.080 0.184 0.368 0.368

0.632 0.368 0.00 0.00 
P
0.264 0.368 0.368 0.00 
 
0.080 0.184 0.368 0.368
b) Si hoy es domingo y me quedan 2 cámaras en inventario, cuál es la probabilidad
de que en 2 domingos más tenga 0 cámaras en inventario?
0.249 0.286 0.300 0.165
0.283 0.252 0.233 0.233
La matriz de transición de dos pasos es: P ( 2) 
 0.351 0.319 0.233 0.097
 
0.249 0.286 0.300 0.165

La Probabilidad es de 35,1% de que en dos domingos más tenga 0 cámaras

c) Si hoy es domingo y me quedan 2 cámaras en inventario, cuál es la probabilidad

de que en 1 mes más tenga 0 cámaras en inventario?
0.289 0.286 0.261 0.164
0.282 0.285 0.268 0.166
La matriz de transición de 4 pasos es: P
( 4)

0.284 0.283 0.263 0.171
 
0.289 0.286 0.261 0.164

La Probabilidad es P20( 4)  0,284  28,4%

 CADENAS DE MARKOV EN EL LARGO PLAZO.

Distribución de Probabilidades del proceso en la etapa n Pr{ Xn=j }

Las probabilidades de transición de 1 ó n pasos son probabilidades

condicionales, por ejemplo:

Pij(n) = P{Xn = j / X0 = i }

Si se desea la probabilidad incondicional Pr{ Xn=j } es necesario que se

especifique la distribución de probabilidad del estado inicial:
 PX n  0 
 PX  1   f 0( n ) 
 n   (n ) 
f (n )     f1 
   
   f ( n ) 
 PX  j    j 
 n 
f(n) = vector de distribución de probabilidades de la variable discreta Xn en la etapa n
f(0) = vector de distribución de probabilidades del estado inicial

f j( n )  Pr{ X n  j}   Pr{ X n  j / X 0  i} Pr{ X 0  i}

i
 donde i son los estados posibles del estado inicial

f j( n )   Pij( n )fi( 0 )
i

f ( n)
 
 P (n) T
 
f ( 0)  f ( 0) T P n

Es decir, la probabilidad del paso n se puede calcular multiplicando

vector de probabilidad inicial, f(0) , por la potencia correspondiente
de la matriz de transición, n
P 
 Ejemplo.
Modelo para el desplazamiento poblacional
Para efectos de una investigación, en un determinado país, una familia
puede clasificarse como habitante de zona urbana, rural o suburbana.

Se ha estimado que durante un año cualquiera, el 15% de todas las familias

urbanas se cambian a zona suburbana y el 5% a zona rural. El 6% de las
familias suburbanas pasan a zona urbana y el 4% a zona rural. El 4% de las
familias rurales pasan a zona urbana y el 6% a zona suburbana.

Supongamos que al inicio de la investigación, el 35% de la población vivía en

áreas urbanas, el 45% en área suburbana, y el resto en área rural.

a)Siinicialmente una familia vive en un área rural, ¿cuál es la probabilidad de

que tres años después esta familia viva en un área urbana?
b)¿Cual es la probabilidad de que tres años después de iniciada la
investigación una familia viva en el área urbana?
Solución paso a paso .
 Definir la variable aleatoria del problema:
Xn = Números de familias que habitan en una determinada zona de un país.

 Definir los estados de la variable

Estados : 0: Zona urbana
1: Zona rural
2: Zona suburbana

 Identificar el vector de probabilidades del estado inicial f0.

f 0  (0,35 0,20 0,45 )

Identificar la matriz de probabilidad de transición en una etapa.
0 1 2
 0,80 0,05 0,15 
0  
P 1  0,04 0,90 0,06 
2  0,06 0,04 0,90 
 
Calcular P3
 0,540 0,125 0,335 
 
P 3   0,097 0,741 0,162 
 0,135 0,106 0,759 
 

 Multiplicar f0 * Pn . Interpretar.
 Respuestas:
a) La probabilidad de que tres años después una familia que vive en un
área rural viva en un área urbana es de 0,097
b) La probabilidad de que tres años después de iniciada la investigación
una familia viva en el área urbana es de 0,269
 Visitas a un estado fijo

Supongamos que X0=i (un estado fijo). Se quiere estudiar el tiempo que
transcurre hasta que ingresamos al estado j por primera vez (j es un estado fijo)

T(i,j)= tiempo que transcurre para ir del estado i al j por primera vez:

Pr{T(i,j)=k} = Pr{X1≠ j, X2≠ j,…… Xk-1≠ j Xk=j / X0= i} = Fk(i,j)

Donde Fk(i,j) es la probabilidad de que el tiempo de ir del estado i al j por

primera vez sea en k etapas.
Si k=1 F1(i,j) = Pr{T(i,j)=1} = Pij

Si k ≠ 1 FK ( i , j )  P
L j
iL FK 1(L, j )

Pr{ ir de i a j alguna vez}  F (i, j )   FK (i, j )

k 1

F (i, j )  Pi , j   Pil F (l , j )
l j

Tiempo Medio

E (T (i, j ))   kFK (i, j )
K 1
Ejercicio:

Supongamos una cadena de Markov con tres estados. Se desea determinar

la probabilidad de ir del estado 1 al 2 por primera vez en 3 etapas.

¿ ?
Solución ejercicio:

Supongamos una cadena de Markov con tres estados. Se desea determinar

la probabilidad de ir del estado 1 al 2 por primera vez en 3 etapas.

3
F3 (1,2)   PiL * F2 (L,2)
L 1
L2

F3 (1,2)  P11 * F2 (1,2)  P13 * F2 (3,2)

3 3
F3 (1,2)  P11 *  P1L * F1 (L,2)  P13 *  P3L * F1 (L,2)
L 1 L 1
L2 L2

F3 (1,2)  P11 * (P11 * F1 (1,2)  P13 * F1 (3,2))  P13 * (P31 * F1 (1,2)  P33 * F1 (3,2))
F3 (1,2)  P11 * (P11 * P12  P13 * P32 )  P13 * (P31 * P12  P33 * P32 )
F3 (1,2)  P11 * P11 * P12  P11 * P13 * P32  P13 * P31 * P12  P13 * P33 * P32 )
 Clasificación de estados en una cadena de Markov

Definición 6:

Se dice que el estado j es accesible desde el estado i, si Pij(n)>0 para alguna

etapa n ≥ 0

Que el estado j sea accesible desde el estado i significa que es posible que el
sistema llegue eventualmente al estado j si comienza en el estado i.

En general, una condición suficiente para todos los estados sean accesibles es
que exista un valor de n para el que Pij(n)>0 para todo i y j

Ejemplo:
 1 0 0 0
El estado 2 no es accesible desde el estado 3 1  p 0 p 0 
El estado 3 si es accesible desde el estado 2 
 0 1 p 0 p
 
 0 0 0 1
 Definición:

Si el estado j es accesible desde el estado i, y el estado i es accesible desde el

estado j, entonces se dice que los estados i y j se comunican.

Propiedades de la comunicación

 Cualquier estado se comunica consigo mismo Pii(0)= P{X0=i/X0=i} =1

 Si el estado i se comunica con el estado j, el estado j se comunica con el

estado i
i j j i

 Si el estado i se comunica con el estado j y el estado j se comunica con el

estado k, entonces el estado i se comunica con el estado k.

i j j k

i k
 Si j es accesible desde i, entonces existe n tal que Pij(n)>0
Si k es accesible desde j, entonces existe n tal que Pjk(n)>0

El concepto de comunicación divide el espacio de estados en clases

ajenas, es decir que dos clases siempre son idénticas o disjuntas.

Ningún estado puede pertenecer a dos clases distintas.

Dos estados que se comunican entre si, se dice pertenecen a la misma

clase.

Por tanto solo hay una clase con los estados i, j y k. (por la propiedad de
transitividad)
Definición 7: Una matriz de una sola clase se dice irreducible.

Ejemplo:

1 / 2 1 / 2 0 
P  1 / 2 1 / 4 1 / 4  solo hay una clase
 0 1 / 3 2 / 3

1 / 2 1 / 2 0 0 
1 / 2 1 / 2 0 0 
P  hay tres clases
1 / 4 1 / 4 1 / 4 1 / 4
 
 0 0 0 1 

Compruebe ambos casos

Definición 8: Sea F(i,i) la probabilidad de retornar al estado i, alguna vez, dado que se
comienza en el estado i.

1.Si F(i,i) < 1 el estado i es transitorio

2.Si F(i,i) = 1 el estado i es recurrente
- Si E(T(i,i)) = ∞ el estado i es recurrente nulo (Cantidad infinita de estados)
- Si E(T(i,i)) < ∞, el estado i es recurrente positivo (Cantidad finita de estados)

Un caso especial de un estado recurrente es un estado absorbente. Un estado es

absorbente si una vez que se entra en él no se puede abandonar, es decir, Pii = 1

Por lo general no es fácil determinar si un estado es recurrente o transitorio evaluando

F(i,i). Por lo tanto no es evidente si un estado debe clasificarse como recurrente o
transitorio.

Si un proceso de Markov se encuentra en el estado i y el estado es transitorio, entonces

la probabilidad de que no regrese al estado i es (1-F(i,i)).

Por tanto el número esperado de periodos que el proceso se encuentra en el estado i es

finito y está dado por 1/(1-F(i,i))
 EJEMPLO:

1
3

Estado (0) = Estado Recurrente (Absorbente): porque una vez que el proceso
entra al estado nunca saldrá de él. (Fii=1)

Estado (1) = Estado Transitorio: porque una vez que el proceso se encuentra en
el estado 1, existe una probabilidad que nunca podrá regresar. (Fii=0)

Estado (2) y (3) = Estados Recurrentes: Una vez que se sale de él, existe
certeza de volver alguna vez. (Fii=1)
Propiedades:

En una matriz de Markov de número finito de estados no todos pueden ser

transitorios.

Si i es recurrente y además i se comunica con j, entonces j es recurrente.

Si i es transitorio y además i comunica con j, entonces j es transitorio.

Todos los estados de una cadena de Markov de estado finito irreducible son
recurrentes.

Por tanto:

- Una clase es recurrente si no se puede salir de ella

- Una clase es transitoria si se puede salir de ella y no hay forma de

regresar.
EJEMPLO.

Clase Transitoria
Clase Recurrente
Clase Recurrente
(Absorbente)

1
3
0
2
 Definición 9: PERIOCIDAD DE UN ESTADO:

Un estado se dice que tiene período d para un valor entero mayor que uno y que
cumpla con lo siguiente:

Pii(n) )= P(Xn= i / X0=i ) > 0

Sólo para valores de n pertenecientes al conjunto {d, 2d, 3d…..}. El período d es

igual al mínimo común múltiplo de n en la fórmula anterior. En otras palabras, un
estado es periódico si, partiendo de ese estado, sólo es posible volver a él en un
número de etapas que sea múltiplo de un cierto número entero mayor que uno.

Si existen dos números consecutivos s y s+1 tales que el proceso puede

encontrarse en el estado i en los tiempos s y s+1, se dice que el estado tiene
periodo, d =1 y se llama estado aperiódico.

Los estados recurrentes positivos y aperiódicos se denominan ergódicos.

Una cadena de Markov es ergódica si todos sus estados son ergódicos.

EJEMPLO APERIÓDICO:

3
0

2
Periodicidad
 Ejemplo: En la siguiente CM todos los estados son
periódicos de periodo d=2

0 1 2 3 …

…
 En la siguiente CM todos los estados son periódicos de
periodo d=3
0 3

1 2 4
Ejemplos

0
La siguiente CM es irreducible,
aperiódica, y por lo tanto
ergódica. 1 2

CM irreducible, recurrente y periódica de

periodo 3. No ergódica.
1 2
Ejemplos
0 1
CM irreducible, recurrente
y periódica de periodo
3. No ergódica 3 2
.

1 2
CM no es irreducible, y por tanto no es de
ninguno de los demás tipos. Ningún estado
es periódico. 4 es transitorio, y el resto
recurrentes. 1 es absorbente.

4 3
 Evolución del proceso en el largo plazo

Definición 10: Para una cadena de Markov irreducible ergódica si el lim Pij( n)
n 
existe y es independiente del estado inicial i entonces tiene una distribución
estacionaria π tal que:

1
lim P (n)
ij  j  0
n  E (T ( j, j ))
donde:
M
 j    i Pij j=0,1,2……M
i 0


j 0
j 1
 Las πj se llaman probabilidades de estado estable de la cadena de Markov
y son iguales al inverso del tiempo esperado de recurrencia.

La probabilidad de encontrar el proceso en un cierto estado, por ejemplo j,

después de un número grande de transiciones tiende al valor πj.

Este valor es independiente de la distribución de probabilidad inicial

definida para los estados.

Si una cadena de Markov tiene distribución estacionaria π en que πj >0

para algún j, entonces π es la solución del sistema

 [T ]   * P
 i 1
i  0  P11 P12 ... P1n 
 P P ... P 
  ( 1 ,  2 ,...... n )  ( 1 ,  2 ,... n )  21 22 2n 

 
 
 n1 n 2
P P Pnn 
Ejemplo 1:

La matriz de transición P, representa las probabilidades de transición en una

etapa, de la rotación de clientes entre 3 supermercados (1,2,3) de un mes a
otro.

Asumiendo que el mismo patrón de comportamiento continua en el tiempo,

¿Cuál será la proporción de clientes en el futuro que compre en cada
supermercado?

Sea:

П1= % de clientes del Supermercado 1 en el largo plazo

П2= % de clientes del Supermercado 2 en el largo plazo
П3= % de clientes del Supermercado 3 en el largo plazo

П = [ П1 П2 П3] , П T=
 El sistema a resolver es:

 i 1

 [T ]   * P
= [ π1,π 2,π 3] *

Resolviendo el sistema:
 Ejemplo 2:

Del ejercicio de inventario de las cámaras, la matriz de transición de 4 pasos es:

0.289 0.286 0.261 0.164
0.282 0.285 0.268 0.166
P ( 4) 
0.284 0.283 0.263 0.171
 
0.289 0.286 0.261 0.164

Si calculamos 0.285 0.285 0.264 0.166

0.285 0.285 0.264 0.166
P (8) 
0.285 0.285 0.264 0.166
 
0.285 0.285 0.264 0.166

 i  1   0  1   2   3  1
  0  0.080 0.184 0.368 0.368
  0.632 0.368 0.00 0.00 
 [T ]   * P   1*
 2  0.264 0.368 0.368 0.00 
   
 3  0.080 0.184 0.368 0.368

 0  0,080 0  0,632 1  0,264 2  0,080 3

 1  0,184 0  0,368 1  0,368 2  0,184 3
 2  0,368 0  0,368 2  0,368 3
 3  0,368 0  0,368 3
1   0   1   2  3
Resolviend o las ecuaciones se llega a la solución simultánea :
 0  0,285  1  0,285
 2  0,264  3  0,166
 Costos promedios esperados

Suponga que se incurre en un costo C(Xt) cuando el proceso se encuentra en el

estado Xt en el tiempo t, para t=0,1,…..

El costo promedio esperado por unidad de tiempo (a la larga), está dado por:


1 n 
j C( j) = lim E   C ( X i )
j 0
n 
 n i 1 
Ejemplo 1:

Considere el problema de inventario de cámaras y suponga que la tienda de

cámaras encuentra que se debe asignar un cargo por almacenamiento por cada
cámara que permanece en la tienda al final de la semana. El costo se carga
como sigue:

0 si X1 = 0
0.285 0.285 0.264 0.166
0.285 0.285 0.264 0.166
C (x 2 si X1 = 1 P (8) 
= 0.285 0.285 0.264 0.166
8 si X1 = 2  
0.285 0.285 0.264 0.166

18 si X1 = 3

El costo promedio esperado por semana, a la larga, por mantener el inventario,

se puede obtener de la ecuación:
El costo promedio esperado por semana, a la larga, por mantener el inventario,
se puede obtener de la ecuación:

1 n 
lim E   C ( X i ) = 0(0.285) + 2(0.285) + 8(0.264) + 18(0.166) = 5.67
n 
 n i 1 
Ejemplo 2:

Una empresa utiliza camiones para el transporte de materiales y

escombros. Se sabe que el problema más común de los camiones es
que se les obstruye el filtro de aire.

El filtro puede estar limpio, parcialmente obstruido o completamente

obstruido. El costo de reparación de un camión con filtro obstruido
totalmente es M$120/ día. La probabilidad de tener problemas se
encuentran en la matriz siguiente:

0 ,1 0 ,8 0 ,1 
 0 0 ,5 0 ,5 
P 
1 0 0 
 
 
a) ¿Cuál será el costo de mantenimiento correctivo de los camiones ( filtro
obstruido)?
Solución:

•Estados posibles: 0= limpio; 1= parcialmente obstruido; 2= obstruido

•Calculo de probabilidad de estado estable j, j=0,1,2.

•0= 0,286
•1= 0,457
•2= 0,257….25,7% de las veces filtro del camión estará
obstruido.

•Costo de mantenimiento correctivo: 0,257 * 120= M$ 30,84/día.

b) Existe la posibilidad de hacer mantenimiento preventivo. En este caso se opera
en los camiones cuyo filtro esta parcialmente obstruido a un costo de M$ 20/
camión por día. Calcular el costo promedio esperado a futuro para realizar el
programa de mantenimiento.
0 ,1 0 ,8 0 ,1 
1 0 0 
P 
1 0 0 
 
 
Solución:

•En este caso tendremos cambios en la matriz original ya que el cambio de

estado será de parcialmente obstruido a limpio.

•Resolviendo las ecuaciones de estado estable

•0= 0,53
•1= 0,42 …..42% de las veces filtro del camión estará sujeto a mantenimiento
preventivo.
•2= 0,05
 M
Luego: Costo promedio esperado por unidad de tiempo= 
j 0
j C( j)

Costo de mantenimiento por día= 0,42 * 20 + 0,05* 120 (M$/camión)

= 14,4 M$/ camión
 Estados absorbentes

El estado k se llama estado absorbente si Pkk=1, de manera que una vez que la
cadena llega al estado k, permanece ahí para siempre.

Si k es un estado absorbente y el proceso comienza en el estado i, la

probabilidad de llegar en algún momento a k se llama probabilidad de
absorción al estado k dado que el sistema empezó en i, y se denota F(i,k)

Si la cadena de Markov tiene dos o más estados absorbentes es deseable

encontrar las probabilidades de absorción. Estas probabilidades se hallan al
resolver un sistema de ecuaciones lineales
M
F (i, k )   Pij F (ij ,, kj )
j 0
para i=0,1,2….M
sujeto a
F(k,k)=1
F(i,k)=0 si el estado i es recurrente e i≠k
Ejemplo Estados Absorbentes.

Considere una tienda que clasifica el saldo de un cliente como pagado (estado
0), 1 a 30 días de retraso (estado 1), 31 a 60 días de retraso (estado 2) o mala
deuda (estado 3). Las cuentas se revisan mensualmente. Se entregan datos
históricos de la tienda y se obtiene la siguiente matriz de transición:
0.2

 1 0 0 0  0.7 1
0.7 0.2 0.1 0  0.1 0.2
P  1
0.5 0.1 0.2 0.2 0 0.1 2 3
 
 0 0 0 1 0.5

0.2 1

En este caso, los estados absorbentes son los estados (0) y (3). La tienda se
interesa en determinar la probabilidad de que un cliente llegue a ser mala deuda
dado que actualmente es deudor (estado 1 o estado 2).

De esta manera, deben obtenerse las probabilidades F(1,3) y F(2,3)

 M
F (i, k )   Pij F (ij ,, kj )
j 0
3
F (1,3)   P1, j * F ( j ,3)
j 0

F (1,3)  P10 * F (0,3)  P11 * F (1,3)  P12 * F (2,3)  P13 * F (3,3)

Dado que : F(0,3)  0 y F(3,3)  1
F (1,3)  P11 * F (1,3)  P12 * F (2,3)  P13
Despejando :
F (1,3) * (1  P11 )  P12 * F (2,3)  P13
3
F (2,3)   P2, j * F ( j ,3)
j 0

F (2,3)  P20 * F (0,3)  P21 * F (1,3)  P22 * F (2,3)  P23 * F (3,3)

Dado que F(0,3)  0 y F(3,3)  1
F (2,3)  P21 * F (1,3)  P22 * F (2,3)  P23
Despejando :
F (2,3) * (1  P22 )  P21 * F (1,3)  P23
Re emplazando : Re emplazando :
F (1,3) * (1  P11 )  P12 * F (2,3)  P13 F (2,3) * (1  P22 )  P21 * F (1,3)  P23
F (1,3) * (1  0.2)  0.1 * F (2.3)  0 F (2,3) * (1  0.2)  0.1 * F (1,3)  0,2
0 .1 0 .8 0.2
F (1,3)  F (2,3) F (1,3)  F (2,3) 
0 .8 0 .1 0 .1
F (1,3)  0.125 * F (2,3) F (1,3)  8 * F (2,3)  2

Re solviendo :
F (1,3)  8 * F (2,3)  2
F (1,3)  0.125 * F (2,3) Entonces, aproximadamente el 3% de
los clientes que deben entre 1 a 30 días
acaban siendo malos deudores,
8 * F (2,3)  2  0.125 * F (2,3) mientras que el 25% de los clientes que
F (2,3) * (8  0.125)  2 deben entre 31 a 60 días llegan a la
2 misma categoría.
F (2,3) 
8  0.125
F (2,3)  0,254
F (1,3)  0,032