INVESTIGACIÓN DE

OPERACIONES II

CADENAS DE MARKOV
PARTE 1

Adaptado Ing FGirón

 CADENAS DE MARKOV
MAYOR INCERTIDUMBRE, MÁS EVENTOS
FUTUROS
PROBABILIDAD DE QUE UNA MÁQUINA QUE
ESTÁ FUNCIONANDO EN UN PERÍODO
CONTINUARÁ FUNCIONANDO EN EL
SIGUIENTE PERÍODO (O SE DESCOMPONDRÁ)
SI HOY NO LLUEVE ES MÁS PROBABLE QUE
MAÑANA TAMPOCO LLUEVA Y ASÍ
SUCESIVAMENTE
 CADENAS DE MARKOV
EJEMPLO DEL CLIMA EN VILLACENTRO
ESTADO 0 = EL DÍA t ESTÁ SECO (SIN LLUVIA)
ESTADO 1 = EL DÍA t ESTÁ LLUVIOSO
SI t = 0, PROBABILIDAD DE QUE MAÑANA TAMBIÉN
ESTÉ SECO = 0.8. SI t = 1, PROBABILIDAD QUE
MAÑANA ESTÉ SECO = 0.6
0 si día t es seco
Xt =
1 si día t es lluvioso
P  Xt+1 = 0 | Xt = 0 = 0.8
P  Xt+1 = 0 | Xt = 1 = 0.6
 CADENAS DE MARKOV
CLIMA EN VILLACENTRO
PROBABILIDADES DE TRANSICIÓN:
p00 = probabilidad de pasar del estado 0 al estado 0
p01 = probabilidad de pasar del estado 0 al estado 1

p00 = P  Xt+1 = 0 | Xt = 0 = 0.8

p10 = P  Xt+1 = 0 | Xt = 1 = 0.6
p00 + p01 = 1 por lo que p01 = 0.2
p10 + p11 = 1 por lo que p11 = 0.4

por lo que la MATRIZ DE TRANSICIÓN (de un solo

paso) es:
 CADENAS DE MARKOV
CLIMA EN VILLACENTRO
MATRIZ DE TRANSICIÓN (de un solo paso):

Estado 0 1 Estado 0 1
0 p00 p01 0 0.8 0.2
P= =
1 p10 p11 1 0.6 0.4

Las probabilidades de transición se refieren a la

transición del estado del renglón en el enunciado al
estado de la columna en la matriz. En el ejemplo, es
la probabilidad del estado del clima de mañana,
dado el estado del clima de hoy
 CADENAS DE MARKOV
CLIMA EN VILLACENTRO
MATRIZ DE TRANSICIÓN (de dos pasos):

0.8 0.2 0.8 0.2 0.76 0.24

P(2) = P*P = =
0.6 0.4 0.6 0.4 0.72 0.28

El cálculo de las probabilidades de transición de n

pasos se basa en las Ecuaciones de Chapman-
Kolmogorov, las que llevan a la fórmula general:
P(n) = Pn VER ARCHIVO “MATRICES EN EXCEL”
 CADENAS DE MARKOV
CLIMA EN VILLACENTRO
MATRICES DE TRANSICIÓN (de más de dos pasos):
0.8 0.2 0.76 0.24 0.752 0.248
P(3) = P3 = P*P2= =
0.6 0.4 0.72 0.28 0.744 0.256

0.8 0.2 0.752 0.248 0.75 0.25

P(4) = P4 = P*P3= =
0.6 0.4 0.744 0.256 0.749 0.251

0.8 0.2 0.75 0.25 0.75 0.25

P(5) = P5 = P*P4= =
0.6 0.4 0.749 0.251 0.75 0.25
 CADENAS DE MARKOV
CLIMA EN VILLACENTRO

En la matriz de cinco pasos, los 2 renglones

poseen elementos idénticos. Esto refleja el
hecho de que la probabilidad del clima de un
estado particular es independiente del
estado del clima 5 días antes

Por lo anterior, las probabilidades en

cualquier renglón de esa matriz de transición
de 5 pasos se denominan probabilidades
del estado estable de la cadena de
Markov
 CADENAS DE MARKOV

Cuando se llegan a obtener las

probabilidades del estado estable
de la cadena de Markov, significa
que las probabilidades del estado
del sistema después de un tiempo
suficiente han llegado a un punto
en el que el estado inicial ya no es
relevante
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS
EN UNA CADENA DE MARKOV

UN ESTADO j ES ACCESIBLE DESDE EL

ESTADO i SI pij (n)> 0 PARA ALGUNA n ≥ 0

POR LO TANTO, QUE EL ESTADO j SEA

ACCESIBLE DESDE EL ESTADO i SIGNIFICA
QUE ES POSIBLE QUE EL SISTEMA LLEGUE
FINALMENTE AL ESTADO j SI COMIENZA EN
EL ESTADO i
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS
EN UNA CADENA DE MARKOV

SI EL ESTADO j ES ACCESIBLE
DESDE EL ESTADO i Y EL ESTADO
i ES ACCESIBLE DESDE EL
ESTADO j, ENTONCES SE DICE
QUE AMBOS ESTADOS i,j
SE COMUNICAN
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS
EN UNA CADENA DE MARKOV

•Dos estados que se comunican pertenecen

a una misma CLASE

•Si existe una sola clase, o sea que todos los

estados se comunican, se dice que la
Cadena de Markov es IRREDUCIBLE

•En el ejemplo del clima en Villacentro, la

Cadena de Markov es irreducible porque solo
hay una clase y en ella todos los estados se
comunican (seco y lluvioso)
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV

ESTADO TRANSITORIO:
Un estado es transitorio si, después de haber
entrado a ese estado, el proceso nunca regresa a él

Si el estado i es transitorio y el proceso visita este

estado, existe un probabilidad positiva de que el
proceso se moverá al estado j y nunca regresará al
estado i

En el ejemplo del clima, el estado seco (sin lluvia)

sería transitorio si el proceso estando en ese estado
tuviera un probabilidad  0 de moverse al estado
lluvioso y nunca regresar al estado seco
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV

ESTADO RECURRENTE:
Es lo opuesto al estado transitorio, en el ejemplo
del clima en Villacentro, ambos estados son
recurrentes, regresan otra vez al estado donde
estaban

ESTADO ABSORBENTE:
Es un tipo de estado recurrente. Un estado se
considera absorbente si el proceso después de
haber entrado en ese estado nunca sale de él.
En otras palabras, Pii = 1
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV

Estado 0 1 2 3 4
0 0.25 0.75 0 0 0
1 0.50 0.50 0 0 0
P= 2 0 0 1 0 0
3 0 0 0.33 0.67 0
4 1 0 0 0 0

El estado 1 es accesible desde el estado 0 porque

la probabilidad de ir al estado 1 estando primero
en el estado 0 es mayor que 0 (es de 0.75)
P01 = 0.75
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV

Estado 0 1 2 3 4
0 0.25 0.75 0 0 0
1 0.50 0.50 0 0 0
P= 2 0 0 1 0 0
3 0 0 0.33 0.67 0
4 1 0 0 0 0

Los estados 0 y 1 se comunican y pertenecen a la

misma clase porque el estado 1 es accesible
desde el estado 0 (0.75) y a su vez el estado 0 es
accesible desde el estado 1 (0.50) . Las
probabilidades de cambiar de un estado a otro son
mayores que cero
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV

Estado 0 1 2 3 4
0 0.25 0.75 0 0 0
1 0.50 0.50 0 0 0
P= 2 0 0 1 0 0
3 0 0 0.33 0.67 0
4 1 0 0 0 0
El estado 3 es transitorio porque al estar en ese estado
existe una probabilidad positiva de nunca regresar: hay
una probabilidad de 0.33 de pasar al estado 2 y si pasa
al estado 2 (ver tercer renglón) la probabilidad de
regresar al estado 3 es de 0 (no regresaría)
El estado 4 también es transitorio, solo puede pasar al
estado 0 y de ahí no regresa al 4
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV

Estado 0 1 2 3 4
0 0.25 0.75 0 0 0
1 0.50 0.50 0 0 0
P= 2 0 0 1 0 0
3 0 0 0.33 0.67 0
4 1 0 0 0 0

Los estados 0 y 1 son recurrentes porque al pasar

a otro estado siempre van a regresar al original
Por ejemplo: el estado 0 tiene una probabilidad de
0.75 de pasar al estado 1, si efectivamente pasa al
estado 1, tiene una probabilidad de 0.50 de
regresar al estado 0
 CADENAS DE MARKOV
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV

Estado 0 1 2 3 4
0 0.25 0.75 0 0 0
1 0.50 0.50 0 0 0
P= 2 0 0 1 0 0
3 0 0 0.33 0.67 0
4 1 0 0 0 0

El estado 2 es absorbente (y por lo tanto,

recurrente), porque si el proceso entra en ese
estado (ver tercer renglón) nunca sale de él. Tiene
100% de probabilidades de pasar al estado 2 y 0%
de probabilidades de pasar a otro estado
CADENAS DE MARKOV

PROPIEDADES DE
ESTADO ESTABLE
 CADENAS DE MARKOV
RECORDANDO EL EJEMPLO DEL CLIMA EN VILLACENTRO

MATRICES DE TRANSICIÓN

Estado 0 1 Estado 0 1
0 p00 p01 0 0.8 0.2
P= =
1 p10 p11 1 0.6 0.4

0.8 0.2 0.75 0.25 0.75 0.25

P(5) = P5 = P*P4= =
0.6 0.4 0.749 0.251 0.75 0.25

Cuando n es lo suficientemente grande, todos los renglones de la matriz

tienen elementos idénticos : la p de que el sistema esté en cada estado j ya
no depende del estado inicial del sistema
 CADENAS DE MARKOV
PROPIEDADES DE ESTADO ESTABLE
Para una cadena de Markov , el límite de que n
tienda al infinito de pij (n) existe y es independiente
de i:
lim pij (n) = j  0;
n→ inf

j = PROBABILIDAD DE ESTAR EN EL ESTADO j

las j satisfacen las ecuaciones de estado estable:
M
j =  i pij para j = 0,1,…..M
i=0

M
 j = 1
j=0
 CADENAS DE MARKOV
PROPIEDADES DE ESTADO ESTABLE
EL CLIMA EN VILLACENTRO
M
j =  i pij para j = 0,1,…..M
i=0

M
 j = 1
j=0

(A) 0 = 0p00 + 1p10 (B) 1 = 0p01 + 1p11

(C) 0 + 1 = 1 M = 1: i = 0,1 j =0,1
(A): 0 = la probabilidad de quedar en el estado 0 después de
la siguiente transición debe ser igual a la suma de:
•probabilidad de estar en el estado 0 ahora y luego
permanecer en ese estado 0 (p00 ) y
•probabilidad de estar en el estado 1 ahora y luego pasar al
estado 0 (p10 )
 CADENAS DE MARKOV
PROPIEDADES DE ESTADO ESTABLE
EL CLIMA EN VILLACENTRO

(A) 0 = 0p00 + 1p10 (B) 1 = 0p01 + 1p11

(C) 0 + 1 = 1

(A) 0 = 00.8 + 10.6 (B) 1 = 00.2 + 10.4

(C) 0 + 1 = 1

Al resolver (A) y (B) tenemos el mismo resultado

(una de las 2 ecuaciones es redundante): 0 = 31
Al combinar con la (C) obtenemos: 0 = 0.75 1 = 0.25
**** LOS MISMOS RESULTADOS QUE P5
 CADENAS DE MARKOV
PROPIEDADES DE ESTADO ESTABLE
EL CLIMA EN VILLACENTRO

0 = 0.75 1 = 0.25
**** LOS MISMOS RESULTADOS QUE P5

INTERPRETACIÓN: después de muchos días

(en este caso, después de 5 días), la
probabilidad de que el clima esté seco
tiende al 75% y la probabilidad de que el
clima esté lluvioso tiende al 25%
 CADENAS DE MARKOV
COSTO PROMEDIO ESPERADO
POR UNIDAD DE TIEMPO
Si se especifican costos asociados a los
estados de un sistema,
Costo promedio esperado por unidad de
tiempo = M
 j C(j)
j=0
En el ejemplo del clima, si el costo para un día seco
fuera Q20 y el costo para un día lluvioso fuera Q100,
el costo promedio esperado por día sería de:
0 C(0) + 1C(1) = 0.75 (20) + 0.25(100) = Q 40
 CADENAS DE MARKOV
TIEMPOS DE PRIMERA PASADA
Es el tiempo que tarda el proceso de ir del estado i
al estado j por primera vez

ij = tiempo de primera pasada

ij = 1 +  pikkj Estado 0 1
kj
0 0.8 0.2
1 0.6 0.4
Hay que calcular 00, 01, 10 y 11
Para i=0, j=0 solo hay una k, k=1 (k  j) ver fórmula
pik= p01=0.2 kj = 10
00= 1 + 0.210
 CADENAS DE MARKOV
TIEMPOS DE PRIMERA PASADA
ij = 1 +  pikkj Estado 0 1
kj
0 0.8 0.2
(k  j) ver fórmula 1 0.6 0.4

Hay que calcular 00, 01, 10 y 11

00= 1 + 0.210 porque i=0, j=0 solo hay una k, k=1
pik= p01=0.2 kj = 10
01= 1 + 0.801 porque i=0, j=1 solo hay una k, k=0
10= 1 + 0.410 porque i=1, j=0 solo hay una k, k=1
11= 1 + 0.601 porque i=1, j=1 solo hay una k, k=0
RESOLVIENDO: 00 = 1.33 días 01 = 5 días
10 = 1.67días 11= 4días
 CADENAS DE MARKOV
TIEMPOS DE PRIMERA PASADA
Interpretación:
00 = 1.33 días
El proceso tarda 1.33 días para ir por
primera vez del estado 0 al estado 0

01 = 5 días
El proceso tarda 5 días para ir por primera
vez del estado 0 al estado 1

En forma similar :
10 = 1.67días 11= 4días
Adaptado por Ing. FGirón