CADENAS DE MARKOV

1) Diagrama de transición de estados

Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos en el tiempo t= 1, 2… . La familia de variables aleatorias {Xi}
forma un proceso estocástico con una cantidad finita o infinita de estados. Dicho proceso estocástico se puede representar en un diagrama de
transición de estados, donde se muestra la probabilidad de moverse de un estado a otro dentro del proceso.

EJEMPLO 1.a.
Un profesor de ingeniería adquiere una computadora nueva cada dos años. El profesor puede elegir de entre tres modelos: M1,M2 y M3. Si el
modelo actual es M1, la siguiente computadora puede ser M2 con probabilidad .2, o M3 con probabilidad .15. Si el modelo actual es M2, las
probabilidades de cambiar a M1 y M3 son .6 y .25, respectivamente. Pero si el modelo actual es M3, entonces las probabilidades de comprar los
modelos M1 y M2 son .5 y .1, respectivamente.

a) Elabore el diagrama de transición de estados.

Para elaborar el diagrama de transición de estados primero se deben reconocer los estados. En este problema hay 3 estados, representados
por lo modelos de computadora que posee el ingeniero en algún momento del tiempo: M1, M2, M3.
En el diagrama que se desea elaborar cada estado es un círculo y las probabilidad de moverse de un estado a otro se señalan con flechas, así:

Note como estando en el estado M1, hay una probabilidad de

0,2 de moverse al estado M2 y de 0,15 de moverse al estado M3,
falta un 0,65 de probabilidad para sumar 1, la cual corresponde
a mantenerse en el estado M1. De manera similar se calculan
las probabilidades para mantenerse en los estados M2 y M3.

Si se analiza el diagrama mostrado, la M1 es el modelo con el que se

siente más a gusto el profesor porque es el que tiene mayor probabilidad
de no cambiarlo por otro (0,65), mientras que el que menos le gusta es el
M2 porque es el que tiene mayor probabilidad de cambio (0,85).
2) Matriz de transición de un paso
La matriz de transición de un paso es simplemente un arreglo matricial del diagrama de transición de estados. Cada fila de la matriz representa
un estado inicial o actual y las filas representan el estado futuro. Los tipos de estados iniciales y futuros deben ser los mismos, por lo cual
esta matriz debe ser cuadrada. En el interior de la matriz se presenta la probabilidad de transición de un paso, es decir, la probabilidad de ir de
un estado inicial a un estado futuro.

EJEMPLO 1.b.
Partiendo de los datos presentados en el ejemplo anterior, elabore la matriz de transición de un paso.

FUTURO
M1 M2 M3 Note como las probabilidades de transición de un paso en cada
M1 0.65 0.2 0.15 fila suman 1.
INICIAL

M2 0.6 0.15 0.25

M3 0.5 0.1 0.4

3) Definición de Cadena de Markov

Anteriormente se definió un proceso estocástico como un conjunto de variables que dependen del tiempo, que cuentan con un conjunto finito
o infinito de estados. Un proceso estocástico es un proceso de Markov si un estado futuro depende sólo del estado inmediatamente anterior.
Es decir, el valor de X en el paso siguiente (t+1) va a depender únicamente del valor de X en el tiempo t (estado actual).
Una cadena de Markov es una matriz P donde se muestran las probabilidades de transición de un paso. Por ejemplo, la matriz anterior es la cadena
de Markov que describe el proceso estocástico que muestra las probabilidades de cambio de computadora por parte del profesor de ingeniería.
Una cadena de Markov tiene la propiedad de que todas sus probabilidades de transición pij son estacionarias e independientes a lo largo del
tiempo. Aunque una cadena de Markov puede incluir un número infinito de estados, la presentación en este material se limita a una cantidad
finita de estados, porque es lo requerido para las aplicaciones en la carrera.

EJEMPLO 2

Una patrulla policiaca vigila un vecindario conocido por sus actividades delictivas. Durante un patrullaje hay 60% de probabilidades de responder
oportunamente una llamada de ayuda; si no sucede algo, continuará el patrullaje regular. Después de recibir una llamada, hay 10% de
probabilidades de cancelación (en cuyo caso el patrullaje normal se reanuda), y 30% de probabilidad de que la unidad ya esté respondiendo a la
llamada anterior. Cuando la patrulla llega a la escena del suceso, hay 10% de probabilidades de que los instigadores hayan desaparecido (en cuyo
caso reanuda su patrullaje), y 40% de probabilidades de que se haga una aprehensión de inmediato. De otro modo, los oficiales rastrearán el área.
Si ocurre una aprehensión, hay 60% de probabilidades de trasladar a los sospechosos a la estación de policía, de lo contrario son liberados y la
unidad regresa a patrullar. Exprese las actividades probabilísticas de la patrulla en la forma de una matriz de transición o cadena de Markov.

Lo primero que se debe hacer es reconocer los estados que involucra el proceso, los cuales se resaltaron en el texto:
E1: Patrullaje regular
E2: Responder llamada de ayuda
E3: Llegar a la escena del suceso
E4: Aprehensión de los sospechosos
E5: Traslado de los sospechosos

Cuando el problema es muy complejo o no se tiene una idea clara de la transición entre los estados, se recomienda elaborar el diagrama de
transición de estados:

Con el diagrama anterior se puede construir la matriz de transición de un paso que corresponde a la Cadena de Markov:

FUTURO
E1 E2 E3 E4 E5
E1 0.4 0.6 0 0 0
INICIAL
 E2 0.1 0.3 0.6 0 0

INICIAL
E3 0.1 0 0.5 0.4 0
E4 0.4 0 0 0 0.6
E5 1 0 0 0 0

Elaborado por: Ing. Angel González

e variables aleatorias {Xi}
ar en un diagrama de

os: M1,M2 y M3. Si el

o actual es M2, las
lidades de comprar los

dos, representados

alan con flechas, así:

e la matriz representa
mos, por lo cual
probabilidad de ir de

ón de un paso en cada

con un conjunto finito

diatamente anterior.

atriz anterior es la cadena

profesor de ingeniería.
entes a lo largo del
imita a una cantidad

abilidades de responder
, hay 10% de
esté respondiendo a la
n desaparecido (en cuyo
ficiales rastrearán el área.
ario son liberados y la
cadena de Markov.

rar el diagrama de
PROBABILIDADES DE TRANSICIÓN ABSOLUTA Y N PASOS

Dada la matriz de transición P de una cadena de Markov y el vector de probabilidades iniciales a(0) , las probabilidades absolutas a(n)
después de n transiciones se calculan como sigue:

La matriz Pn se conoce como la matriz de transición de n pasos. A partir de los cálculo se puede ver que:

EJEMPLO 3

Datos

Se cuenta con una cuadrícula de cuatro casillas, como se muestra a continuación. La ficha se encuentra en el lugar A y se lanza un dado para determinar
a cuál casilla se moverá, siguiendo la siguiente secuencia: A-B-C-D-A y repite.

A B
4$ -2$
D C
9$ -6$
 D C
9$ -6$

a) Exprese el problema como una cadena de Markov.

La construcción de la matriz de transición de un paso correspondiente a la cadena de Markov depende del número que obtenga el dado:

Iniciando en A:
Número del Dado 1 2 3 4 5 6
Casilla resultante B C D A B C

Probabilidades de transición de un paso, Desde A hasta cada casilla:

A B C D
1/6 2/6=1/3 2/6=1/3 1/6

Iniciando en B:
Número del Dado 1 2 3 4 5 6
Casilla resultante C D A B C D

Probabilidades de transición de un paso, Desde A hasta cada casilla:

A B C D
1/6 1/6 2/6=1/3 2/6=1/3

De igual manera se calculan las probabilidades iniciando en las casillas C y D. Entonces la cadena de Markov que representa el proceso
es la matriz P:

FUTURO
A B C D
A 0.167 0.333 0.333 0.167
INICIAL

B 0.167 0.167 0.333 0.333

C 0.333 0.167 0.167 0.333
D 0.333 0.333 0.167 0.167

b) Determine la ganancia o pérdida esperadas después de lanzar el dado 5 veces.

Para calcular el valor monetario esperado se necesita conocer la probabilidad absoluta de que la ficha culmine en cada casilla: A, B, C, D; después
de lanzar el dado cinco veces.

Ya que se conoce que la ficha inició en A, la probabilidad absoluta (a(5)) se calcula así:
Donde a(0) es el vector de probabilidades iniciales (1,0,0,0). El valor 1 indica que la ficha inicia en la posición A de la cuadrícula.
P5: es la matriz de transición después de haber lanzado 5 veces el dado; es decir, después de 5 pasos.

Para calcular la matriz de transición después de 5 pasos, se utilizarán las ecuaciones de Chapman-Kolomogorov:

0.167 0.333 0.333 0.167 0.167 0.333 0.333 0.167

0.167 0.167 0.333 0.333 * 0.167 0.167 0.333 0.333
0.333 0.167 0.167 0.333 0.333 0.167 0.167 0.333
0.333 0.333 0.167 0.167 0.333 0.333 0.167 0.167

0.250 0.222 0.250 0.278 0.250 0.222 0.250 0.278

0.278 0.250 0.222 0.250 * 0.278 0.250 0.222 0.250
0.250 0.278 0.250 0.222 0.250 0.278 0.250 0.222
0.222 0.250 0.278 0.250 0.222 0.250 0.278 0.250

0.248 0.250 0.252 0.250 0.167 0.333 0.333 0.167

0.250 0.248 0.250 0.252 * 0.167 0.167 0.333 0.333
0.252 0.250 0.248 0.250 0.333 0.167 0.167 0.333
0.250 0.252 0.250 0.248 0.333 0.333 0.167 0.167

Ahora se calcula la probabilidad absoluta a(5)

 A B C D
1 0 0 0 * 0.2503 0.2497 0.2497 0.2503
0.2503 0.2503 0.2497 0.2497
0.2497 0.2503 0.2503 0.2497
0.2497 0.2497 0.2503 0.2503

Entonces, iniciando en la casilla A, la probabilidad de que el dado culmine en A, B, C, D, luego de 5 lanzamientos es:

A B C D
0.2503 0.2497 0.2497 0.2503

Para calcular la ganancia esperada se multiplica la probabilidad de cada casilla por su valor monetario y se totaliza:

A B C D
Probabilidad 0.2503 0.2497 0.2497 0.2503
Valor ($) 4 -2 -6 9
Valor Esperado ($) 1.0010 -0.4995 -1.4985 2.2523

Valor esperado total ($) 1.2554

Análisis: Iniciando en la casilla A, la ganancia esperada luego de 5 lanzamientos del dado es de 1,2554 $.

Elaborado por: Ing. Angel González

es absolutas a(n)

y se lanza un dado para determinar

ue obtenga el dado:

esenta el proceso
da casilla: A, B, C, D; después

0.250 0.222 0.250 0.278

= 0.278 0.250 0.222 0.250
0.250 0.278 0.250 0.222
0.222 0.250 0.278 0.250

0.248 0.250 0.252 0.250

= 0.250 0.248 0.250 0.252
0.252 0.250 0.248 0.250
0.250 0.252 0.250 0.248

0.2503 0.2497 0.2497 0.2503

= 0.2503 0.2503 0.2497 0.2497
0.2497 0.2503 0.2503 0.2497
0.2497 0.2497 0.2503 0.2503
 A B C D
0.2503 0.2497 0.2497 0.2503
=
CLASIFICACIÓN DE LOS ESTADOS EN UNA CADENA DE MARKOV

Los estados de una cadena de Markov se clasifican con base en la probabilidad de transición pij de P.
a) Un estado j es absorbente si está seguro de regresar a sí mismo en una transición; es decir, pij= 1.
b) Un estado j es transitorio si puede llegar a otro estado pero no puede regresar desde otro estado. Desde una perspectiva
matemática la probabilidad de regreso a este estado después de infinitos pasos es 0.
c) Un estado j es recurrente si la probabilidad de ser revisitado desde otros estados es 1. Esto puede suceder si, y sólo si,
el estado no es transitorio.
d) Un estado j es periódico con periodo de t >1 si es posible un retorno sólo en t, 2t, 3t,… pasos. Esto significa que la probabilidad
de ocurrencia pjj en el estado n es cero, cuando n no es divisible entre t.

Se dice que una cadena de Markov es ergódica si todos los estados son recurrentes y aperiódica (no periódica). En este caso las probabilidades
absolutas después de n transiciones, a(n)=a(0)*Pn, siempre convergen de forma única a una distribución limitante (estado estable) que es
independiente de las probabilidades iniciales a(0).

EJEMPLO 4

Clasifique los estados de la siguiente Cadena de Markov.

E1 E2 E3 E4
E1 0.50 0.25 0.25 0.00
E2 0.00 0.00 1 0.00
E3 0.33 0.00 0.33 0.33
E4 0.00 0.00 0.00 1

Para identificar los estados se recomienda realizar el diagrama de transición de estados:

 ESTADO CLASIFICACIÓN EXPLICACIÓN
E1
Son estados de paso, el proceso llega a ellos pero se mueven a un estado siguiente, para
E2 TRANSITORIO
culminar en el estado absorbente.
E3
ABSORBENTE Una vez que se llega a él no se puede salir porque regresa hacia sí mismo en forma
E4
RECURRENTE recurrente.

EJEMPLO 5

Clasifique los estados de la siguiente Cadena de Markov.

E1 E2 E3 E4
E1 1 0 0 0
E2 0 0.5 0.5 0
E3 0 0.5 0.5 0
E4 0.5 0 0 0.5

Para identificar los estados se recomienda realizar el diagrama de transición de estados:

ESTADO CLASIFICACIÓN EXPLICACIÓN

ABSORBENTE Una vez que se llega a él no se puede salir porque regresa hacia sí mismo en forma
E1
RECURRENTE recurrente.
E2 Estos estados forman un conjunto cerrado o bucle. Son recurrentes porque no hay
RECURRENTES
posibilidad de estancamiento. En algún momento se va a llegar a alguno de ellos.
 Estos estados forman un conjunto cerrado o bucle. Son recurrentes porque no hay
RECURRENTES
E3 posibilidad de estancamiento. En algún momento se va a llegar a alguno de ellos.

E4 TRANSITORIO Es un estado de paso, el proceso llega allí pero se mueven a un estado siguiente, para
culminar en el estado absorbente.

EJEMPLO 6

Demuestre que la siguiente cadena de Markov posee estados periódicos e indique cuáles son y su periodo.

E1 E2 E3
E1 0.00 0.60 0.40
E2 0.00 1.00 0.00
E3 0.60 0.40 0.00

Se puede comprobar la periodicidad de los estados calculando la matriz de transición de n pasos y observar los pasos en la que
las pjj sean positivas, porque solo serán positivas en los periodos correspondientes:

0.00 0.60 0.40 0.00 0.60 0.40 0.24

0.00 1.00 0.00 * 0.00 1.00 0.00 = 0
0.60 0.40 0.00 0.60 0.40 0.00 0

0.24 0.76 0 0.00 0.60 0.40 0

0 1 0 * 0.00 1.00 0.00 = 0
0 0.76 0.24 0.60 0.40 0.00 0.144

0 0.904 0.096 0.00 0.60 0.40 0.0576

0 1 0 * 0.00 1.00 0.00 = 0
 0.144 0.856 0 0.60 0.40 0.00 0

0.0576 0.9424 0 0.00 0.60 0.40 0

0 1 0 * 0.00 1.00 0.00 = 0
0 0.9424 0.0576 0.60 0.40 0.00 0.03456

Note como p11 y p33 son positivas solo en los tiempos pares; entonces, los estados 1 y 3 son estados periódicos con t=2.

Elaborado por: Ing. Angel González

 perspectiva

ue la probabilidad

as probabilidades
table) que es
 0.76 0
1 0
0.76 0.24

0.904 0.096
1 0
0.856 0

0.9424 0
1 0
0.9424 0.0576

0.97696 0.02304
1 0
0.96544 0
PROBABILIDADES DE ESTADO ESTABLE Y TIEMPOS DE RETORNO MEDIO DE CADENAR ERGÓDICAS

En una cadena ergódica, las probabilidades de estado estable se definen como

Un subproducto directo de las probabilidades de estado estable es la determinación del número esperado de transiciones antes de que el sistema
regrese a un estado j por primera vez. Esto se conoce como tiempo medio del primer retorno o tiempo medio de recurrencia, y se calcula en una
cadena de Markov de n estados como:

EJEMPLO 7

Problema de inventario

Demanda 0 1 2 3 4
Probabilidad 0.15 0.2 0.35 0.25 0.05

Inventario inicial 3 unidades

Punto de reorden 3 unidades
Inventario max 5 unidades
a) Exprese la situación como una cadena de Markov.

Los estados están representados por los niveles de inventario posibles : 3, 4, 5.

Para determinar la matriz de transición de primer paso, se utilizan las probabilidades de cada demanda:

Iniciando con 3final

Inventario unidades:
posible Probabilidad Explicación
3 0.15 Si inicia con 3 dos semanas seguidas es porque la demanda fue cero
4 0 Es imposible porque es mayor al inicial y cuando se reabastece se lleva a 5.
5 0.85 Se calcula por complemento

Iniciando con 4final

Inventario unidades:
posible Probabilidad Explicación
3 0.2 Se inicio con 4 y en la siguiente semana baja a 3, la demanda fue 1
4 0.15 Si inicia con 4 dos semanas seguidas es porque la demanda fue cero
5 0.65 Se calcula por complemento

Iniciando con 5final

Inventario unidades:
posible Probabilidad Explicación
3 0.35 Se inicio con 5 y en la siguiente semana baja a 3, la demanda fue 2
4 0.2 Se inicio con 5 y en la siguiente semana baja a 4, la demanda fue 1
5 0.45 Se calcula por complemento

Cadena de Markov:

Inv=3 Inv=4 Inv=5

Inv=3 0.15 0.00 0.85
Inv=4 0.20 0.15 0.65
Inv=5 0.35 0.20 0.45

b) Suponga que la semana se inicia con 4 PC. Determine la probabilidad de que un pedido se coloque al final de dos semanas.
La matriz de probabilidad absoluta al final de dos semanas se calcula así:

Si se inicia con 4 PC en inventario la matriz de probabilidad inicial es:

Para calcular la matriz de probabilidades de transición luego de dos pasos:

0.15 0 0.85 0.15 0 0.85

0.2 0.15 0.65 * 0.2 0.15 0.65
0.35 0.2 0.45 0.35 0.2 0.45

Entonces:

0 1 0 * 0.32 0.17 0.51

0.2875 0.1525 0.56
0.25 0.12 0.63

La matriz de probabilidad absoluta al final de dos semanas si se inicia con 4PC es:

Inv=3 Inv=4 Inv=5

0.2875 0.1525 0.56

La probabilidad de que un pedido se coloque al final de dos semanas, si se inició con 4 PC, es equivalente a la probabilidad de que al final
de dos semanas se cuente con 5 PC; es decir, 0,56.

c) Determine la probabilidad a largo plazo de que no se coloque ningún pedido en cualquier semana.

Las probabilidades a largo plazo son las probabilidades de estado estable de una cadena ergódica. La cadena de Markov del ejemplo es
ergódica ya que sus estados son recurrentes y no periódicos (lo puede comprobar).

Las probabilidades de estado estable se calculan así:

 Entonces:

Una de las 3 primeras ecuaciones es redundante por lo cual se puede obviar cualquiera de ellas y resolver el sistema de ecuaciones.

Se aplicará SOLVER para resolver el sistema, obviando la ecuación 1:

π1 π2 π3 Valor Lado derecho

Ecuación 2 0 -0.85 0.2 3E-12 0
Ecuación 3 0.85 0.65 -0.55 -1E-06 0
Ecuación 4 1 1 1 1 1
Solución 0.2744 0.1382 0.5874 1.0000

Entonces las probabilidades de estado estable para cada nivel de inventario es:

Inv=3 Inv=4 Inv=5

0.2744 0.1382 0.5874

La probabilidad a largo plazo de que no se coloque ningún pedido en la semana equivale a la probabilidad de no iniciar la semana
siguiente con 5 PC en inventario; es decir: 1-0,5874=0,4126.

d) Determine la cantidad de semanas promedio en que se retorna a cada nivel de inventario.

La cantidad de semanas promedio de retorno a cada nivel de inventario es el tiempo de retorno medio a cada estado y se calcula así:
 Tiempo de
retorno medio
Nivel de inventario (semanas)
3 3.64 Si se inicia con 3 PC en inventario, pasarán 3,64 semanas para iniciar nuevamente la semana con 3 PC.
4 7.24 Si se inicia con 4 PC en inventario, pasarán 7,24 semanas para iniciar nuevamente la semana con 4 PC.
5 1.70 Si se inicia con 5 PC en inventario, pasarán 1,7 semanas para iniciar nuevamente la semana con 5 PC.

Análisis: El inventario se reabastece en promedio cada 1,7 semanas, alcanzando el nivel máximo deseado de 5 PC.

e) Si el costo fijo de colocar un pedido es de $200, el costo de retención por PC por semana es de $5, y el costo de penalización por computadora
faltante es de $20, determine el costo de inventario esperado por semana.

Para determinar el costo de inventario esperado por semana se deben considerar todas las situaciones posibles entre el nivel de inventario
y la demanda:

Costo de ordenar 200 $/sem *Este costo solo se activa cuando el nivel de inventario es menor a 3 PC
Costo de almacenar 5 $/sem-PC
Costo de penalizar 20 $/sem-PC

Nivel de inventario inicial Demanda semanal Costo de almacenar ($/sem) Costo de ordenar Costo penalización ($/sem)
Cantidad Probabilidad Cantidad Probabilidad Inventario final Costo ($/sem) Faltantes
0 0.15 3 15 0 0
1 0.2 2 10 200 0
3 0.2744 2 0.35 1 5 200 0
3 0.25 0 0 200 0
4 0.05 0 0 200 1
0 0.15 4 20 0 0

4 0.1382
 1 0.2 3 15 0 0
4 0.1382 2 0.35 2 10 200 0
3 0.25 1 5 200 0
4 0.05 0 0 200 0
0 0.15 5 25 0 0
1 0.2 4 20 0 0
5 0.5874 2 0.35 3 15 0 0
3 0.25 2 10 200 0
4 0.05 1 5 200 0

Costo de total 112.516

esperado ($/sem)

Elaborado por: Ing. Angel González

nes antes de que el sistema
rencia, y se calcula en una
 0.32 0.17 0.51
= 0.2875 0.1525 0.56
0.25 0.12 0.63

0.288 0.153 0.560

=

dad de que al final

v del ejemplo es
e ecuaciones.

se calcula así:
e la semana con 3 PC.
e la semana con 4 PC.
la semana con 5 PC.

nalización por computadora

el nivel de inventario

Costo penalización ($/sem) Costo de total Costo esperado

Costo ($/sem) ($/sem)
0 15 0.617
0 210 11.524
0 205 19.687
0 200 13.719
20 220 3.018
0 20 0.415
0 15 0.415
0 210 10.159
0 205 7.083
0 200 1.382
0 25 2.203
0 20 2.350
0 15 3.084
0 210 30.838
0 205 6.021
TIEMPO DEL PRIMER PASO

El tiempo medio del primer paso μij, es definido como el número esperado de transiciones para llegar por primera vez al estado j desde el estado i.
Si la cadena de Markov es ergódica, el tiempo medio del primer paso del estado i al estado j se calcula como:

EJEMPLO 8

Un ratón entre en el laberinto por la esquina 1 y sale por la esquina 5. Las probabilidades de seleccionar una ruta son iguales.

a) Exprese el laberinto como una cadena de Markov.

Lo primero que se debe hacer es determinar cuáles son los estados de la cadena. En este problema cada intersección es un estado: 1,2,3,4,5.

La matriz de transición de primer paso se construye considerando las posibles rutas que se pueden seleccionar. Por ejemplo, desde la
intersección 1, el ratón se puede mover a las intersecciones 2,3,4. Cada ruta tiene la misma probabilidad.
 I1 I2 I3 I4 I5
I1 0 0.33 0.33 0.33 0
I2 0.33 0 0.33 0 0.33
I3 0.33 0.33 0 0 0.33
I4 0.5 0 0 0 0.5
I5 0 0.33 0.33 0.33 0

b) Determine la probabilidad de que, comenzando en la intersección 1, el ratón llegue a la salida después de tres intentos.

La matriz de probabilidad absoluta al final de tres intentos se calcula así:

Si se inicia en la intersección 1 la matriz de probabilidad inicial es:

Para calcular la matriz de probabilidades de transición luego de 3 pasos:

0 0.33 0.33 0.33 0 0 0.33 0.33 0.33

0.33 0 0.33 0 0.33 0.33 0 0.33 0
0.33 0.33 0 0 0.33 * 0.33 0.33 0 0
0.5 0 0 0 0.5 0.5 0 0 0
0 0.33 0.33 0.33 0 0 0.33 0.33 0.33

0.39 0.11 0.11 0.00 0.39 0 0.33 0.33 0.33

0.11 0.33 0.22 0.22 0.11 0.33 0 0.33 0
0.11 0.22 0.33 0.22 0.11 * 0.33 0.33 0 0
0.00 0.33 0.33 0.33 0.00 0.5 0 0 0
0.39 0.11 0.11 0.00 0.39 0 0.33 0.33 0.33
 1 0 0 0 0 * 0.07 0.30 0.30 0.26
0.30 0.15 0.19 0.07
0.30 0.19 0.15 0.07
0.39 0.11 0.11 0.00
0.07 0.30 0.30 0.26

La matriz de probabilidad absoluta al final de 3 semanas, si se inicia en la intersección 1 es:

I1 I2 I3 I4 I5
0.0741 0.2963 0.2963 0.2593 0.0741

La probabilidad de que iniciando en la intersección 1 el ratón llegue a la salida, la intersección 5, en 3 intentos es 0,0741.

c) Determine la probabilidad a largo plazo de que el ratón localice la intersección de salida.

Las probabilidades a largo plazo son las probabilidades de estado estable de una cadena ergódica. La cadena de Markov del ejemplo es
ergódica ya que sus estados son recurrentes y no periódicos (lo puede comprobar).

Las probabilidades de estado estable se calculan así:

π1 π2 π3 π4 π5 = π1 π2 π3 π4

Se arma el sistema de ecuaciones:

Una de las 5 primeras ecuaciones es redundante por lo cual se puede obviar cualquiera de ellas y resolver el sistema de ecuaciones.

Se aplicará SOLVER para resolver el sistema, obviando la ecuación 1:

π1 π2 π3 π4 π5 Valor Lado derecho

Ecuación 2 0.33333333 -1 0.33333333 0 0.33333333 0 0
Ecuación 3 0.33333333 0.33333333 -1 0 0.33333333 0 0
Ecuación 4 0.33333333 0 0 -1 0.33333333 0 0
Ecuación 5 0 0.33333333 0.33333333 0.5 -1 0 0
Ecuación 6 1 1 1 1 1 1 1
Solución 0.2143 0.2143 0.2143 0.1429 0.2143 1.0000

Entonces las probabilidades de estado estable para cada intersección es:

I1 I2 I3 I4 I5
0.2143 0.2143 0.2143 0.1429 0.2143

La probabilidad a largo plazo de que el ratón localice la intersección de salida 5 es de 0,2143.

d) Determine el promedio de intentos necesario para llegar al punto de salida desde la intersección 1.
Se está solicitando el número esperado de intentos para llegar por primera vez al estado 5 desde el estado 1.
Si la cadena de Markov es ergódica, el tiempo medio del primer paso del estado 1 al estado 5 se calcula como:

La matriz N es una matriz que resulta de eliminar la fila y la columna correspondiente al estado donde se desea llegar, el 5:

Si esta es la matriz de transición de primer paso, se elimina lo señalado:

0 0.33 0.33 0.33 0

0.33 0 0.33 0 0.33
0.33 0.33 0 0 0.33
0.5 0 0 0 0.5
0 0.33 0.33 0.33 0

La matriz N es:

0 0.33 0.33 0.33

0.33 0 0.33 0
0.33 0.33 0 0
0.5 0 0 0

Como indica la formula, se le resta la matriz identidad a la matriz N:

1 0 0 0 0 0.33 0.33 0.33

0 1 0 0 0.33 0 0.33 0
0 0 1 0 - 0.33 0.33 0 0 =
 0 0 0 1 0.5 0 0 0

A la matriz resultante se le saca la inversa, resultando:

2.00 1.00 1.00 0.67
1.00 1.62 0.87 0.33
1.00 0.87 1.62 0.33
1.00 0.50 0.50 1.33

La matriz inversa resultante se multiplica por una matriz columna de 1:

2.000 1.000 1.000 0.667 1.000 4.666667

1.000 1.625 0.875 0.333 * 1.000 = 3.833333
1.000 0.875 1.625 0.333 1.000 3.833333
1.000 0.500 0.500 1.333 1.000 3.333333

La matriz resultante muestra el número de intentos necesarios para llegar desde los estados de intersección 1,2,3,4 al estado 5.

I1 4.66667
I2 3.83333
I3 3.83333
I4 3.33333

Se necesitan 4,67 intentos para que el ratón llegue a la intersección 5, partiendo de la intersección 1.

Elaborado por: Ing. Angel González

estado j desde el estado i.

n estado: 1,2,3,4,5.

plo, desde la
 0 0.3889 0.1111 0.1111 0.0000 0.3889
0.33 0.1111 0.3333 0.2222 0.2222 0.1111
0.33 = 0.1111 0.2222 0.3333 0.2222 0.1111
0.5 0.0000 0.3333 0.3333 0.3333 0.0000
0 0.3889 0.1111 0.1111 0.0000 0.3889

0 0.0741 0.2963 0.2963 0.2593 0.0741

0.33 0.2963 0.1481 0.1852 0.0741 0.2963
0.33 = 0.2963 0.1852 0.1481 0.0741 0.2963
0.5 0.3889 0.1111 0.1111 0.0000 0.3889
0 0.0741 0.2963 0.2963 0.2593 0.0741
 0.07 0.0741 0.2963 0.2963 0.2593 0.0741
0.30
0.30 =
0.39
0.07

del ejemplo es

π5 * 0 0.33 0.33 0.33 0

0.33 0 0.33 0 0.33
0.33 0.33 0 0 0.33
0.5 0 0 0 0.5
0 0.33 0.33 0.33 0
 1.00 -0.33 -0.33 -0.33
-0.33 1.00 -0.33 0.00
-0.33 -0.33 1.00 0.00
-0.50 0.00 0.00 1.00
ANÁLISIS DE LOS ESTADOS ABSORBENTES

Una cadena de Markov puede tener más de un estado absorbente. Por ejemplo, un empleado puede permanecer con la misma compañía
hasta su retiro o renunciar antes (dos estados absorbentes). En estos tipos de cadenas, es importante determinar la probabilidad de llegar a la
absorción y el número esperado de transiciones para llegar a ella, dado que el sistema se inicia en un estado transitorio específico.
El análisis de las cadenas de Markov con estados absorbentes puede realizarse de forma conveniente con matrices. En primer lugar, la cadena de
Markov se particiona como sigue:

La disposición requiere que todos los estados absorbentes ocupen la esquina sureste de la nueva matriz.
Dada la definición de las matrices N, A y el vector columna unitario:

Promedio de visitas a cada estado j partiendo del estado i:

Tiempo esperado para la absorción:

Probabilidad de la absorción:

EJEMPLO 9

Se procesa un producto en secuencia en dos máquinas, I y II. La inspección se realiza después de que una unidad del producto se completa en
cualquiera de las máquinas. Hay 5% de probabilidades de que una unidad sea desechada antes de inspeccionarla. Después de la inspección, hay
3% de probabilidades de que la unidad sea desechada, y 7% de probabilidades de ser devuelta a la misma máquina para trabajarla de nuevo. De lo
contrario, una unidad que pasa la inspección en ambas máquinas es buena.

a) Represente el problema como una cadena de Markov.

La descripción indica que hay una secuencia de actividades en el proceso: máquina 1, inspección 1, máquina 2, inspección 2.
En algún momento la pieza se puede desechar, ya sea porque: se daño en alguna de las máquinas o porque alguna de las inspecciones
la considera defectuosa e irrecuperable. Solo las piezas que pasan ambas inspecciones se consideran buenas.
Los estados del problema son las seis actividades que se le pueden realizar a la pieza: procesar en máquina 1 (M1), inspección 1 (I1), procesar en
máquina 2 (M2), inspección 2 (I2), desechar (D) y vender la pieza buena (B).

Para entender mejor la dinámica se presenta el diagrama de transición de estados:

Por medio de las transiciones mostradas en el diagrama se puede construir la matriz de transición de un paso que representa la
Cadena de Markov del problema:

M1 I1 M2 I2 D B
M1 0 0.95 0 0 0.05 0
I1 0.07 0 0.90 0 0.03 0
M2 0 0 0 0.95 0.05 0
I2 0 0 0.07 0 0.03 0.90
D 0 0 0 0 1 0
 B 0 0 0 0 0 1

Se puede observar que los estados D y B son absorbentes, una vez que se entra en ellos no se puede mover a otro estado.
Los estados M1, I1, M2, I2 son transitorios.

b) Para una pieza que se inicia en la máquina 1, determine el promedio de visitas a cada estado.

Para responder a la pregunta se hace el siguiente cálculo:

Primero se debe hacer el siguiente reconocimiento en la cadena de Markov:

M1 I1 M2 I2 D B
M1 0 0.95 0 0 0.05 0
I1 0.07 0 0.90 0 0.03 0
M2 0 0 0 0.95 0.05 0
I2 0 0 0.07 0 0.03 0.90
D 0 0 0 0 1 0
B 0 0 0 0 0 1

Note como los estados absorbentes ocupan la esquina sureste de la matriz. De no estar en esa posición se deben reacomodar las filas
y columnas para ubicarlas allí. Recuerde que el orden de los estados en las filas y columnas debe ser el mismo.
La matriz N se muestra en azul.
La matriz A se muestra en verde.

Entonces se realiza la resta de las matrices: I-N:

1 0 0 0 0 0.95 0 0
0 1 0 0 - 0.07 0 0.90 0
0 0 1 0 0 0 0 0.95
0 0 0 1 0 0 0.07 0

A la matriz resultante se le encuentra la matriz inversa, resultando:

 1.071 1.018 0.981 0.932
0.075 1.071 1.033 0.981
0.000 0.000 1.071 1.018
0.000 0.000 0.075 1.071

El promedio de visitas a cada estado de una pieza iniciada en la máquina 1 es:

M1 I1 M2 I2
1.07123727906 1.0176754151 0.98115465838 0.93209692546

c) Si los tiempos de procesamiento en las máquinas I y II son de 20 y 30 minutos y tiempos de inspección en I y II son de 5 y 7 minutos, determine
el tiempo que tarda una pieza en ser procesada.

Con la respuesta del inciso anterior se puede encontrar el valor esperado del tiempo de finalización de la pieza:

M1 I1 M2 I2
Nº de visitas 1.07123727906 1.0176754151 0.98115465838 0.93209693
Tiempo (min)
Tiempo 20 5 30 7
esperado (min) 21.4247455811 5.08837707552 29.4346397513 6.52467848
Tiempo
esperado
total (min) 62.4724

El valor esperado de culminación de una pieza es de 62,47 minutos.

d) Determine el número de pasos que deben ocurrir para que una pieza sea considerada buena o desechada.

Se está solicitando el tiempo para la absorción, que se calcula así:

1.071237 1.017675 0.981155 0.932097 * 1 4.0022

0.074987 1.071237 1.032794 0.981155 1 = 3.1602
0.000000 0.000000 1.071237 1.017675 1 2.0889
0.000000 0.000000 0.074987 1.071237 1 1.1462
Como todas las piezas inician en la máquina 1, el número de pasos para que la pieza sea declarada buena o mala es de 4,0022.

e) Si un lote de 1000 unidades se inicia en la máquina I, determine el promedio de unidades buenas completadas.

Se debe calcular la probabilidad de que ocurra cada estado absorbente D y B:

D
1.07124 1.01768 0.98115 0.93210 0.05 0 0.16111
0.07499 1.07124 1.03279 0.98115 * 0.03 0 = 0.11696
0.00000 0.00000 1.07124 1.01768 0.05 0 0.08409
0.00000 0.00000 0.07499 1.07124 0.03 0.9 0.03589

Luego de iniciar en la máquina 1, la probabilidad de que una pieza sea desechada es 0,1611 y de que salga buena es de 0,83889.
Si el lote es de 1000 unidades, entonces 838,9 saldrán buenas.

Elaborado por: Ing. Angel González

misma compañía
abilidad de llegar a la

mer lugar, la cadena de

ucto se completa en
s de la inspección, hay
rabajarla de nuevo. De lo

nspecciones
ción 1 (I1), procesar en
odar las filas

1.00 -0.95 0.00 0.00

= -0.07 1.00 -0.90 0.00
0.00 0.00 1.00 -0.95
0.00 0.00 -0.07 1.00
5 y 7 minutos, determine
 B
0.83889
0.88304
0.91591
0.96411