Curso: Optimización II.

Clase 7: Cadenas de Markov.

 Dudas de la Clase 6 (5 minutos).
• ¿Qué dudas quedaron de la clase anterior?
• ¿Qué dudas tuvieron en el desarrollo de las actividades online?
 Estructura del curso
Clase 1: Heurística codiciosa.

Clase 2: Algoritmo de búsqueda tabú.

Unidad 1: Métodos Heurísticos y
Metaheurísticos
Clase 3: Algoritmo de recocido simulado.

Clase 4: Algoritmo genético y aplicación de metaheurística a programas lineales entero.

Clase 5: Procesos Estocáticos.

Clase 6: Solemne
Unidad 2: Cadenas de Markov
Optimización II Clase 7: Cadenas de Markov.

Clase 8: Ecuaciones de Chapman-Kolmogorov y clasificación de estados.

Clase 9: Modelo de colas y Proceso de nacimiento y muerte

Clase 10: Teoría de espera en procesos exponenciales de nacimiento y muerte

Unidad 3: Sistemas de Colas Clase 11: Modelo de colas con distribuciones no exponenciales

Clase 12: Modelo de colas con disciplina de prioridades y disciplina de cola.

Clase 13: Solemne

 Estructura del curso
Clase 1: Heurística codiciosa.

Clase 2: Algoritmo de búsqueda tabú.

Unidad 1: Métodos Heurísticos y
Metaheurísticos
Clase 3: Algoritmo de recocido simulado.

Clase 4: Algoritmo genético y aplicación de metaheurística a programas lineales entero.

Clase 5: Procesos Estocáticos.

Clase 6: Solemne
Unidad 2: Cadenas de Markov
Optimización II Clase 7: Cadenas de Markov.

Clase 8: Ecuaciones de Chapman-Kolmogorov y clasificación de estados.

Clase 9: Modelo de colas y Proceso de nacimiento y muerte

Clase 10: Teoría de espera en procesos exponenciales de nacimiento y muerte

Unidad 3: Sistemas de Colas Clase 11: Modelo de colas con distribuciones no exponenciales

Clase 12: Modelo de colas con disciplina de prioridades y disciplina de cola.

Clase 13: Solemne

 Resultado de Aprendizaje de la Clase
Aplica la propiedad markoviana para la obtención de la
probabilidad de ocurrencia de un estado futuro a partir de la
situación actual.
 ¿Por qué es importante este tema?
Este tema es importante debido a que contempla el estudio de
situaciones cuyo comportamiento futuro depende de la
situación actual y no de eventos ocurridos en el pasado.
 Introducción
La clase de hoy contempla el estudio de las cadenas de Markov,
las cuales se encuentran dentro de los procesos estocásticos con
la particularidad de que las variables aleatorias son discretas y el
tiempo también es discreto.
Las Cadenas de Markov, tal como se mencionó en la lámina
anterior, implican el estudio de situaciones cuyo
comportamiento futuro depende de la situación actual y no de
eventos ocurridos en el pasado.
 Cadena de Markov
Las cadenas de Markov tienen la propiedad particular de que las
probabilidades que describen la forma en que el proceso
evolucionará en el futuro dependen sólo del estado actual en
que se encuentra el proceso y, por lo tanto, son independientes
de los eventos que ocurrieron en el pasado.

Aplicaciones en áreas tan diversas como la clasificación de los

clientes, la secuencia del ADN, el análisis de redes genéticas, la
estimación de la demanda de ventas a través del tiempo y el
valor del crédito, el mantenimiento de máquinas e incluso
estrategias de beisbol son algunas de la muchas aplicaciones que
tienen las cadenas de Markov.
 Cadena de Markov
Supuestos.

1. Un proceso estocástico es una cadena de Markov si cumple la

siguiente propiedad (propiedad markoviana):

P{Xt+1 = j │ X0 = ko, X1 = k1, … , Xt-1 = kt-1, Xt = i} = P{Xt+1 = j │ Xt = i},

para t = 0, 1, … y toda sucesión i, j, ko, k1,…, kt-1.

En palabras sencillas, esta propiedad markoviana establece que la

probabilidad condicional de cualquier “evento” futuro dados cualquier
“evento” pasado y el estado actual Xt = i, es independiente de los
eventos pasados y sólo depende del estado actual del proceso.
 Cadena de Markov
Supuestos.

2. Probabilidades de transición:

Las probabilidades condicionales P{Xt+1 = j│Xt = i} de una cadena de

Markov se llaman probabilidades de transición (de un paso) si para
cada i y j,

P{Xt+1 = j│Xt = i} = P{X1 = j │X0 = i}, para toda t = 1, 2, …,

Entonces se dice que las probabilidades de transición (de un paso) son

estacionarias. Así, tener probabilidades de transición estacionarias
implica que las probabilidades de transición no cambian con el tiempo.
 Cadena de Markov
Supuestos.

2. Probabilidades de transición (continuación):

La existencia de probabilidades de transición (de un paso)

estacionarias también implica que, para cada i, j y n (n = 0, 1, 2, …)

P{Xt+n = j│Xt = i} = P{Xn = j │X0 = i}

Para toda t = 0, 1, … .Estas probabilidades condicionales se llaman

probabilidades de transición de n pasos.
 Cadena de Markov
Supuestos.

2. Probabilidades de transición (continuación):

Para simplificar la notación de las probabilidades de transición

estacionarias, sea:

Pij = P{Xt+1 = j │Xt = i},

Pij(n) = P{Xt+n = j │Xt = i},

Así, las probabilidades de transición de n pasos Pij(n) son simplemente la

probabilidad condicional de que el sistema se encuentre en el estado j
exactamente después de n pasos (unidades de tiempo), dado que
comenzó en el estado i en cualquier tiempo t.
 Cadena de Markov
Supuestos.

2. Probabilidades de transición (continuación):

Cuando n = 1 observe que Pij(1) = Pij

Como las Pij(n) son probabilidades condicionales, deben ser no negativas

y, como el proceso debe hacer una transición a algún estado, deben
satisfacer las propiedades:

Pij(n) ≥ 0, para toda i y j; n = 0, 1, 2, …,

∑Pij(n) = 1, para toda i y j; n = 0, 1, 2, …,

J=0
 Cadena de Markov
Supuestos.

2. Probabilidades de transición (continuación):

Una notación conveniente para representar las probabilidades de
transición de n pasos es la matriz de transición de n pasos

Observe que la probabilidad de transición en un renglón y columna dados es la

de la transición del estado en ese renglón al estado en la columna.
Cuando n=1, el superíndice n no se escribe y se hace referencia a esta como
una matriz de transición.
 Cadena de Markov
Formulación del ejemplo del efecto del clima con Cadena de Markov.
El clima en el pueblo de Timotes puede cambiar con rapidez de un día a
otro. Sin embargo, las posibilidades de tener clima seco (sin lluvia)
mañana es de alguna forma mayor si hoy está seco, es decir, si no
llueve. En particular, la probabilidad de que mañana esté seco es de 0.8
si hoy está seco, pero es de sólo 0.6 si hoy llueve.

Recordemos que la evolución del clima día tras día en Timotes se

formuló como un proceso estocástico {Xt} (t= 0, 1, 2, …) donde

0 si día t es seco
Xt=
1 si día t es lluvioso
 Cadena de Markov
Formulación del ejemplo del efecto del clima con Cadena de Markov.
A partir de los datos mencionados en el enunciado se tiene que:
P{Xt+1 = 0 │ Xt = 0} = 0.8 ,
P{Xt+1 = 0 │ Xt = 1} = 0.6

Aún más, como estas probabilidades no cambian si también se toma en

cuenta la información del clima antes del día de hoy (día t)
P{Xt+1 = 0 │ X0 = ko, X1 = k1, … , Xt-1 = kt-1, Xt = 0} = P{Xt+1 = 0 │ Xt = 0}
P{Xt+1 = 0 │ X0 = ko, X1 = k1, … , Xt-1 = kt-1, Xt = 1} = P{Xt+1 = 0 │ Xt = 1}
 Cadena de Markov
Formulación del ejemplo del efecto del clima con Cadena de Markov.

Lo anterior también se cumple si se reemplaza Xt+1 = 0 por Xt+1=1

Las probabilidades de transición (de un paso) son:
p00 = P{Xt+1 = 0 │ Xt = 0} = 0.8 ,
p10 = P{Xt+1 = 0 │ Xt = 1} = 0.6
Para toda t = 1, 2, …, por lo que estas son probabilidades estacionarias.
 Cadena de Markov
Formulación del ejemplo del efecto del clima con Cadena de Markov.
Sabiendo que la sumatoria de las probabilidades (en un paso) de que la
variable pase desde un estado i hasta un estado j debe ser igual 1, se tiene:
p00 + p01 = 1 entonces p01 = 1 – 0.8 = 0.2,
p10 + p11 = 1 entonces p11 = 1 – 0.6 = 0.4
Como se mencionó anteriormente, las probabilidades suministradas como
dato (para este caso) son estacionarias, la matriz de transición queda de la
siguiente manera:
Estas probabilidades de transición
proporcionan la probabilidad del
estado del clima el día de mañana,
dado el estado del clima del día de hoy.
 Cadena de Markov
Formulación del ejemplo del problema del inventario como una
Cadena de Markov.
Si se regresa al ejemplo de inventarios desarrollado en la guía online de
la clase 5, recuerde que Xt es el número de cámaras en almacén al final
de la semana t (antes de ordenar más), donde Xt representa el estado
del sistema en el tiempo t (el fin de la semana t). Dado que el estado
actual es Xt = i, la expresión al final a la que se llegó previamente indica
que Xt+1 depende sólo de Dt+1 (la demanda en la semana t + 1) y Xt.
Como Xt+1 es independiente de la historia del sistema de inventarios
antes del tiempo t, el proceso estocástico {Xt} (t = 0, 1, . . .) tiene la
propiedad markoviana y por lo tanto es una cadena de Markov.
 Cadena de Markov
Formulación del ejemplo del problema del inventario como una
Cadena de Markov.

máx {3 - D t 1 ,0} si X t  0
X t 1 
máx{X t  D t 1 ,0} si X t  1
para t  0, 1, 2, , ...

¿Cómo obtener las probabilidades de transición de un paso?

 Cadena de Markov
Formulación del ejemplo del problema del inventario como una Cadena de
Markov.
Dado que Dt+1 tiene una distribución Poisson con media de 1. Entonces:

por lo que (expresando con tres dígitos significativos) se tiene:

P{Dt+1 = 0} = e-1 = 0,368,
P{Dt+1 = 1} = e-1 = 0,368,
P{Dt+1 = 2} = 1/2e-1 = 0,184,
P{Dt+1 ≥ 3} = 1- P{Dt+1 ≤ 2} = 1 –(0,368 + 0,368 + 0,184) = 0,080
 Cadena de Markov
Formulación del ejemplo del problema del inventario como una Cadena de
Markov.
Para el primer renglón de P se trata de la transición Xt = 0 a algún estado Xt+1,
Xt+1 = máx {3-Dt+1,0} si Xt = 0,
Por lo tanto, para la transición a Xt+1 = 3, o Xt+1 = 2 o Xt+1 = 1,
p03 = P{Dt+1 = 0} = 0,368
Para pasar de un estado = 0 (tiempo t) en el número de unidades del almacén,
a un estado = 3 (tiempo t+1), implica que durante la semana t+1 no se vendió
ninguna cámara, es decir Dt+1= 0. la probabilidad de que Dt+1= 0 es 0,368.
De forma análoga se hace el análisis para el resto de los estados que puede
asumir la variable aleatoria.
 Cadena de Markov
Formulación del ejemplo del problema del inventario como una
Cadena de Markov.
En el caso de los otros renglones de P, se retoma la fórmula indicada
cuando se presentó el ejemplo:
máx {3 - D t 1 ,0} si X t  0
X t 1 
máx{X t  D t 1 ,0} si X t  1
para t  0, 1, 2, , ...

Lo anterior implica que Xt+1 ≤ Xt entonces, p12 = 0, p13 = 0 y p23 = 0.

 Cadena de Markov
Formulación del ejemplo del problema del inventario como una Cadena de
Markov.
En el caso de las otras transiciones,
p11 = P{Dt+1 = 0} = 0,368
Para pasar de un estado = 1 (tiempo t) en el número de unidades del almacén, a un
estado = 1 (tiempo t+1), implica que durante la semana t+1 no se vendió ninguna
cámara, es decir Dt+1= 0. la probabilidad de que Dt+1= 0 es 0,368
p10 = P{Dt+1 ≥ 1} = 1- P{Dt+1 = 0} = 0,632,
Para pasar de un estado = 1 (tiempo t) en el número de unidades del almacén, a un
estado = 0 (tiempo t+1), implica que durante la semana t+1 se vendió una cámara o
más (en el enunciado del problema se indica que también se considera las unidades
que se dejan de vender por no tener existencia), es decir Dt+1≥ 1. la probabilidad de que
Dt+1≥ 1 es = 1 – 0,368 = 0,632
 Cadena de Markov
Formulación del ejemplo del problema del inventario como una
Cadena de Markov.
De igual forma se analizan las transiciones restantes:
p22 = P{Dt+1 = 0} = 0,368,
p21 = P{Dt+1 = 1} = 0,368,
p20 = P{Dt+1 ≥ 2} =1 - P{Dt+1 ≤ 1} = 1-(0,368 + 0,368) = 0,264
 Cadena de Markov
Formulación del ejemplo del problema del inventario como una
Cadena de Markov.
En el último renglón de P, la semana t+1 comienza con tres cámaras en
inventario y los cálculos de las probabilidades de transición son
exactamente los mismos que las del primer renglón. La matriz de
transición (expresándola con tres dígitos significativos) es:
 Preguntas
• ¿A qué se refiere el enunciado de la propiedad markoviana?
• ¿Qué información proporcionan las probabilidades de
transición de la cadena de Markov?
Resumen de la clase

Cadenas de Markov

Probabilidades
de transición

Probabilidad de
un paso
 Bibliografía
Bibliografía Obligatoria:
• Investigación de Operaciones
– Taha Hamdy (2004), Pearson Educación.
Taller Práctico Colaborativo
Título
• Matriz de transición.

Resultado de Aprendizaje
• Aplica la propiedad markoviana para la obtención de
la probabilidad de ocurrencia de un estado futuro a
partir de la situación actual.

Tiempo
• 80 minutos (5 min. organización, 75 min. desarrollo del
taller).
Actividad online Clase 7
Guía
• Cadenas de Markov.
• Tiempo de Desarrollo: 80 minutos.
• Lleve el desarrollo de la Guía y las principales dudas
a la siguiente Clase presencial.