Cadenas de Markov

Ing. Herman Mosquera

Investigación de Operaciones
Facultad de Ingenierías

7mo Semestre

2020

1
“Todo el mundo es un genio, pero si juzgas a un pez por su habilidad para trepar un árbol, pasará su vida entera
creyendo que es un inútil.”

Albert Einstein
 1. Proceso Estocásticos
Contenido
Contenido 2. Definición de Cadenas de Markov
3. Ecuaciones de Chapman-
Kolmogorov
4. Clasificación de Estados en una
Cadena de Markov
5. Tiempos de primera pasada
6. Propiedades a largo plazo en las
cadenas de Markov.
7. Estados absorbentes
3
 1.
1.Procesos
Procesos
Estocásticos
Estocásticos

Se define como una colección indexada de

variables aleatorias {Xt}, donde el índice t toma
valores de un conjunto T dado. Con frecuencia
T se considera el conjunto de enteros no
negativos mientras que Xt representa una
característica de interés cuantificable en el
tiempo t. Por ejemplo, Xt puede representar
los niveles de inventario al final de la semana t.
 1.
1.Procesos
Procesos
Los procesos estocásticos son de interés para
Estocásticos
Estocásticos
describir el comportamiento de un sistema en
operación durante algunos periodos. Un
proceso estocástico tiene la siguiente
estructura.

La condición actual del sistema puede estar en un M+1 categoría

mutuamente excluyente llamados estados. Por conveniencia en la notación,
estos estados se etiquetan 0,1,2,…, M. La variable aleatoria Xt representa el
estado del sistema en el tiempo t, de manera que sus únicos valores posibles
son 0, 1, . . ., M. El sistema se observa en puntos del tiempo dados,
etiquetados t= 0, 1, 2, . . . De esta forma, los procesos estocásticos {Xt} 5 {X0,
X1, X2, . . .} proporcionan una representación matemática de la forma en que
evoluciona la condición del sistema físico a través del tiempo.
1. Procesos Estocásticos
1. Procesos Estocásticos

6
2. Definición de Cadenas de
Markov

7
2. Definición de Cadenas de Markov
2. Definición de Cadenas de Markov

8
2. Definición de Cadenas de Markov
2. Definición de Cadenas de Markov
2. Definición de Cadenas de Markov
2. Definición de Cadenas de Markov
11
DIAGRAMA DE TRANSICIÓN

12
Ejercicio Clima

13
EJERCICIOS PARA PRACTICAR

14
Ejercicio en clase
Los estudiantes fundación universitaria Claretiana vende dos tipos de pasta (crema
dental).
De los que utilizan la marca A en cualquier mes, 70% continúan usándola el mes
siguiente, mientras que 30% cambian a la marca B; de los que utilizaban la marca B en
cualquier mes , 80% continúan haciéndolo mientras que el 20% cambiaban la marca.
En la investigación descrita anteriormente existen dos estados: Utilizar la marca A o la
marca B y la probabilidades de transición son indicadas.
Supongamos que, cuando comienza la investigación de mercados, 120 personas
emplean la marca A mientras que 80 prefieren la marca B.
Cuantas personas están utilizando cada marca un mes después?
Cuantas personas están utilizando cada marca dos meses después?

15
ECUACIONES DE CHAPMAN-
KOLMOGOROV

16
ECUACIONES DE CHAPMAN-
KOLMOGOROV

17
ECUACIONES DE CHAPMAN-
KOLMOGOROV
•
EJEMPLO DEL CLIMA

18
Ejercicio en clase (Computador)
• El profesor Herman Mosquera de ingeniería adquiere una computadora nueva
cada dos años. El profesor puede elegir entre tres modelos Asus, HP y Mac. Si
el modelo actual es Asus, la siguiente computadora puede ser HP con
probabilidad 0.2 ó Mac con probabilidad de 0.15. Si el modelo actual es HP las
probabilidades de cambiar a Asus y Mac, son de 0.6 y 0.25 respectivamente.
Pero si el modelo actual es Mac, entonces las probabilidades de comprar los
modelos Asus y HP son de 0.5 y 0.1 respectivamente.
Hallar:
• Diagrama de Transición
• Matriz de Transición
• Ecuación de Chapman-Kolmogorov para n=2, n=3, n=4, n=5 y n=100
19