Cadenas de MARKOV

“Nadie puede bañarse 2 veces en el

mismo Río.”
Heráclito.
Objetivos
 Entender y aplicar el concepto de
Cadenas de Eventos: Análisis de
Markov
 Entender como se puede utilizar un
Diagrama de estados como una
herramienta para la toma de decisiones.
 Resolver problemas administrativos
utilizando la herramienta.
Antecedentes
 Llamado asi en honor al matematico
ruso Andréi Andréyevich Márkov, que
desarrollo el modelo en 1907
 Se le conoce como cadena de Márkov
a un tipo especial de proceso
estocástico discreto en el que la
probabilidad de que ocurra un evento
depende del evento inmediatamente
anterior.
Concepto
 Modelos dinámicos, estocásticos y dependientes del
tiempo.
 Son procesos descriptivos que buscan determinar en
forma secuencial las probabilidades de que ocurran o
no ciertos eventos.
 Procesos compuestos por eventos cuya condición
actual depende tan solo de su condición en un período
anterior
 La probabilidad de que haya 6 personas esperando por un
servicio dentro de 30 min depende de cuantas personas
haya esperando ahora.
 La prob de que llueva depende de las condiciones
actuales del día.
 La prob de que una generación tenga una enfermedad
depende del número de personas en la generación
pasada que la padeció.
 Buen ajuste entre problemas reales y modelos de
cadenas de Markov
 Existen ocurrencias repetitivas (ensayos), que ocurren
bajo las mismas circunstancias.
Conceptos
 Terminología.
 Estados: Condiciones iniciales y finales del proceso
 Ensayos: Ocurrencia repetitiva del evento que se estudia
 Probabilidad de transición: probabilidad de pasar de un P11
estado a otro.
 Matriz de Transición: Contiene las probabilidades de
transición.
 Consideraciones Adicionales
 Existe un número finito de estados
 Existen probabilidades constantes de transición
E1
 Ocurren en períodos iguales.

P1x
Representación gráfica
Diagrama de estados
P11
Matriz de Transición

E1 De / A: E1 E2 E3

P12 P31 E1 P11 P12 P13

P13
P21 E2 P21 P22 P23
P32

E2 E3 E3 P31 P32 P33

P23

P(E1)=P(E1)P11+P(E2)P21+P(E3)P31
Ejemplo
 Un camión puede salir del norte,
centro o sur. Si sale del norte y puede
viajar hacia el sur o hacia el centro o
regresar al norte y lo mismo para los
otros destinos. La Matriz de transición
muestra las probabilidades
mensuales de la ubicación. Dibuje el
diagrama de estado, calcule las
ubicaciones después de 3 meses y
cual seria el estado estable.
Matriz de transición
0 0.200 0.300 0.500
N C S 1 0.230 0.380 0.390
2 0.238 0.377 0.385
3 0.238 0.376 0.386
.2 .3 .5 4 0.238 0.376 0.386
5 0.238 0.376 0.386
.3 .4 .3 6
7
0.238
0.238
0.376
0.376
0.386
0.386
8 0.238 0.376 0.386
.2 .4 .4 9
10
0.238
0.238
0.376
0.376
0.386
0.386

P(E1)=P(E1)P11+P(E2)P21+P(E3)P31
P(E1)=0.2(0.2)+0.3(0.3)+0.5(0.2)=0.230
Calculo de probabilidad de
transición
 Para conocer la probabilidad de cualquiera
de los estados Ex, aplique de manera
repetitiva la ecuación de estado,
retroalimentando en cada ciclo, el
resultado del anterior.
 Ejemplo P(E1) al inicio = 0.2
 En el ciclo 1:
 P(E1)=P(E1)P11+P(E2)P21+P(E3)P31
 P(E1)=0.2(0.2)+0.3(0.3)+0.5(0.2)=0.230, (Hay que calcular los 3 estados)
 En el ciclo 2: (consulte la tabla de la diapositiva anterior)
 P(E1)=0.230(0.3)+0.380(0.3)+0.390(0.2)=0.238
 Y así sucesivamente…
Calculo del Estado estable
 Las cadenas de Markov, tienden a un estado
estable después de n ciclos. Para calcular
este estado se plantean n-1 ecuaciones y se
agrega la ecuación general de estados.
Después se resuelve el sistema por el método
que usted prefiera.
 Ejemplo: De la matriz
 PE1=0.8PE1+0.3PE2
 PE1+PE2=1
De / A E1 E2
 Despejo de la ecuación 2 PE2=1-PE1
 Sustituyo en la 1 PE1=0.8PE1+0.3(1-PE1) E1 0.8 0.2
 Despejo PE1-0.8PE1+0.3PE1=0.3
 0.5PE1=0.3, PE1=0.3/0.5 = 0.6 E2 0.3 0.7
 Por lo tanto PE2=0.4
 Ejemplo 2
 La relación entre 2 marcas esta dada
por el siguiente diagrama:
.8
El estado estable de este sistema es:
E1 P(E1)=0.6
P(E2)=0.4

Si tuviera yo un presupuesto de $100,000 que

me permitiera aumentar en un 5% mi lealtad a
.3 .2
la marca (en el estado inicial). Y por cada punto
yo ganara $50,000. Cuanto ganaría (o perdería)
en el nuevo estado estable?

E2
.7
Tarea
 Realice los cálculos del problema
anterior, pero ahora diríjase a los otros
compradores e incremente su tasa de
retorno al 35%.
 Como quedarían las ganancias?
 Que sale mejor invertir en los clientes
actuales o tratar de regresar a los otros?