INVESTIGACIÓN DE OPERACIONES 2

CADENAS DE MARKOV
DOCENTE: LUIS ROBERTO QUISPE VÁSQUEZ
CICLO: 6TO
LOGRO DE APRENDIZAJE

Al finalizar la presente sesión, el estudiante resuelve ejercicios sobre la

Cadena de Markov de acuerdo a lo aprendido en clase, demostrando
dominio del tema.

DOCENTE: LUIS ROBERTO QUISPE VÁSQUEZ

SITUACIÓN PROBLEMÁTICA

¿Sé podrá usar los modelos

probabilísticos en la resolución
de los casos de ventas? ¿De qué
manera?

DOCENTE: LUIS ROBERTO QUISPE VÁSQUEZ

 Variables aleatorias

Algunas veces se está interesado en analizar cómo cambia

una variable aleatoria con el tiempo. Este estudio incluye
procesos estocásticos.

Un tipo de proceso estocástico en particular es conocido

como Cadena de Markov que se han aplicado en áreas
como:

•Educación
•Comercio
•Finanzas
•Servicios de salud
•Contabilidad
•Producción
ANDREY MARKOV

Las cadenas de Markov fueron introducidas por el

matemático ruso Andrey Markov (1856-1922)
alrededor de 1905. Su intención era crear un modelo
probabilístico para analizar la frecuencia con la que
aparecen las vocales en poemas y textos literarios. El
éxito del modelo propuesto por Markov radica en
que es lo suficientemente complejo como para
describir ciertas características no triviales de
algunos sistemas, pero al mismo tiempo es lo
suficientemente sencillo para ser analizado
matemáticamente.
 Proceso Estocástico

• Es un proceso que evoluciona en el tiempo

de una manera probabilística.

• Un proceso estocástico es una colección

indexada de variables aleatorias
{Xt}={X0, X1, X2, …}

Donde Xt representa una característica de

interés medible en el tiempo t. Por ejemplo
puede representar los niveles de inventario
al final de la semana t.

• Es una descripción de la relación entre las

variables aleatorias X0, X1, X2, …
 Cadena de Markov

En la teoría de la probabilidad, se conoce como cadena de Markov a un tipo

especial de proceso estocástico en el que la probabilidad de que ocurra un
evento depende del evento inmediatamente anterior.

En efecto, las cadenas de este tipo tienen memoria, recuerdan el último

evento y esto condiciona las posibilidades de los eventos futuros. Esta
dependencia del evento anterior distingue a las cadenas de Markov de las
series de eventos independientes, como tirar una moneda al aire o un dado.
Estos modelos muestran una estructura de dependencia simple, pero muy
útil en muchas aplicaciones.

Propiedad de Markov: Conocido el estado del proceso en un momento dado,

su comportamiento futuro no depende del pasado. Dicho de otro modo,
“dado el presente, el futuro es independiente del pasado”
En conclusión:
Distribución de probabilidad en una cadena de Markov

Un proceso estocástico para t = 0, 1, 2, 3… y los estados a,b,c…

P( Xt+1=j | Xt=i , Xt-1=h , … , X1=b , X0=a )
Es una cadena de Markov, si se depende solamente de: P( Xt+1=j | Xt=i )

La distribución de probabilidad del estado en el tiempo t +1 depende del estado en el tiempo t y

no depende de los estados por los que pasa la cadena en el camino.

Luego: P( Xt+1= j | Xt= i )= pij

Donde pij es la probabilidad de que dado que el sistema está en el estado i en el tiempo t, estará
en un estado j en el tiempo t+1. Si el sistema se mueve del estado i durante un período al estado j
durante el siguiente período, se dice que ocurrió una transición de i a j. Las pij se denominan
probabilidades de transición para la cadena de Markov.
Distribución de probabilidad en una cadena de Markov

En la mayoría de las aplicaciones, las probabilidades de

transición se muestran como una matriz de probabilidad de
transición P de orden s x s. La matriz de probabilidad de
transición P se puede escribir como:
Diagrama de transición

• Es un grafo dirigido cuyos nodos son los estados y cuyos arcos

se etiquetan con la probabilidad de las transiciones existentes.

• Es un arreglo donde se condensan las probabilidades de pasar

de un estado a otro.

p ij
i j
Ejemplo:

Ejemplo: La línea telefónica

Sea una línea telefónica de estados:

desocupada (D) y ocupada (O).

Si en el instante t está ocupada, en el

instante t+1 estará ocupada con
probabilidad 0.7 y desocupada con
probabilidad 0.3. Si en el instante t está
desocupada, en el instante t+1 estará
ocupada con probabilidad 0.1 y
desocupada con probabilidad 0.9.
Solución Matriz de transiciones:
Representación gráfica:

0.7
0.3 0.4
0.6
3 4
1 2
0.4 0.5 0.5
0.8
0.1
s2
0.5 5
s1
0.2

Dados dos estados i y j, una trayectoria de i a j es una

sucesión de transiciones que comienza en i y termina en
j, tal que cada transición en la secuencia tiene una
probabilidad positiva de ocurrir.
Representación gráfica:
Un estado j es alcanzable desde
el estado i si hay una trayectoria
que conduzca de i a j. (El estado
5 es alcanzable desde el estado 3
a través de la trayectoria 3-4-5,
pero el estado 5 no es alcanzable
desde el estado 1 no hay
trayectoria que vaya de 1 a 5)
Se dice que dos estados i y
j se comunican si j es
alcanzable desde i, e i es
alcanzable desde j. (Los
estados 1 y 2 se
comunican: podemos
pasar de 1 a 2 y de 2 a 1)
Conjunto Cerrado

Un conjunto de estados S en una cadena de Markov es un

conjunto cerrado si una vez dentro de uno de los estados
de éste permanece en el conjunto por tiempo indefinido.
(Tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos cerrados.
Observe que una vez que entramos a un conjunto cerrado
no podemos dejarlo nunca)
CLASIFICACION

Cadena irreductible:
2 3

1 4

Se dice que una cadena de Markov es irreductible si todo estado puede alcanzarse desde
cualquier otro estado después de una cantidad finita de transiciones. En este caso se comunican
todos los estados de la cadena. Todos los estados de una cadena irreductible deben formar un
conjunto cerrado.
CLASIFICACION

Estado absorbente:

Un estado i es estado absorbente si pii = 1. Siempre que se entre a un estado de

absorbente, nunca se saldrá de él. Por supuesto, un estado absorbente es un
conjunto cerrado que sólo contiene un estado. (El estado 3 es un estado
absorbente)
CLASIFICACION

Estado transitorio:

Un estado i es un estado transitorio si hay un estado j alcanzable desde i, pero el

estado i no es alcanzable desde el estado j. En otras palabras, un estado i es
transitorio si hay manera de dejar el estado i de tal modo que nunca se regrese a
él. (El estado 2 es un estado transitorio)
CLASIFICACION

Estado recurrente:

1 2

Si un estado no es transitorio, se llama estado recurrente. Todos los estados de

una cadena irreductible deben ser recurrentes. (Los estados 1 y 2 son estados
recurrentes; el estado 3 es transitorio)
Caso 01: Gloria

Suponga que Gloria produce dos tipos de leche en tarro:

gloria UHT, gloria cero. Cuando una persona ha
comprado gloria UHT hay una probabilidad de 90% de
que siga comprándola la siguiente vez. Si una persona
compró gloria cero hay un 80% de probabilidad de que
repita la siguiente vez. Se pide:
- Forme la matriz de transición
- Forme el diagrama de transición
- Si una persona actualmente es comprador de gloria cero, ¿Cuál es la
probabilidad de que compre gloria UHT pasadas dos compras a partir de hoy?
- Si en la actualidad una persona es comprador de gloria UHT. ¿Cuál es la
probabilidad de que compre gloria UHT pasadas tres compras a partir de ahora?
TRABAJO EN EQUIPO LABORATORIO

Resuelve los siguientes casos sobre cadenas de Markov

Caso 02: Clima de pueblo de la Sierra

En un pueblito de la sierra peruana el clima puede

cambiar de un día para otro. Considere solo dos
estado del tiempo: clima seco o húmedo. La
probabilidad de tener un clima seco al día siguiente
es de 0.8 si el día actual es seco, pero si el clima es
húmedo la probabilidad de tener un clima seco es de
0.6. Suponga que dicho valores no cambian en el
tiempo, se pide determinar:
a) La matriz de transición
b) El diagrama de transición
c) La probabilidad de estado del sistema.
Caso 03: Preferencia de usuarios sobre marcas

Una empresa esta considerando utilizar Cadenas de Markov

para analizar los cambios en las preferencias de los
usuarios por tres marcas distintas de un determinado
producto. El estudio ha arrojado la siguiente estimación de
la matriz de probabilidades de cambiarse de una marca a
otra cada mes

Si en la actualidad la participación de mercado es de 45%, 25% y 30%,

respectivamente. ¿Cuales serán las participaciones de mercado de cada marca en
dos meses más?.
Caso 04: Paciente de un Hospital

En una Unidad de Cuidados Intensivos en un determinado hospital, cada paciente es clasificado

de acuerdo a un estado crítico, serio o estable. Estas clasificaciones son actualizadas cada
mañana por un médico internista, de acuerdo a la evaluación experimentada por el paciente.
Las probabilidades con las cuales cada paciente se mueve de un estado a otro se resumen en la
tabla que sigue:

¿Cuál es la probabilidad que un paciente en estado crítico un día Jueves esté estable el día
Sábado?.

¿Cuál es la probabilidad que un paciente que está en estado estable el Lunes experimente
alguna complicación y no esté estable nuevamente el Miércoles?
Caso 05: Operadores Telefónicos

En Perú existen 3 operadores principales de telefonía móvil como lo son Claro,

Bitel y Movistar (estados). Los porcentajes actuales que tiene cada operador en el
mercado actual son para Claro 0.4 para Bitel 0.25 y para Movistar 0.35. (Estado
inicial). Se tiene la siguiente información un usuario actualmente de Claro tiene
una probabilidad de permanecer en Claro de 0.60, de pasar a Bitel 0.2 y de pasarse
a Movistar de 0.2; si en la actualidad el usuario es cliente de Bitel tiene una
probabilidad de mantenerse en Bitel del 0.5 de que esta persona se cambie a Claro
0.3 y que se pase a Movistar de 0.2; si el usuario es cliente en la actualidad de
Movistar la probabilidad que permanezca en Movistar es de 0.4 de que se cambie
a Claro de 0.3 y a Bitel de 0.3.
•Hallar la probabilidad de que un usuario se permanezca en la misma operadora.
Caso 05: Operadores Telefónicos

El departamento de estudios de mercado de una fábrica estima que el 20% de

la gente que compra un producto un mes, no lo comprará el mes siguiente.
Además, el 30% de quienes no lo compren un mes lo adquirirá al mes siguiente.
En una población de 1000 individuos, 100 compraron el producto el primer
mes. ¿Cuántos lo comprarán al mes próximo? ¿Y dentro de dos meses?
Caso 06: Operadores Telefónicos

En una población de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos
de un paquete diario y 2500 fuman más de un paquete diario. En un mes hay un
5% de probabilidad de que un no fumador comience a fumar un paquete diario, o
menos, y un 2% de que un no fumador pase a fumar más de un paquete diario.
Para los que fuman un paquete, o menos, hay un 10% de probabilidad de que
dejen el tabaco, y un 10% de que pasen a fumar más de un paquete diario. Entre
los que fuman más de un paquete, hay un 5% de probabilidad de que dejen el
tabaco y un 10% de que pasen a fumar un paquete, o menos. ¿Cuántos individuos
habrá de cada clase el próximo mes?
Caso 07: Elección de Modelos de Computadora

Un estudiante de ingeniería de la UPN, adquiere una computadora nueva cada

dos años. El estudiante puede elegir de entre tres modelos: M1, M2, y M3. Si
el modelo actual es M1, la siguiente computadora puede se M2 con
probabilidad 0.2, o M3 con probabilidad 0.15. Si el modelo actual es M2, las
probabilidades de cambiar a M1 y M3 son 0.6 y 0.25, respectivamente. Pero si
el modelo actual es M3, entonces la probabilidad de comprar los modelos M1
y M2 son 0.5 y 0.1, respectivamente.
Determina la probabilidad de que el estudiante compre el modelo actual en 4
años.
Caso 08: Marcas de LLantas

En la empresa L& C S.A. contamos con un flota de vehículos de los cuales 3 utilizan diferentes
marcas de llantas que son: Michelin, Goodyear y Pirelli. El Isuzu, el Ford y el Mercedes utilizan
Michelin, existe una probabilidad del 65% que sigan usando esta marca, un 20% de que
cambien a Godyear y un 15% de cambiar a Pirelli. La camioneta Tornado, el Matiz y la Nissan
utilizan Goodyear, tiene una probabilidad del 50% de quedarse con esta marca, un 25% de
cambiar a Michelin y un 25% a Pirelli. El Isuzu 2012, el Doble eje y el Ford Plata utiliza Pirelli ,
tienen un 30% de quedarse con esta marca, 35% de cambiar a Goodyear y un 35% de cambiar
a Michelin.
Las marcas de llantas en el mercado tienen el siguiente porcentaje, Michelin 55%, Pirelli 25%,
Goodyear 20%.
¿Cuál es la probabilidad de cada marca en el periodo 4?
METACOGNICIÓN

¿De qué forma se puede usar los modelos probabilísticos

en la resolución de diversos casos?

¿Podría usted usarlo en su carrera?

DOCENTE: LUIS ROBERTO QUISPE VÁSQUEZ

Aplicación

• Desarrolla en forma grupal ejercicios cadenas de Markov

• Recepcionan ejercicios los mismos que serán resueltos en forma
individual o grupal

DOCENTE: LUIS ROBERTO QUISPE VÁSQUEZ

“Estar preparado es importante, saber esperar lo es aún más,
pero aprovechar el momento adecuado es la clave de la vida”
Arthur Schnitzler

DOCENTE: LUIS ROBERTO QUISPE VÁSQUEZ

GRACIAS