UNIVERSIDAD NACIONAL DE INGENIERA

FACULTAD DE INGENIERA INDUSTRIAL Y SISTEMAS

SECCIN DE POSGRADO
INVESTIGACIN DE OPERACIONES
GRUPO Nro. 5 - NORBERTO QUISPE REYES

1. Definicin de cadenas de Markov
2. Tipos de estados y de cadenas de Markov.
Propiedades
3. Comportamiento a largo plazo de cadenas de Markov.
Aplicaciones
4. Comportamiento a corto plazo de cadenas de Markov.
Tiempos y probabilidades del primer paso
5. El caso particular de las cadenas absorbentes.
Aplicaciones
6. Estudio de casos reales de aplicacin. Los procesos de
markov en los anlisis coste-efectividad
Cadenas de Markov
Introduccin
Las cadenas de markov son modelos probabilsticos que
se usan para predecir la evolucin y el
comportamiento a corto y a largo plazo de
determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinmica
de las averas de mquinas para decidir poltica de
mantenimiento; evolucin de una enfermedad,
1. Definicin de Cadena de Markov
Una Cadena de Markov (CM) es:
Un proceso estocstico
Con un nmero finito de estados (M)
Con probabilidades de transicin estacionarias
Que tiene la propiedad markoviana

1
Proceso estocstico:
Es un conjunto o sucesin de variables aleatorias: {X(t)}
definidas en un mismo espacio de probabilidad.
Normalmente el ndice t representa un tiempo y X(t) el
estado del proceso estocstico en el instante t.
El proceso puede ser de tiempo discreto o continuo
Si el proceso es de tiempo discreto, usamos enteros para
representar el ndice: {X1, X2, ...}
1
Ejemplos de procesos estocsticos:
1. Serie mensual de ventas de un producto
2. Estado de una mquina al final de cada semana
(funciona/averiada)
3. N de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez
que hace la compra. Se supone que existen 7 marcas
diferentes
1

Un conjunto finito de M estados, exhaustivos y mutuamente
excluyentes (ejemplo: estados de la enfermedad)
Ciclo de markov (paso) : periodo de tiempo que sirve de
base para examinar las transiciones entre estados (ejemplo, un
mes)
Probabilidades de transicin entre estados, en un ciclo (matriz
P)
Distribucin inicial del sistema entre los M estados posibles


ELEMENTOS DE UNA CADENA
DE MARKOV
1
PROPIEDAD MARKOVIANA
Un proceso estocstico tiene la propiedad markoviana si las
probabilidades de transicin en un paso slo dependen del estado
del sistema en el perodo anterior (memoria limitada)
1
PROPIEDAD MARKOVIANA
P
(n)
es la matriz de transicin en n pasos, de orden (M+1)x(M+1)
1
PROPIEDAD MARKOVIANA
1
PROPIEDAD MARKOVIANA
1
Tipos de modelos de Markov:
Procesos de Markov (Modelos semi-
markovianos): Las probabilidades de transicin
entre estados pueden variar a medida que
transcurren ms ciclos
Ejemplo: para modelizar la esperanza de vida, el riesgo
de muerte aumenta con la edad
Cadenas de Markov: Las probabilidades de
transicin se suponen constantes a lo largo del
tiempo


LAS CADENAS DE MARKOV
SON UN CASO PARTICULAR
DE MODELOS DE MARKOV
1
PROPIEDAD MARKOVIANA
Ejemplos:
Comportamiento (sube/baja) del precio de las
acciones hoy depende de lo ocurrido ayer

Problema de la ruina de un jugador de casino


Eleccin de marca: Con qu lnea area volar a
Madrid?
1
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente

EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Matriz de transicin en
un paso (ciclo)
A B C
A 0,8 0,1 0,1
B 0,15 0,82 0,03
C 0,13 0,12 0,75
Ciclo: Mes
Las filas suman 1
Cmo se repartirn el mercado dentro de 1
mes, 6 meses, 1 ao?, A largo plazo?
1
EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS
PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIEN

CON
SECUELAS

MUERTO

3 estados (1 absorbente, 2 transitorios)
Ciclo=mes
Utilidades = Nivel salud
Distribucin inicial de la cohorte
(N=10.000): todos bien
1
EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS
PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIEN

CON
SECUELAS

MUERTO

3 estados (1 absorbente, 2 transitorios)
Ciclo=mes
Utilidades = Nivel salud
Distribucin inicial de la cohorte
(N=10.000): todos bien
1
EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS
PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
BIEN

CON
SECUELAS

MUERTO

0.6
0.6
0.2
0.2
3 estados (1 absorbente, 2 transitorios)
Ciclo=mes
Utilidades = Nivel salud
Distribucin inicial de la cohorte
(N=10.000): todos bien
1
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente

EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Matriz de
transicin en un
ciclo (P)
A B C
A 0,8 0,1 0,1
B 0,15 0,82 0,03
C 0,13 0,12 0,75
Ciclo: Mes
Las filas suman 1
Cmo se repartirn el mercado dentro de 1
mes, 6 meses, 1 ao?, A largo plazo?
1
EJEMPLO 3: EL HBITO TABQUICO
DE LOS JVENES
5 estados (1 transitorio, 4 recurrentes)
Ciclo= un ao
Distribucin inicial de la cohorte (N=1.340):
(0.58 0.28 0.05 0.03 0.06)
Nunca lo ha
probado
Lo ha probado,
pero ahora no
fuma
Fuma menos de
una vez por
semana
Fuma los fines
de semana
Fuma diariamente Total
Nunca lo ha probado 77.7% 17.2% 3.2% 0.9% 1.0% 100.0%
Lo ha probado, pero ahora
no fuma 0.0% 75.0% 12.2% 4.7% 8.1% 100.0%
Fuma menos de una vez
por semana 0.0% 34.0% 22.0% 12.0% 32.0% 100.0%
Fuma los fines de semana 0.0% 26.5% 17.6% 26.5% 29.4% 100.0%
Fuma diariamente 0.0% 6.3% 8.3% 0.0% 85.4% 100.0%
Total 50.4% 31.8% 6.7% 3.0% 8.1% 100.0%
1
Tipos de estados y de cadenas de markov de primer orden
Para clasificar los estados y las CM tenemos que definir
algunos conceptos:
Tiempos del primer paso y de recurrencia
Accesibilidad y comunicacin entre estados


2
Tiempos del primer paso/recurrencia (Corto plazo)
Con lo visto hasta el momento podemos calcular la probabilidad,
dado que el proceso se encuentra en el estado i, de que el proceso se
encuentre en el estado j despus de n periodos P
ij
(n)
.
2
a) Comenta el contenido de la matriz
de transicin P facilitada por el
comercio.
b) Sabiendo que hay dos cmaras al
final de la primera semana (x
1
=2),
(x
2
=1), (x
3
=0), (x
4
=3) y (x
5
=1).
Obtener el tiempo de primera
pasada para ir del estado 3 al 1, y
el tiempo de recurrencia del
estado 3.
EJEMPLO: Un vendedor de cmaras fotogrficas lleva acabo la
siguiente poltica de inventario. Mantiene durante la semana de
trabajo hasta un mximo de 3 cmaras en el almacn para su venta. Si
al final de la semana le quedan en el almacn alguna cmara entonces
no pide ninguna al fabricante. De partida en el almacn hay 3
cmaras (x
0
=3).
2
Tiempos de primera pasada/recurrencia (Corto plazo)
En general podemos considerar a los tiempos de primera pasada
como variables aleatorias, por tanto con una distribucin de
probabilidad asociada a ellos. Dichas distribuciones de
probabilidad dependern de las probabilidades de transicin del
proceso.
f
ij
(1)
=p
ij
(1)
=p
ij
f
ij
(2)
=p
ij
(2)
-f
ij
(1)
p
ij
.............................................
f
ij
(n)
=p
ij
(n)
-f
ij
(1)
p
ij
(n-1)
-f
ij
(2)
p
ij
(n-2)
....-f
ij
(n-1)
p
ij
2
Tiempos de primera pasada/recurrencia (Corto plazo)
Como generalmente es bastante engorroso calcular las f
ij
(n)
para
todas las n, se suele optar por obtener el tiempo esperado de
primera pasada del estado i al estado j
2

(n)

(n)
Podemos considerar f
ij
(n)
para (n=1,2,..) como la funcin de
probabilidad de la variable aleatoria tiempo de primera pasada
Una vez que el proceso se
encuentra en el estado i no lo
abandona
Una vez que el proceso se
encuentra en el estado i existe
una prob.>0 de no regresar
Tipos de estados y Cadenas de Markov
2
Ejemplo Identifica los distintos estados en la siguiente
matriz de transicin.
Estados 0 1 2 3 4
P 0 0.25 0.75 0 0 0
1 0.5 0.5 0 0 0
2 0 0 1 0 0
3 0 0 0.33333333 0.66666667 0
4 1 0 0 0 0
2
Tipos de estados y Cadenas de Markov
2
Tipos de estados y Cadenas de Markov
2
Tipos de estados y Cadenas de Markov.
2
Tipos de estados y Cadenas de Markov.
2
Comportamiento a largo plazo de las Cadenas de
Markov
3
Comportamiento a largo plazo de las Cadenas de
Markov
2
Comportamiento a largo plazo de las
Cadenas de Markov: el caso de las cadenas
absorbentes
4
CM absorbente:
Tiene al menos un estado absorbente
Desde cualquier estado no absorbente se puede acceder
a algn estado absorbente
A largo plazo, termina en absorcin con
probabilidad 1
Interesa calcular:
Probabilidad de absorcin por cada estado absorbente
Numero esperado de pasos antes de la absorcin
Comportamiento a largo plazo de las
Cadenas de Markov: el caso de las cadenas
absorbentes
4
Ingredientes de una cadena de markov:
Conjunto de K estados exhaustivos y mutuamente excluyentes
definen las posibles situaciones (ej. Bien-discapacitado-muerto)
Ciclo: periodo de tiempo en el que ocurren transiciones entre
estados (ej: un mes)
Probabilidades de transicin entre estados en un ciclo
Se suponen constantes en el
tiempo, e idnticas para todos los pacientes
Sus valores forman la matriz de transicin en un paso (P)
Distribucin inicial de la cohorte de pacientes entre los K
estados