INVESTIGACIN OPERATIVA

TEMA 3
Introduccin a las cadenas de Markov de primer orden

1. Definicin de cadenas de Markov

2. Tipos de estados y de cadenas de Markov.
Propiedades
3. Comportamiento a largo plazo de cadenas de Markov.
Aplicaciones
4. Comportamiento a corto plazo de cadenas de Markov.
Tiempos y probabilidades del primer paso
5. El caso particular de las cadenas absorbentes.
Aplicaciones
6. Estudio de casos reales de aplicacin. Los procesos de
markov en los anlisis coste-efectividad

Beatriz Gonzalez Lopez-Valcarcel

 Introduccin

Las cadenas de markov son modelos probabilsticos que

se usan para predecir la evolucin y el
comportamiento a corto y a largo plazo de
determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinmica
de las averas de mquinas para decidir poltica de
mantenimiento; evolucin de una enfermedad,

Beatriz Gonzalez Lopez-Valcarcel

1 1. Definicin de Cadena de Markov

Una Cadena de Markov (CM) es:

Un proceso estocstico
Con un nmero finito de estados (M)
Con probabilidades de transicin estacionarias
Que tiene la propiedad markoviana

Beatriz Gonzalez Lopez-Valcarcel

1 Proceso estocstico:

Es un conjunto o sucesin de variables aleatorias: {X(t)CG

} definidas en un mismo espacio de probabilidad.
Normalmente el ndice t representa un tiempo y X(t) el
estado del proceso estocstico en el instante t.
El proceso puede ser de tiempo discreto o continuo si G es
discreto o continuo.
Si el proceso es de tiempo discreto, usamos enteros para
representar el ndice: {X1, X2, ...}

Beatriz Gonzalez Lopez-Valcarcel

1 Ejemplos de procesos estocsticos:

1. Serie mensual de ventas de un producto

2. Estado de una mquina al final de cada semana
(funciona/averiada)
3. N de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez
que hace la compra. Se supone que existen 7 marcas
diferentes
5. N de unidades en almacn al finalizar la semana

Beatriz Gonzalez Lopez-Valcarcel

1 ELEMENTOS DE UNA CADENA
DE MARKOV

Un conjunto finito de M estados, exhaustivos y mutuamente

excluyentes (ejemplo: estados de la enfermedad)
Ciclo de markov (paso) : periodo de tiempo que sirve de
base para examinar las transiciones entre estados (ejemplo, un
mes)
Probabilidades de transicin entre estados, en un ciclo (matriz
P)
Distribucin inicial del sistema entre los M estados posibles
1 PROPIEDAD MARKOVIANA

Un proceso estocstico tiene la propiedad markoviana si las

probabilidades de transicin en un paso slo dependen del estado
del sistema en el perodo anterior (memoria limitada)
1 PROPIEDAD MARKOVIANA

P(n) es la matriz de transicin en n pasos, de orden (M+1)x(M+1)

1 PROPIEDAD MARKOVIANA
1 PROPIEDAD MARKOVIANA
1
LAS CADENAS DE MARKOV
SON UN CASO PARTICULAR
DE MODELOS DE MARKOV

Tipos de modelos de Markov:

Procesos de Markov (Modelos semi-
markovianos): Las probabilidades de transicin
entre estados pueden variar a medida que
transcurren ms ciclos
Ejemplo: para modelizar la esperanza de vida, el riesgo
de muerte aumenta con la edad
Cadenas de Markov: Las probabilidades de
transicin se suponen constantes a lo largo del
tiempo
1 PROPIEDAD MARKOVIANA
Ejemplos:
Comportamiento (sube/baja) del precio de las
acciones hoy depende de lo ocurrido ayer

Problema de la ruina de un jugador de casino

Eleccin de marca: Con qu lnea area volar a

Madrid?
Ejercicio 1: Tres agencias de viaje disponen de informacin respecto
de los desplazamientos en vacaciones de semana santa.
1
Estado futuro n=1
Estado actual n=0 No viajar V. entre islas V. fuera
No viajar 40 20 40
V. entre islas 50 10 40
V. fuera 10 70 20

a) Supuestos necesarios para considerar esta situacin como cadena

de Markov de primer orden
b) Calcular la probabilidad de que los clientes que no han viajado
estas vacaciones lo hagan fuera de las islas dentro de 2 aos.
1

Ejercicio 2: La carrera de diplomado en CCEE tiene 3 cursos. A

partir de los datos facilitados por el decanato del centro se sabe que el
35% y el 26% de los alumnos de primero y segundo abandonarn los
estudios. El 28% de los alumnos de primero repiten curso, siendo
este porcentaje del 20% y 30% para los alumnos de segundo y
tercero respectivamente.
1

EJEMPLO 1: EL REPARTO DEL

MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente
Las filas suman 1

A B C
Matriz de transicin en A 0,8 0,1 0,1
un paso (ciclo) B 0,15 0,82 0,03
C 0,13 0,12 0,75
Cmo se repartirn el mercado dentro de 1
Ciclo: Mes mes, 6 meses, 1 ao?, A largo plazo?
1

EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS

PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

CON
BIEN
SECUELAS

3 estados (1 absorbente, 2 transitorios)

MUERTO Ciclo=mes
Utilidades = Nivel salud
Distribucin inicial de la cohorte
(N=10.000): todos bien
1

EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS

PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

CON
BIEN
SECUELAS

3 estados (1 absorbente, 2 transitorios)

MUERTO Ciclo=mes
Utilidades = Nivel salud
Distribucin inicial de la cohorte
(N=10.000): todos bien
1

EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS

PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

0.6 0.6
CON
BIEN 0.2
SECUELAS

0.2 3 estados (1 absorbente, 2 transitorios)

MUERTO Ciclo=mes
Utilidades = Nivel salud
Distribucin inicial de la cohorte
(N=10.000): todos bien
1

EJEMPLO 1: EL REPARTO DEL

MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente
Las filas suman 1

A B C
Matriz de A 0,8 0,1 0,1
transicin en un B 0,15 0,82 0,03
ciclo (P) C 0,13 0,12 0,75
Cmo se repartirn el mercado dentro de 1
Ciclo: Mes mes, 6 meses, 1 ao?, A largo plazo?
1

EJEMPLO 1: EL REPARTO DEL

MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Este es un ejemplo de cadena de Markov irreductible y ergdica.
Todos los estados son recurrentes y estn comunicados entre s,
formando una sola clase.Hay solucin de estado estable (reparto del
mercado a largo plazo, independiente de la situacin inicial)

Reparto del mercado

1 mes.....P1= [0.3350 0.2540 0.4110]
despus de n ciclos
= P0*Pn 2 meses ....p2 =[ 0.3595 0.2911 0.3494]
6 meses ...... p6 =[ 0.4030 0.3543 0.2427]
1 ao ....... p12 = [ 0.4150 0.3704 0.2146]
2 aos ...... p24 =[ 0.4165 0.3722 0.2113]

Solucin de estado estable 3 aos ....... p36 =[ 0.4165 0.3722 0.21131]

 1

EJEMPLO 3: EL HBITO TABQUICO

DE LOS JVENES

Lo ha probado, Fuma menos de

Nunca lo ha Fuma los fines
pero ahora no una vez por Fuma diariamente Total
probado de semana
fuma semana
Nunca lo ha probado 77.7% 17.2% 3.2% 0.9% 1.0% 100.0%
Lo ha probado, pero ahora
no fuma 0.0% 75.0% 12.2% 4.7% 8.1% 100.0%
Fuma menos de una vez
por semana 0.0% 34.0% 22.0% 12.0% 32.0% 100.0%
Fuma los fines de semana 0.0% 26.5% 17.6% 26.5% 29.4% 100.0%
Fuma diariamente 0.0% 6.3% 8.3% 0.0% 85.4% 100.0%
Total 50.4% 31.8% 6.7% 3.0% 8.1% 100.0%

5 estados (1 transitorio, 4 recurrentes)

Ciclo= un ao
Distribucin inicial de la cohorte (N=1.340):
(0.58 0.28 0.05 0.03 0.06)
2 Tipos de estados y de cadenas de markov de primer orden

Para clasificar los estados y las CM tenemos que definir

algunos conceptos:
Tiempos del primer paso y de recurrencia
Accesibilidad y comunicacin entre estados
2 Tiempos del primer paso/recurrencia (Corto plazo)
Con lo visto hasta el momento podemos calcular la probabilidad,
dado que el proceso se encuentra en el estado i, de que el proceso se
encuentre en el estado j despus de n periodos Pij(n).
2 EJEMPLO: Un vendedor de cmaras fotogrficas lleva acabo la
siguiente poltica de inventario. Mantiene durante la semana de
trabajo hasta un mximo de 3 cmaras en el almacn para su venta. Si
al final de la semana le quedan en el almacn alguna cmara entonces
no pide ninguna al fabricante. De partida en el almacn hay 3
cmaras (x0=3).

a) Comenta el contenido de la matriz

de transicin P facilitada por el
comercio.
b) Sabiendo que hay dos cmaras al
final de la primera semana (x1=2),
(x2=1), (x3=0), (x4=3) y (x5=1).
Obtener el tiempo de primera
pasada para ir del estado 3 al 1, y
el tiempo de recurrencia del
estado 3.
 Tiempos de primera pasada/recurrencia (Corto plazo)
2
En general podemos considerar a los tiempos de primera pasada
como variables aleatorias, por tanto con una distribucin de
probabilidad asociada a ellos. Dichas distribuciones de
probabilidad dependern de las probabilidades de transicin del
proceso.

fij(1)=pij(1)=pij
fij(2)=pij(2)-fij(1)pij
.............................................
fij(n)=pij(n)-fij(1)pij(n-1)-fij(2)pij(n-2)....-fij(n-1)pij
 Tiempos de primera pasada/recurrencia (Corto plazo)
2
Como generalmente es bastante engorroso calcular las fij(n) para
todas las n, se suele optar por obtener el tiempo esperado de
primera pasada del estado i al estado j
 Tipos de estados y Cadenas de Markov
2
Podemos considerar fij(n) para (n=1,2,..) como la funcin de
probabilidad de la variable aleatoria tiempo de primera pasada

Una vez que el proceso se

(n) encuentra en el estado i no lo
abandona

(n) Una vez que el proceso se

encuentra en el estado i existe
una prob.>0 de no regresar
2 Ejemplo Identifica los distintos estados en la siguiente
matriz de transicin.

Estados 0 1 2 3 4
P 0 0.25 0.75 0 0 0
1 0.5 0.5 0 0 0
2 0 0 1 0 0
3 0 0 0.33333333 0.66666667 0
4 1 0 0 0 0
 Tipos de estados y Cadenas de Markov
2
 Tipos de estados y Cadenas de Markov
2
2
Tipos de estados y Cadenas de Markov.
2
Tipos de estados y Cadenas de Markov.
 Comportamiento a largo plazo de las Cadenas de
3
Markov
 Comportamiento a largo plazo de las Cadenas de
2 Markov
4
Comportamiento a largo plazo de las
Cadenas de Markov: el caso de las cadenas
absorbentes

CM absorbente:
Tiene al menos un estado absorbente
Desde cualquier estado no absorbente se puede acceder
a algn estado absorbente
A largo plazo, termina en absorcin con
probabilidad 1
Interesa calcular:
Probabilidad de absorcin por cada estado absorbente
Numero esperado de pasos antes de la absorcin
4
Comportamiento a largo plazo de las
Cadenas de Markov: el caso de las cadenas
absorbentes
 EJEMPLOS DE APLICACIONES
CMO HACER EL MODELO
REALISTA
Propiedad
Ingredientes de una cadena de markov: markoviana: falta de
Conjunto de K estados exhaustivos y mutuamente excluyentes
memoria
definen las posibles situaciones (ej. Bien-discapacitado-muerto)
(Realista?...)
Ciclo: periodo de tiempo en el que ocurren transiciones entre
estados (ej: un mes)
Probabilidades de transicin entre estados en un ciclo
Se suponen constantes en el
tiempo, e idnticas para todos los pacientes
Sus valores forman la matriz de transicin en un paso (P)
Distribucin inicial de la cohorte de pacientes entre los K
estados
 EJEMPLO 1: LA EVOLUCIN CLNICA DE LOS
PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
Complicando el modelo para hacerlo ms realista

CON
BIEN
SECUELAS

Se incluye un estado transitorio de

proceso agudo (embolia o hemorragia
MUERTO interna)
 EJEMPLO 1: LA EVOLUCIN CLNICA DE LOS
PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
Complicando el modelo para hacerlo ms realista
ACCIDENTE
CEREBRAL CON
BIEN VASCULAR
SECUELAS

Estado transitorio ACV: para un suceso

que tiene solo efectos a corto
MUERTO plazo
Dos usos:
1) Incorporar un valor especfico de
la utilidad (o coste)
2) Asignar temporalmente diferentes
probabilidades de transicin
 CONCEPTOS BSICOS
Esta limitacin generalmente
puede resolverse definiendo
Ingredientes de una cadenaestados de markov:
distintos para
Conjunto de K estados exhaustivos y mutuamente
pacientes excluyentes
con distintos
definen las posibles situaciones (ej. antecedentes
Bien-discapacitado-muerto)
Ciclo: periodo de tiempo en el que ocurren transiciones entre
estados (ej: un mes)
Probabilidades de transicin entre estados en un ciclo
Se suponen constantes en el tiempo, e idnticas para
todos los pacientes
Sus valores forman la matriz de transicin en un paso (P)
Distribucin inicial de la cohorte de pacientes entre los K
estados
 Software y bibliografa
Usaremos QSB
Un excelente texto para este tema es el de
Hillier y Lieberman (est referenciado en el
programa)