INVESTIGACIN OPERATIVA

TEMA 3
Introduccin a las cadenas de Markov de primer orden
1. Definicin de cadenas de Markov
2. Tipos de estados y de cadenas de Markov.
Propiedades
3. Comportamiento a largo plazo de cadenas de
Markov. Aplicaciones
4. Comportamiento a corto plazo de cadenas de
Markov. Tiempos y probabilidades del primer
paso
5. El caso particular de las cadenas absorbentes.
Aplicaciones
6. Estudio de casos reales de aplicacin. Los
procesos de markov en los anlisis costeefectividad

Introduccin

Las cadenas de markov son modelos

probabilsticos que se usan para predecir la
evolucin y el comportamiento a corto y a
largo plazo de determinados sistemas.
Ejemplos: reparto del mercado entre marcas;
dinmica de las averas de mquinas para
decidir poltica de mantenimiento; evolucin
de una enfermedad,

Beatriz Gonzalez Lopez-Valcarcel

1. Definicin de Cadena de Markov

Una Cadena de Markov (CM) es:

Un proceso estocstico
Con un nmero finito de estados (M)
Con probabilidades de transicin
estacionarias
Que tiene la propiedad markoviana

Beatriz Gonzalez Lopez-Valcarcel

Proceso estocstico:

Es un conjunto o sucesin de variables aleatorias:

{X(t)CG } definidas en un mismo espacio de
probabilidad.
Normalmente el ndice t representa un tiempo y X(t) el
estado del proceso estocstico en el instante t.
El proceso puede ser de tiempo discreto o continuo si G es
discreto o continuo.
Si el proceso es de tiempo discreto, usamos enteros para
representar el ndice: {X1, X2, ...}

Beatriz Gonzalez Lopez-Valcarcel

Ejemplos de procesos estocsticos:

1. Serie mensual de ventas de un producto

2. Estado de una mquina al final de cada semana
(funciona/averiada)
3. N de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez
que hace la compra. Se supone que existen 7 marcas
diferentes
5. N de unidades en almacn al finalizar la semana

Beatriz Gonzalez Lopez-Valcarcel

ELEMENTOS DE UNA CADENA

DE MARKOV

Un conjunto finito de M estados, exhaustivos y

mutuamente excluyentes (ejemplo: estados de la
enfermedad)

Ciclo de markov (paso) : periodo de tiempo que sirve

de base para examinar las transiciones entre estados
(ejemplo, un mes)

Probabilidades de transicin entre estados, en un ciclo

(matriz P)

Distribucin inicial del sistema entre los M estados

posibles

PROPIEDAD MARKOVIANA

Un proceso estocstico tiene la propiedad markoviana si las

probabilidades de transicin en un paso slo dependen del estado
del sistema en el perodo anterior (memoria limitada)

PROPIEDAD MARKOVIANA

P(n) es la matriz de transicin en n pasos, de orden (M+1)x(M+1)

PROPIEDAD MARKOVIANA

PROPIEDAD MARKOVIANA

LAS CADENAS DE MARKOV

SON UN CASO PARTICULAR
DE MODELOS DE MARKOV
Tipos de modelos de Markov:
Procesos de Markov (Modelos semimarkovianos): Las probabilidades de
transicin entre estados pueden variar a
medida que transcurren ms ciclos

Ejemplo: para modelizar la esperanza de vida, el

riesgo de muerte aumenta con la edad

Cadenas de Markov: Las probabilidades de

transicin se suponen constantes a lo largo
del tiempo

PROPIEDAD MARKOVIANA

Ejemplos:
Comportamiento (sube/baja) del precio de las
acciones hoy depende de lo ocurrido ayer

Problema de la ruina de un jugador de casino

Eleccin de marca: Con qu lnea area volar a

Madrid?

Ejercicio 1: Tres agencias de viaje disponen de informacin respecto

de los desplazamientos en vacaciones de semana santa.
1
Estado futuro n=1
Estado actual n=0

No viajar

V. entre islas

V. fuera

No viajar

40

20

40

V. entre islas

50

10

40

V. fuera

10

70

20

a) Supuestos necesarios para considerar esta situacin como cadena

de Markov de primer orden
b) Calcular la probabilidad de que los clientes que no han viajado
estas vacaciones lo hagan fuera de las islas dentro de 2 aos.

Ejercicio 2: La carrera de diplomado en CCEE tiene 3 cursos. A

partir de los datos facilitados por el decanato del centro se sabe que
el 35% y el 26% de los alumnos de primero y segundo abandonarn
los estudios. El 28% de los alumnos de primero repiten curso, siendo
este porcentaje del 20% y 30% para los alumnos de segundo y
tercero respectivamente.

1
EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente
Las filas suman 1

Matriz de transicin
en un paso (ciclo)

Ciclo: Mes

A
A
B
C

B
0,8
0,15
0,13

C
0,1
0,82
0,12

0,1
0,03
0,75

Cmo se repartirn el mercado dentro de 1

mes, 6 meses, 1 ao?, A largo plazo?

EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS

PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

CON
SECUELAS

BIEN

MUERTO

estados(1(1absorbente,
absorbente,22transitorios)
transitorios)
33estados
Ciclo=mes
Ciclo=mes
Utilidades==Nivel
Nivelsalud
salud
Utilidades
Distribucininicial
inicialde
delalacohorte
cohorte
Distribucin
(N=10.000):todos
todosbien
bien
(N=10.000):

EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS

PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

CON
SECUELAS

BIEN

MUERTO

estados(1(1absorbente,
absorbente,22transitorios)
transitorios)
33estados
Ciclo=mes
Ciclo=mes
Utilidades==Nivel
Nivelsalud
salud
Utilidades
Distribucininicial
inicialde
delalacohorte
cohorte
Distribucin
(N=10.000):todos
todosbien
bien
(N=10.000):

EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS

PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
0.6

0.6
BIEN

0.2

0.2
MUERTO

CON
SECUELAS

estados(1(1absorbente,
absorbente,22transitorios)
transitorios)
33estados
Ciclo=mes
Ciclo=mes
Utilidades==Nivel
Nivelsalud
salud
Utilidades
Distribucininicial
inicialde
delalacohorte
cohorte
Distribucin
(N=10.000):todos
todosbien
bien
(N=10.000):

1
EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente
Las filas suman 1

Matriz de
transicin en un
ciclo (P)
Ciclo: Mes

A
A
B
C

B
0,8
0,15
0,13

C
0,1
0,82
0,12

0,1
0,03
0,75

Cmo se repartirn el mercado dentro de 1

mes, 6 meses, 1 ao?, A largo plazo?

1
EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO

Este es un ejemplo de cadena de Markov irreductible y ergdica.

Todos los estados son recurrentes y estn comunicados entre s,
formando una sola clase.Hay solucin de estado estable (reparto del
mercado a largo plazo, independiente de la situacin inicial)

Reparto del mercado

despus de n ciclos
= P0*Pn

1 mes.....P1= [0.3350 0.2540 0.4110]

2 meses ....p2 =[ 0.3595 0.2911 0.3494]
6 meses ...... p6 =[ 0.4030 0.3543 0.2427]
1 ao ....... p12 = [ 0.4150 0.3704 0.2146]
2 aos ...... p24 =[ 0.4165 0.3722 0.2113]

Solucin de estado estable

3 aos ....... p36 =[ 0.4165

0.3722 0.21131]

EJEMPLO 3: EL HBITO TABQUICO

DE LOS JVENES
Lo ha probado, Fuma menos de
Fuma los fines
pero ahora no
una vez por
Fuma diariamente
de semana
fuma
semana
77.7%
17.2%
3.2%
0.9%
1.0%

Nunca lo ha
probado
Nunca lo ha probado
Lo ha probado, pero ahora
no fuma
Fuma menos de una vez
por semana
Fuma los fines de semana
Fuma diariamente
Total

Total
100.0%

0.0%

75.0%

12.2%

4.7%

8.1%

100.0%

0.0%
0.0%
0.0%
50.4%

34.0%
26.5%
6.3%
31.8%

22.0%
17.6%
8.3%
6.7%

12.0%
26.5%
0.0%
3.0%

32.0%
29.4%
85.4%
8.1%

100.0%
100.0%
100.0%
100.0%

estados(1(1transitorio,
transitorio,44recurrentes)
recurrentes)
55estados
Ciclo=un
unao
ao
Ciclo=
Distribucininicial
inicialde
delalacohorte
cohorte(N=1.340):
(N=1.340):
Distribucin
(0.580.28
0.280.05
0.050.03
0.030.06)
0.06)
(0.58

2 Tipos de estados y de cadenas de markov de primer orden

Para clasificar los estados y las CM tenemos que definir

algunos conceptos:
Tiempos del primer paso y de recurrencia
Accesibilidad y comunicacin entre estados

Tiempos del primer paso/recurrencia (Corto plazo)

2
Con lo visto hasta el momento podemos calcular la probabilidad,
dado que el proceso se encuentra en el estado i, de que el proceso se
encuentre en el estado j despus de n periodos Pij(n).

2 EJEMPLO: Un vendedor de cmaras fotogrficas lleva acabo la

siguiente poltica de inventario. Mantiene durante la semana de
trabajo hasta un mximo de 3 cmaras en el almacn para su venta.
Si al final de la semana le quedan en el almacn alguna cmara
entonces no pide ninguna al fabricante. De partida en el almacn hay
3 cmaras (x0=3).
a) Comenta el contenido de la matriz
de transicin P facilitada por el
comercio.
b) Sabiendo que hay dos cmaras al
final de la primera semana (x1=2),
(x2=1), (x3=0), (x4=3) y (x5=1).
Obtener el tiempo de primera
pasada para ir del estado 3 al 1, y
el tiempo de recurrencia del
estado 3.

Tiempos de primera pasada/recurrencia (Corto plazo)

2
En general podemos considerar a los tiempos de primera pasada
como variables aleatorias, por tanto con una distribucin de
probabilidad asociada a ellos. Dichas distribuciones de
probabilidad dependern de las probabilidades de transicin del
proceso.

fij(1)=pij(1)=pij
fij(2)=pij(2)-fij(1)pij
.............................................
fij(n)=pij(n)-fij(1)pij(n-1)-fij(2)pij(n-2)....-fij(n-1)pij

Tiempos de primera pasada/recurrencia (Corto plazo)

2
Como generalmente es bastante engorroso calcular las fij(n) para
todas las n, se suele optar por obtener el tiempo esperado de
primera pasada del estado i al estado j

Tipos de estados y Cadenas de Markov

2
Podemos considerar fij(n) para (n=1,2,..) como la funcin de
probabilidad de la variable aleatoria tiempo de primera pasada

(n)

(n)

Una vez que el proceso se

encuentra en el estado i no lo
abandona
Una vez que el proceso se
encuentra en el estado i existe
una prob.>0 de no regresar

Ejemplo Identifica los distintos estados en la siguiente

matriz de transicin.
Estados

0
1
2
3
4

0
0.25
0.5
0
0
1

1
0.75
0.5
0
0
0

2
0
0
1
0.33333333
0

3
0
0
0
0.66666667
0

4
0
0
0
0
0

Tipos de estados y Cadenas de Markov

Tipos de estados y Cadenas de Markov

Tipos de estados y Cadenas de Markov.

Tipos de estados y Cadenas de Markov.

Comportamiento a largo plazo de las Cadenas de

Markov

Comportamiento a largo plazo de las Cadenas de

Markov

Comportamiento a largo plazo de las

Cadenas de Markov: el caso de las cadenas
absorbentes
CM absorbente:
Tiene al menos un estado absorbente
Desde cualquier estado no absorbente se puede acceder
a algn estado absorbente

A largo plazo, termina en absorcin con

probabilidad 1
Interesa calcular:
Probabilidad de absorcin por cada estado absorbente
Numero esperado de pasos antes de la absorcin

Comportamiento a largo plazo de las

Cadenas de Markov: el caso de las cadenas
absorbentes

EJEMPLOS DE APLICACIONES
CMO HACER EL MODELO
REALISTA
Propiedad
Propiedad
Ingredientes de una cadena de markov:
markoviana:
markoviana:

Conjunto de K estados exhaustivos y mutuamente

falta de
deexcluyentes
memoria
falta
memoria
definen las posibles situaciones (ej. Bien-discapacitado-muerto)
(Realista?...)
(Realista?...)

Ciclo: periodo de tiempo en el que ocurren transiciones entre

estados (ej: un mes)

Probabilidades de transicin entre estados en un ciclo

Se suponen constantes en el
tiempo, e idnticas para todos los pacientes

Sus valores forman la matriz de transicin en un paso (P)

Distribucin inicial de la cohorte de pacientes entre los K

estados

EJEMPLO 1: LA EVOLUCIN CLNICA DE LOS

PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
Complicando el modelo para hacerlo ms realista
CON
CON
SECUELAS
SECUELAS

BIEN
BIEN

MUERTO
MUERTO

Seincluye
incluyeun
unestado
estadotransitorio
transitoriode
de
Se
procesoagudo
agudo(embolia
(emboliaoohemorragia
hemorragia
proceso
interna)
interna)

EJEMPLO 1: LA EVOLUCIN CLNICA DE LOS

PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE
Complicando el modelo para hacerlo ms realista
BIEN
BIEN

ACCIDENTE
ACCIDENTE
CEREBRAL
CEREBRAL
VASCULAR
VASCULAR

MUERTO
MUERTO

CON
CON
SECUELAS
SECUELAS

Estadotransitorio
transitorioACV:
ACV:para
paraun
unsuceso
suceso
Estado
quetiene
tienesolo
soloefectos
efectosaacorto
corto
que
plazo
plazo
Dosusos:
usos:
Dos
1)1)
2)2)

Incorporarun
unvalor
valorespecfico
especficode
de
Incorporar
utilidad(o(ocoste)
coste)
lalautilidad
Asignartemporalmente
temporalmentediferentes
diferentes
Asignar
probabilidadesde
detransicin
transicin
probabilidades

CONCEPTOS BSICOS
Esta limitacin

Esta limitacin
generalmente puede
puede
generalmente
resolverse
definiendo
Ingredientes de una cadena
de markov:
resolverse
definiendo
estados
distintosexcluyentes
para

Conjunto de K estados exhaustivos

y mutuamente
estados
distintos
para
definen las posibles situaciones
(ej. Bien-discapacitado-muerto)
pacientes
con distintos
distintos
pacientes
con

Ciclo: periodo de tiempo en el que ocurren

transiciones entre
antecedentes
antecedentes
estados (ej: un mes)

Probabilidades de transicin entre estados en un ciclo

Se suponen constantes en el tiempo, e

todos los pacientes

idnticas para

Sus valores forman la matriz de transicin en un paso (P)

Distribucin inicial de la cohorte de pacientes entre los K

estados

Software y bibliografa
Usaremos WinQSB
Un excelente texto para este tema es el de
Hillier y Lieberman (est referenciado en el
programa)

PROCESO DE DECISION
MARKOVIANO

CARACTERISTICAS
SE OBSERVA LOS ESTADOS i DE UNA
CADENA DE MARKOV DE TIEMPO
DISCRETO DESPUES DE CADA
TRANSICION (i=0,1,.M)
DESPUES DE CADA OBSERVACION,
SE SELECCIONA UNA DECISION
(ACCION) k DE UN CONJUNTO DE K
DECISIONES POSIBLES (k=0,1,2, K)

DECISIONES POR ESTADO

SI SE ELIGE LA DECISION di = k EN EL ESTADO
i, SE INCURRE EN UN COSTO QUE TIENE UN
VALOR Cik. TAMBIEN SE MODIFICA LAS
PROBABILIDADES DE TRANSICION.
LA DECISION di = k EN EL ESTADO i
DETERMINA CUALES SERAN LAS
PROBABILIDADES DE TRANSICION p ij (k)
PARA j= 0,1,M. GENERA UNA MATRIZ DE
RENDIMIENTOS r ij O DE COSTOS c ij.

POLITICA O REGLA DE
DECISION
UN CONJUNTO DE DECISIONES PARA CADA
UNO DE LOS ESTADOS i RESPECTIVOS : (d 0, d
1, d 2, d M ), DEFINE UNA POLITICA PARA
EL PROCESO DE DECISION.
EL OBJETIVO ES ENCONTRAR UNA POLITICA
OPTIMA DE ACUERDO A ALGUN CRITERIO DE
COSTO. UN CRITERIO COMUN ES MINIMIZAR
EL COSTO PROMEDIO ESPERADO POR UNIDAD
DE TIEMPO. ESTE COSTO PUEDE AJUSTARSE,
MEDIANTE UN FACTOR DE DESCUENTO.

APLICACIN A PROBLEMA
DEL JARDINERO
VARIABLE ALEATORIA DE ESTADO:
CONDICIONES DEL SUELO X t SE
DETERMINAN TRES POSIBLES ESTADO,
DESPUES DE UNA INSPECCION: ( QUE
PUEDE SER UN ANALISIS FISICO-QUIMICO
DE SUELOS).
E1: BUENAS CONDICIONES
0
E2: REGULARES CONDICIONES
1
E3: MALAS CONDICIONES
2=M

PROB. DE TRANSICION

i \ j

0,2

0,5

0,3

0,5

0,5

MATRIZ DE RENDIMIENTOS

-1

ACCIONES A TOMAR

Descripcin de la accin del

jardinero

No usar fertilizantes

Usar fertilizantes

DEFINIR POLITICA: Usar fertilizante

en caso de estado 2: malas condiciones.
1

di

Estado i \ k

COSTO DE LA POLITICA R1:

Estado i \ k

NUEVAS PROB TRANSICION

i \ j

0,3

0,6

0,1

0,1

0,6

0,3

0,05

0,4

0,55

Nuevos COSTOS
i

-1

-2

NOTAS ACLARATORIAS

COSTOS ESPERADOS POR

ESTADO Y ACCION
V i (k)
i

Estados

Ganancias

Estados diferentes
con intervencion

4,7

0,3x6 + 0,5x6 + 0,1x-1

3,1

0,1x7 + 0,6x4 +0,3x0

0,4

0,05x6 + 0,4x3 + 0,55x-2

SELECCIN DE POLITICAS
CON LOS COSTOS ESTIMADOS EN
CADA POLITICA, ENTONCES SERA
RAZONABLE SELECCIONAR LOS
MENORES COSTOS.
SI LOS RENDIMINTOS FUERAN
UTILIDADES ENTONCES SE BUSCAR
A LOS MAYORES UTILIDADES.

METODOS PARA SELECCIONAR

POLITICAS
ETAPAS FINITAS
PROGRAMACION DINAMICA

ETAPAS INFINITAS
POLITICAS EXHAUSTIVAS
MEJORAMIENTO DE POLITICAS
PROGRAMACION LINEAL