Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Cadenas Marko
Cadenas Marko
TEMA 3
Introduccin a las cadenas de Markov de primer orden
1. Definicin de cadenas de Markov
2. Tipos de estados y de cadenas de Markov.
Propiedades
3. Comportamiento a largo plazo de cadenas de
Markov. Aplicaciones
4. Comportamiento a corto plazo de cadenas de
Markov. Tiempos y probabilidades del primer
paso
5. El caso particular de las cadenas absorbentes.
Aplicaciones
6. Estudio de casos reales de aplicacin. Los
procesos de markov en los anlisis costeBeatriz Gonzalez Lopez-Valcarcel
efectividad
Introduccin
Proceso estocstico:
PROPIEDAD MARKOVIANA
PROPIEDAD MARKOVIANA
PROPIEDAD MARKOVIANA
PROPIEDAD MARKOVIANA
PROPIEDAD MARKOVIANA
Ejemplos:
Comportamiento (sube/baja) del precio de las
acciones hoy depende de lo ocurrido ayer
No viajar
V. entre islas
V. fuera
No viajar
40
20
40
V. entre islas
50
10
40
V. fuera
10
70
20
1
EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente
Las filas suman 1
Matriz de transicin
en un paso (ciclo)
Ciclo: Mes
A
A
B
C
B
0,8
0,15
0,13
C
0,1
0,82
0,12
0,1
0,03
0,75
CON
SECUELAS
BIEN
MUERTO
estados(1(1absorbente,
absorbente,22transitorios)
transitorios)
33estados
Ciclo=mes
Ciclo=mes
Utilidades==Nivel
Nivelsalud
salud
Utilidades
Distribucininicial
inicialde
delalacohorte
cohorte
Distribucin
(N=10.000):todos
todosbien
bien
(N=10.000):
CON
SECUELAS
BIEN
MUERTO
estados(1(1absorbente,
absorbente,22transitorios)
transitorios)
33estados
Ciclo=mes
Ciclo=mes
Utilidades==Nivel
Nivelsalud
salud
Utilidades
Distribucininicial
inicialde
delalacohorte
cohorte
Distribucin
(N=10.000):todos
todosbien
bien
(N=10.000):
0.6
BIEN
0.2
0.2
MUERTO
CON
SECUELAS
estados(1(1absorbente,
absorbente,22transitorios)
transitorios)
33estados
Ciclo=mes
Ciclo=mes
Utilidades==Nivel
Nivelsalud
salud
Utilidades
Distribucininicial
inicialde
delalacohorte
cohorte
Distribucin
(N=10.000):todos
todosbien
bien
(N=10.000):
1
EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente
Las filas suman 1
Matriz de
transicin en un
ciclo (P)
Ciclo: Mes
A
A
B
C
B
0,8
0,15
0,13
C
0,1
0,82
0,12
0,1
0,03
0,75
1
EJEMPLO 1: EL REPARTO DEL
MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
0.3722 0.21131]
Nunca lo ha
probado
Nunca lo ha probado
Lo ha probado, pero ahora
no fuma
Fuma menos de una vez
por semana
Fuma los fines de semana
Fuma diariamente
Total
Total
100.0%
0.0%
75.0%
12.2%
4.7%
8.1%
100.0%
0.0%
0.0%
0.0%
50.4%
34.0%
26.5%
6.3%
31.8%
22.0%
17.6%
8.3%
6.7%
12.0%
26.5%
0.0%
3.0%
32.0%
29.4%
85.4%
8.1%
100.0%
100.0%
100.0%
100.0%
estados(1(1transitorio,
transitorio,44recurrentes)
recurrentes)
55estados
Ciclo=un
unao
ao
Ciclo=
Distribucininicial
inicialde
delalacohorte
cohorte(N=1.340):
(N=1.340):
Distribucin
(0.580.28
0.280.05
0.050.03
0.030.06)
0.06)
(0.58
2
En general podemos considerar a los tiempos de primera pasada
como variables aleatorias, por tanto con una distribucin de
probabilidad asociada a ellos. Dichas distribuciones de
probabilidad dependern de las probabilidades de transicin del
proceso.
fij(1)=pij(1)=pij
fij(2)=pij(2)-fij(1)pij
.............................................
fij(n)=pij(n)-fij(1)pij(n-1)-fij(2)pij(n-2)....-fij(n-1)pij
2
Como generalmente es bastante engorroso calcular las fij(n) para
todas las n, se suele optar por obtener el tiempo esperado de
primera pasada del estado i al estado j
2
Podemos considerar fij(n) para (n=1,2,..) como la funcin de
probabilidad de la variable aleatoria tiempo de primera pasada
(n)
(n)
0
1
2
3
4
0
0.25
0.5
0
0
1
1
0.75
0.5
0
0
0
2
0
0
1
0.33333333
0
3
0
0
0
0.66666667
0
4
0
0
0
0
0
EJEMPLOS DE APLICACIONES
CMO HACER EL MODELO
REALISTA
Propiedad
Propiedad
Ingredientes de una cadena de markov:
markoviana:
markoviana:
Se suponen constantes en el
tiempo, e idnticas para todos los pacientes
BIEN
BIEN
MUERTO
MUERTO
Seincluye
incluyeun
unestado
estadotransitorio
transitoriode
de
Se
procesoagudo
agudo(embolia
(emboliaoohemorragia
hemorragia
proceso
interna)
interna)
ACCIDENTE
ACCIDENTE
CEREBRAL
CEREBRAL
VASCULAR
VASCULAR
MUERTO
MUERTO
CON
CON
SECUELAS
SECUELAS
Estadotransitorio
transitorioACV:
ACV:para
paraun
unsuceso
suceso
Estado
quetiene
tienesolo
soloefectos
efectosaacorto
corto
que
plazo
plazo
Dosusos:
usos:
Dos
1)1)
2)2)
Incorporarun
unvalor
valorespecfico
especficode
de
Incorporar
utilidad(o(ocoste)
coste)
lalautilidad
Asignartemporalmente
temporalmentediferentes
diferentes
Asignar
probabilidadesde
detransicin
transicin
probabilidades
CONCEPTOS BSICOS
Esta limitacin
Esta limitacin
generalmente puede
puede
generalmente
resolverse
definiendo
Ingredientes de una cadena
de markov:
resolverse
definiendo
estados
distintosexcluyentes
para
idnticas para
Software y bibliografa
Usaremos QSB
Un excelente texto para este tema es el de
Hillier y Lieberman (est referenciado en el
programa)