Está en la página 1de 39

CADENAS DE MARKOV DE PRIMER ORDEN

1. Definicin de cadenas de Markov


2. Tipos de estados y de cadenas de Markov.
Propiedades
3. Comportamiento a largo plazo de cadenas de Markov.
Aplicaciones
4. Comportamiento a corto plazo de cadenas de Markov.
Tiempos y probabilidades del primer paso
5. El caso particular de las cadenas absorbentes.
Aplicaciones
6. Estudio de casos reales de aplicacin. Los procesos de
markov en los anlisis coste-efectividad
Introduccin

Las cadenas de markov son modelos probabilsticos que


se usan para predecir la evolucin y el
comportamiento a corto y a largo plazo de
determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinmica de
las averas de mquinas para decidir poltica de
mantenimiento; evolucin de una enfermedad,
1 1. Definicin de Cadena de Markov

Una Cadena de Markov (CM) es:


Un proceso estocstico
Con un nmero finito de estados (M)
Con probabilidades de transicin estacionarias
Que tiene la propiedad markoviana
1 Proceso estocstico:

Es un conjunto o sucesin de variables aleatorias:


{X(t)CG } definidas en un mismo espacio de
probabilidad.
Normalmente el ndice t representa un tiempo y X(t) el
estado del proceso estocstico en el instante t.
El proceso puede ser de tiempo discreto o continuo si G es
discreto o continuo.
Si el proceso es de tiempo discreto, usamos enteros para
representar el ndice: {X1, X2, ...}
1 Ejemplos de procesos estocsticos:

1. Serie mensual de ventas de un producto


2. Estado de una mquina al final de cada semana
(funciona/averiada)
3. N de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez
que hace la compra. Se supone que existen 7 marcas
diferentes
5. N de unidades en almacn al finalizar la semana
1 ELEMENTOS DE UNA CADENA
DE MARKOV

Un conjunto finito de M estados, exhaustivos y


mutuamente excluyentes (ejemplo: estados de la
enfermedad)
Ciclo de markov (paso) : periodo de tiempo que
sirve de base para examinar las transiciones entre
estados (ejemplo, un mes)
Probabilidades de transicin entre estados, en un
ciclo (matriz P)
Distribucin inicial del sistema entre los M estados
posibles
1 PROPIEDAD MARKOVIANA

Un proceso estocstico tiene la propiedad markoviana si las


probabilidades de transicin en un paso slo dependen del estado
del sistema en el perodo anterior (memoria limitada)
1 PROPIEDAD MARKOVIANA

P(n) es la matriz de transicin en n pasos, de orden (M+1)x(M+1)


1 PROPIEDAD MARKOVIANA
1 PROPIEDAD MARKOVIANA
1
LAS CADENAS DE MARKOV
SON UN CASO PARTICULAR
DE MODELOS DE MARKOV

Tipos de modelos de Markov:


Procesos de Markov (Modelos semi-
markovianos): Las probabilidades de
transicin entre estados pueden variar a
medida que transcurren ms ciclos
Ejemplo: para modelizar la esperanza de vida, el
riesgo de muerte aumenta con la edad
Cadenas de Markov: Las probabilidades de
transicin se suponen constantes a lo largo
del tiempo
1 PROPIEDAD MARKOVIANA

Ejemplos:
Comportamiento (sube/baja) del precio de las
acciones hoy depende de lo ocurrido ayer

Problema de la ruina de un jugador de casino

Eleccin de marca: Con qu lnea area volar a


Madrid?
Ejercicio 1: Tres agencias de viaje disponen de informacin respecto
de los desplazamientos en vacaciones de semana santa.
1
Estado futuro n=1
Estado actual n=0 No viajar V. entre islas V. fuera
No viajar 40 20 40
V. entre islas 50 10 40
V. fuera 10 70 20

a) Supuestos necesarios para considerar esta situacin como cadena


de Markov de primer orden
b) Calcular la probabilidad de que los clientes que no han viajado
estas vacaciones lo hagan fuera de las islas dentro de 2 aos.
1

Ejercicio 2: La carrera de diplomado en CCEE tiene 3 cursos. A


partir de los datos facilitados por el decanato del centro se sabe que
el 35% y el 26% de los alumnos de primero y segundo abandonarn
los estudios. El 28% de los alumnos de primero repiten curso, siendo
este porcentaje del 20% y 30% para los alumnos de segundo y
tercero respectivamente.
1

EJEMPLO 1: EL REPARTO DEL


MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un
principio activo (mismo conjunto homogneo en la orden de
precios de referencia). Hoy sus cuotas de mercado son 30%,
20% y 50% respectivamente Las filas suman 1

A B C
Matriz de transicin A 0,8 0,1 0,1
en un paso (ciclo) B 0,15 0,82 0,03
C 0,13 0,12 0,75
Cmo se repartirn el mercado dentro de 1
Ciclo: Mes mes, 6 meses, 1 ao?, A largo plazo?
1

EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS


PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

CON
BIEN
SECUELAS

33estados
estados(1(1absorbente,
absorbente,22transitorios)
transitorios)
Ciclo=mes
Ciclo=mes
MUERTO
Utilidades==Nivel
Utilidades Nivelsalud
salud
Distribucininicial
Distribucin inicialde
delalacohorte
cohorte
(N=10.000):todos
(N=10.000): todosbien
bien
1

EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS


PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

CON
BIEN
SECUELAS

33estados
estados(1(1absorbente,
absorbente,22transitorios)
transitorios)
Ciclo=mes
Ciclo=mes
MUERTO
Utilidades==Nivel
Utilidades Nivelsalud
salud
Distribucininicial
Distribucin inicialde
delalacohorte
cohorte
(N=10.000):todos
(N=10.000): todosbien
bien
1

EJEMPLO 2: LA EVOLUCIN CLNICA DE LOS


PACIENTES CON VLVULA CARDIACA
SOMETIDOS A TRATAMIENTO ANTICOAGULANTE

0.6 0.6
CON
BIEN 0.2
SECUELAS

0.2 33estados
estados(1(1absorbente,
absorbente,22transitorios)
transitorios)
Ciclo=mes
Ciclo=mes
MUERTO
Utilidades==Nivel
Utilidades Nivelsalud
salud
Distribucininicial
Distribucin inicialde
delalacohorte
cohorte
(N=10.000):todos
(N=10.000): todosbien
bien
1

EJEMPLO 1: EL REPARTO DEL


MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Tres laboratorios farmacuticos (A,B y C) que compiten en un
principio activo (mismo conjunto homogneo en la orden de
precios de referencia). Hoy sus cuotas de mercado son 30%,
20% y 50% respectivamente Las filas suman 1

A B C
Matriz de A 0,8 0,1 0,1
transicin en un B 0,15 0,82 0,03
ciclo (P) C 0,13 0,12 0,75
Cmo se repartirn el mercado dentro de 1
Ciclo: Mes mes, 6 meses, 1 ao?, A largo plazo?
1

EJEMPLO 1: EL REPARTO DEL


MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Este es un ejemplo de cadena de Markov irreductible y ergdica.
Todos los estados son recurrentes y estn comunicados entre s,
formando una sola clase.Hay solucin de estado estable (reparto
del mercado a largo plazo, independiente de la situacin inicial)

Reparto del mercado


1 mes.....P1= [0.3350 0.2540 0.4110]
despus de n ciclos
= P0*Pn 2 meses ....p2 =[ 0.3595 0.2911 0.3494]
6 meses ...... p6 =[ 0.4030 0.3543 0.2427]
1 ao ....... p12 = [ 0.4150 0.3704 0.2146]
2 aos ...... p24 =[ 0.4165 0.3722 0.2113]

3 aos ....... p36 =[ 0.4165 0.3722


Solucin de estado estable
1

EJEMPLO 3: EL HBITO TABQUICO


DE LOS JVENES

Lo ha probado, Fuma menos de


Nunca lo ha Fuma los fines
pero ahora no una vez por Fuma diariamente Total
probado de semana
fuma semana
Nunca lo ha probado 77.7% 17.2% 3.2% 0.9% 1.0% 100.0%
Lo ha probado, pero ahora
no fuma 0.0% 75.0% 12.2% 4.7% 8.1% 100.0%
Fuma menos de una vez
por semana 0.0% 34.0% 22.0% 12.0% 32.0% 100.0%
Fuma los fines de semana 0.0% 26.5% 17.6% 26.5% 29.4% 100.0%
Fuma diariamente 0.0% 6.3% 8.3% 0.0% 85.4% 100.0%
Total 50.4% 31.8% 6.7% 3.0% 8.1% 100.0%

55estados
estados(1(1transitorio,
transitorio,44recurrentes)
recurrentes)
Ciclo=un
Ciclo= unao
ao
Distribucininicial
Distribucin inicialde
delalacohorte
cohorte
(N=1.340):(0.58
(N=1.340): (0.580.28
0.280.05
0.050.03
0.030.06)
0.06)
2 Tipos de estados y de cadenas de markov de primer orden

Para clasificar los estados y las CM tenemos que definir


algunos conceptos:
Tiempos del primer paso y de recurrencia
Accesibilidad y comunicacin entre estados
La toma de decisiones bajo incertidumbre

En las ocasiones donde no pueden asignarse probabilidades


a los eventos posibles, a la hora de tomar una decisin, se
llama toma de decisiones bajo incertidumbre. Se basa en la
experiencia de la persona que tiene que tomar la decisin y
se presenta cuando no se puede predecir el futuro en
funcin de las experiencias pasadas (normalmente va
asociado con muchas variables incontrolables). En este tipo
de decisiones no se conoce como pueden variar o
interactuar las diferentes variables del problema por lo que
hay que plantear las diferentes alternativas para la solucin.
Existen tres criterios a la hora de valorar los
resultados de una decisin en condiciones de
incertidumbre;
Tomar decisiones siempre es complicado, sobre todo cuando no se
dispone suficiente informacin para poder tomarlas con la mayor
seguridad posible. Por eso, antes de tomar cualquier decisin (y ms
en aquellas decisiones importantes en las que te juegas el negocio)
debes parar y analizar las alternativas. Pero ojo, recuerda que la peor
decisin es la que no se toma.
Teora de juegos:
Una introduccin
La teora de los juegos y las decisiones
estratgicas
Las estrategias dominantes
Reconsideracin del equilibrio de Nash
Los juegos repetidos
Los juegos consecutivos
Amenazas, compromisos y credibilidad
La disuasin de la entrada
La estrategia de negociacin
Las subastas
La teora de juegos y las decisiones estratgicas

Si creemos que nuestros competidores son


racionales y actan para maximizar sus
propios beneficios, cmo debemos tener en
cuenta su conducta cuando tomamos
nuestras propias decisiones?
La teora de juegos y las decisiones estratgicas

Juegos no cooperativos y cooperativos


Juegos cooperativos:
Los participantes pueden negociar contratos
vinculantes que les permiten planear estrategias
conjuntas.
Ejemplo: la negociacin entre un comprador y un
vendedor sobre el precio de un bien o un servicio o
una inversin conjunta de dos empresas (por ejemplo,
Microsoft y Apple).
Los contratos vinculantes son posibles.
La teora de juegos y las decisiones estratgicas

Juegos no cooperativos y cooperativos


Juegos no cooperativos:
No es posible negociar y hacer cumplir un
contrato vinculante entre jugadores.
Ejemplo: dos empresas rivales tienen en cuenta la
conducta probable de cada una, cuando fijan
independientemente sus precios y sus estrategias
publicitarias para capturar ms cuota de mercado.
Los contratos vinculantes no son posibles.
La teora de juegos y las decisiones estratgicas

Juegos no cooperativos y cooperativos


La toma de decisiones estratgica es comprender
el punto de vista del adversario y (suponiendo que
ste es racional) deducir cmo responder
probablemente a nuestros actos.
La teora de juegos y las decisiones estratgicas

Un ejemplo: Cmo comprar un billete de un


dlar
1) Subasta de un billete de un dlar.
2) El mejor postor recibe el dlar a cambio de
la cantidad apostada.
Resumen
Un juego es cooperativo si los jugadores
pueden comunicarse y firmar contratos
vinculantes; de lo contrario, no lo es.
Un equilibrio de Nash es un conjunto de
estrategias tal que cada jugador obtiene los
mejores resultados posibles, dadas las
estrategias de los dems.
Resumen
Algunos juegos no tienen equilibrios de
Nash de estrategias puras, pero tienen uno
o ms equilibrios de estrategias mixtas.
Las estrategias que no son ptimas para
un juego que slo se juega una vez
pueden ser ptimas para un juego
repetido.
En un juego consecutivo, los jugadores
pueden mover uno detrs de otro.
Resumen
Una amenaza es vana cuando no hay
incentivos para llevarla a cabo.
Para disuadir a otras empresas de entrar
en un mercado, las que ya estn deben
convencerlas de que no es rentable entrar.
Las situaciones de negociacin son
ejemplos de juegos cooperativos.
Resumen
Las subastas pueden ser de varios tipos.
Esto influye en el aumento de los ingresos
y en el precio pagado por el comprador.
Fin
Analisis de
decisiones