Cadenas De

Markov

Definicin de Cadenas de
Markov
Las cadenas de Markov son modelos
probabilsticos que se usan para
predecir la evolucin y el
comportamiento a corto y a largo
plazo de determinados sistemas.

Ejemplos:
Reparto del mercado entre marcas
Dinmica de las averas de mquinas
para decidir poltica
de mantenimiento.
Evolucin de una enfermedad.

 Reciben su nombre del matemtico ruso Andri

Mrkov (1856-1922), que las introdujo en 1907.
Estos
modelos
muestran
una
estructura
de dependencia simple, pero muy til en muchas
aplicaciones.
Varios investigadores han estudiado las caractersticas y el
comportamiento de estas sucesiones, para aplicarlos a los
procesos estocsticos enfsica, ingeniera, biologa, medicina
y otras disciplinas as como tambin en otras ramas de la
matemtica y han establecido sus teoras y propiedades.
Una Cadena de Markov (CM) es:
Un proceso estocstico
Con un nmero finito de estados (M)
Con probabilidades de transicin estacionarias
Que tiene la propiedad markoviana.

 Los procesos estocsticos son sucesiones de eventos

regidos por leyes probabilsticas.
Ejemplos de procesos estocsticos:
Serie mensual de ventas de un producto
Estado de una mquina al final de cada semana
(funciona/averiada)
N de clientes esperando en una cola cada 30 segundos
Marca de detergente que compra un consumidor cada
vez que hace la compra. Se supone que existen 7
marcas diferentes
N de unidades en almacn al finalizar la semana

 Propiedad Markoviana: conocido el estado del

proceso en un momento dado, su
comportamiento futuro no depende del
pasado. Dicho de otro modo, dado el
presente, el futuro es independiente del
pasado.
Se tiene:
P(Xn+1 = sn+1 / X1 = s1, X2 = s2,, Xn = sn) =
= P(Xn+1 = sn+1 / Xn = sn)

 Ejemplos:
Comportamiento (sube/baja)
del precio de las acciones hoy
depende de lo ocurrido ayer.
Problema de la ruina de un
jugador de casino.
Eleccin de marca: con qu
lnea area volar a Madrid?

PROBABILIDADES DE TRANSICIN DE UN
ESTADO A OTRO
Para determinar las probabilidades de los diversos estados que ocurren en
ensayos sucesivos, necesitamos informacin sobre la probabilidad de que
un cliente permanezca con la misma tienda o cambie a la tienda
competidora conforme contina el proceso de una semana a otra.
Debido a que las probabilidades indican que un cliente puede moverse o
hacer una transicin de un estado en un periodo dado, a otro estado en el
siguiente perodo, estas probabilidades se llaman probabilidades de
transicin.

MATRIZ DE TRANSICION:
Una matriz de transicin para una cadena de Markov de
n estado es una matriz de n X n con todos los registros no
negativos y con la propiedad adicional de que la suma de
los registros de cada columna (o fila) es 1.
Por ejemplo: las siguientes son matrices de transicin.

El comportamiento de cambio de marca de los

consumidores ha sido modelado como una cadena de
Markov, para ayudar a desarrollar las estrategias de
mercadotecnia.

 EL DIAGRAMA DE TRANSICIN DE ESTADOS

El diagrama de transicin de estados (DTE) de
una CM es un grafo dirigido cuyos nodos son los
estados de la CM y cuyos arcos se etiquetan con
la probabilidad de transicin entre los estados
que unen. Si dicha probabilidad es nula, no se
pone arco.

ESTADOS ABSORBENTES

Se trata de estados que constituyen por si mismos una sola clase final,
puesto que la nica transicin posible es ir otra vez al mismo (ya que las
probabilidades de pasar a cualquier de los otros son cero).
Matemticamente significa que la fila correspondiente de la matriz estar
toda a ceros excepto un 1 en la diagonal principal por lo tanto se le
denomina como matriz no regular; el significado de este tipo de situaciones
suele ser el de un sistema que ha llegado a una situacin de degradacin,
que ya no puede evolucionar mas, etc.

En otras palabras generalizando:

Una cadena de markov absorbente contiene p estados transitorios y q estados
absorbentes. Con base a esto la matriz se representa as:

Donde R es una submatriz

Q corresponde al complemento de R

Ejemplo:
El departamento de estudios de mercado de
una fbrica estima que el 20% de la gente que
compra un producto un mes, no lo comprar
el mes siguiente. Adems, el 30% de quienes
no lo compren un mes lo adquirir al mes
siguiente. En una poblacin de 1000
individuos, 100 compraron el producto el
primer mes.
Cuntos lo comprarn al mes prximo?
Y dentro de dos meses?

Solucin:

Para resolver este tipo de problemas, lo primero es hacer un esquema.

A la vista del esquema podemos pasar a construir la matriz de probabilidades de
transicin:

 Clculo: con esa informacin construimos la matriz 2x2. P(0) representa la

situacin inicial

El primer mes comprarn C=350 y no comprarn N=650

El segundo mes comprarn C=475 y no comprarn N= 525

 En una poblacin de 10,000 habitantes, 5000 no

fuman, 2500 fuman uno o menos de un paquete diario
y 2500 fuman ms de un paquete diario. En un mes hay
un 5% de probabilidad de que un no fumador comience
a fumar un paquete diario, o menos, y un 2% de que un
no fumador pase a fumar ms de un paquete diario.
Para los que fuman un paquete, o menos, hay un 10%
de probabilidad de que dejen el tabaco, y un 10% de
que pasen a fumar ms de un paquete diario. Entre los
que fuman ms de un paquete, hay un 5% de
probabilidad de que dejen el tabaco y un 10% de que
pasen a fumar un paquete, o menos.
Cuntos individuos habr de cada clase el prximo
mes?

NF= No fuman
FC= fuman uno o menos de un paquete diarios
FCC= fuman ms de un paquete diario.

Despus de un mes habrn NF=5025, FC=2500, FCC=2475

Aplicaciones:
Fsica: Las cadenas de Markov son usadas en muchos problemas de la

termodinmica y la fsica estadstica. Ejemplos importantes se pueden

encontrar en la Cadena de Ehrenfest o el modelo de difusin de
Laplace.

Meteorologa: Si consideramos el clima de una regin a travs de

distintos das, es claro que el estado actual solo depende del ltimo
estado y no de toda la historia en s, de modo que se pueden usar
cadenas de Markov para formular modelos climatolgicos bsicos.

Modelos epidemiolgicos: Una importante aplicacin de las cadenas de

Markov se encuentra en el proceso Galton-Watson. ste es un
proceso de ramificacin que se puede usar, entre otras cosas, para
modelar el desarrollo de una epidemia.
Internet: El pagerank de una pgina web (usado por Google en sus
motores de bsqueda)se define a travs de una cadena de Markov,
donde la posicin que tendr una pgina en el buscador ser
determinada por su peso en la distribucin estacionaria de la cadena.

Simulacin: Las cadenas de Markov son utilizadas para proveer una

solucin analtica aciertos problemas de simulacin tales como el
Modelo M/M/1.3
Juegos de azar: Son muchos los juegos de azar que se pueden modelar a
travs de una cadena de Markov. El modelo de la ruina del jugador, que
establece la probabilidad de que una persona que apuesta en un juego
de azar finalmente termine sin dinero, es una de las aplicaciones de las
cadenas de Markov en este rubro.
Economa y Finanzas: Las cadenas de Markov se pueden utilizar en
modelos simples de valuacin de opciones para determinar cundo
existe oportunidad de arbitraje, as como en el modelo de colapsos de
una bolsa de valores o para determinar la volatilidad de precios. En los
negocios, las cadenas de Mrkov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las
necesidades de personal y para analizar el reemplazo de equipo.
Msica: Diversos algoritmos de composicin musical usan cadenas de
Markov, por ejemplo el software Csound o Max. 16