CADENAS DE MARKOV

El anlisis Markov (del inventor ruso Markov) es un mtodo de analizar la conducta actual
de alguna variable en un esfuerzo de predecir la conducta de la misma. Su
comportamiento depende de las acciones (resultados) anteriores.

Se trata de un proceso o sistema que transita de un estado a otro a medida que

transcurre el tiempo. Los posibles estados futuros del sistema o proceso dependen de su
estado presente y probabilidades asociadas a cada posible transicin a un prximo
estado. Cadenas de Markov es la fase final de teora de decisiones.

Aplicaciones

1. Mercadeo
2. Finanzas
3. Asignacin de recursos
4. Retiro y reemplazo
5. Polticas
6. Mantenimiento, etc

Procesos estocsticos

Procesos que evolucionan de forma no determinista a lo largo del tiempo en torno a un

conjunto de estados.

Proceso Markov

Se dice que un proceso es de Markov cuando verifica la propiedad de Markov: La

evolucin del proceso depende del estado actual y del prximo y no de los anteriores o
posteriores. Un proceso Markov es un proceso estocstico.

Estados

Los estados son una caracterizacin de la situacin en que se halla el sistema en un

instante dado, dicha caracterizacin puede ser tanto cuantitativa como cualitativa.

Cadena de Markov

Es una serie de eventos en la cual la probabilidad de que ocurra un evento (estado)

depende del evento (estado) inmediato superior. En efecto, las cadenas de este tipo
tienen memoria. Recuerdan" el ltimo evento (estado) y esto condiciona las posibilidades
de los eventos (estados) futuros. Esta dependencia del evento anterior distingue a las
cadenas de Markov de las series de eventos independientes, como tirar una moneda al
aire o un dado.

UES/FIA/EII/IOP215/2017 Pgina 1
Una forma de describir una cadena de Markov es con un diagrama de estados. En el
siguiente se ilustra un sistema de Markov con cuatro estados posibles: M1, M2 , M3 y
M4 y sus respectivas probabilidades condicionales o de transicin Pij de moverse de un
estado a otro:

Notacin

Xt: caracterstica de inters medible en el tiempo t.

t: parmetro de tiempo que toma valores de un conjunto T dado.

i: estado actual del proceso.

j: estado del proceso despus de n pasos.

k: valor que toman los estados pasados.

Propiedad Markoviana

Una cadena de Markov es un proceso estocstico {Xt} tal que: P{Xt+1 = j | X0 = k0, X1 =
k1,Xt-1 = kt-1, Xt = i} = P{Xt+1 = j | Xt = i}, para t = 0,1,2, y toda sucesin i, j, k 0, k1, , kt-
1 (espacio de estados). Lo que denota que "el futuro es independiente del pasado,
depende solo del presente"

Interpretacin de la propiedad markoviana

Esta propiedad se interpreta como la afirmacin de que la probabilidad (condicional) de

que el proceso alcance el estado futuro Xt+1 dados los estados pasados X0, X1,... Xt-1y el
estado actual Xt; es independiente de los estados pasados y depende solamente del
estado presente Xt (es decir, que el pasado no influye en el futuro ms que a travs del
presente).

Transicin

Momento en que una cadena de Markov puede cambiar de estado. Es usual que una
transicin se produzca a intervalos regulares de tiempo.

UES/FIA/EII/IOP215/2017 Pgina 2
Probabilidad de transicin de un paso (pij)

Probabilidad de que el proceso evolucione al estado j en la siguiente transicin, si en este

momento se encuentra en el estado i.

Probabilidad de transicin de k pasos (pij (k))

Probabilidad de que el proceso evolucione al estado j dentro de k transiciones, si en este

momento se encuentra en el estado i.

Probabilidad de transicin

Las probabilidades condicionales: P{Xt+1 = j | Xt = i}, se llaman probabilidades de transicin

si para cada i y j, P{Xt+1 = j | Xt = i} = P{X1 = j| X0 = i}, para toda t = 0, 1, 2,
Se denotan por pij(n), donde n es el nmero de pasos.

Propiedades de la probabilidad de transicin

pij(n) 0, para toda i y j; n = 0, 1, 2,

pij(n) = 1, para toda i; n = 0, 1, 2,

Matriz de probabilidades o de transicin (P)

Matriz cuadrada de orden n, donde n es igual al nmero de estados del proceso.

Sus componentes son las probabilidades estacionarias ij.

Matriz de probabilidades de transicin de un paso (P)

Matriz cuadrada de orden n, donde n es igual al nmero de estados del proceso.

Sus componentes son las probabilidades de transicin de un paso pij.

P(n) = , para n = 0, 1, 2...

P= [pij]nxn Es una matriz de transicin formada por los valores de pij, donde cada fila
representa el estado inicial donde se parte y las columna el estado al que se ir en un
perodo.

El superndice n no se escribe cuando n = 1.

UES/FIA/EII/IOP215/2017 Pgina 3
Probabilidades de estado estable de Markov

Significa que la probabilidad de encontrar el proceso en cierto estado, por ejemplo j,

despus de nmero grande de transiciones tiende al valor xj y es independiente de la
distribucin de probabilidad inicial definida para los estados.

En trminos de ecuaciones matriciales se tiene:

= > 0

=
= para j= 0,1,2.M y
= =

Procedimiento de clculo estado futuro a partir de la matriz de transicin

Las ecuaciones de Chapman Kolmogorov (proceso matricial) proporcionan un mtodo

para calcular la probabilidad de transicin de n pasos:

pij () = () pkj (nm) , para toda i, j, n y 0 m n
=0

Estas ecuaciones sealan que al ir del estado i al estado j en n pasos, el proceso estar
en algn estado k despus de exactamente m (menor que n) pasos.
As, () pkj (nm), es slo la probabilidad condicional de que, si se comienza en el
estado i el proceso vaya al estado k despus de m pasos y despus al estado j en n m
pasos. Al resumir estas probabilidades condicionales sobre todos los estados posibles k
se debe obtener pij (n) .
Las pij (n) son los elementos de la matriz Pn los cuales se obtienen multiplicando la matriz
de transicin de un paso por s misma; esto es: P2 = P. P
En trminos ms generales, se concluye que la matriz de probabilidades de transicin de
n pasos, se puede obtener de la expresin: P(n) = P. P P

ALGUNOS EJEMPLOS PROPUESTOS PARA CLASE

Ejemplo 1
Se hizo un estudio de mercado para el cereal de dieta Special K de la marca Kellogs.
Se encontr que el cereal SK tiene actualmente el 25% del mercado. Los datos a partir
del ao anterior indican que el 88% de los clientes de SK seguan siendo leales a l el ao
actual, pero el 12% cambi a cualquiera de los otros cereales de dieta que existen.
Adems el 85% de los clientes de la competencia seguan siendo leales, pero el 15% de
ellos cambiaban al cereal SK. Asumiendo que estas tendencias continan encuentre la
parte de el cereal SK en el mercado en 2 aos.

Ejemplo 2
Un dueo de estaciones de gasolina est considerando el efecto sobre su negocio de una
nueva estacin Los Hroes la cual est situada en la misma calle, con la que posee
actualmente la estacin Constitucin.
La estacin Constitucin posee el 80% del mercado y la estacin Los Hroes posee el
20% del mercado.

UES/FIA/EII/IOP215/2017 Pgina 4
El anlisis durante la semana pasada ha indicado las probabilidades de que los clientes
paren en cada una de las estaciones:

a) Cul ser el porcentaje de mercado prevista para la estacin Constitucin y Los

Hroes despus de dos semanas?

b) Cul sera la prediccin a largo plazo, del porcentaje de mercado de la estacin

Constitucin y Los Hroes?

Para
Constitucin Los Hroes
De Constitucin 0.75 0.25
Los Hroes 0.55 0.45

Ejemplo 3

Encuentre el estado estable de la siguiente situacin a travs de cadenas de Markov. Los

datos son probabilidades de transicin de un estado a otro:

A B C
A 0.7 0.2 0.1
B 0.2 0.75 0.05
C 0.1 0.1 0.8

Ejemplo 4

Se desea analizar la penetracin de mercado y lealtad de clientes de dos almacenes:

Almacenes SIMAN y Almacenes CARRION.

Una investigacin de campo ha revelado lo siguiente:

El 90% de los clientes que compraron en Almacenes SIMAN en un mes, regres en el
mes siguiente.
El 80% de los clientes de Almacenes CARRION, regres a la misma cadena de la
siguiente manera.

Para un mercado meta de 6000 clientes, con utilidad mensual por cliente de $10.00,
Recomendara a CARRION, lanzar una campaa publicitaria de $3,500.00?

Ejemplo 5
Una computadora se inspecciona cada hora. Se encuentra que est trabajando o
descompuesta. Si est trabajando la probabilidad de que siga trabajando la siguiente hora
es 0.9 Si est descompuesta, se toman las medidas para repararla lo que puede llevar
ms de una hora. Siempre que la computadora est descompuesta, Independientemente
de cunto tiempo haya pasado, la probabilidad de que siga descompuesta la siguiente
hora es 0.35. Modele el sistema como una cadena de Markov. Hoy est trabajando, cul
es la probabilidad de que en 4 hrs siga trabajando?

UES/FIA/EII/IOP215/2017 Pgina 5