CADENAS DE MARKOV

Breve introducción

• El análisis de Markov tuvo su origen en los estudios de

A.A.Markov(1906-1907) sobre la secuencia de los experimentos
conectados en cadena y los intentos de descubrir matemáticamente
los fenómenos físicos conocidos como movimiento browiano. La
teoría general de los procesos de Markov se desarrollo en las
décadas de 1930 y 1940 por A.N.Kolmagoron, W.Feller, W.Doeblin,
P.Levy, J.L.Doob y otros.

• El análisis de Markov es una forma de analizar el movimiento actual

de alguna variable, a fin de pronosticar un movimiento futuro de la
misma.
 ANÁLISIS DE MARKOV
Afin de ilustrar el proceso de Markov presentamos un problema en el que los estados de
resultados de actividades son marcas, y las probabilidades de transición expresan la probabilidad
de que los consumidores vayan de una marca a otra. Supongamos que la muestra inicial de
consumidores se compone de 1 000 participantes distribuidos entre cuatro marcas(A, B, C, D).
Una suposición adicional es que la muestra representa a todo el grupo.

Marca Periodo 1 Ganancias Perdidas Periodo 2

Numero de Numero de
Clientes Clientes
A 220 50 45 225

B 300 60 70 290

C 230 25 25 230

D 250 40 35 255

1 000 175 175 1 000

En la siguiente tabla la mayor parte de los clientes que compraron inicialmente la

marca A, siguieron con ella en el segundo periodo. No obstante la marca A ganó
50 clientes y perdió 45 con otras marcas
 Esta tabla no muestra la historia completa, sino que necesita un análisis detallado con respecto
a la proporción de ganancias y perdidas netas entre las cuatro marcas. Es necesario calcular las
probabilidades de transición para las cuatro marcas. Las probabilidades de transición se definen
como la probabilidad de que determinada marca, conserve sus clientes. Para determinar lo
anterior dividimos se divide el numero de clientes retenidos entre en numero de clientes en el
periodo inicial, por ejemplo para la marca A (220- 45=175) se divide 175/220 lo que nos da
0.796, al igual para las otras marcas, obteniendo 0.767(B),0.891(C),0.860(D).

A B C D

A 175/220=0.796 40/300=0.133 0/230=0 10/250=0.040

B 20/220=0.091 230/300=0.767 25/230=0.109 15/250=0.060

C 10/220=0.046 5/300=0.017 205/230=0.891 10/250=0.040

D 15/220=0.067 25/300=0.083 0/230=0 215/250=0.860

La marca A retiene 0.796 de sus clientes, mientras que gana 0.133 de los clientes de B,
0.40 de los clientes de D y 0 de los clientes de C.
La administración de mercadotecnia puede tener un gran ventaja de toda esta
información que nos pueda arrojar el desarrollo de técnicas como estas, ayudando a la
promoción de algunos productos que los necesiten para tener una mejor aceptación
entre los consumidores.
Qué es un Proceso Estocástico?

Un proceso estocástico de tiempo discreto es simplemente una descripción de

la relación entre las variables aleatorias X0, X1, X2,...
Ejemplo 1 La ruina del jugador:
En el tiempo 0 tengo 2 dólares. X0=2 es una constante conocida, pero que X1 y
las demás Xt son aleatorias. Por ejemplo X1=3 con probabilidad p y X1=1 con
probabilidad 1-p. Nótese que si Xt=4, entonces Xt+1 y todas las demás Xt también
serán igual a 4. Igualmente, si Xt=0, entonces Xt+1 y todas las demás Xt serán 0
también.
Un proceso estocástico de tiempo continuo es el proceso en el que el estado
del tiempo se puede examinar en cualquier tiempo y no sólo en instantes
discretos. Por ejemplo, se puede considerar que el número de personas en un
supermercado a los t minutos después de abrir, es un proceso estocástico de
tiempo continuo. Así también, el precio de una acción se puede observar en
cualquier tiempo, y no sólo al abrir la bolsa, por lo que se puede considerar como
proceso estocástico de tiempo continuo. Al considerarlo así, se ha podido a
importantes resultados en la teoría de finanzas, incluyendo la famosa fórmula de
Black-Scholes para opción de precio.
Analisis de Cadena de Markov
Cadenas de Markov es un modelo matemático que se basa en dos conceptos: estado y
transición. El sistema ocupa un estado i con probabilidad pi y, después de un periodo,
procede a una transición para el estado j con probabilidad de transición tij.
Sean N los estados del sistema, entonces, para cualquier estado i:

En los modelos más simples de cadenas de Markov, los valores de las probabilidades de
transición tij no dependen ni de cómo el sistema llegó al estado i, ni del periodo n. Las
probabilidades de ocupar un estado i dependen del número de periodos o de transiciones
efectuadas.
Por lo tanto una secuencia de intentos de un experimento es una cadena de Markov si:
• a) El resultado del m-ésimo intento depende sólo del resultado del intento (m-1)-ésimo y
no de los resultados en los intentos anteriores, y
• b) La probabilidad de pasar del estado i al estado j en dos intentos sucesivos del
experimento permanece constante.
Aplicación : Participaciones de mercado
Una investigación de mercados sobre el consumo de 3 marcas de cerveza: A, B y C por
1000 personas dará al inicio (n=0) y después de un periodo (n=1) los siguientes
resultados:

Se desea saber:
• a) El porcentaje de los clientes que
consumen cada marca de cerveza
después de un periodo.
• b) El porcentaje de los clientes que
consumen cada marca de cerveza
después de 2 periodos.
• c) A la larga cómo se reparte el
mercado de bebedores de cerveza entre
las tres marcas?
Observamos que estamos delante de un fenómeno dinámico, en el cual A aumentó su participación en el
mercado de 20% a 29%.
Siendo p la probabilidad de que un consumidor está demostrando preferencia por uno de los tres
productos (osea la participación de cada producto en el mercado) y observando que cada producto (o el
hecho de estar consumiendo un determinado producto) corresponde a un estado, resulta:
Xo = [pA(0) pB(0) pC(0)] = [0,2 0,3 0,5]
Donde X0 es el vector de distribución de estados al inicio. y
X1 = [0,29 0,27 0,44]
Donde X1 es el vector de distribución de estados después de un periodo (n=1).
Las probabilidades del vector X1 nos indican que después de un periodo, el comportamiento del mercado
será: 29% consume el producto A, 27% el B y 44% el producto C.
La probabilidad de que un consumidor de A (o en A) permanece con A es:
tAA = 140/200= 0.7
La probabilidad de que un consumidor en A pase a C es tAC = 20 / 200 = 0,1
Entonces las probabilidades de transición resultan:
 Después de n transiciones se tiene:

Donde Xn es el vector de distribución de probabilidad de estados en el periodo n.

Después de muchas transiciones, se llega a una situación estacionaria o de régimen de equilibrio
dinámico (osea, lo contrario de transitoria) en la cual las participaciones de mercado no se alteran más.
En este caso:

El sistema de ecuaciones sería:

 Este sistema es redundante y, para resolverlo, eliminamos una de las tres últimas ecuaciones (por
ejemplo la última).

Observamos el aumento en la
participación de A, que pasa de 20% a
37.6%; principalmente a costa de C, que
cae de 50% a 35,9%. Entonces si C
quiere promover una campaña
publicitaria para quebrar el proceso,
debería, principalmente, dirigirla hacia los
actuales consumidores de A, ya que
tAC=0,1 (muy pequeño). Se observa que
tBC es bastante grande.
ANÁLISIS ECONOMICO: Si la marca A, por cada cliente ganado aumenta sus ventas
en $40 ¿por cuántos períodos se debe realizar la campaña publicitaria, sabiendo que
esta cuesta $500 por semana?
Para dar respuesta a esta inquietud realizamos el siguiente cuadro:

En consecuencia se deberá realizar la campaña durante 3 semanas, luego cambiar.