Introducci�n a las Cadenas o Procesos

de Markov
Juan Antonio del Valle F.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria, "Recuerdan"
el �ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento
anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra,los deudores morosos, para planear las necesidades de personal y para analizar el
reemplazo de equipo. El an�lisis de Markov, llamado as� en honor de un matem�tico ruso que
desarrollo el m�todo en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un
estado en particular en un momento dado. Algo m�s importante a�n, es que permite encontrar el
promedio a la larga o las probabilidades de estado estable para cada estado. Con esta informaci�n se
puede predecir el comportamiento del sistema a trav�s del tiempo. La tarea m�s dif�cil es reconocer
cu�ndo puede aplicarse. La caracteristica m�s importante que hay que buscar en la memoria de un
evento a otro.

Considere el problema siguiente: la compa��a K, el fabricante de un cereal para el desayuno, tiene un

25% del mercado actualmente. Datos del a�o anterior indican que el 88% de los clientes de K
permanec�an fieles ese a�o, pero un 12% cambiaron a la competencia. Adem�s, el 85% de los
clientes de la competencia le permanec�an fieles a ella, pero 15% de los clientes de la competencia
cambiaron a K. Asumiendo que estas tendencias contin�en determine �cual es la parte que K
aprovecha del mercado?:

a. en 2 a�os; y
b. en el largo plazo.
Esta situaci�n es un ejemplo de un problema de cambio de marcas que sucede muy a menudo que se
presenta en la venta de bienes de consumo.

Para resolver este problema hacemos uso de cadenas de Markov o procesos de Markov (qu� es un tipo
especial de proceso estoc�stico). El procedimiento se da enseguida.

Procedimiento de soluci�n
Observe que, cada a�o, un cliente puede estar comprando cereal de K o de la competencia. Podemos
construir un diagrama como el mostrado abajo donde los dos c�rculos representan a los dos estados en
que un cliente puede estar y los arcos representan la probabilidad de que un cliente haga una cambio
cada a�o entre los estados. Note que los arcos curvos indican una "transici�n" de un estado al mismo
estado. Este diagrama es conocido como el diagrama de estado de transici�n (notar que todos los arcos
en ese diagrama son arcos dirigidos).
Dado ese diagrama nosotros podemos construir la matriz de la transici�n (normalmente denotada por el
s�mbolo P) la qu� nos dice la probabilidad de hacer una transici�n de un estado a otro estado. Sea:

estado 1 = cliente que compra cereal de K y

estado 2 = cliente que compra cereal de la competencia

tenemos as� la matriz de transici�n P para este problema, dada por

Para estado 1 2

Del estado 1 | 0.88 0.12 |

2 | 0.15 0.85 |

Note aqu� que la suma de los elementos en cada fila de la matriz de la transici�n es uno.

Por datos de este a�o sabemos que actualmente K tiene un 25% del mercado. Tenemos que la fila de la
matriz que representa el estado inicial del sistema dada por:

Estado

12

[0.25, 0.75]

Normalmente denotamos esta fila de la matriz por s1 indicando el estado del sistema en el primer
periodo (a�os en este ejemplo en particular). Ahora la teor�a de Markov nos dice que, en periodo
(a�o) t, el estado del sistema est� dado por el st de la fila de la matriz, donde:

st = st-1(P) =st-2(P)(P) = ... = s1(P)t-1

Tenemos que tener cuidado aqu� al hacer la multiplicaci�n de la matriz ya que el orden de c�lculo es
importante (i.e. st-1(P) no es igual a (P)st-1 en general). Para encontrar st nosotros podr�amos intentar
hallar P directamente para la potencia t-1 pero, en la pr�ctica, es mucho m�s f�cil de calcular el
estado del sistema en cada sucesivo a�o 1,2,3 ,..., t.

Nosotros ya sabemos el estado del sistema en el a�o 1 (s1) tal que el estado del sistema en el a�o dos
(s2) est� dado por:
s2 = s1P

= [0.25,0.75] |0.88 0.12 |

........|0.15 0.85 |

= [(0.25)(0.88) + (0.75)(0.15), (0.25)(0.12) + (0.75)(0.85)]

= [0.3325, 0.6675]

Note que este resultado tiene sentido intuitivo, e.g. del 25% comprando actualmente al cereal de K, 88%
contin�an haciendolo, aunque del 75% comprando el cereal del competidor 15% cambia a comprar
cereal de K - dando un (fracci�n) total de (0.25)(0.88) + (0.75)(0.15) = 0.3325 comprando cereal de K.

De lo anterior, en el a�o dos 33.25% de las personas est�n en estado 1 - esto es, est� comprando
cereal de K. Note aqu� que, como un chequeo num�rico, los elementos de st deben sumar siempre
uno.

En el a�o tres el estado del sistema se da por:

s3 = s2P

= [0.3325, 0.6675] |0.88 0.12 |

............... |0.15 0.85 |

= [0.392725, 0.607275]

Por lo tanto en el a�o tres 39.2725% de las personas est�n comprando al cereal de K.

Recalcar que est� pendiente la cuesti�n hecha sobre la porci�n que K comparte del mercado en el
largo plazo. Esto implica que necesitamos calcular st cuando t se hace muy grande (se acerca al infinito).

La idea de la largo plazo es basada en la suposici�n de que, en el futuro, el sistema alcance un

"equilibrio" (a menudo llamado el "estado sustentable") en el sentido de que el st = st-1. �sto no quiere
decir que las transiciones entre estados no tengan lugar, suceden, pero ellos tienden "al equilibrio global"
tal que el n�mero en cada estado permanece el mismo.

Hay dos enfoques b�sicos para calcular el estado sustentable:

Computational: - encontrar el estado sustentable calculando st para t=1,2,3,... y se detiene cuando st-1 y
st son aproximadamente el mismo. Esto es obviamente muy f�cil para una computadora y este es el
enfoque usado por un paquete computacional.

Algebraico: - para evitar c�lculos aritm�ticos largos necesarios para calcular st para t=1,2,3,... tenemos
un atajo algebraico que puede usarse. Recalcar que en el estado sustentable st = st-1 (= [x1,x2] para el
ejemplo considerado anteriormente). Entonces como st = st-1P tenemos eso

[x1,x2] = [x1,x2] | 0.88 0.12 |

.............| 0.15 0.85 |

(y tambi�n notar que x1 + x2 = 1). De esto tenemos tres ecuaciones que podemos resolver.

Note aqu� que hemos usado la palabra suposici�n anteriormente. Esto es porque no todos los
sistemas alcanzan un equilibrio, esto es, no cualquier sistema tiene matriz de transici�n

|01|

|1 0 |

nunca alcanza un estado sustentable.

Adoptando el enfoque algebraico anteriormente para el ejemplo del cereal K tenemos las tres ecuaciones
siguientes:

x1 = 0.88x1 + 0.15x2

x2 = 0.12x1 + 0.85x2

x1 + x2 = 1

0.12x1 - 0.15x2 = 0

0.12x1 - 0.15x2 = 0

x1 + x2 = 1

Note que la ecuaci�n x1 + x2 = 1 es esencial. Sin �lla no podr�amos obtener una �nica soluci�n
para x1 y x2. Resolviendo conseguimos x1 = 0.5556 y x2 = 0.4444

Por lo tanto, en la largo plazo, K comercializa una porci�n del mercado del 55.56%.

Un chequeo num�rico �til (particularmente para problemas m�s grandes) es sustituir el examen final
calculando los valores en las ecuaciones originales para verificar que ellos son consistentes con esas
ecuaciones.

Paquete de Computo para la soluci�n

El problema anterior se resolvi� usando un paquete, la entrada se muestra abajo.

Datos de entrada del Problema del cereal de K (Iniciales Probabilidades de Estado)

1: 0.2500 2: 0.7500

Datos de entrada del Problema del cereal de K (Matriz de Probabilidades de Transici�n) Pg 1

.......De ...........A

1 1: 0.8800 2: 0.1200
2 1: 0.1500 2: 0.8500

El rendimiento se muestra debajo. Aunque el paquete puede usarse para calcular y desplegar st (para
cualquier valor de t) no hemos querido mostrar esto.

En el rendimiento mostrado abajo de la nota:

las probabilidades de estado sustentables (se necesitaron 38 iteraciones antes de que st-1 y st
fueran aproximadamente el mismo). Estas figuras son como se calcularon antes.

periodo recurrente para cada estado - �stos son el n�mero esperado de periodos que pasar�n para
que una persona en un estado est� de nuevo en ese estado (esto es, esperar�amos que hubieran 1.80
periodos (en promedio) entre que una persona que compra el cereal de K y su pr�xima compra de
cereal de K).

Iteraci�n final--las Iteraciones Totales = 38

1: 0.5556 2: 0.4444

Periodo recurrente para Cada Estado

1: 1.80 2: 2.25

Datos

Note aqu� que los datos que pueden necesitarse para deducir las probabilidades de transici�na,
pueden a menudo f�cilmente encontrarse, hoy en d�a . Por ejemplo se colectar tales datos por marca
del consumidor que cambia, inspeccionando a los clientes individualmente. Sin embargo hoy d�a,
muchos supermercados tienen sus propias "tarjetas de lealtad" qu� son registradas a trav�s de
inspecciones al mismo tiempo que un cliente hace sus compras en la caja. �stos proporcionan una
masa de informaci�n detallada sobre el cambio de marca, as� como tambi�n otra informaci�n - por
ejemplo el efecto de campa�as promocionales.

Debe estar claro que las probabilidades de transici�n no necesitan se consideradas como n�meros
fijos - m�s bien ellas son a menudo n�meros que podemos influenciar/cambiar.

Tambi�n note que la disponibilidad de tales datos permite modelos m�s detallados, al ser construidos.
Por ejemplo en el caso del cereal, la competencia fue representado por s�lo un estado. Con datos m�s
detallados ese estado pudiera ser desagregado en varios estados diferentes - quiz� uno para cada
marca competidora del cereal. Tambi�n podr�amos tener modelos diferentes para segmentos
diferentes del mercado - quiz� el cambio de marca es diferente en �reas rurales del cambio de marca
en �reas urbanas, por ejemplo. Las familias con ni�os constituir�an otro segmento importante del
mercado obviamente.

Comentarios
Cualquier problema para el que puede obtenerse un diagrama de transici�n de estado y que usa el
enfoque dado puede analizarse.
Las ventajas y desventajas de usar teor�a de Markov incluyen:

• Teor�a de Markov es simple de aplicar y entender.

• C�lculos de sensibilidad ( contestar las preguntas "qu�-si") se llevan a cabo f�cilmente.
• La teor�a de Markov nos da con el tiempo una visi�n de los cambios en el sistema.
• P puede ser dependiente del estado actual del sistema. Si P es dependiente tanto del tiempo y
del estado actual del sistema i.e., P es una funci�n de t y st, entonces la ecuaci�n de Markov
b�sica se vuelve st=st-1P(t-1,st-1).
• La teor�a de Markov es un modelo simplificado de un proceso de toma de decisi�n complejo.

Aplicaciones
Una aplicaci�n interesante de procesos de Markov que yo conozco es la industria costera noruega del
petroleo/gas. En Noruega un cuerpo estatal, el Consejo de administraci�n de Petr�leo noruego, (junto
con la compa��a de aceite estatal noruega (STATOIL)), tienen un papel grande en la planeaci�n de
los medios para el desarrollo costero del petroleo/gas.

El problema esencial que el Consejo de la administraci�n del Petr�leo noruego tiene, es c�mo planear
la producci�n para aumentar al m�ximo su contribuci�n en el tiempo a la econom�a noruega. Aqu�
los horizontes de tiempo son muy largos, t�picamente 30 a 50 a�os. De importancia cr�tica es el
precio del aceite - todav�a nosotros no podemos prever esto, sensiblemente con exactitud, para esta
horizonte de planeaci�n.

Para superar este problema ellos modelan el precio del aceite como un proceso de Markov con tres
niveles de precio (estados), correspondiendo a escenarios optimista, probable y pesimista. Ellos
tambi�n especifican las probabilidades de hacer una transici�n entre los estados cada periodo de
tiempo (a�o). Pueden usarse matrices de transici�n diferentes para horixzontes de tiempo diferentes (
matrices diferentes para el cercano, medio y futuro lejano).

Aunque �ste simplemente es un enfoque simple, tiene la ventaja de capturar la incertidumbre sobre el
futuro en un modelo que es relativamente f�cil de entender y aplicar.

Estudios sobre el modelado de la poblaci�n (donde nosotros tenemos objetos con "edad") tambi�n son
una aplicaci�n interesante de procesos de Markov.

Un ejemplo de esto ser�a el modelado el mercado del autom�vil como un proceso de Markov para
prever la "necesidad" de nuevos autom�viles cuando los autom�viles viejos puedan ext�nguirse.

Otro ejemplo ser�a modelar el progreso cl�nico de un paciente en hospital como un proceso de Markov
y ver c�mo su progreso es afectado por r�gimenes de droga diferentes.

TAREA: DESCRIBIR UNA APLICAC