Aplicaciones de las

cadenas de Markov
Ejercicios Aplicativos

CADENA DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de

que ocurra un evento depende del evento inmediato anterior. En efecto, las
cadenas de este tipo tienen memoria, "Recuerdan" el ltimo evento y esto
condiciona las posibilidades de los eventos futuros. Esta dependencia del evento
anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado. En los negocios, las
cadenas de Markov se han utilizado para analizar los patrones de compra, los
deudores morosos, para planear las necesidades de personal y para analizar el
reemplazo de equipo. El anlisis de Markov, llamado as en honor de un
matemtico ruso que desarrollo el mtodo en 1907, permite encontrar la
probabilidad de que un sistema se encuentre en un estado en particular en un
momento dado. Algo ms importante an, es que permite encontrar el promedio
a la larga o las probabilidades de estado estable para cada estado. Con esta
informacin se puede predecir el comportamiento del sistema a travs del
tiempo. La tarea ms difcil es reconocer cundo puede aplicarse. La
caracterstica ms importante que hay que buscar en la memoria de un evento a
otro.
Notacin:
Donde:
1 , 2 , 3
1

OBSERVACIONES:
La probabilidad del estado futuro Xn+1
No depende de los estados anteriores
Solamente depende del estado actual Xn.

Aplicaciones

1. Ejemplo en la industria costera noruega del petrleo/gas. En Noruega un

cuerpo estatal, el Consejo de administracin de Petrleo noruego, (junto
con la compaa de aceite estatal noruega (STATOIL)), tienen un papel
grande en la planeacin de los medios para el desarrollo costero del
petrleo/gas.
El problema esencial que el Consejo de la administracin del Petrleo
noruego tiene, es cmo planear la produccin para aumentar al mximo
su contribucin en el tiempo a la economa noruega. Aqu los horizontes
de tiempo son muy largos, tpicamente 30 a 50 aos. De importancia
crtica es el precio del aceite - todava nosotros no podemos prever esto,
sensiblemente con exactitud, para esta horizonte de planeacin.

Para superar este problema ellos modelan el precio del aceite como un
proceso de Markov con tres niveles de precio (estados), correspondiendo
a escenarios optimista, probable y pesimista. Ellos tambin especifican
las probabilidades de hacer una transicin entre los estados cada periodo
de tiempo (ao). Pueden usarse matrices de transicin diferentes para
horizontes de tiempo diferentes (matrices diferentes para el cercano,
medio y futuro lejano).

2. Estudios sobre el modelado de la poblacin (donde nosotros tenemos

objetos con "edad") tambin son una aplicacin interesante de procesos
de Markov.
 3. Un ejemplo de esto sera el modelado el mercado del automvil como un
proceso de Markov para prever la "necesidad" de nuevos automviles
cuando los automviles viejos puedan extinguirse.
4. Otro ejemplo sera modelar el progreso clnico de un paciente en hospital
como un proceso de Markov y ver cmo su progreso es afectado por
regmenes de droga diferentes.}
5. Meteorologa Por ejemplo, se han desarrollado modelos de recurrencia
de las lluvias basados en cadenas de Mrkov.
6. Internet El pagerank de una pgina web se define a travs de una cadena
de Mrkov, donde la posicin que tendr una pgina en el buscador ser
determinada por su peso en la distribucin estacionaria de la cadena.
7. Simulacin Las cadenas de Mrkov son utilizadas para proveer una
solucin analtica a ciertos problemas de simulacin, por ejemplo
en teora de colases.
8. Juegos de azar Son muchos los juegos de azar que se pueden modelar
a travs de una cadena de Mrkov. El modelo de la ruina del jugador,
(Gamblers ruin), que establece la probabilidad de que una persona que
apuesta en un juego de azar finalmente termine sin dinero, es una de las
aplicaciones de las cadenas de Mrkov en este rubro.
9. Msica Diversos algoritmos de composicin musical usan cadenas de
Mrkov, por ejemplo el software Csound o Max
10. Operaciones Se emplean cadenas de Mrkov en inventarios,
mantenimiento, flujo de proceso
11. Redes Neuronales Se utilizan en las mquinas de Boltzmann (redes
neuronales)

DEFINICIN:
Una matriz de transicin T de un proceso de Markov es regular si todas las
entradas de alguna potencia de T son positivas. Un proceso de Markov es regular
si su matriz de transicin es regular.

TEOREMA 1
TEOREMA 1.2