CADENAS DE MARKOV

Conceptos Basicos

 Proceso estocástico: Proceso que evoluciona a través del tiempo de manera

probabilística.
 Ejemplos:
 Sistemas de colas: son procesos estocásticos ya que el numero de clientes
que hay en el sistema evoluciona a través del tiempo de una manera
probabilística, con base en la incertidumbre de cuando ocurrirán las llegadas y
que tanto tiempo llevara prestar el servicio.
 Sistemas de inventarios: Procesos estocásticos, por que el numero de
artículos en inventarios evoluciona atreves del tiempo de manera probabilística,
con base en la incertidumbre de la demanda futura.
Las cadenas de Márkov:

 Tienen la propiedad especial de que las probabilidades que involucran la

manera en que el proceso evolucionara en futuro dependen solo del estado
actual del proceso, por lo que son eventos independientes del pasado. Esta
ausencia de memoria se conoce como propiedad markoviana.
 Ejemplo : proceso de nacimiento y muerte.
 Las cadenas de Márkov.

Definición: Una cadena de Markov es una serie de eventos, en la cual la probabilidad de

que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de
este tipo tienen memoria, "Recuerdan" el último evento y esto condiciona las posibilidades
de los eventos futuros.
Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de
eventos independientes, como tirar una moneda al aire o un dado. En los negocios, las
cadenas de Markov se han utilizado para analizar los patrones de compra, los deudores
morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.
Las cadenas de markov

 El análisis de Markov, llamado así en honor de un matemático ruso que

desarrollo el método en 1907, permite encontrar la probabilidad de que un
sistema se encuentre en un estado en particular en un momento dado. Algo
más importante aún, es que permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado. Con esta información se
puede predecir el comportamiento del sistema a través del tiempo. La tarea
más difícil es reconocer cuándo puede aplicarse. La característica más
importante que hay que buscar en la memoria de un evento a otro.
 Una cadena de markov es :

 Un proceso estocástico.
 Con un numero finito de estados (m)
 Con probabilidades de estados(M)
 Con probabilidades de transición estacionarios
 Que tienen probabilidad markoviana
 ELEMENTOS DE UNA CADENA DE MARKOV

•Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo:

estados de la enfermedad)

•Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar las
transiciones entre estados (ejemplo, un mes)

Probabilidades de transición entre estados, en un ciclo (matriz P)

Distribución inicial del sistema entre los M estados posibles

 PROPIEDAD MARKOVIANA
Ejemplos:
Comportamiento (sube/baja) del precio de las acciones hoy depende
de lo ocurrido ayer

Problema de la ruina de un jugador de casino

Elección de marca: Con qué línea aérea volar a Madrid?