Está en la página 1de 25

CADENAS DE MARKOV

JANUARIO HAMEL HERNNDEZ CASSAB jhcassab@gmail.com

Proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente). Estas cadenas reciben su nombre del matemtico ruso Andrei Andreevitch Markov (1856-1922) que desarrollo el mtodo en 1907.

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior.

Las cadenas de este tipo tienen memoria, "Recuerdan" el ltimo evento y esto condiciona las posibilidades de los eventos futuros.

Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de determinados tipos de procesos estocsticos, esto es, procesos que evolucionan de forma no determinista a lo largo del tiempo en torno a un conjunto de estados.

Una cadenas de Markov representa un sistema que varia su estado a lo largo del tiempo, siendo cada cambio una transicin del sistema. Dichos cambios no estn predeterminados, aunque si lo esta la probabilidad del prximo estado en funcin de los estados anteriores, probabilidad que es constante a lo largo del tiempo.

Eventualmente, en una transicin, el nuevo estado puede ser el mismo que el anterior y es posible de que exista la posibilidad de influir en las probabilidades de transicin actuando adecuadamente sobre el sistema.

El anlisis de Markov, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo ms importante an, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta informacin se puede predecir el comportamiento del sistema a travs del tiempo. Una cadena de Markov se utiliza para estudiar el comportamiento a corto y largo plazo de ciertos sistemas estocsticos. En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros.

Elementos de la cadena de markov

Un conjunto de estados del sistema. La definicion de transicin. Una ley de probabilidad condicional, que defina la probabilidad del nuevo estado en funcin de los anteriores.

Los estados son una caracterizacin de la situacin en que se encuentra el sistema en un instante dado, dicha caracterizacin puede ser tanto cuantitativa como cualitativa. Desde un punto de vista prctico probablemente, a la mejor definicin de qu debe entenderse por estado es la respuesta que se dara a la pregunta Cmo estn las cosas?.

El estado de un sistema en un instante t es una variable cuyos valores slo pueden pertenecer al conjunto de estados del sistema. El sistema modelizado por la cadena, por lo tanto, es una variable que cambia de valor con el tiempo, cambio al que llamamos transicin.

Formulacin
Una cadena de Mrkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribucin de probabilidad condicional de Xn+1 en estados pasados es una funcin de Xn por s sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la Propiedad de Mrkov.

FORMATO DE LA MATRIZ DE TRANCISIONES

Como realizar el diagrama de transicin


A

El clima de Lorca puede cambiar con rapidez de un da a otros. Sin embrago, las posibilidades de tener clima seco (sin lluvia) maana es 0,8 si hoy esta seco, es decir, no llueve y de 0,6 si ocurre lo contrario. La evolucin del clima da tras da en Lorca es un proceso estocstico. Si se comienza en un da inicial (etiquetado como el da 0), el clima se observa cada da t puede ser: Estado 0 = El da es seco O bien Estado 1= El da t es lluvioso As, la variable aleatoria Xt, Toma los valores, 0 s da t es seco Xt 1 s da t es lluvioso

P X(t+1) / Xt
P(s) = 0,8 si hoy es seco P(h) = 0,2 si hoy es seco P(s) = 0,6 si hoy es hmedo P(h) = 0,4 si hoy es hmedo Clima siguiente Xt+1 0
Clima hoy Xt

Matriz de Transicin
0 1

0,8 0,6

0,2 0,4

Diagrama de Transicin

P X(t+1) / Xt
Probabilidades de Estado Estable del Sistema

o = Probabilidad de que el clima sea seco, despus de


pasar mucho tiempo, sin importar el da inicial

1 = Probabilidad de que el clima sea hmedo, despus


de pasar mucho tiempo, sin importar el da inicial

0 = P00 0 + P10 1 1 = P01 0 + P11 1 1= 0 + 1

0 = 0,8 0 + 0,6 1 1 = 0,2 0 + 0,4 1 1= 0 + 1

0 = 1 - 1

1 = 25%

o = 75%

Se puede entender que 3 fabricantes de automviles tienen los siguientes datos con respecto a las compras de los clientes:
Compra
Ford Chevrolet Plymouth

Ford actual n=0 Chevrolet Plymouth

40 20 25

30 50 25

30 30 50

Compra actual n = 0 F C P

Compra Ford

Compra Chevrolet

Compra Plymouth

0,4 0,2 0,25

0,3 0,5 0,25

0,3 0,3 0,5

Formulacin de un proceso como una cadena de Markov


Ratn 1: Tenemos un ratn encerrado en una casa olvidada con diversas habitaciones, entrada, sala, cocina y cuarto.

Formulacin de un proceso como una cadena de Markov


Ratn 1: Tenemos un ratn encerrado en una casa olvidada con diversas habitaciones, entrada, sala, cocina y cuarto.

La matriz de transicin quedara de la siguiente manera: E S C H

E
S C H

0
1/3 1/3 0

1/2
0 1/3 1/2

1/2
1/3 0 1/2

0
1/3 1/3 0

Para calcular la probabilidad de que se encuentre en cualquier lugar en n=2 se debe elevar al cuadrado
E S C H

E
S C H

0
1/3 1/3 0

1/2
0 1/3 1/2

1/2
1/3 0 1/2

0
1/3 1/3 0

Quedara de la siguiente manera:

E E S C H 1/3 1/9 1/9 1/3

S 1/6 4/9 1/3 1/6

C 1/6 1/3 4/9 1/6

H 1/3 1/9 1/9 1/3

Probabilidad estado estable


E Forma de ingresar los datos a la formula 0
0.333 0.333 0

S 0.5
0 0.333 0.5

C 0.5
0.333 0 0.5

H 0
0.333 0.333 0

Estados Absorbentes
Una escuela financiada por el estado que ofrece grados intermedios en un curso de 2 aos. Los administradores de dicha escuela estn interesados en saber cuantos estudiantes se gradan cada ao, cuantos continan en la escuela y cuantos se retiran. Esta informacin es til para planear las necesidades futuras del profesor y para obtener fondos del estado. Dado que a escuela tiene una duracin de 2 aos, los estudiantes que terminan su primer ao pueden continuar en la escuela o retirarse. Si los estudiantes continan en la escuela, pueden asistir a cursos de segundo ao o repetir cursos del primero. Los estuantes que terminan el 2do ao escolar se gradan con un grado intermedio. Con base en datos anteriores el jefe de la oficina de inscripciones de la escuela a determinado la proporcin de estudiantes que cae en cada categora, dependiendo de la condicin en la que se encontraba el ao anterior, esta informacin se encuentra en la siguiente matriz de transicin.

Estados Absorbentes
Una escuela financiada por el estado que ofrece grados intermedios en un curso de 2 aos. Los administradores de dicha escuela estn interesados en saber cuantos estudiantes se gradan cada ao, cuantos continan en la escuela y cuantos se retiran. Esta informacin es til para planear las necesidades futuras del profesor y para obtener fondos del estado. Dado que a escuela tiene una duracin de 2 aos, los estudiantes que terminan su primer ao pueden continuar en la escuela o retirarse. Si los estudiantes continan en la escuela, pueden asistir a cursos de segundo ao o repetir cursos del primero. Los estuantes que terminan el 2do ao escolar se gradan con un grado intermedio. Con base en datos anteriores el jefe de la oficina de inscripciones de la escuela a determinado la proporcin de estudiantes que cae en cada categora, dependiendo de la condicin en la que se encontraba el ao anterior, esta informacin se encuentra en la siguiente matriz de transicin.

1) Porcentaje de estudiantes que se encuentra en 1er ao y en algn momento se gradan. 2) Porcentaje de estudiantes que se encuentra en 1er ao y se retiran a otra escuela. 3) Porcentaje de estudiantes que se encuentra en 2do ao y en algn momento se gradan. 4) Porcentaje de estudiantes que se encuentra en 2do ao y se retiran.
Ao
1 2 GRADUAN ABANDONAN 1 0,15 0,2 0 0 2 0,7 0,15 0 0 GRADUAN 0 0,3 1 0 RETIRAN 0,15 0,35 0 1

Ao

Ao 1 2 GRADUAN ABANDONAN 1 0,15 0,2 0 0 2 0,7 0,15 0 0 GRADUAN 0 0,3 1 0 RETIRAN 0,15 0,35 0 1

Ao

0 = 0,15 0 + 0,2 1 + 0 1 = 0,7 0 + 0,15 1 + 0 2 = 0 0 + 0,3 1 + 1 3 = 0,15 0 + 0,35 1 + 0 1= 0 + 1 +

2 + 0 2 + 0 2 + 0 2 + 1 2 +

3 3 3 3 3