Cadenas de Markov 1. Introduccin a los procesos estocsticos Un proceso estocstico es una coleccin indexada de variables aleatorias ( ).

Habitualmente el subndice t, que es el parmetro, representa el tiempo al cual hace referencia la variable aleatoria. Ej: puede representar el tamao de la cola en un banco en la hora 1, 2, 3 y 4 respectivamente. En este caso cada tamao de la cola tiene una distribucin de probabilidad asociada por lo que cada tamao de cola es una variable aleatoria.En cada instante t, la variable aleatoria alcanzar algn estado dentro del conjunto de posibles estados que son susceptibles de alcanzar. En este caso cada estado ser excluyente de otro. Supongamos el caso de un problema de inventarios. Una empresa minera compra como insumo cables para las gras. Una unidad de la empresa tiene una demanda por cable que denotaremos , .., donde el subndice indica el da en que se produce la demanda. Cada una de estas demandas es una variable aleatoria independiente que tiene alguna distribucin de probabilidad conocida. Definiremos a como la cantidad de cables al final del da indicado por el subndice. Supongamos que =4, lo que indica que la unidad empieza la operacin con 4 cables. La unidad ha definido que para una operacin ptima, requiere de una poltica de abastecimiento diario que est dado por una orden de cable cuando es stock se ha acabado. La orden est definida en 4 unidades, las que estn disponibles al comienzo del da en que se pone la orden. Se puede modelar esta situacin a travs de la variable aleatoria . Los posibles estados en que se puede encontrar el inventario de cables para la unidad son 0, 1, 2, 3 y 4. La siguiente expresin modela la variable aleatoria:


 

 

Los procesos estocsticos se pueden clasificar segn el dominio y segn las caractersticas de la ley de probabilidades que rige el proceso. Segn el dominio a) b) c) d) Procesos estocsticos en tiempo y espacio continuos. Procesos estocsticos en tiempo continuo y espacio discreto. Procesos estocsticos en tiempo y espacio discretos. Procesos estocsticos en tiempo discreto y espacio continuo.

Segn las caractersticas de la ley de probabilidades que rige el proceso a) Procesos estacionarios: En estos procesos la distribucin de probabilidades permanece constante. b) Procesos evolutivos: Son procesos evolutivos aquellos que no son estacionarios. Profesor: PhD (c) Jorge Rosales Salas Page 1

2. Cadenas de Markov Un proceso estocstico (

 

) tiene la propiedad markoviana si:

=



Esto indica que un proceso estocstico tiene una propiedad markoviana si y slo si la probabilidad condicional de cualquier evento futuro dado cualquier evento pasado y el estado actual , es independiente de los eventos pasados y slo depende del estado actual i. Se tiene que
 

se denomina propiedad de transicin (de un paso).

Un proceso estocstico que cumple con la propiedad markoviana se le llama Cadena de Markov. Si se cumple que:
 

 



Entonces este tipo de probabilidad de transicin es estacionaria. Esto quiere decir que las probabilidades de pasar de un estado a otro en un paso no cambian con el tiempo. Una cadena de Markov con probabilidades de transicin estacionarias se denomina Cadena de Markov Homognea. La propiedad de probabilidad de transicin estacionaria implica tambin que:
 

  



Este tipo de probabilidad condicional se denota estacionaria de pasar del estado i al j en n pasos.

que es la probabilidad de transicin

Ese tipo de probabilidad deben ser en primer lugar no negativas y adems se tiene que el proceso debe hacer una transicin a algn estado por lo que se deben cumplir las siguientes propiedades.






Profesor: PhD (c) Jorge Rosales Salas

Page 2

Matriz de transicin La matriz de transicin es una matriz que contiene toda la informacin de probabilidades de transicin entre estados para un proceso estocstico markoviano homogneo. Es general para un proceso de M estados se tiene que la matriz de transicin de n pasos est definida por:

Cuando el paso es 1, ste se puede omitir, es decir que la matriz Q es una matriz de transicin de un paso. Ejemplo: Una encuesta permite separar a la poblacin en optimistas y pesimistas. La encuesta no da otra alternativa. La encuesta se ha realizado durante 10 aos todos los aos. De acuerdo a un estudio estadstico del comportamiento de la poblacin, se tiene que la probabilidad de que una persona que es optimista se transforme en pesimista al ao siguiente es 0,92. Adems se calcula que la probabilidad de que una persona que es pesimista se torne pesimista al cabo de un ao es 0,03. Determine las probabilidades de un paso para la cadena de Markov asociada al problema y la matriz de transicin de un paso. De qu tipo de cadena de Markov se trata? Solucin: Podemos definir 2 estados: 1. Optimista 2. Pesimista Del enunciado tenemos:

Pero adems sabemos que:

  

Profesor: PhD (c) Jorge Rosales Salas

Page 3

Se puede apreciar que las probabilidades de transicin son estacionarias por lo que se trata de una Cadena de Markov Homognea. Interpretacin a travs de grafos Una Cadena de Markov con probabilidades de transicin estacionarias se puede visualizar a travs de un grafo donde los nodos representan los distintos estados del sistema y los arcos entre nodos sealan la existencia de una probabilidad no nula de evolucionar en un periodo de un estado a otro. Consideraremos una Cadena de Markov Homognea de 6 estados tal que la matriz de transicin de 1 paso es:

Q (1)

0, 4 0, 6 0 0 0,5 0,5 ! 0 0 0 0 0 0

0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 1

Suponiendo que los estados asociados son A, B, C, D, E y F, el grafo que representa esta matriz es:

En el grafo se puede ver por ejemplo que F est aislado y que D con E forman un grupo aislado.

Profesor: PhD (c) Jorge Rosales Salas

Page 4

Ley de probabilidad del estado del sistema La evolucin de un sistema posible de modelar a travs de una Cadena de Markov Homognea est completamente determinada por dos conceptos: 1. La probabilidad inicial de los estados. 2. La matriz de transicin de un paso. Es decir que la evolucin de un proceso estocstico markoviano slo depende de la informacin contenida por el conjunto:

Tenemos que decir:

es un vector que contiene probabilidades de estado inicial del sistema, es

Donde 1,2, ,M son los posibles estados del sistema y incondicional de estar en el estado i en el instante 0. Conociendo periodo cualquiera.

representa la probabilidad absoluta o

podemos calcular la probabilidad de estar en cualquier estado en un

Si quisiramos conocer la distribucin de la variable aleatoria tiene informacin para determinarla. En general denotaremos n.

en un periodo determinado n, se

como la probabilidad absoluta de estar en el estado i en el periodo

Tenemos entonces que el vector Se puede probar que:

describir la distribucin de probabilidad de



As queda demostrado que la evolucin del sistema en cualquier paso est absolutamente determinada por .

Profesor: PhD (c) Jorge Rosales Salas

Page 5

Ecuaciones de Chapman-Kolmogorov Hasta el momento hemos hablado de la evolucin de un sistema en un paso. Podra ser interesante estudiar la evolucin de un sistema markoviano homogneo en ms de un paso. Supongamos que un sistema se encuentra en un estado i y deseamos saber la probabilidad de que se encuentre en el estado j en n pasos. A esta probabilidad se le ha denotado .

Las ecuaciones de Chapman-Kolmogorov permiten calcular la probabilidad de transicin de n pasos. Un caso particular: Supongamos tres estados 0, 1 y 2. Nos interesa saber , es decir, la probabilidad de ir del

estado 0 al 2 en dos pasos. Supongamos que conocemos la probabilidad de un paso. La probabilidad buscada va a ser igual a la probabilidad que el sistema pase de 0 a 0 para luego pasar de 0 a 2 ms la probabilidad de que pase de 0 a 1 y luego de 1 a 2 ms la probabilidad que pase de 0 a 2 y luego se quede ah, es decir:

Se tiene:

En general se tiene:
        

Se puede notar que estos elementos se obtienen multiplicando la matriz de transicin de un paso por si misma, esto es:

En trminos generales, se puede demostrar que la matriz de transicin de n pasos se obtiene como:

n veces Combinando esta matriz de n pasos con el vector de probabilidad inicial probabilidad absoluta de un estado en cualquier periodo. Profesor: PhD (c) Jorge Rosales Salas se puede conocer la

Page 6

Clasificacin de estados Los estados de un proceso estocstico markoviano, se pueden clasificar de acuerdo a sus probabilidades de evolucin en algunas categoras. Se define: como la probabilidad que el sistema entre al estado j por primera vez en el periodo n si parte del estado i. A partir de se puede calcular la probabilidad de que el sistema evolucione alguna vez al estado j si actualmente se encuentra en i. A esta probabilidad se le denomina .

Accesibilidad Un estado j es accesible desde un estado i si existe un entero n evolucionar de i a j en n periodos es no nula, es decir, En este caso se denotar: Ei Ej. Esta propiedad es: Refleja, es decir Ek Ek. Transitiva, es decir que si Ek El y El Em entonces Ek Em. Comunicacin Dos estados i y j estn comunicados si el estado j es accesible desde el estado i y estado i es accesible desde el estado j. En este caso se denotar: Ei Ej. . tal que la probabilidad de

Esta propiedad es refleja y transitiva. Clases A partir de la definicin de comunicacin, se puede definir el concepto de clase. El conjunto de estados se puede agrupar en subconjuntos denominados clases que notaremos por C1, C2, , Cs. Una clase estar formada por todos los estados que se comunican entre s. En todo proceso markoviano existe al menos una clase. Si existe una sola clase en una Cadena de Markov, se dice que sta es irreductible.

Profesor: PhD (c) Jorge Rosales Salas

Page 7

Accesibilidad entre clases La clase Cj es accesible desde la clase Ci si existe un estado k en j que es accesible desde algn estado m en i. Esta relacin es refleja, antiimtrica y transitiva. Las propiedades refleja y transitiva son anlogas al caso de la clasificacin de estados. La propiedad antisimtrica indica que dos clases no pueden ser mutuamente accesibles ya que en ese caso seran una nica clase. No puede haber comunicacin entre clases, slo accesibilidad. Estado transiente Un estado i se dice un estado transiente si y solo si algn momento al mismo estado no es segura. Clase transiente Una clase i se dice transiente si existe al menos otra clase accesible desde i. Esto es, una clase i es transiente si es posible salir de ella en trminos de la evolucin del sistema. Los estados de una clase transiente se dicen estados transientes. Estado recurrente Un estado i se dice un estado recurrente si y solo si algn momento al mismo estado es segura. . Es decir que la posibilidad de volver en . Es decir que la posibilidad de volver en

Un caso especial de estado recurrente es el estado absorbente. Un estado i es absorbente si . Se define a como el tiempo esperado de primera pasada por el estado j empezando en el estado i, es decir:

Clase recurrente Una clase i se dice recurrente si no existe otra clase accesible desde i. Esto es, una clase i es recurrente si no es posible salir de ella una vez dentro de ella. Los estados de una clase recurrente se dicen estados recurrentes. En todo proceso markoviano habr siempre al menos una clase recurrente.

Profesor: PhD (c) Jorge Rosales Salas

Page 8

Periodicidad Un estado es peridico con periodo t, si un regreso a ese mismo estado es posible slo en t, 2t, 3t, pasos. Esto significa que cuando n no es divisible por t.

Si existen dos nmeros consecutivos s y s+1 tales que el proceso se puede encontrar en el estado i en los tiempos s y s+1, se dice que el estado tiene periodo 1 y se llama estado aperidico. La periodicidad es una propiedad de clase, es decir que si en una clase, un estado i tiene periodo t, todos los estados de esa clase tienen periodo t y se dice que la clase es de periodo t. Ergodicidad Una clase aperidica, recurrente e irreductible se denomina clase ergdica.

Propiedades de largo plazo de las cadenas de Markov Consideremos la siguiente matriz de Markov:

Calculemos

Se puede apreciar que en la medida que vamos a un periodo ms lejos la probabilidad de llegar a un estado se va haciendo independiente del estado de partida, es decir:
( lim qijn ) ! lim T j ( n) ! T j (probabilidad absoluta) n pg n pg

Esta parece ser una propiedad de largo plazo de las Cadenas de Markov, pero es necesario formalizar.
( En una Cadena de Markov irreductible ergdica el lim qijn ) existe y es independiente de i. n pg

Profesor: PhD (c) Jorge Rosales Salas

Page 9

( lim qijn ) ! T j " 0 n pg

Se tiene que las

satisfacen las siguientes ecuaciones de estado estable:



Las

se llaman probabilidades de estado estable de la Cadena de Markov y son iguales al inverso



del tiempo esperado de recurrencia, es decir,

Veamos que pasa en una cadena que no es ergdica. Ejemplo:

Se puede ver que si se parte en el estado 1 en el periodo 0, se estar en este estado en los periodos 2,4,6 , mientras que en el estado 2 en los periodos 1,3,5 Esto indica que la cadena tiene periodo 2 por lo que no es aperidica y por lo tanto no es ergdica. Estudiemos la evolucin del sistema en el largo plazo. Supongamos:

Se puede ver que el lmite cuando n

no existe, de hecho:

lim T (2 n) ! (1, 0)
n pg n pg

lim T (2 n  1) ! (0,1)

Profesor: PhD (c) Jorge Rosales Salas

Page 10

Podemos ver un caso donde en una Cadena de Markov no ergdica no se puede hablar de probabilidades de estado estable, es decir, que la probabilidad de llegar a un estado luego de un nmero grande de transiciones no converge a un valor. No son aplicables las ecuaciones de estado estable. Ejemplo: Utilice las ecuaciones de estado estable para resolver el siguiente problema. Se tiene la siguiente Matriz de Markov:

Determine las probabilidades de estado estable. Se pueden aplicar las ecuaciones de estado estable ya que la matriz es ergdica (recurrente, aperidica y de clase irreductible).

T 1 ! T 1  q11  T 2  q21  T 3  q31 ! T  q T  q T  q T 2 1 12 2 22 3 32 T 3 ! T 1  q13  T 2  q23  T 3  q33 T1  T 2  T 3 ! 1

Es un sistema con 3 variables y 4 ecuaciones por lo que podemos eliminar alguna restriccin pero no puede ser la cuarta porque contiene informacin no replicada en alguna otra ecuacin. Al resolver se tiene:

T 1 ! 0, 2825 T 2 ! 0, 4049 T 3 ! 0,3126

Profesor: PhD (c) Jorge Rosales Salas

T 1 ! T 1  0,15 T 2  0, 4 T 3  0, 25 T 2 ! T 1  0, 45 T 2  0,3 T 3  0,5 T 3 ! T 1  0, 4 T 2  0,3 T 3  0, 25 T1 T 2 T 3 ! 1

Page 11