Unidad I: Cadenas de Markov Clase N 1

Objetivos: 1 y 2

Antes de definir las Cadenas de Markov es necesario puntualizar lo que son los procesos estocsticos y los procesos de Markov

Procesos estocsticos

{Procesos de Markov

{Cadenas de Markov

Un proceso estocstico se define como una coleccin indexada de variables aleatorias {Xt} donde el ndice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y Xt representa una caracterstica de inters mesurable en el tiempo. Por ejemplo, lanzar repetidamente una moneda:

{sello, cara, sello, sello, cara, sello, cara, cara}= {Xt}={X0, X1, X2, X3} Un proceso de Markov es un proceso estocstico si posee la siguiente propiedad markoviana: P{Xt+1=j | X0=k0, X1=k1,Xt=i} = P{Xt+1=j | Xt=i} para t=0,1,2 y toda sucesin i, j, k0, k1, kt-1. i t J t+1

Las probabilidades P{Xt+1=j | Xt=i} se llaman probabilidades de transicin de un paso, porque describen el sistema entre t y t+1. Si para cada i y j P{Xt+1=j | Xt=i}= P{X1=j | X0=i} para toda t=0,1,2entonces se dice que las probabilidades de transicin son estacionarias; es decir no cambian con el tiempo. Pij i 0 j 1 I t Pij j t+1

La existencia de probabilidades de transicin de un paso estacionarias tambin implica que, para cada i, j y n (n=0, 1, 2) P{Xt+n=j | Xt=i}= P{Xn=j | X0=i} para toda t=0,1,2Estas probabilidades condicionales se llaman probabilidades de transicin de n pasos. Pij(n) i 0 Ahora, para n=0 Pij(0) = P{X0=j | X0=i} Pij(0) =1, si i=j Pij(0) =0, si ij j n I t Pij(n) j t+n

Para n=1 Pij(1) = Pij Las probabilidades de transicin de un paso se organizan en una matriz, con M +1 estados. 0 1 . . M 0 P00 P10 . . PM0 1 P01 P11 . . PM1 M P0M P1M . . PMM

P=

La matriz P es una matriz estocstica ya que: Pij0, para toda i e j

Pij = 1 , para toda i

j =0

A una Cadena de Markov la define completamente una matriz de transicin P junto con las probabilidades iniciales (P{X0=i} para i=0, 1, 2,M) asociadas con los estados, organizadas en el vector 0=[ 00, 01, 02,, 0M,]. Usando Cadenas de

Markov se estudia el comportamiento a corto y largo palazo de ciertos procesos estocsticos. Veamos un primer ejemplo: Se pretende estudiar la cantidad de memoria consumida por una estructura de datos que se est utilizando en un programa. Si la cantidad de memoria en uso es de i nodos, decimos que el sistema est en el estado Si. Las probabilidades de que la siguiente operacin sobre la estructura de datos sea una insercin, un borrado o un acceso son respectivamente 0.1, 0.4 y 0.5. Suponemos que solo disponemos de tres nodos y cuando todos estn ocupados, una insercin da lugar a un overflow y deja el sistema en el estado S3. Si est vaco y se intenta un borrado, el sistema sigue en S0. Formule la Cadena de Markov respectiva S0 S1 S2 S3 S0 0.9 0.4 0 0 S1 0.1 0.5 0.4 0 S2 0 0.1 0.5 0.4 S3 0 0 0.1 0.6

P=

Se propone el siguiente vector de probabilidades iniciales: 0=[1, 0, 0, 0]. Y el diagrama de transicin de estados correspondiente es:

S0

S1

S2

S3

A continuacin un segundo ejemplo: Suponga que un jugador tiene 1 Bs. y que gana en una jugada 1 Bs. con probabilidad p>0 o pierde 1Bs. con probabilidad 1- p. El juego termina cuando el jugador acumula 3 Bs. o bien cundo quiebra. Formule la Cadena de Markov respectiva. Primero definiremos los estados como la cantidad de Bs. con que cuenta el jugador (0, 1, 2 o 3) 0 1 2 3 0 1 0 0 0 P= 1 1-p 0 0 p 2 0 1- p 0 p 3 0 0 0 1

El vector de probabilidades iniciales que corresponde segn enunciado es: 0=[0, 1, 0, 0]. El diagrama de transicin asociado sera

Veamos un tercer ejemplo: Un apostador lanza un dado repetidamente hasta que logra un 1 o dos 6 consecutivos. En cada lanzamiento apuesta 2500 Bs. El premio que recibe es de Bs. 10000. Formule la Cadena de Markov respectiva y estime la utilidad esperada del apostador. 1 6 66 2,3,4, o 5 1 1 1/6 0 1/6 6 0 0 0 1/6 66 0 1/6 1 0 2, 3, 4 o 5 0 4/6 0 4/6

P=

El vector de probabilidades iniciales que no permite ventaja de ningn tipo es: 0=[0, 0, 0, 1]. Construya el diagrama de transicin correspondiente. La estimacin de la utilidad se pospone para ms adelante.

Unidad I: Cadenas de Markov Clase N 2

Objetivos: 1, 2 y 3

Ecuaciones de Chapman Kolmogorov Proporcionan un mtodo para el clculo de las probabilidades de transicin de n pasos.

Pij ( n ) = Pik ( m ) Pkj ( n m )

k =0

Para toda i = 0,1, 2,M Para toda j= 0,1, 2,M Para cualquier m=1,2,.n-1 N=m+1, m+2, Las probabilidades de transicin de n pasos se pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva, por ejemplo: P(n)=PP(n-1) P(n)=PPP(n-2) Para el problema de la estructura de datos, las matrices P2 y P16 son las siguientes: S0 S1 S2 S3 S0 S1 S2 S3 S0 0.85 0.56 0.16 0 S0 0.756 0.750 0.737 0.716 S1 0.14 0.33 0.4 0.16 S1 0.188 0.189 0.193 0.199 S2 0.01 0.1 0.33 0.44 S2 0.046 0.049 0.055 0.064 S3 0 0.01 0.11 0.4 S3 0.011 0.013 0.016 0.021

P2=

P16=

Observe que estas matrices de transicin de n pasos tambin son estocsticas. Para calcular las probabilidades absolutas de un estado se utiliza la siguiente expresin: n= 0P(n) Veamos un ejemplo: Calcule la probabilidad de que tengamos 0,1, 2 y 3 nodos en uso despus de tres operaciones si se ha comenzado con la estructura vaca. 3= 0P(3)

3= [1, 0, 0, 0]P(3)= [0.821, 0.159, 0.019, 0.001] Siendo 0.821 la probabilidad de que la estructura de datos se encuentre vaca luego de tres operaciones, si esta inici vaca. Adems, es muy poco probable que la estructura de datos tenga tres nodos en uso luego de tres operaciones y el mismo estado inicial.

Clasifique las cadenas de Markov formuladas en clase.

Unidad I: Cadenas de Markov Clase N 3 y 4

Objetivos: 1, 2 y 3

Operaciones de matrices y vectores en Matlab Recordemos como se introducen matrices en Matlab b= 1 5 b=[1, 6; 5, 2] No es lo mismo c=[1, 2] que c=[1; 2]. Verifquelo! La multiplicacin de matrices en Matlab se expresa con el operador de multiplicacin, por ejemplo: b=[1 2; 4 3; 0 2]; d=[5; 1]; g=b*d El operador para potencia en Matlab es ^. Por ejemplo p^3 1) Calcule los siguientes vectores de probabilidades absolutas, para el problema del apostador (dado). 3 = 10= 100= Que conclusiones puede sacar? 2) Verifique que es necesario elevar la matriz P de la cadena semiergdica (del material Tipos de Cadenas de Markov) a una potencia mayor de 16 para obtener la P*. 3) Eleve la matriz P de la cadena cclica (del material Tipos de Cadenas de Markov) a potencias altas pares e impares a fin de verificar su comportamiento. Corrija el error detectado en clase de una de las matrices. 6 2

Propiedades a largo plazo de las Cadenas de Markov Para todas las clases de cadenas que no tengan clases finales cclicas, podemos escribir la siguiente identidad: P* = Lim P(n) n

Probabilidades estacionarias para Cadenas Regulares Ergdicas Calcularemos las probabilidades estacionarias o de estado estable para la siguiente matriz: P= 0.2 0.6 0.8 0.4

Recordemos la estructura de la matriz de probabilidades de estado estable de una Cadena de Markov Regular Ergdica. P*= 0 0 1 1

Considerando que P*P= P*, construyamos un sistema de ecuaciones: 0 1 1) 0.2 0 + 0.6 1 = 0 2) 0.8 0 + 0.4 1 = 1 3) 0 + 1 = 1 Para resolver necesitamos solo dos ecuaciones, razn por la que es necesario descartar la ecuacin 1 o 2, nunca la 3 para garantizar que la matriz P* sea estocstica. De esta forma tenemos que 0= 3/7 y 1=4/7. 0 1 0.2 0.6 0.8 0.4 = 0 1 0 1

Probabilidades estacionarias (Semiergdicas)

para

Cadenas

Regulares

no

Ergdicas

Calcularemos las probabilidades estacionarias o de estado estable para la siguiente matriz: P= 0.5 0.3 0 0 0.4 0.3 0 0 0.1 0.4 0.2 0.6 0 0 0.8 0.4

Se utiliza otra vez la identidad P*P= P*, para construir el siguiente sistema de ecuaciones: 1) 0.5 0 + 0.3 1 = 0 2) 0.4 0 + 0.3 1 = 1 3) 0.1 0 + 0.4 1 + 0.2 2 + 0.6 3 = 2

4) 0.8 2 + 0.4 3 = 3 5) 0 + 1 + 2 + 3 = 1 Igual que en el caso anterior, es necesario descartar una de las 4 primeras restricciones. Sin embargo, el sistema de ecuaciones se reduce si consideramos que los estados 0 y 1 pertenecen a la clase de paso o transitoria de la cadena, lo que significa que sus probabilidades de estado estable van a ser cero. Siendo 0= 1=0, los valores de 2=0.429 y de 3=0.571.

Probabilidades estacionarias para Cadenas Semirregulares Para construir la matriz P* de una cadena semirregular es necesario seguir los siguientes pasos: 1) Las columnas de P* pertenecientes a estados de paso sern todas cero. 2) Las filas de los estados de una misma clase final sern todas iguales, con los valores de las columnas correspondientes a estados no pertenecientes a la clase final considerada iguales a cero. Cada clase final dar lugar a un formato distinto de fila. 3) Las filas de los estados de las clases de paso sern de la forma siguiente: los valores de las i de las transiciones con destino en estados pertenecientes a clases de paso sern cero y diferentes de cero los j de las transiciones con destino en las clases finales. Cada estado perteneciente a una clase de paso tendr una fila diferente en P*. Veamos el siguiente ejemplo: 0 1 2 3 0 0.5 0 0 0 1 0.4 1 0 0 2 0.1 0 0.2 0.6 3 0 0 0.8 0.4

P=

Al aplicar el paso 1, tenemos: P*= 0 0 0 0

El paso 2 conduce a rellenar las filas de las clases finales de la cadena. El caso ms sencillo cuando la clase final esta compuesta por un solo estado, como es el caso de la clase que conforma el estado 1. Para completar las filas de la clase compuesta por los estados 2 y 3 resolvemos el siguiente sistema de ecuaciones: 1) 0.2 2 + 0.6 3 = 2 2) 0.8 2 + 0.4 3 = 3 3) 2 + 3 = 1

Donde 2=0.429 y 3=0.571 P*= 0 0 0 0 1 0 0 0 0 0.429 0.571 0.429 0.571

Por ltimo el paso 3, donde necesitaremos hacer uso de la siguiente doble igualdad matricial, PP*=P*P=P*, para extraer un sistema de ecuaciones y as hallar los valores de las variables a, b y c P*= 0 0 0 0 a 1 0 0 b 0 0.429 0.429 c 0 0.571 0.571

1) 0.5a=0.4 2) 0.5b=0.0429 3) a+b+c=1 Finalmente, la matriz P* P*= 0 0 0 0 0.8 1 0 0 0.086 0 0.429 0.429 0.114 0 0.571 0.571

Ecuaciones Lineales en Matlab Consideremos un conjunto de m ecuaciones con n incgnitas dado por: a1,1x1 + a1,2x2 + a1,3x3 + a1,nxn= y1 a2,1x1 + a2,2x2 + a2,3x3 + a2,nxn= y2 . . . am,1x1 + am,2x2 + am,3x3 + am,nxn= ym donde aij son coeficientes conocidos, xi son incgnitas y yi son trminos conocidos que se denominan trminos no homogneos (o trminos fuente). Las ecuaciones lineales anteriores se pueden expresar de forma compacta como: Ax=y Donde A, x y y estn definidos, respectivamente, por

A=

a1,1 . . am,1 x=

x1 . . xn y1 . . yn

a1,n . . am,n

y=

Se presentan tres casos: Caso 1: cuando m=n Caso 2: cuando m<n (ecuacin subdeterminada) Caso 3: cuando m>n (ecuacin sobredeterminada) El caso 1 es el ms comn, con el nmero de ecuaciones igual al nmero de incgnitas. En el caso 2, el nmero de ecuaciones es menor que el de incgnitas y tenemos lo que se conoce como problema subtederminado. En el caso 3, el nmero de ecuaciones es mayor que el nmero de incgnitas y tenemos un problema sobredeterminado. En el caso 1, la matriz es cuadrada. Para obtener la solucin en Matlab, escribimos: x=A\y (operador divisin izquierda) Un mecanismo equivalente es: x=inv(A)*y Sin embargo, el primer mtodo es ms eficiente desde el punto de vista computacional. Veamos el siguiente ejemplo: A= 3 1 Entonces, x=A\y produce: x= 0.2000 -0.8000 2 -1 , y= -1 1

Resuelva los sistemas de ecuaciones formulados en esta misma clase, usando Matlab Ahora que tenemos los conocimientos necesarios, estudiemos el comportamiento de un sistema a largo plazo, consideremos adicionalmente un conjunto de costos: CORPOELEC planea continuar su trabajo en la represa con el propsito de irrigar algunas zonas agrcolas, la capacidad mxima propuesta es 4 unidades de agua. Antes de proceder a la construccin CORPOELEC desea tener una idea de la efectividad a la larga. El flujo semanal que llega a la represa se puede aproximar con la siguiente distribucin de probabilidad discreta: Flujo semanal Probabilidad 2 0.3 3 0.4 4 0.2 5 0.1

CORPOELEC considera aceptar un contrato de riego de 2 unidades semanales de agua, adems para mantener la calidad del agua se debe liberar del fondo de la represa al menos una unidad de agua semanal. Si el nivel de la represa ms el agua que entra es menor que esa cantidad cualquier diferencia se resuelve a expensas del riego, si la represa est llena cualquier ingreso adicional se debe liberar. El nivel de la represa no se puede reducir ms all de una unidad de agua. Estamos interesados en encontrar el beneficio neto que se obtendra al operar la represa. El ingreso semanal por dos unidades de agua para riego es 5000 unidades monetarias y perderamos 3000 si no alcanzamos esa meta. La represa estara disponible para propsitos recreacionales con los siguientes ingresos: Nivel del agua al 1 comienzo de la semana Beneficio recreacional 0 (unidades monetarias) 2 1000 3 6000 4 2000

Si el exceso de agua que se bota es de dos o ms unidades se incurre en un riesgo de inundacin con daos esperados de 5000 unidades monetarias.