OPERATIVA PROBLEMAS DE INVESTIGACION SEGUNDO CUATRIMESTRE (PLAN 96) Hoja 1: Cadenas de Markov en tiempo discreto

1. Clasicar los estados de las cadenas de Markov 0 P = .5 .5 0 1 P = 0 0 P =

con las siguientes matrices de transici on: .5 .5 0 .5 .5 0

0 .5 .5 0 0 0 1 0 0 1 0 0 de transici on es: 0 1 0 0 0 0 0 0 1/4 0 0 1 1/9 1/3 3/4 0 0 0

.5 .5 0 0 0 .5 .5 0 0 0 0 0 .5 .5 0 0 0 .5 .5 0 .25 .25 0 0 .5

2. Considerar la cadena de Markov cuya matriz de probabilidades 0 0 0 0 0 0 0 0 3/4 0 0 1 / 4 0 0 1/4 0 1/2 0 1/4 0 0 0 1/4 0 1/4 0 1/4 1/4 0 1/2 0 0 P = 0 1/4 0 0 0 0 0 0 0 0 0 1/9 0 1/3 1/9 0 0 0 0 0 0 1/4 0 0 1/3 0 0 0 0 2/3 0 (a) Hallar las clases de equivalencia y clasicarlas.

n (b) Calcular lim P41 n (c) Suponiendo que se parte del estado 8, indicar la fracci on de tiempo (a largo plazo) que el sistema pasar a en la estado 5.

(d) Suponiendo que se parte del estado 1, Cu anto tarda, en promedio, en volver a 1? (e) Suponiendo que se parte del estado 2, hallar el n umero esperado de transiciones que el sistema tarda en abandonar el estado 2. Con qu e probabilidad lo har a yendo a caer en {0,8,5}? 3. Consideramos la cadena de Markov con espacio de estados {1, 2, 3, 4, 5} y matriz de transici on P = 0 1/2 1/2 0 0 0 0 0 1/5 4/5 0 0 0 2/5 3/5 1 0 0 0 0 1/2 0 0 0 1/2

(a) Es irreducible? Es aperi odica? (b) Encontrar la distribuci on estacionaria. (c) Supongamos que comenzamos en 1 i. Cu al es el n umero esperado de transiciones hasta que volvemos a 1? ii. Cu al es la probabilidad de que entre en 5 antes que en 3? 4. Un jugador tiene 3 Ptas. En cada partida de un juego existe la probabilidad 3/4 de que pierda 1 Pta., pero la probabilidad 1/4 de que gane 2 Ptas. Deja de jugar si ha perdido sus 3 Ptas. o si ha ganado por lo menos 3. (a) Cu al es la probabilidad de que haya, por lo menos, 4 partidas en el juego? 5. Tenemos N bolas blancas y N negras. Las repartimos en dos urnas cada una con N . El sistema est a en estado j si la urna 1 contiene j bolas blancas. En cada paso, sacamos una bola al azar de cada urna y la ponemos en la otra urna. Determinar la matriz de probabilidades de transici on y la distribuci on l mite. 6. Sean Y1 , Y2 , Y3 , . . . variables aleatorias independientes e id enticamente distribuidas, cada una de ellas con valores posibles (0, 1, 2, 3, 4) con distribuci on de probabilidades (p0 , p1 , p2 , p3 , p4 ) respectivamente. Sea X0 = 0 y denamos para n > 0 odulo 5) Xn+1 = (Xn + Yn+1 )(m Se pide: (a) Denir la Cadena de Markov correspondiente a (Xn ; n 0), indicando sus propiedades y estableciendo su matriz de probabilidades de transici on P y el vector de probabilidad inicial del proceso. Qu e caracter stica especial tiene la matriz P ? (b) Hallar, si existe, la soluci on estacionaria para la Cadena de Markov dada. C omo se puede generalizar la soluci on en el caso de que haya M estados en la Cadena? 7. Un profesor recibe una p actica cada ma nana y la pone en una pila. Por las tardes, con probabilidad 1/3 corrige todas las pr acticas de la pila y las devuelve. Cuando hay cinco pr acticas, las corrige y devuelve seguro. Describir la correspondiente cadena de Markov. Cu al es el n umero esperado de pr acticas en la pila? 8. Considerar el grafo adjunto. En cada iteraci on nos desplazamos con igual probabilidad a cada uno de los v ertices adyacentes.

(a) Cu anto tiempo pasamos en A (a largo plazo)? (b) Si comenzamos en A, cu al es el n umero esperado de iteraciones hasta retornar a A? (c) Si comenzamos en C, cu al es el n umero esperado de pasos hasta llegar a A?