PROBLEMAS DE INVESTIGACIÓN OPERATIVA

SEGUNDO CUATRIMESTRE (PLAN 96)

Hoja 1: Cadenas de Markov en tiempo discreto

1. Clasificar los estados de las cadenas de Markov con las siguientes matrices de transición:
 
0 .5 .5
P =  .5 0 .5 
.5 .5 0

 
0 0 .5 .5
 1 0 0 0 
P =
 0

1 0 0 
0 1 0 0

 
.5 .5 0 0 0
 .5 .5 0 0 0 
 
P =
 0 0 .5 .5 0 

 0 0 .5 .5 0 
.25 .25 0 0 .5

2. Considerar la cadena de Markov cuya matriz de probabilidades de transición es:

 
0 0 0 0 0 0 0 0 1
 0 3/4 0 0 1/4 0 0 0 0 
 
 1/4 0 1/2 0 1/4 0 0 0 0 
 
 0 1/4 0 1/4 0 1/4 1/4 0 0 
 
P =  0 1/4 0 0 1/2 0 0 1/4 0  
 0 0 0 0 0 0 0 0 1 
 
 0 1/9 0 1/3 1/9 0 0 1/9 1/3 
 
 0 0 0 0 1/4 0 0 3/4 0 
1/3 0 0 0 0 2/3 0 0 0

(a) Hallar las clases de equivalencia y clasificarlas.

n
(b) Calcular lim P41
n→∞
(c) Suponiendo que se parte del estado 8, indicar la fracción de tiempo (a largo plazo) que
el sistema pasará en la estado 5.
(d) Suponiendo que se parte del estado 1, ¿Cuánto tarda, en promedio, en volver a 1?
(e) Suponiendo que se parte del estado 2, hallar el número esperado de transiciones que el
sistema tarda en abandonar el estado 2. ¿Con qué probabilidad lo hará yendo a caer en
{0,8,5}?

3. Consideramos la cadena de Markov con espacio de estados {1, 2, 3, 4, 5} y matriz de transición

 
0 1/2 1/2 0 0
 0 0 0 1/5 4/5 
 
P =
 0 0 0 2/5 3/5 

 1 0 0 0 0 
1/2 0 0 0 1/2
 (a) ¿Es irreducible? ¿Es aperiódica?
(b) Encontrar la distribución estacionaria.
(c) Supongamos que comenzamos en 1
i. ¿Cuál es el número esperado de transiciones hasta que volvemos a 1?
ii. ¿Cuál es la probabilidad de que entre en 5 antes que en 3?
4. Un jugador tiene 3 Ptas. En cada partida de un juego existe la probabilidad 3/4 de que pierda
1 Pta., pero la probabilidad 1/4 de que gane 2 Ptas. Deja de jugar si ha perdido sus 3 Ptas.
o si ha ganado por lo menos 3.
(a) ¿Cuál es la probabilidad de que haya, por lo menos, 4 partidas en el juego?
5. Tenemos N bolas blancas y N negras. Las repartimos en dos urnas cada una con N . El
sistema está en estado j si la urna 1 contiene j bolas blancas. En cada paso, sacamos una bola
al azar de cada urna y la ponemos en la otra urna. Determinar la matriz de probabilidades de
transición y la distribución lı́mite.
6. Sean Y1 , Y2 , Y3 , . . . variables aleatorias independientes e idénticamente distribuidas, cada una
de ellas con valores posibles (0, 1, 2, 3, 4) con distribución de probabilidades (p0 , p1 , p2 , p3 , p4 )
respectivamente.

Sea X0 = 0 y definamos para n > 0

Xn+1 = (Xn + Yn+1 )(módulo 5)
Se pide:
(a) Definir la Cadena de Markov correspondiente a (Xn ; n ≥ 0), indicando sus propiedades
y estableciendo su matriz de probabilidades de transición P y el vector de probabilidad
inicial del proceso. ¿Qué caracterı́stica especial tiene la matriz P ?
(b) Hallar, si existe, la solución estacionaria para la Cadena de Markov dada.
¿Cómo se puede generalizar la solución en el caso de que haya M estados en la Cadena?
7. Un profesor recibe una páctica cada mañana y la pone en una pila. Por las tardes, con
probabilidad 1/3 corrige todas las prácticas de la pila y las devuelve. Cuando hay cinco
prácticas, las corrige y devuelve seguro. Describir la correspondiente cadena de Markov. ¿Cuál
es el número esperado de prácticas en la pila?
8. Considerar el grafo adjunto. En cada iteración nos desplazamos con igual probabilidad a cada
uno de los vértices adyacentes.

A B

D E

(a) ¿Cuánto tiempo pasamos en A (a largo plazo)?

(b) Si comenzamos en A, ¿cuál es el número esperado de iteraciones hasta retornar a A?
(c) Si comenzamos en C, ¿cuál es el número esperado de pasos hasta llegar a A?