Modelos de simulación

Unidad Nº1. Cadenas de Markov

Problemas propuestos.

1. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2), vector de probabilidades iníciales =
q(0)=(1/4, 1/2, 1/4) y matriz de transición P dada por:

1/4 3/ 0
4
P= 1/3 1/ 1/3
3
0 1/ 3/4
4

a) Calcule p(0, 1, 1) = P(X0 = 0∩ X1 = 1∩ X2 = 1)

b) Demuestre que P(X1 = 1∩ X2 = 1| X0 = 0) = p01 p11
c) Calcule
d) Calcule
e) Demuestre que la cadena es Irreducible.
f) Encuentre el valor de las probabilidades estacionarias (o estables).

2. Dos jugadores A y B juegan de la siguiente manera: Si A gana un juego recibe $2 y si pierde paga $1.
La probabilidad de que A gane un juego es 1/3 y que pierda es 2/3. El dinero total disponible es $N. Si el
capital de cualquiera de los dos jugadores cae por debajo del punto donde pueda pagar exactamente si
pierde el próximo juego, entonces el juego termina. Sea {X n} el capital del jugador A después de n
jugadas.

a) Encuentre la matriz de transición para esta cadena de Markov.

b) Suponga que ambos jugadores acuerdan que si el capital de uno de ellos llega a ser $1, realizarán la
próxima jugada de $1 con igual probabilidad de ganar o perder. Encuentre la matriz de transición para
este caso.
3. Una represa se utiliza para generar energía eléctrica y para el control del flujo de aguas. La capacidad
de la represa es 3 unidades. La función de probabilidad de la cantidad de agua que fluye a la represa -W-
en el mes la siguiente:

Cantidad 0 1 2 3
Probabilida 1/6 1/ 1/3 1/6
d 3

Si el agua en la represa excede la capacidad máxima, el agua sobrante se bota a través del vertedero, que
es de flujo libre. Para generar energía se requieren mensualmente dos unidades que se sueltan al final de
cada mes. Si hay menos de dos unidades en la represa, se genera energía con el agua disponible, es
decir, se suelta toda el agua.

Sea Xn la cantidad de agua en la represa en el mes n, después de que se suelta el agua. Suponga que
inicialmente la represa está vacía.

a) Es { Xn } una cadena de Markov ?

b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición.

4. El propietario de una barbería local que solamente posee una silla para prestarle el servicio a sus
clientes piensa agrandar su negocio pues le parece que siempre hay mucha gente esperando ser
atendidos. Las observaciones indican que en el tiempo requerido para motilar una persona pueden llegar
0, 1, 2, o 3 personas con probabilidades de 0.3, 0.4, 0.2 y 0.1, respectivamente. La barbería tiene una
capacidad fija de 6 asientos, incluyendo aquel en que se sienta el que está siendo atendido. Sea X n el
número de personas en la barbería cuando se completa el servicio al n-ésimo cliente.

a) Demuestre que { Xn } es una cadena de markov.

b) Encuentre la matriz de transición.
c) Determine la proporción de tiempo, a largo plazo, que en la barbería hay seis personas, o que hay 4
personas.

5. Suponga que Usted ha realizado una serie de pruebas en un procedimiento de destreza manual y
encuentra que la siguiente matriz de probabilidad describe el curso de respuestas “correctas” e
“incorrectas”.

Ensayo j
Correcta Incorrecta
Ensayo Correcta 0.95 0.05
i Incorrecta 0.01 0.99
a) Qué proporción de respuestas correctas se podría esperar de una persona completamente entrenada,
es decir, que en los dos ensayos responda correctamente ?
b) Qué proporción de respuestas correctas se podría esperar de una persona después de repetir cinco
veces el procedimiento, si la respuesta inicial tiene igual probabilidad de ser correcta o incorrecta ?
c) Cual es la probabilidad de que una respuesta correcta se obtenga por primera vez, exactamente
después de cuatro ensayos con respuesta incorrecta ?

6. Suponga que la línea de ensamblaje de SOFASA tiene las siguientes reglas:

 Un Renault X no puede seguir a otro Renault X porque el contenido de trabajo desbalancearía la
línea.
 Un Renault Y debe ser seguido por un Renault Z para balancear la línea.
 Un Renault Z debe ser seguido por un Renault X o un Renault Y pero no por otro Renault Z.

a) Encuentre una matriz de transición para este proceso. Use las letras a, b, c,..., cuando los valores de
las probabilidades de transición no estén numéricamente definidos.
b) Es esta cadenas irreducible ?
c) Cual es la probabilidad de que después de un Renault X el siguiente Renault X ocurra en la línea
después de otro vehículo ?
d) Si P es una matriz de transición, que interpretación daría Usted al elemento para n grande?

7. Una partícula se mueve en un círculo en el sentido de las manecillas del reloj, a través de cinco puntos
marcados con los números 0, 1, 2, 3 y 4. En cada etapa la partícula tiene una probabilidad de dar un
paso en el sentido de las manecillas del reloj y 1 - de moverse en sentido contrario. Sea Xn la posición de
la partícula en el círculo después de dar n pasos.
a) Es { Xn , n 0} una cadena de Markov ?
b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición.
c) Calcule las probabilidades límites. Cómo se interpretan?

8. Una fábrica tiene dos máquinas y una cuadrilla de reparación. Suponga que la probabilidad de que una
máquina se dañe en un día cualquiera es . Suponga, además, que si la cuadrilla de reparación está
trabajando en una de las máquinas, la probabilidad de que termine la reparación en un día mas es . Sea
Xn el número de máquinas en operación al final del n-ésimo día. Asuma que el comportamiento de { Xn }
puede modelarse mediante una cadena de Markov. (Qué simplificaciones deben hacerse para que esta
suposición sea completamente válida?).
a) Encuentre la matriz de transición.
b) Si ambas máquinas están funcionando cuando el sistema se inicia, cual es la probabilidad de que
ambas estén trabajando dos días después?

9. Tres bolas blancas y tres negras están distribuidas en dos urnas A y B de forma que en cada una de
ellas hay tres bolas. Decimos que el sistema está en el estado i, i=0, 1, 2, 3, si la urna A contiene i bolas
blancas. En cada etapa cogemos una bola al azar de cada urna y la ponemos en la otra. Sea X n el estado
del sistema después de n pasos (extracciones).

a) Explique por qué {Xn, n= 0, 1, 2, 3} es una de Cadena de Markov.

b) Calcule la matriz de probabilidades de transición.
b) Sabiendo que inicialmente hay dos bolas blancas en la urna A, calcula la probabilidad de que tras la
segunda etapa todas las bolas sean blancas en dicha urna.
c) Obtener las probabilidades de estado estable de esta cadena.

10. Considere la siguiente matriz de transición de una cadena de Markov en dos estados:

p 1-p
P= 1- p
p

Muestre por inducción matemática que

 0.5+0.5(2p-1)n 0.5-0.5(2p-1)n
P(n)=
0.5-0.5(2p-1)n 0.5+0.5(2p-1)n

11. Se dice que una matriz de transición P es doblemente estocástica si ∑ Pij =1 , ∀ j.

i
Si tal cadena es irreducible y aperiódica y consiste en M+1 estados (0,1,…, M), muestre que las
distribuciones límite están dadas por
1
π j= , j=0 , 1, 2 , … , M
M +1

12. Considere un proceso markoviano con la siguiente matriz de probabilidades de transición:

1/8 1/8 3/4

P= 1/2 1/4 1/4

3/4 0 1/4

a) ¿Cuál es el tiempo medio de primer paso de 3 a 2?

b) ¿Cuáles deberían ser las probabilidades iníciales de estado 0 = 1 0 , 2 0 , 3 0
para que el proceso entrase en estado estacionario después de una transición?

13. Determinar las clases de las siguientes cadenas de Markov y decir si son o no recurrentes

0 0 1/3 2/3 1 0 0 0

1 0 0 0 0 1/2 1/2 0
a) b)
0 1 0 0 0 1/2 1/2 0

0 1 0 0 1/2 0 0 1/2

14. Las familias de cierto país se clasifican según residan en áreas rurales, urbanas o suburbanas. Los
estudios de movilidad demográfica estiman que, en promedio, en el curso de un año, el 15% de las
familias urbanas cambia de residencia y se traslada a un área suburbana, y el 5% a un área rural;
mientras que el 6% de las familias residentes en áreas suburbanas se traslada a áreas urbanas, y el 4% a
áreas rurales, y finalmente el 4% de las familias rurales migra a las áreas urbanas y el 6% a las
suburbanas.

a) ¿Cuál es la probabilidad de que una familia que vive ahora en un área urbana siga viviendo en un área
urbana dentro de dos años?. ¿Y en una suburbana?. ¿Y en una rural?.
 R// Cuál es la probabilidad de que una familia que vive ahora en un área urbana siga viviendo en un área
urbana dentro de dos años es de 0,651

R// Cuál es la probabilidad de que una familia que vive ahora en un área urbana, viva en un área
suburbana dentro de dos años es de 0,258

R// Cuál es la probabilidad de que una familia que vive ahora en un área urbana, viva en un área rural
dentro de dos años es de 0,091

b) Supongamos que en el presente el 40% de las familias del país viven en áreas urbanas, el 35% en
suburbanas y el 25% en rurales. ¿Qué porcentaje de familias vivirá en áreas urbanas dentro de dos años?.
c) ¿Qué distribución de población es de prever en el futuro si las tendencias no cambian?.

15. En cierta ciudad los habitantes pueden tener alguna de las profesiones A, B, C. En cada caso los hijos
tienden a seguir la profesión del padre con probabilidades 3/5, 2/3 y ¼ respectivamente. Quienes no
siguen la tradición del padre eligen equiprobablemente alguna de las otras dos.
Hallar:
a) La distribución porcentual de las profesiones en la próxima generación, si actualmente es de 20% para
A, 30% para B y 50% para C.
b) La distribución límite de las generaciones cuando transcurren muchas generaciones.

16. Para las siguientes cadenas de Markov:

a) Especifique las clases.
b) Determine si ellas son transitorios o recurrentes.

1 1
0 0 0

‖ ‖‖ ‖
2 2 1 3
0 0 0
1 1 1 1 1 4 4

‖ ‖
0 0 0 0 1 0 0

‖ ‖
2 2 4 2 4 1 1
0 0 0 1 0 0 0
1 1 1 1
P4 = 2
P 2= 1 2
P 1= 0 1 P 3= 0 0 0
2 2 0 0 2 2 0 0 1 0 0
2 2
1 1 1 1 1 2
0 0 0 1 0 0 0 0 0 0 0
2 2 2 2 3 3
1 1 1 0 0 0 0
0 0 0
2 2
17. Considere una cadena de Markov con matriz de transición

1 0 0 0

[
P= 0 1
0.1 0
0 0
0 0.9
0 0.2 0.8 0
]
Si el proceso está en el estado 3 ,
a) ¿Cuál es la probabilidad de ser absorbido por el estado 1?
b) ¿Cuál es la probabilidad de ser absorbido por el estado 2?

18. Una rata se coloca en el compartimiento 4 del laberinto de la figura anexa (próxima lámina). El animal
se mueve entre los compartimientos al azar, es decir, si hay k formas de dejar el compartimiento, tiene
probabilidad 1/k de elegir cualquiera de ellas. Cuando la rata encuentra la comida se le deja comer y
luego se retira del laberinto. En el compartimiento 8 hay una trampa de la que no se puede salir (y
también se retira del laberinto).

a) Considerando el experimento como una cadena de Markov, indique la matriz de transición.

b) ¿Cuál es la probabilidad de que la rata no encuentre la celda de la comida?

c) ¿Cuál es la probabilidad de que la rata encuentre la comida en “5 pasos”?
19. Sara y Betty están jugando tenis. Cuando se llega a un empate, el jugador que gana el siguiente set
tiene una ventaja. En el set siguiente, el jugador o gana el juego o el juego vuelve a empate.
Suponga que si están en empate, Sara tiene una probabilidad de 2/3 de ganar el siguiente set y Betty
tienen una probabilidad de 1/3 de ganar el siguiente set.
Cuando Sara tiene ventaja, ella tiene una probabilidad de ¾ de ganar el siguiente set y cuando Betty tiene
ventaja, ella tiene una probabilidad de ½ de ganar el set siguiente.
a) Defina este proceso como una cadena de Markov con los estados:
 Sara gana el juego
 Betty gana el juego
 Sara tiene ventaja
 Betty tiene ventaja
 Empate

Halle la matriz de transición.

b) Si el juego está en empate, halle el número de sets esperados para finalizar el juego.
c) Si el juego está en empate, ¿cuál es la probabilidad de qué Betty gane el juego?
d) Si Betty tiene ventaja, ¿cuál es la probabilidad de qué Sara al final gane el juego?
e) Si Sara tiene ventaja, halle el número esperado de veces (de sets) en los que ella siempre tendrá
ventaja antes de terminar el juego.
f) Si Betty tiene una ventaja, ¿cuál es el número esperado de sets que estarán empatados antes de
terminar el juego?