Facultad de Ingenierı́a y Ciencias Universidad Diego Portales

CII2753 - Modelos Estocásticos 28 de junio 2017

Solemne 2
Profesores: Basso, Batarce, Feres y Varas

P1. (a) Un conocido mago del Paseo Ahumada ha hecho una respetable fortuna con el siguiente juego de azar:
en una mesa tiene tres vasos no transparentes boca abajo y dos bolitas que se colocan juntas o por
separado debajo de alguno de los vasos. Luego, con una habilidad y rapidez impresionantes, el mago
procede a mover las bolitas de un vaso a otro. En cada movimiento cambia de posición solo una bolita.
Esto lo hace incontables veces hasta que un jugador deseoso de apostar le dice stop. En ese momento el
jugador tiene que escoger uno de los vasos. Si debajo de él están las dos bolitas, gana. De lo contrario
pierde. Para simplificar el juego, asuma que en cada movimiento el mago escoge con igual probabilidad
cualquiera de las bolitas, y también, que escoge equiprobablemente a cuál de los otros vasos la cambia.
(i) [1.0 pto.] Muestre que el juego anterior se puede modelar como una cadena de Markov en tiempo
discreto con solo seis estados. Identifique éstos y especifique cuáles son las probabilidades de tran-
sición en una etapa.
(ii) [1.0 pto.] Argumente sobre la unicidad de probabilidades estacionarias. En cualquier caso, muestre
que el vector definido por πk = 3−r 9 , donde rk denota el número de vasos vacı́os en el estado k,
k

corresponde a la distribución estacionaria de esta cadena. Intuitivamente, ¿por qué hay estados con
mayor probabilidad estacionaria que otros?
(iii) [1.0 pto.] Ignorando el hecho que usted pueda tener una vista muy aguda, ¿cuál es la probabilidad
de ganar el juego? Considere que usted escoge equiprobablemente cualquiera de los tres vasos y
que el mago hace “una infinidad” de movimientos antes de que usted le diga stop.
(b) Considere un sistema de grúas que opera en un puerto. El puerto puede almacenar hasta N contenedores.
Éstos llegan al puerto de acuerdo a un proceso de Poisson a tasa λ (contenedores/turno). Asuma que si
al llegar un contenedor el patio de almacenamiento se encuentra lleno, el contenedor no ingresa al puerto
y se redirige al más cercano. El puerto posee K << N grúas que pueden operar simultáneamente. Al
principio de cada turno el sistema de grúas carga hasta un máximo de K contenedores en los barcos de
destino. Por simplicidad, asuma que en cada turno se carga la mayor cantidad posible de contenedores.
La carga de éstos se inicia al principio de cada turno, mientras que el tiempo de carga de cada contenedor
es exactamente un turno. Finalmente, asuma que un contenedor que llega al puerto en el transcurso
de un turno, y que encuentra espacio en el patio de almacenamiento, deberá esperar hasta el inicio
del siguiente turno para eventualmente ser enviado. Sea Xn el número de contenedores en el patio de
almacenamiento al comienzo del n-ésimo turno, justo antes del inicio de la operación de las grúas.
(i) [1.0 pto.] Escriba una relación de recurrencia para la variable de estado del proceso. Es decir,
exprese Xn+1 en función de Xn .
(ii) [0.5 ptos.] Explique por qué el proceso estocástico {Xn , n = 0, 1, 2, ...} es una cadena de Markov en
tiempo discreto. ¿Que impacto tendrı́a en el modelamiento el hecho que el número de contenedores
que llegan en distintos turnos sean variables aleatorias intependientes que distribuyen Binomial con
parámetros N y p = K N ? Argumente.
(iii) [1.0 pto.] Determine la matriz de probabilidades de transición en una etapa.
(iv) [0.5 ptos.] Clasifique los estados de esta cadena en transientes o recurrentes (nulos o positivos).
Indique si hay clases periódicas, y el periodo si corresponde.
Solución
Facultad de Ingenierı́a y Ciencias Universidad Diego Portales

(a) (i) La matriz de transición es la siguiente:


0 1 1 
0 0 2 2 0 
1 1

0 0 0 0
2 2
1 1

0 0 0 0
1 2 2 (1)
1 1 1

4 4 0 0 4 4
1 0 1 1
0 1
4 4 4 4
0 1 1 1 1
4 4 4 4 0

(ii) La cadena es ergódica ireductible por lo que por teorema visto en clases las probabilidades
estacionarias existen y son únicas. Resolviendo el sistema lineal tenemos que π1 = π2 = π3 = 91
y π4 = π5 = π6 = 29 .
(iii) Para ganar debemos parar el juego en un estado tal que sea factible el ganar, y adicionalmente
escoger correctamente el vaso ganador. Entonces la probabilidad de ganar será:

P [Ganar] = P [P ararenestadof actible] · P [Escogerganador]

1 1
P [Ganar] = (π1 + π2 + π3 ) ·
=
3 9
(b) (i) Sea C(t) el número de contenedores que llegan al puerto en [0, t]. Una posible relación de
recurrencia es:
Xn+1 = min{Xn − min{Xn , K} + C(1), N }
(ii) Notemos que Xn+1 depende de Xj (0 ≤ j < n) solo a través de Xn . De esta forma se cumple la
propiedad Markoviana. La propiedad de estacionariedad se cumple trivialmente por cuanto el
proceso de llegada de contenedores es un proceso de Poisson. Si ahora el proceso de llegada dis-
tribuye binomial, éste no tiene impacto en la propiedad de estacionariedad por cuanto el número
de contenedores que llegan son variables aleatorias independientes e idénticamente distribuidas.
Más aun, la propiedad Markoviana se sigue cumpliendo por lo que el proceso estocástico sigue
siendo una cadena de Markov en tiempo discreto.

(iii) El espacio de estados son los enteros {0, . . . , N }. Consideremos la siguiente notación.

P {C(1) = j} = a(j)

P {C(1) ≥ j} = A(j)
La matriz de probabilidades de transición está dada por:
   
{0} a(0) a(1) a(2) . . . a(N − 1) A(N )

 {1}   a(0) a(1) a(2) . . .
  a(N − 1) A(N )


 ..   .. .. .. .. .. ..


 .   .
  . . . . .


P =  {K}  =  a(0) a(1) a(2) . . .
   a(N − 1) A(N ) 

 {K + 1}   0 a(0) a(1) . . . a(N − 2) A(N − 1) 
   
 ..   .. .. .. .. .. .. 
 .   . . . . . . 
{N } 0 0 0 . . . a(N − K − 1) A(N − K)
(iv) De la matriz P , se deduce que existe una única clase recurrente positiva y aperiódica. Es decir,
es una cadena irreducible y ergódica.

P2. Un sistema de reservas de una linea aérea tiene dos computadores, uno en lı́nea y uno de respaldo. El equipo
operativo falla después de un tiempo aleatorio exponencialmente distribuido de parámetro µ y se sustituye
por el equipo de respaldo. Hay sólo un taller de reparación y los tiempos de reparación se distribuyen
exponencialmente con parámetro λ. Sea X(t) es el número de computadores en funcionamiento en el instante
t. X(t) se puede modelar como una cadena de Markov en tiempo continuo para esto se pide los siguiente:
Facultad de Ingenierı́a y Ciencias Universidad Diego Portales

(a) [1.0 pto.] Encuentre la matriz de tasas instantáneas de transición del proceso X(t) y las tasas de
permanencia.
(b) [1.0 pto.] Calcule las probabilidades estacionarias.
(c) [1.0 pto.] Calcule la probabilidad de que al menos un computador esté funcionando, en el largo plazo.

Frecuentemente, en la práctica, suponer un tiempo de operación exponencialemente distribuido no es realista

debido al llamado fenómeno de quemado (burn-in). Este fenómeno puede ser descrito por una tasa de riesgo
de falla que inicialmente es alta y luego decae hasta un nivel que se mantiene constante. Corresponde a
una situación en la cual un artı́culo recién fabricado o recién reparado tiene una probabilidad significativa
de fallar tempranamente en su uso. Si el artı́culo sobrevive a este perı́odo de prueba, entonces opera de
manera exponencial o sin memoria. Los fallos tempranos podrı́an corresponder a una fabricación incorrecta
o una reparación defectuosa. Una manera posibles de modelar el fenómeno de quemado es usar una mezcla
de densidades exponenciales:
f (t) = pαe−αt + qβe−βt , t ≥ 0,
donde 0 < p = 1 − q < 1 y α, β > 0. La interpretación de esta densidad de tiempo de falla es la siguiente.
Con probabilidad p el nuevo equipo (o uno recién reparado) tendrá una tasa de fallas α y con probabilidad
q, tendrá una tasa de fallas β. Si se incorpora el fenómeno de quemado en el proceso estocástico X(t),
asumiendo que ahora que el tiempo de falla sigue la mezcla de distribuciones exponenciales anterior, el nuevo
proceso estocástico Y (t) puede todavı́a ser modelado como una cadena de Markov en tiempo continuo. Para
hacerlo se pide lo siguiente:

(d) [0.5 pto.] Defina el espacio de estados de la cadena de Markov de manera que pueda modelar Y (t).
(e) [1.0 pto.] Encuentre la matriz de tasas instantáneas de transición del proceso Y (t) y las tasas de
permanencia.
(f) [1.0 pto.] Calcule las probabilidades estacionarias.
(g) [0.5 pto.] Si λ = 2, µ = 1, α = 10, β = 10/11 y p = 0.1, calcule la probabilidad de que al menos
un computador esté funcionando, en el largo plazo y compárela con lo que obtendrı́a en (c) con estos
parámetros.

Solución

(a) Las tasas instantáneas de transición del proceso X(t) son:

q01 = 2λ q02 = 0
q10 = µ q12 = λ
q20 = 0 q21 = µ

y las tasas de permanencia son:

v0 = 2λ
v1 = λ + µ
v2 = µ

(b) Las probabilidades estacionarias se obtienen resolviendo el siguiente sistema:

2λπ0 = µπ1
(λ + µ)π1 = 2λπ0 + µπ2
µπ2 = λπ1
π0 + π1 + π2 = 1
Facultad de Ingenierı́a y Ciencias Universidad Diego Portales

La solución es
1
π0 =    2
λ λ
1+2 µ +2 µ
 
2 µλ
π1 =    2
1 + 2 µλ + 2 µλ
 2
2 µλ
π2 =    2
1 + 2 µλ + 2 µλ

(c) La probabilidad de que al menos un computador esté funcionando, en el largo plazo, es

 2
 
λ
2 + 2 µλ
µ
1 − π0 = π1 + π2 =    2
1 + 2 µλ + 2 µλ

(d) El espacio de estados de la cadena de Markov Y (t) es definido por lo siguiente:

– 0: ningún servidor funcionando
– 1A : un servidor operando on-line con tasa de falla α
– 1B : un servidor operando on-line con tasa de falla β
– 2A : dos servidores operando, el que está on-line tiene tasa de falla α
– 2B : dos servidores operando, el que está on-line tiene tasa de falla β
(e) La matriz de tasas instantáneas de transición del proceso Y (t) es:
 
0 2λp 2λq
α 0 λ 
 
β 0 λ (2)
 
 αp αq 0 
βp βq 0

y las tasas de permanencia son:

v0 = 2λ
v1A = λ + α
v1B = λ + β
v2A = α
v2B = β

(f) Las probabilidades estacionarias se obtienen resolviendo el siguiente sistema de ecuaciones:

2λπ0 = απ1A + βπ1B

(α + λ)π1A = p2λπ0 + pαπ2A + pβπ2B
(β + λ)π1B = 2λπ0 + qαπ2A + qβπ2B
απ2A = λπ1A
βπ2B = λπ1B
π0 + π1A + π1B + π2A + π2B = 1
Facultad de Ingenierı́a y Ciencias Universidad Diego Portales

La solución es la siguiente:

αq(α + λ) + βp(β + λ)
π0 =
2λ∆
q(α + λ)
π1A =
∆
p(β + λ)
π1B =
∆
λq(α + λ)
π2A =
α∆
λp(β + λ)
π2B =
β∆
donde
2λ 2λ
∆ = q(α + λ)(1 + α + ) + p(β + λ)(1 + β + )
α β
(g) La probabilidad de que al menos un computador esté funcionando, en el largo plazo, cuando se considera
el fenómeno de quemado es
1 − π0 = 0.79

Cuando no se considera este fenómeno la probabilidad está dada por el resultado de la parte (c) y es
igual a 0.92. Esto significa que al no considerar el periodo de quemado se sobrestima la probabilidad.

Tiempo: 2 hrs.