Procesos Estocásticos — Febrero 2019 — Segunda semana

Dos jugadores A y B juegan con un dado según las siguientes reglas:

Si el jugador A tiene el dado entonces lo lanza. Si saca un 1 entonces A gana la

partida y el juego termina; si saca 2, 3 o 4, entonces A vuelve a tener el dado para el
siguiente lanzamiento; si saca 5 o 6 entonces A da el dado a B.

Si el jugador B tiene el dado entonces lo lanza. Si saca un 1 entonces B da el dado

a A; si saca 2, 3 o 4 entonces B gana la partida y el juego termina; si saca 5 o 6
entonces B vuelve a tener el dado para el siguiente lanzamiento.

Se modela este juego mediante una cadena de Markov {Xn }n≥0 con estados a, b, Ga, Gb,
según A tenga el dado, B tenga el dado, gane A o gane B, respectivamente. Inicialmente,
es el jugador A quien tiene el dado: X0 = a.

(a) Calcular la probabilidad que tiene cada uno de los dos jugadores de ganar la partida.

(b) Sea T la variable aleatoria que indica el lanzamiento en el que termina la partida.
Determinar la función de distribución y la media de T .

(c) Hallar la función de probabilidad y la media del número de lanzamientos que ha

realizado B a lo largo de una partida.

(d) Después de 2000 lanzamientos la partida aún no ha terminado y es X2000 = a. ¿Cuál

es el número medio de lanzamientos del dado que ha realizado B?

(e) Antes de realizar un lanzamiento, el jugador que tiene el dado pone una moneda
sobre la mesa. El jugador que gana la partida se lleva todas las monedas. Calcular el
beneficio esperado (en monedas) de cada jugador. ¿Cuántas monedas deberı́a poner
cada jugador antes de un lanzamiento para que el juego fuese equilibrado?
 Solución

(a). La matriz de transición de la cadena es

 
1/2 1/3 1/6 0
1/6 1/3 0 1/2
P =  0

0 1 0 
0 0 0 1

donde los estados se han puesto en el orden a, b, Ga, Gb. Los estados Ga, Gb son absorbentes
y los estados a, b son transitorios. Sean pa y pb las probabilidades que tiene el jugador A
de ganar, según el estado inicial sea a o b. Se verifican las ecuaciones
1 1 1 1 1
pa = pa + pb + pb = pa + pb .
2 3 6 6 3
Su solución es pa = 2/5 y pb = 1/10. Por tanto, partiendo del estado a, se tiene
2 3
P {X∞ = Ga|X0 = a} = y P {X∞ = Gb|X0 = a} = ,
5 5
y partiendo del estado b se tiene
1 9
P {X∞ = Ga|X0 = b} = y P {X∞ = Gb|X0 = b} = ,
10 10
(b). Se agrupan los estados Ga, Gb en un único estado F que indica el final de la partida.
La matriz de transición es  
1/2 1/3 1/6
Q = 1/6 1/3 1/2 .
0 0 1
Se tiene que
     
1 2 −1 1 0 0 1
Q = 1 1 1  ·  2/3  ·  1/3 1/3 −2/3 .
1 0 0 1/6 −1/3 2/3 −1/3

Por tanto, para cada n ≥ 0, la n-ésima potencia de Q es

2 2 n 1 1 n 2 2 n 2 1 n
· ( 3 ) + 3 · ( 6 ) 3 · ( 3 ) − 3 · ( 6 ) 1 − 43 · ( 32 )n + 13 · ( 16 )n

3
 
n 1 2 n 1 1 n 1 2 n 2 1 n 2 2 n 1 1 n
Q = 3 · (3) − 3 · (6) 3 · (3) + 3 · (6) 1 − 3 · (3) − 3 · (6)  .
 
0 0 1

Sea T ≥ 1 el primer instante en el que el proceso con matriz de transición Q llega a F . Se

tiene que
4  2 n 1  1 n
P {T ≤ n} = 1 − · + ·
3 3 3 6
para cada n ≥ 0. Su esperanza vale
∞ ∞ h
X X 4  2 n 1  1 n i 18
E[T ] = P {T > n} = · − · = .
n=0 n=0
3 3 3 6 5

Por tanto, los jugadores hacen en promedio 3,6 lanzamientos de dado.

(c). Partiendo del estado a, la probabilidad p de no pasar por b verifica p = 21 p + 16 , es
decir, p = 1/3. Partiendo del estado b, la probabilidad q de no volver a pasar por b verifica
q = 61 p + 21 , por lo que q = 5/9. Ası́, siendo N el número de visitas al estado b se tiene que

1 2  4 k−1 5
P {N = 0} = y P {N = k} = · ·
3 3 9 9
para k ≥ 1. Es decir, la distribución de N es una mixtura de una distribución causal en
0, con peso 1/3, y de una distribución geométrica de parámetro 5/9, con peso 2/3. Su
esperanza es
2 9 6
E[N ] = · = .
3 5 5
Ası́, el jugador B realiza en promedio 1,2 lanzamientos.
(d). Por sencillez, se escribirá N = 2000. Dado 0 ≤ n ≤ N calculamos P {Xn = b|XN = a}.
Se tiene que
P {XN = a|Xn = b}P {Xn = b}
P {Xn = b|XN = a} = .
P {XN = a}
Por los cálculos anteriores sabemos que
2  2 n 2  1 n
P {Xn = b} = · − ·
3 3 3 6
y que
2  2 N 1  1 N
P {XN = a} = · + · .
3 3 3 6
Además, P {XN = a|Xn = b} es la probabilidad de, partiendo del estado b, estar en el
estado a tras N − n transiciones, es decir, se obtiene a partir del término (2, 1) de QN −n :
1  2 N −n 1  1 N −n
P {XN = a|Xn = b} = · − · .
3 3 3 6
Operando, resulta
 
2 N 1 n 1 N −n 1 N





2 3
1− 4
− 4
+ 6
P {Xn = b|XN = a} = ·
9 2 2 N 1 1 N



3 3
+ 3 6

1 n 1 N −n 1 N




2 1− 4
− 4
+ 4
= · 2 1 1 N
.
9 3
+ 3 4
)
Se puede observar que esta expresión vale 0 para n = 0 y n = N , como podı́amos prever
de antemano. El número esperado de veces que el jugador B ha tenido el dado es
N 1 N
2 N − 53 + (N + 53 )


X
4
P {Xn = b|XN = a} = · 2
n=0
9 3
+ 31 14 )N

Cuando N es grande esta expresión es aproximadamente igual a N3 − 95 , y vale 666,11

cuando N = 2000.
(e). La ganancia Y del jugador A es: si A ha ganado la partida, el número de veces NB
que el jugador B ha tirado el dado; y si A ha perdido la partida entonces su pérdida es el
número de veces NA que ha tirado el dado. Ası́,

Y = NB · I{X∞ =Ga} − NA · I{X∞ =Gb} ,

luego

E[Y ] = E[NB |X∞ = Ga]P {X∞ = Ga} − E[NA |X∞ = Gb]P {X∞ = Gb}.

La matriz de transición de las partidas que gana A es, utilizando las probabilidades calcu-
ladas en (a),  
1/2 1/12 5/12
Qa = 2/3 1/3 0 .
0 0 1
El número esperado de veces que se ha pasado por el estado b según se parta de a o b es
1 1 2 1
pa = pa + pb pb = 1 + pa + pb .
2 12 3 3
Resulta pa = 3/10.
La matriz de transición de las partidas que gana B es, utilizando las probabilidades calcu-
ladas en (a),  
1/2 1/2 0
Qb = 1/9 1/3 5/9 .
0 0 1
El número esperado de veces que se ha pasado por el estado a según se parta de a o b es
1 1 1 1
qa = 1 + qa + q b q b = qa + qb .
2 2 9 3
Resulta qa = 12/5.
Ası́, la ganancia esperada de A es
3 2 12 3 33
E[Y ] = · − · =− ,
10 5 5 5 25
es decir, una pérdida esperada de 1,32 monedas. La ganancia esperada de B es de 1,32
monedas.
Si el jugador A pone n monedas en cada lanzamiento que hace y el jugador B pone m
monedas, para que el juego sea equilibrado debe ser
3 2 12 3
m· · −n· · =0
10 5 5 5
de lo que resulta m = 12n. El juego es equilibrado si, por ejemplo, A pone 1 moneda en
cada lanzamiento y B pone 12 monedas.