Ejercicios del Tema II

Abel Guada Azze

Universidad Carlos III de Madrid

Procesos Estocásticos
Grado en Estadística y Empresa

Copyright ©2013 by Bernardo D’Auria

 B. D’Auria ©2013

Outline

1 15 de Octubre de 2020

2 Otros
 B. D’Auria ©2013

Ejercicio
Una empresa quiere usar un sistema para incentivar la mejora profesional de su
personal ofreciendo cursos de formación. Un empleado tendrá que cursar un
curso de formación (estado 1) y una vez acabado el curso recibirá, en el año
siguiente, una recompensa (estado 2). Luego, por un año más, el empleado no
recibirá ninguna formación (estado 3), y al terminar de este año se apuntará a
otro curso de formación.
La matriz de transición para este modelo está dada por
 
80 % 20 % 0
P= 0 0 1 
1 0 0

El trabajador empieza en el periodo 0 en el estado 3.

a) Dibuja el diagrama de transición

b) Calcula la distribución de X (1) y X (2).
c) Calcula la distribución conjunta del vector (X (2), X (3)).
 B. D’Auria ©2013

Solución

a) El diagrama de estados de la cadena de Markov es

80 %
20 %

1 2

3
b) Llamando π(n) la distribución de X (n), es inmediato calcular

π(1) = (1, 0, 0)
π(2) = (80 %, 20 %, 0)
 B. D’Auria ©2013

Solución

c) La distribución conjunta de (X (2), X (3)) se saca usando la

fórmula de la probabilidad condicionada

p(i, j) = P(X (3) = j, X (2) = i)

= P(X (3) = j|X (2) = i) P(X (2) = i) = pi,j πi (2) .

Obtendremos que
p(i, j) j =1 2 3
i =1 64 % 16 % 0
2 0 0 20 %
3 0 0 0
 B. D’Auria ©2013

Ejercicio
Una compañía de seguros comienza en el instante 0 con un
superávit de 3 unidades. Al principio de cada año, obtiene una
ganancia de 2 unidades y paga un cantidad aleatoria, debida a los
siniestros, con la siguiente distribución:

Cantidad 0 1 2 4
Probabilidad 0.15 0.25 0.50 0.10

Las reclamaciones de las cantidades cada año son independientes

entre sí.
Si, al final del año, el superávit es más de 3, la empresa paga un
dividendo equivalente al importe del excedente a 3.
Si el superávit de la empresa se reduce a 0, se va a la quiebra.
Asumiendo que no haya ningún gasto administrativo y ninguna tasa
de interés, calcular el superávit esperado al final del tercer año..
 B. D’Auria ©2013

Solución
El superávit de la empresa se puede modelar con una cadena de
Markov con matriz de transición
 
1 0 0 0
 0.10 0.50 0.25 0.15 
P=  0.10

0 0.50 0.40 
0 0.10 0 0.90

Tenemos que la distribución inicial es

π(0) = 0 0 0 1 ,

Por lo tanto, la distribución al instante 3 viene dada por

π(3) = π(0) P3 =


0.0265 0.1525 0.0475 0.7735 .

Luego, el superávit medio al final del tercer año es

0.0265 × 0 + 0.1525 × 1 + 0.0475 × 2 + 0.7735 × 3 = 2.568

 B. D’Auria ©2013

Ejercicio - Cadena de Markov

Considera la cadena de Markov homogénea con espacio de estados
ordenados {3, 7, 9} y matriz de transición:
 
0 1/2 1/2
P =  2/5 0 3/5 
0 3/10 7/10

Asumiendo que la cadena empieza en el estado 7, encontrar:

1 La probabilidad de que el proceso esté en el estado 9 después de 2

transiciones
2 La probabilidad que el proceso llegue al estado 3 por primera vez al
final de la segunda transición
3 El valor medio y la varianza del proceso después de 2 transiciones

Calcula las mismas cantidades asumiendo que la cadena empieza con

distribución µ = (1/2 1/4 1/4)

matP <- t(matrix(c(0, 0.5, 0.5, 0.4, 0, 0.6, 0, 0.3, 0.7), 3))
 B. D’Auria ©2013

Solución

a) 2 = 62 %
P23
b) p{7}{7} p{7}{3} + p{7}{9} p{9}{3} = p22 p21 + p23 p31 = 0
c) E{7} [X (2)] = ( 0 1 0 ) P2 ( 3 7 9 )t = 8.24,
E{7} [X 2 (2)] = ( 0 1 0 ) P2 ( 32 72 92 )t = 68.84,
Var{7} [X (2)] = E{7} [X 2 (2)] − E2{7} [X (2)] = 0.9424

a) (( 1/2 1/4 1/4 ) P 2 ){9} = 64.75 %

b) µ{7} (p{7}{7} p{7}{3} + p{7}{9} p{9}{3} ) + µ{9} (p{9}{7} p{7}{3} +
p{9}{9} p{9}{3} ) = p22 p21 + p23 p31 = 3 %
c) Eµ [X (2)] = ( 1/2 1/4 1/4 ) P2 ( 3 7 9 )t = 7.775,
Eµ [X 2 (2)] = ( 1/2 1/4 1/4 ) P2 ( 32 72 92 )t = 64.52,
Varµ [X (2)] = Eµ [X 2 (2)] − E2µ [X (2)] = 4.069375
 B. D’Auria ©2013

Outline

1 15 de Octubre de 2020

2 Otros
 B. D’Auria ©2013

Ejercicio 3 - Parcial 1 - 2019

En una parada de autobús hay un banco que puede contener como
mucho dos personas sentadas. Al comienzo del minuto n, X (n)
representa el número de personas sentadas en el banco. Se asume
que, incialmente, el banco comienza vacío, es decir, X (0) = 0.
Las personas sentadas pueden abandonar el banco antes del final de
cada minuto. Cada una de ellas decide de forma
independientemente levantarse antes del comienzo del siguiente
minuto con una probabilidad del 20 %. Además, antes del comienzo
de cada minuto, puede sentarse, como máximo, una persona nueva
de forma independiente a lo que haya sucedido anteriormente, con
una probabilidad del 30 %. Esto puede ocurrir solamente si hay sitio
en el banco, y para determinar si hay sitio se supone que si algunas
personas sentadas en el banco deciden levantarse lo hagan antes de
la llegada de la nueva persona.
1 Construye un modelo de cadena de Markov que describe el
proceso X (n), n ≥ 0, indicando la matriz de transición P y
caracterizando los estados de la cadena.
2 Calcula la probabilidad de que al comienzo del minuto 2 haya
dos persona sentadas en el banco.
3 Calcula el valor medio y la varianza de X (2).

Nota: Para resolver el problema NO es necesario invertir matrices

de dimensiones 4 × 4.
 B. D’Auria ©2013

Solución
1 Las clases de estados son {1}, {3}y {2, 4}, y sus respectivos
periodos son d(1) = d(3) = d({2, 4}) = 1.

2
1 3 1
6 1 2 2

1 1 1
6 4 2

3
1 3 4 4
 B. D’Auria ©2013

Solución
2. Dado que empezamos en 2 y la clase {2, 4} es recurrente,
podemos considerar la cadena de Markov formada solo por
esos estados para hallar su distribución estacionaria. Primero
calculamos la matriz P{2,4} − I, donde P{2,4} es la matriz de
transición de la clase {2, 4}, la cual se obtiene al tomar los
elementos de P cuyas filas y columnas sean 2 o 4.
 
{2,4} −1/2 1/2
P −I=
1/4 −1/4
Luego resolvemos el sistema φA = (1, 0) que queda al añadir
la condición φ~1 = 1 en lugar de la primera columna de
P{2,4} − I,
φ1 + φ2 = 1,
φ1 /2 − φ2 /4 = 0,
de donde se obtiene φ1 = 1/3 y φ2 = 2/3. Finalmente, la
distribución estacionaria de la cadena completa es
(0, 1/3, 0, 2/3).
 B. D’Auria ©2013

Solución
3. Podemos usar el análisis de un paso para simplificar el cálculo
de la probabilidad P(T14 ).

P(T14 < ∞) = P(T14 < ∞|X (1) = 1)P1 (X (1) = 1)

+ P(T14 < ∞|X (1) = 2)P1 (X (1) = 2)
+ P(T14 < ∞|X (1) = 3)P1 (X (1) = 3)
= P(Te14 < ∞)/6 + 2/3,

donde Te14 tiene la misma distribución que T14 debido a la

propiedad Markoviana y por lo tanto
P(T14 < ∞) = P(Te14 < ∞). Finalmente, despejando el
sistema anterior se obtiene que
P(T14 < ∞) = P(T14 < ∞) = 4/5.
 B. D’Auria ©2013

Solución
4. Es fácil ver que el estado 1 es transitorio, por lo tanto π1 (la
primera componente de la distribución estacionaria) debe ser
0. El resto de los estados pertenencen a clases recurrentes con
una cantidad finita de estados, y por lo tanto tienen
distribución estacionaria con todas sus componentes positivas.
Luego, dado que empezamos con distribución uniforme
discreta en todos los estados,

π1 = 0,
 
1 1 1
π2 = + P(T1{2,4} < ∞) ,
3 2 4
1 1
π3 = + P(T13 < ∞),
4 4 
2 1 1
π4 = + P(T1{2,4} < ∞) .
3 2 4

Nótese que
P(T1{2,4} < ∞) = P(T12 < ∞) = 1 − P(T13 < ∞).
 B. D’Auria ©2013

Ejercicio - Problema del minero

Hay un minero que quiere salir de la mina, pero se encuentra en un
sitio bajo tierra con 3 salidas.

5h
3h

SALIDA!
2h
Solo una salida lo lleva a salir de la mina en 2 horas, mientras las
otras dos salidas lo llevan por caminos de 3 y 5 horas que lo
vuelven a llevar en el mismo sitio.
El minero elige cada vez una salida al azar olvidándose de sus
elecciones anteriores.
Halla el tiempo medio que el minero necesita para salir de la mina.
 B. D’Auria ©2013

Solución I
Si llamamos T el tiempo que tarda para salir el minero,
imaginamos que la salida 1 es la que lo llevaría a salir de la mina y
llamamos X la primera elección de salida, es decir

 1 con probabilidad 1/3
X = 2 con probabilidad 1/3
3 con probabilidad 1/3


tenemos que
T = 1{X = 1} 2h + 1{X = 2} (3h + T̃ ) + 1{X = 3} (5h + T̃ )

donde T̃ es el tiempo que tardaría a salir si habiendo elegido la

salida equivocada el minero se encontrara otra ves en el sito inicial
y tuviera que elegir otra vez. T̃ tiene la misma distribución de T ya
que el minero repite la misma elección igual que al tiempo 0, y es
independiente de la primera elección, X .
 B. D’Auria ©2013

Solución II

Si calculamos la esperanza tenemos que

E[T ] = E[1{X = 1} 2h + 1{X = 2} (3h + T̃ )

+1{X = 3} (5h + T̃ )]
= 2h E[1{X = 1}] + E[1{X = 2}] E[(3h + T̃ )]
+E[1{X = 3}] E[(5h + T̃ )]

Teniendo en cuenta que el valor esperado de una función indicadora

es igual a la probabilidad del suceso donde la función indicadora
toma valor 1 tenemos que

E[T ] = 2h P(X = 1) + P(X = 2) (3h + E[T̃ ])

+P(X = 3) (5h + E[T̃ ])
2 1 5 1
= h + 1h + E[T ] + h + E[T ]
3 3 3 3
y resolviendo tenemos que E[T ] = 10h .
 B. D’Auria ©2013

Ejercicio - Distribución estacionaria

Considera la Cadena de Markov homogénea con matriz de
transición:
 
1 − (a + b) a b
P= 0 1/5 4/5  con a, b ≥ 0, a + b ≤ 1 .
0 3/10 7/10
Encuentra la distribución estacionaria, cuando:
◦ a+b >0 , ◦ a+b =0 .

Solución
La distribución estacionaria para

la cadena formada por los la clase
3 8
recurrente {2, 3} es 11 11 .
Por lo tanto la distribución estacionaria será igual a


k (1 − k) 27.27 (1 − k) 72.73
con
k=0 cuando a + b > 0
0 ≤ k ≤ 1 cuando a + b = 0
 B. D’Auria ©2013

Ejercicio - Distribución estacionaria

Considera la Cadena de Markov homogénea con matriz de
transición:
 
1 − (a + b) a b
P= 0 1/5 4/5  con a, b ≥ 0, a + b ≤ 1 .
0 3/10 7/10
Encuentra la distribución estacionaria, cuando:
◦ a+b >0 , ◦ a+b =0 .

Solución
La distribución estacionaria para

la cadena formada por los la clase
3 8
recurrente {2, 3} es 11 11 .
Por lo tanto la distribución estacionaria será igual a


k (1 − k) 27.27 (1 − k) 72.73
con
k=0 cuando a + b > 0
0 ≤ k ≤ 1 cuando a + b = 0
 B. D’Auria ©2013

Ejercicio
Considera el siguiente laberinto

1 2

3 4 5

e imagina que el ratón cada minuto cambia con probabilidad 2/3 de habitación
eligiendo al azar una de las puertas disponibles, y que para en el momento que
encuentre el queso en la habitación 5.

a) Encuentra la matriz y el diagrama de transición

b) Clasifica los estados y sus períodos

Si el ratón al tiempo 0 se encuentra en la habitación 1, encuentra:

c) la probabilidad de visitar la habitación 4

d) el número medio de visitas que hará a la habitación 2
e) el tiempo medio que tardará en encontrar el queso.
 B. D’Auria ©2013

Solución
a) La matriz de transición es
 
1/3 2/9 2/9 2/9 0
 1/3 1/3 0 0 1/3 
 
P =  2/3 0 1/3 0
 0 
 1/3 0 0 1/3 1/3 
0 0 0 0 1

b) Los estados son todos transitorios y aperiodico a parte del

estado 5 que es absorbente.

Definimos la matriz de las transiciones entre los estado transitorios,

Q como  
1/3 2/9 2/9 2/9
 1/3 1/3 0 0 
Q=  2/3 0 1/3 0 


1/3 0 0 1/3
 B. D’Auria ©2013

Solución
Tendremos que la matriz M está dada por
 
9/2 3/2 3/2 3/2
 9/4 9/4 3/4 3/4 
M = (I − Q)−1 =   9/2 3/2 3 3/2 


9/4 3/4 3/4 9/4

c) La probabilidad de visitar la habitación 4 será dado por

m14 3/2
f14 = = = 2/3
m44 9/4

d) El numero de visitas a la habitación 2 será dado por

m12 = 3/2 .
 B. D’Auria ©2013

Solución
e) Llamamos mi = Ei [T5 ] con i = 1, . . . , 4 Tendremos que

m1 = 1 + E1 [T5 ] p11 + E2 [T5 ] p12 + E3 [T5 ] p13

m2 = 1 + E1 [T5 ] p21 + E2 [T5 ] p22
m3 = 1 + E1 [T5 ] p31 + E3 [T5 ] p33
m4 = 1 + E1 [T5 ] p41 + E4 [T5 ] p44

que equivale a
~ = ~1 + Q m
m ~
~ y ~1 vectores columnas. Por lo tanto
con m

~ = M ~1 =


m 9 6 21/2 6

y el valor buscado es
m1 = 9 .
 B. D’Auria ©2013

Ejercicio 2 - Parcial 1 - 2018

0.8
Dada la cadena de Markov con estados {1, 2, 3},
0.4
diagrama de transición dado a la derecha y
asumiendo que la distribución inicial es 0.6 2 3
0.1


π(0) = 0 0.5 0.5 : 0.2
0.1

0.8 1

1 Encontrar la matriz de transición, caracterizar los estados y sus

periodos.
2 Calcular la distribución de X (1) y el valor medio de
X (1)(1 − X (1))2 .
3 Calcular el número medio de visitas que la cadena hará al estado 2 y
la probabilidad de que la cadena visitará el estado 1.
4 Calcular la distribución de X (∞), su valor medio y su varianza.
 B. D’Auria ©2013

Ejercicio 2 - Primer parcial 2014

Una empresa aseguradora usa un modelo del tipo cadena de Markov para calcular el
valor de un contrato de seguro de vida. La cadena de Markov considera 3 estados:
activo, inactivo y muerto. Un trabajador en activo pasará el año siguiente a inactivo
con una probabilidad del 20 % mientras seguirá activo con una probabilidad del 79 %.
Un trabajador inactivo se dará de alta el año siguiente con una probabilidad del 70 % y
se quedará de baja con una probabilidad del 28 %. Las probabilidades que sobren son
para una transición al estado de muerte.

Se asume que la indemnización en caso de muerte es de 10ke y que el trabajador

empiece en el tiempo 0 su contrato en estado activo.

1 Escribe la matriz de transición y el diagrama de estados.

2 Caracteriza los estados y sus periodos.
3 Calcula la probabilidad que antes de morir el trabajador se encuentre en estado
inactivo.

Si el contrato dura 2 años, e indicando con X (n) el estado del trabajador a final del
año n, calcula

4 las funciones de probabilidad de las variables X (1) y X (2)

5 la función de probabilidad del gasto de la empresa S
6 el precio del contrato π si la empresa usa
p el principio de la desviación típica con
parámetro 1/100, es decir π = E[S] + Var[S]/10000.
 B. D’Auria ©2013

Solución
1 Definiendo los estados: 1-activo, 2-inactivo y 3-muerto,
tenemos que el diagrama de estados de la cadena de Markov es
79 %
1%
1 3 100 %

20 % 70 %
2%
28 % 2
y la matriz de transición P ∈ M3×3 es
 
79 % 20 % 1 %
P =  70 % 28 % 2 % 
0 0 100 %

2 Los estados transitorios son T = {1, 2} y el único estado

recurrente, de hecho absorbente, es R = {3}, todos con
períodos igual a 1.
 B. D’Auria ©2013

Solución
3 Queremos calcular la probabilidad

f12 = P1 (T2 < ∞) = P1 (N2 (∞) > 0) .

Sabemos que f12 = m12 /m22 con mij elementos de la matriz

M = (I − Q)−1

donde  
0.79 0.29
Q= .
0.7 0.28
Se calcula  
64.29 17.86
M≈
62.5 18.75
y por lo tanto

f12 ≈ 17.86/18.75 ≈ 95.24 % .

 B. D’Auria ©2013

Solución
4 Definimos las funciones de probabilidad de X (1)

y X (2) como
π(1) y π(2). Sabiendo que π(0) = 1 0 0 tenemos que


π(1) = π(0) P = 0.79 0.2 0.01 ;


π(2) = π(1) P = 0.7641 0.214 0.0219 .

5 El gasto de la empresa es S = 10ke 1{X (2) = 3} y por lo

tanto vale

10ke con prob. 2.19 %
S=
0 con prob. 97.81 %

6 Se calcula

E[S] = 219e, E[S 2 ] = 2.19 ∗ 106 e2 y Var[S] = 2.14 ∗ 106 e2 .

Por lo tanto π = 233.636e.

 B. D’Auria ©2013

Ejercicio - Distribución estacionaria

Considera una Cadena de Markov homogénea con la siguiente

matriz de transición:
 
1/5 0 4/5 0 0
 1/4 1/4 0 1/4 1/4 
 
P=  3/10 0 7/10 0 0  .

 0 0 0 1/3 2/3 
0 0 0 1/2 1/2

Dibuja el diagrama de transición, clasifica los estados y encuentra

todas las distribución estacionaria.
 B. D’Auria ©2013

Solución
Las clases son C1 = {1, 3}, C2 = {2} y C3 = {4, 5}.
La clase C2 es transitoria mientras las clases C1 y C3 son
recurrentes positivas. Todas son aperiodicas.
La distribución estacionarias para una cadena solo en la clase C1
sería
3 8
( , )
11 11
y solo en la clase C3 sería
3 4
( , ).
7 7
Por lo tanto con a, b ≥ 0 and a + b = 1, todas las distribuciones
estacionarias serán dada por
3 8
0 0 + b 0 0 0 37 47



π = a 11 0 11
3 8
a 73 b 47 b


= 11 a 0 11
 B. D’Auria ©2013

Ejercicio
Considera la Cadena de Markov homogénea con diagrama de
transiciones:

1
2
1 5 1

1
1 2 1

4 1 2 1 3
2 2

Hallar el valor de:

la matriz de transición
las clases y sus períodos
(n)
la distribución de los tiempos de parada T11
la distribución estacionaria
 B. D’Auria ©2013

Solución
La matriz de transición es igual a
 
0 0.5 0 0 0.5
 0 0 0.5 0.5 0 
 
P=  1 0 0 0 0 

 1 0 0 0 0 
0 0 0 0 1

Como el estado 5 es absorbente, el solo constituye una clase.

Luego tenemos que 1 → 2 → 3 → 1 y por lo tanto

1↔2↔3

Igualmente tenemos que 1 → 2 → 4 → 1 y por lo tanto las

únicas clases son
{1, 2, 3, 4} y {5}
 B. D’Auria ©2013

Solución
Siendo p55 = 1 tenemos que el periodo del estado 5 es 1,
d(5) = 1
Para el estado 1 tenemos que
(1) (2) (3) 1
p11 = 0; p11 = 0; p11 = ;
2
Además considerado que la distribución al tiempo 3
empezando en el estado 1 es π1 (3) = (0.5, 0, 0, 0, 0.5) usando
Champan-Kolmogorov tenemos que
(4)
p11 = p11 × 0.5 + p51 × 0.5 = 0
y continuando tenemos que
(3n)
p11 = 2−n
y 0 en el resto. Se deduce que d(1) = 3 como también el
periodo de toda su clase
d({1, 2, 3, 4}) = 3 .
 B. D’Auria ©2013

Solución
(1)
Consideramos el primer tiempo de parada T11 = T11 y
indicamos con ω una realización del proceso
ω = (x0 , x1 , x2 , . . .) .
Ya que se empieza en el estado 1 tenemos x0 = 1, por lo tanto
posibles realizaciones serán
ω1 = 15555555555 . . . ω2 = 12312315555 . . .
ω3 = 12415555555 . . . ω4 = 12412312315 . . .
y el valor de la variable aleatoria T11 (ω) será
T11 (ω1 ) = ∞; T11 (ω2 ) = 3; T11 (ω3 ) = 3; T11 (ω4 ) = 3
es decir
1
T11 = 3 ⇐⇒ X (1) = 2 con prob.
2
1
T11 = ∞ ⇐⇒ X (1) = 5 con prob.
2
 B. D’Auria ©2013

Solución
Es decir el primer tiempo de parada, T11 , toma solo el valor 3 y el
valor ∞ cada uno con probabilidad 21 . Por lo tanto su función de
masa o de probabilidad vale
 1
f11 (n) = 2 n =3
0 en el resto

y la probabilidad que sea finito se calcula como

∞
X 1
f11 = P(T11 < ∞) = f11 (n) =
2
n=0

que equivale a decir

1
P(T11 = ∞) = 1 − P(T11 < ∞) = 1 − f11 = .
2
Es decir el estado 1 es transitorio, ya que tiene probabilidad positiva
de no regresar.
 B. D’Auria ©2013

Solución

De la misma forma tenemos que los tiempos de parada de orden

mayor valdrán

3n con prob. 2−n


(n)
T11 =
∞ con prob. 1 − 2−n

Es decir
2−n k = 3n

(n)
f11 (k) =
0 en el resto
y
(n) (n) 1
f11 = P(T11 < ∞) =
2n
 B. D’Auria ©2013

Solución
Para calcular la distribución estacionaria
−1 0.5 0 0 0.5
!
0 −1 0.5 0.5 0
P−I= 1 0 −1 0 0
1 0 0 −1 0
0 0 0 0 0

y tiene determinante nulo, de echo una linea es nula.

Añadimos la condición π ~1 = 1,
1 0.5 0 0 0.5
!
1 −1 0.5 0.5 0
π 1 0 −1 0 0 =( 1 0 0 0 0 )
1 0 0 −1 0
1 0 0 0 0

que nos da, como distribución estacionaria,

0 0 0 0 1
 

 0 −1 0 0 2 
π = 1 0 0 0 0  0 0 −1 0 1
 

 0 0 0 −1 1 
2 1 0 0 −4
0 0 0 0 1


= .

El resultado es da esperarse ya que solo el estado 5, siendo

absorbente, es recurrente positivo.
 B. D’Auria ©2013

Ejercicio - Distribución estacionaria

Considera la Cadena de Markov homogénea con matriz de
transición:  
0.1 0 0.9
P =  0.8 0.2 0 
0.5 0.5 0
Hallar la distribución estacionaria.
Solución
Llamamos π = (π1 , π2 , π3 ) la distribución estacionaria. Esta tendrá
que resolver la ecuación π = π P es decir

1 8 1
 π1 = 10 π1 + 10 π2 + 2 π3

2
π2 = 10 π2 + 12 π3
 9
π3 = 10 π1


Una de estas ecuaciones es redundante y la cambiamos por

π1 + π2 + π3 = 1. Se tiene que la solución es
80 45 72


π = 197 , 197 , 197 = (40.61 %, 22.84 %, 36.55 %)
 B. D’Auria ©2013

Ejercicio - Distribución estacionaria

Considera la Cadena de Markov homogénea con matriz de
transición:  
0.1 0 0.9
P =  0.8 0.2 0 
0.5 0.5 0
Hallar la distribución estacionaria.
Solución
Llamamos π = (π1 , π2 , π3 ) la distribución estacionaria. Esta tendrá
que resolver la ecuación π = π P es decir

1 8 1
 π1 = 10 π1 + 10 π2 + 2 π3

2
π2 = 10 π2 + 12 π3
 9
π3 = 10 π1


Una de estas ecuaciones es redundante y la cambiamos por

π1 + π2 + π3 = 1. Se tiene que la solución es
80 45 72


π = 197 , 197 , 197 = (40.61 %, 22.84 %, 36.55 %)
 B. D’Auria ©2013

Ejercicio - Contrato de seguro

Una empresa aseguradora produce un contrato de seguro de 3 años para un trabajador

de alto riesgo según el siguiente modelo de Cadena de Markov homogénea:

Estados: Matriz de transición:

1 en activo  
0.6 0.2 0.15 0.05
2 inactivo  0.1 0.7 0.0 0.2 
P=
 
3 jubilado 0 0 1 0 
4
0 0 0 1
muerto

Los cambios de estados solo ocurren al final de año y el beneficio por muerte es de
5.000e y se paga al final del año que haya muerte. Al momento del contrato el
trabajador se encuentra en estado inactivo.

Hallar el valor presente del beneficio potencial de muerte antes de estipular el contrato

Sin asumir ningún taso de interés

Asumiendo un taso de interés del 4 % anuo.
 B. D’Auria ©2013

Solución - Contrato de seguro

El diagrama de estados de la cadena de Markov es
0.6

1 4 0.05 1 0.15 3 1

0.1 0.2
0.2

2 0.7

Al final del primer año la empresa habrá pagado el beneficio solo si

el trabajador se encontrará en el tiempo 1 en el estado 4, es decir
C1 = 5000e×P2 (X (1) = 4) = 5000e×p24 = 5000e×0.2 = 1000e
que también se puede calcular como
C1 = E[5000e × 1{X (1) = 4}] = 1000e .
Igualmente tenemos para el segundo y el tercer año
(2)
C2 = 5000e × p24 = 5000e × 0.345 = 1725e;
(3)
C3 = 5000e × p24 = 5000e × 0.4535 = 2267.5e .
 B. D’Auria ©2013

Solución - Contrato de seguro

Por lo tanto el precio del contrato será la cantidad pagada a final
del tercer año
C = C3 = 2267.5e .
Para considerar el interés, tenemos que considerar no solo la
cantidad pagada sino también en que año se ha pagado. Definimos
estas cantidades como el coste medio a final de año menos el coste
medio del año anterior, que corresponde exactamente al coste
añadido por el año corriente.
Esto por qué el estado 4 es absorbente y si un año el trabajador se
encuentra en este estado se quedará en este estado también los
años sucesivos pero cobrará el beneficio solo una vez. Entonces
tenemos ∆C1 = C1 = 1000e y
∆C2 = C2 − C1 = 725e ∆C3 = C3 − C2 = 542.5e
y el coste con los intereses añadidos será de
∆C1 ∆C2 ∆C3
C̃ = + + = 2114.12e .
1.04 1.042 1.043
 B. D’Auria ©2013

Ejercicio
Una empresa quiere usar un sistema par incentivar la mejora profesional de su
personal ofreciendo cursos de formación.
Un empleado tendrá que cursar un curso de formación (estado 1) y una vez
acabado el curso recibirá, en el año siguiente, una recompensa (estado 2).
Luego, por un año más, el empleado no recibirá ninguna formación (estado 3),
y al terminar de este año o continuará con apuntarse a otro curso de formación
o dejará el plan de formación (estado 4). La matriz de transición para este
modelo está dada por
 
80 % 20 % 0 0
 0 0 1 0 
P=  80 %

0 0 20 % 
0 0 0 1

El trabajador empieza en el periodo 0 en el estado 1.

1 Dibuja el diagrama de transición, caracteriza los estados y sus periodos.

2 Calcula la distribución estacionaria.
3 La distribución de X (2), su media y su varianza.
4 La probabilidad de que el empleado una vez recibido un premio vuelva a
apuntarse a un curso de formación.
 B. D’Auria ©2013

Solución
a) El diagrama de estados de la cadena de Markov es
80 %
20 %

1 2

80 %

3 4
20 %

Hay dos clases T = {1, 2, 3} y R = {4}. La cadena es

aperiódica.
b) Como hay un solo estado recurrente positivo la distribución
estacionaria es

π= 0 0 0 1 .
 B. D’Auria ©2013

Solución
c) Calculamos
 
0.64 0.16 0.2 0
 0.8 0 0 0.2 
P2 = 
 0.64 0.16 0 0.2 


0 0 0 1
y tenemos que la distribución de X (2) está dada por


π(2) 0.64 0.16 0.2 0 .
Usando la distribución calculamos
E1 [X (2)] = 1.56 , E1 [X 2 (2)] = 3.08 , Var1 [X (2)] = 0.6464 .

d) Usando la estacionariedad podemos asumir que en el tiempo 0

el empleado esté en el estado 2. La probabilidad buscada es
P2 (T1 < ∞), y teniendo en cuenta que el estado 4 es
absorbente, esta probabilidad se puede calcular como
P2 (T1 < ∞) = P(X (2) = 1, X (1) = 3|X (0) = 2)
= P(X (2) = 1|X (1) = 3) = p31 = 80 % .
 B. D’Auria ©2013

Ejercicio - Clasificación de estados

Considera la Cadena de Markov homogénea con diagrama de

transiciones: 3
4

2 3 1
1
4

1
1

Hallar el valor de:

a) la matriz de transición
b) las clases
(n)
c) la distribución de los tiempos de parada T11 y sus valor
medios
d) los periodos
e) si los estados son transitorios o recurrentes
 B. D’Auria ©2013

Solución
a) La matriz de transición es igual a
 
1 0 0
P =  0 0.25 0.75 
0 0 1

b) Tenemos que el estado 3 es absorbente y el estado 1 y 2

comunican por lo tanto las clases son

{1, 2} y {3}

c) Desde 1 solo vamos a 2, y desde 2 o volvemos a 1 con

probabilidad 1/4 o vamos a 3 y nunca regresamos a 1,
entonces 
2 con prob. 1/4
T11 =
∞ con prob. 3/4
 B. D’Auria ©2013

Solución
c) (continúa) Igualmente para regresar 2 veces, tenemos que
regresar una primera vez (es decir T11 = 2), luego ir al paso 3
en 2 y luego volver a 1 con probabilidad 1/4 o ir a 3 y no
regresar nunca a 1, entonces

(2) 4 con prob. 1/16
T11 =
∞ con prob. 1 − 1/16
En general tenemos
2n con prob. 1/4n

(n)
T11 =
∞ con prob. 1 − 1/4n
Calculamos la media de T11 .
E1 [T11 ] = 2 × P(T11 = 2) + ∞ × P(T11 = ∞) = ∞
como tiene que ser, ya que el estado 1 es transitorio, es decir
hay probabilidad positiva de no volver
3
P(T11 = ∞) = .
4
 B. D’Auria ©2013

Solución
d) Calculamos las probabilidades de regreso en n pasos
n 1 2 3 4 5 6 7 8 9
(n) 1 1 1 1
p11 0 4 0 42 0 43 0 44 · · ·
se ve que son positivas solo para múltiples de 2, y por lo tanto
tenemos que
d(1) = 2 .
Todos los estados que comunican con el estado 1 tendrán el
mismo período, y entonces también d(2) = 2.
Para el estado 3 tenemos que
n 1 2 3 4 5 6 7 8 9
(n)
p33 1 1 1 1 1 1 1 1 · · ·
y el máximo común divisor es 1, entonces

d(3) = 1 .
e) Los estados {1, 2} son transitorios y el estado 3 es recurrente.
 B. D’Auria ©2013

Ejercicio

Los compradores de automóviles de las marcas A, B y C , se quedan

o cambian marca de su coche según la siguiente matriz de
transición:

 
2 1 2
 5 5 5 
P=
 1 3 1 
5 5 5

 
1 1 7
9 9 9

Después de varios años,

¿qué parte del mercado tiene la marca C ?
 B. D’Auria ©2013

Solución - 1ra versión

Vamos a determinar la distribución estacionaria,


π = π1 π2 π3 ,
que es solución de la ecuación
πP = π
es decir 
2


 5 π1 + 15 π2 + 19 π3 = π1

1
5 π1 + 35 π2 + 19 π3 = π2


2
+ 15 π2 + 79 π3 = π3

5 π1


Una de las ecuaciones anterior es superflua y la sustituimos por

π1 +π2 +π3 = 1
y resolviendo tenemos que
3 4 9


π= 16 16 16 .
La marca C tendrá el 56.25 % del mercado.
 B. D’Auria ©2013

Solución - 2da versión

Vamos a determinar la distribución estacionaria, π, que es solución
de la ecuación
πP = π
y satisface la condición |π| = π · ~1 = 1.
Tenemos que resolver el sistema
 
1 51 2
5
   
π  1 −5
 2 1 = 1 0 0

 5 
1 19 − 29
y al final tenemos que
 
3 1 9
  16 4 16   
19
π= 1 0 0 − 74 9 = 3 4 9 .
 
16 16 16 16 16

 
23 1
16 4 − 27
16

La marca C tendrá el 56.25 % del mercado.

 B. D’Auria ©2013

Ejercicio
Dado el siguiente diagrama de transición
50 %

1 50 % 2

100 % 50 % 50 %

3 100 % 4

a) Encuentra la matriz de transición P

b) Caracteriza los estados y sus periodos.
c) Calcula Ei [Ti ] para i ∈ {1, 2, 3, 4}
d) Calcula la distribución estacionaria usando el resultado del apartado
anterior
e) Encuentra la distribución estacionaria usando la matriz de transición P
f) nd(i)
encuentras las probabilidades límites pii para i ∈ {1, 2, 3, 4} con d(i) el
periodo del estado i.
 B. D’Auria ©2013

Solución
a) La matriz de transición para este modelo está dada por
 
0 1/2 1/2 0
 1/2 0 0 1/2 
P=  1

0 0 0 
0 0 1 0

b) La cadena es irreducible y de periodo d = 2

c) Tenemos

E1 [T1 ] = 2.5 E2 [T2 ] = 5 E3 [T3 ] = 10/3 E4 [T4 ] = 10

d) Sabiendo que πi = 1/E[Ti ] tenemos

π= 4/10 2/10 3/10 1/10 .
 B. D’Auria ©2013

Solución

e) La matriz de transición para este modelo está dada por

 −1
1 −1/2 −1/2 0

 1 1 0 −1/2 
π= 1 0 0 0   1

0 1 0 
1 0 −1 1


= 4/10 2/10 3/10 1/10 .

(nd)
f) Sabiendo que pii → dπi tenemos que
(nd)

(pii )i → 8/10 4/10 6/10 2/10 .
 B. D’Auria ©2013

Cadena de Markov

Considera la cadena de Markov con matriz de transición

 
0 70 % 30 % 0
 0 0 1 0 
P=
 0

70 % 0 30 % 
1 0 0 0

Calcula:

1 Las clases y los períodos

2 La distribución estacionaria
3 La distribución del tiempo de primera visita T11
4 El valor medio E1 [T1 ]
 B. D’Auria ©2013

Solución
El diagrama de transición es

70 %
1 2

30 % 70 %

4 30 % 3

1 La cadena es aperiódica y irreducible.

2 La distribución estacionaria es

π = ( 11.95 % 36.25 % 39.84 % 11.95 % ) .

 B. D’Auria ©2013

Solución

3 La distribución del tiempo de primera visita T11

(0.7)(0.3)(0.7)n−1

2n
P1 (T1 = n) =
2n + 1 (0.3)(0.3)(0.7)n−1

4 El valor medio E1 [T1 ]

E1 [T1 ] = 1/0.1195 = 8.3682 .

 B. D’Auria ©2013

Ejercicio - Distribuciónes límites y estacionarias

Considera la Cadena de Markov homogénea con matriz de

transición:  
0 1
P=
1 0
Hallar :
a) las distribución límites
b) la distribución estacionaria
 B. D’Auria ©2013

Solución
a) Imaginamos de empezar por una cualquiera distribución inicial
πp (0) = (p, 1 − p) con p ∈ [0, 1]. Tenemos que

πp (1) = πp (0) P = (1 − p, p)
πp (2) = πp (1) P = (p, 1 − p) = πp (0)

y en general

πp (2n + 1) = (1 − p, p) y π(2p) = πp (0) = (p, 1 − p)

y por lo tanto el limite

lím Pπp (0) (X (n) = j)

n→∞

nunca existe, ya que la función oscila entre p y 1 − p. L’único

caso en el cual existiría sería el caso en que p = 1 − p = 1/2
que como vamos a ver en el apartado siguiente corresponde a
la única distribución estacionaria.
 B. D’Auria ©2013

Solución

b) Para calculara la distribución estacionaría, π = (π1 , π2 ),

tenemos que
π = πP
es decir 
π1 = 0 × π1 + 1 × π2 = π2
π2 = 1 × π1 + 0 × π2 = π1
y como ya se esperaba una de ella es superflua. Usando la
ecuación de normalización tenemos que
1
π1 + π2 = 1 ⇒ π1 = π2 = .
2
 B. D’Auria ©2013

Solución
b) Otra forma de ver la distribución estacionaria.
Sabemos que si la cadena está al tiempo n en el estado 1,
estará al tiempo n + 1 en el estado 2 y viceversa, para volver
en el mismo estado al paso siguiente, n + 2.
Esto quiere decir que
Nj (n) 1
lím =
n→∞ n 2
Sabiendo, por los teoremas limites que,
 
Nj (n) 1
Pi lím = =1
n→∞ n µjj

obtenemos que µjj = 2.

Esto era de esperarlo ya que Tjj = 2 determinista, y

µjj = E[Tjj ] = 2 .
 B. D’Auria ©2013

Solución

b) Otra forma de ver la distribución estacionaria.

Siempre por los teoremas límites tenemos que

(n d) d
lím pjj = = d πj
n→∞ µjj
y entonces
(n d) 2
lím p = = 1 = 2 πj
n→∞ jj 2

y tenemos que πj = 12 .
 B. D’Auria ©2013

Ejercicio

Lamamos T el conjunto de los estados transitorios de una cadena

de Markov, y con Q la sub-matriz de transición. Definimos con
mij (n) el número medio de visitas al estado j empezando en el
estado i en los primeros n pasos, es decir

mij (n) = Ei [Nj (n)]

con i, j ∈ T , y llamamos Mn la correspondiente matriz.

Demuestra que :
a) Mn = I + Q + Q2 + · · · + Qn .
b) Mn − I + Qn+1 = Q[I + Q + Q2 + · · · + Qn ].
c) Mn = M(I − Qn+1 ).
 B. D’Auria ©2013

Solución
a) Consideramos i, j ∈ T y n > 0, tenemos que
mi,j (n) = Ei [Nj (n)] = Ei [Nj (0) + (Nj (n) − Nj (0))]
= Ei [Nj (0)] + Ei [Nj (n) − Nj (0)]
= 1{i = j} + Ei [Ei [Nj (n) − Nj (0)|X (1)]]
ya que tenemos, por la propiedad de Markov,
Ei [Nj (n) − Nj (0)|X (1) = k] = Ek [Nj (n − 1)] = mkj
llegamos a
mi,j (n) = 1{i = j} + Ei [mX (1)j ]
X
= 1{i = j} + mkj pik
k∈T

donde hemos usado el hecho que mkj = 0 si k 6∈ T .

Usando matrices esto se escribe como
Mn = I + Q Mn−1 .
 B. D’Auria ©2013

Solución
a) (Continúa) Siendo obviamente M0 = I, tenemos que la
relación es cierta por n = 1, es decir

M1 = I + Q .

Imaginamos que sea cierta por n verificamos que lo es por

n + 1,

Mn+1 = I + Q Mn
= I + Q (I + Q + Q2 + · · · + Qn )
= I + Q + Q2 + Q3 + · · · + Qn + 1)

que verifica la tesis.

b) Siendo Mn = I + Q + Q2 + · · · + Qn tenemos que

Mn − I + Qn+1 = Q + Q2 + · · · + Qn + Qn+1
= Q(I + Q + · · · + Qn−1 + Qn )
 B. D’Auria ©2013

Solución
c) Por el apartado anterior tenemos que

Mn − (I − Qn+1 ) = Q Mn

por lo tanto tenemos que

(I − Q) Mn = (I − Qn+1 )

y recordando que M = (I − Q)−1 tenemos que

Mn = M (I − Qn+1 )

Comentario
La matriz M se puede escribir como M∞ y por lo tanto, usando el
primer apartado, esta se puede calcular como
∞
X
2 3
M = I + Q + Q + Q + ··· = Qn .
n=0