ESCUELA POLITÉCNICA NACIONAL.

P ROCESOS E STOCÁSTICOS • D EBER N ◦ 1

Semestre 2020-A William Gabriel Granda Betancourt.

E JERCICIO 1. Un sistema informático puede funcionar en dos modos diferen-

tes. Cada hora, permanece en el mismo modo o cambia a un modo diferente
de acuerdo con a matriz de probabilidad de transición:
!
0,4 0,6
P=
0,6 0,4

1. Calcule la matriz de probabilidad de transición en dos pasos.

2. Si el sistema está en el modo I a las 5 : 30 pm. ¿Cuál es la probabilidad

de que estará en el modo I a las 8 : 30 pm del mismo día?

Solución: 1. En primer lugar, sabemos que

!
p00 (2) p01 (2)
P (2) = = P2 .
p10 (2) p11 (2)

Así, se sigue que

! ! !
0,4 0,6 0,4 0,6 0,52 0,48
P (2) = × = .
0,6 0,4 0,6 0,4 0,48 0,52

2. En primer lugar, consideremos la siguiente notación:

0 = modo I y 1 = modo II.

Así, si consideramos 5 : 30 como el tiempo cero, buscamos el valor de

P( X3 = 0| X0 = 0) = p00 (3). (1)

Por otro lado, La matriz de transición en 3 pasos, viene dada por

! ! !
0,52 0,48 0,4 0,6 0,496 0,504
P (3) = × = .
0,48 0,52 0,6 0,4 0,504 0,5008

Luego, junto con (1), se sigue que

p00 (3) = 0,496.

1
William Gabriel Granda Betancourt. Deber N◦ 1

E JERCICIO 2. Sea Xn una cadena de Markov con dos estados {0, 1} y matriz
de transición !
p q
P=
q p

Encuentre P( X1 = 0| X0 = 0, X2 = 2).

Solución: Por la Fórmula de la Probabilidad Condicional, tenemos que

P( X2 = 0, X1 = 0, X0 = 0)
P( X1 = 0| X0 = 0, X2 = 0) = ,
P( X2 = 0, X0 = 0)
P( X2 = 0| X1 = 0, X0 = 0) P( X1 = 0, X0 = 0)
= ,
P( X2 = 0, X0 = 0)

de donde, por la propiedad de Markov, se sigue que

P( X2 = 0| X1 = 0) P( X1 = 0, X0 = 0)
P( X1 = 0| X0 = 0, X2 = 0) = ,
P( X2 = 0, X0 = 0)

nuevamente, por la Fórmula de la Probabilidad Condicional, obtenemos que

P ( X2 = 0 | X1 = 0 ) P ( X1 = 0 | X0 = 0 ) P ( X0 = 0 )
P( X1 = 0| X0 = 0, X2 = 0) = ,
P ( X2 = 0 | X0 = 0 ) P ( X0 = 0 )
P ( X2 = 0 | X1 = 0 ) P ( X1 = 0 | X0 = 0 )
= ,
P ( X2 = 0 | X0 = 0 )
p2
= ,
P ( X2 = 0 | X0 = 0 )

es decir,
p2
P( X1 = 0| X0 = 0, X2 = 0) = . (2)
P ( X2 = 0 | X0 = 0 )
Por otro lado, sabemos que
! ! !
p q p q p2 + q2 2pq
P (2) = × = ,
q p q p 2pq p + q2
2

de donde, junto con (2), se sigue que

p2
P( X1 = 0| X0 = 0, X2 = 0) = .
p2 + q2

2
Deber N◦ 1 William Gabriel Granda Betancourt.

E JERCICIO 3. Consideremos una cadena de Markov cuyo diagrama de tran-

sición es el siguiente
Encuentre las clases de comunicación y clasifique los estados.

Solución: Notemos que

5 ↔ 6, 7↔9 y 9 ↔ 10 ↔ 11,

con esto, tenemos que

C (1) = {1}, C (2) = {2}, C (3) = {3}, C (4) = {4},

C (5) = {5, 6}, C (7) = {7, 8}, y C9 = {9, 10, 11}.

Ahora, vamos a determinar los estados recurrentes y transitorios, en efecto, tene-

mos que
+∞ +∞
∑ p1,1 (n) = ∑ 0 < +∞,
n =1 n =1

así, el estado 1 es transitorio.

Análogamente para los estados 2 y 3, se tiene que
+∞ +∞ +∞
∑ p2,2 (n) = ∑ p3,3 (n) = ∑ 0 < +∞,
n =1 n =1 n =1

de donde, los estados son transitorios.

Para el estado 4, obtenemos que

p4,4 (n) = 1n ,

de donde,
+∞ +∞
∑ p4,4 (n) = ∑ 1n = +∞,
n =1 n =1

es decir, el estado 4 es recurrente.

Por otro lado, para el estado 5, tenemos que

f 55 (1) = 0, f 55 (2) = 0,2 × 0,5 = 0,01 y f 55 (n) = 0∀n ≥ 3,

con esto, se sigue que

+∞
f 55 = ∑ f 55 (n) = 0,01 < 1,
n =1

3
William Gabriel Granda Betancourt. Deber N◦ 1

luego, el estado 5 es transitorio, y dado que la transitoriedad es una propiedad de

clase, podemos concluir que el estado 6 también es transitorio.
Para el estado 7, notemos que

f 77 (1) = 0, f 7,7 = 1 × (0, 4)n−2 × 0,6∀n ≥ 2,

de donde,
+∞
f 77 = ∑ f 77 (n),
n =1
+∞
= ∑ (0,4)n−2 × 0,6,
n =2
+∞
0,6
=
(0,4)2 ∑ (0,4)n ,
n =2
 
0,6 0,4
= − 0,4 ,
(0,4)2 0,6
= 1,

de donde, el estado 7 es recurrente, y dada la propiedad de clase de la recurrencia,

tenemos que el estado 8 es recurrente.
Finalmente, para el estado 9, tenemos que

f 99 (3) = 1 y f 99 (n) = 0∀n ≥ 1, n 6= 3,

así,
+∞
f 99 = ∑ f 99 (n) = 1,
n =1

es decir, el estado 9 es recurrente, y por lo tanto, los estados 10 y 11 también lo

son.

E JERCICIO 4. Sea { Xn : n ≥ 0} una caminata aleatoria simple sobre Z que

inicia en X0 = 0 Sea f ij la probabilidad de que eventualmente la caminata
visite el estado j a partir del estado i, es decir,

f ij = P( Xn = j para alguna n ≥ 1 | X0 = i ) .

2 .
1. Demuestre que f −1,1 = f −1,0 × f 0,1 = f 0,1

4
Deber N◦ 1 William Gabriel Granda Betancourt.

2. Condicionando sobre el primer paso de la caminata, demuestre que

f 00 = p f 10 + q f 1,0 = p f 10 + q f 0,1 .

Demostración. 1. En primer lugar, notemos que

f −11 (2n + 1) = 0 y f −11 (2n) = qn−1 pn+1 ,

para cada n ∈ N, de donde,

+∞
f −11 = ∑ q n −1 p n +1 ,
n =1
+∞
p
( pq)2 ,
q n∑
=
=1
p pq
= ( ),
q 1 − pq
p2
= .
1 − pq

Por otro lado, tenemos que

f −1,0 (2n + 1) = pn+1 qn y f −1,0 (2n) = 0,

para todo n ∈ N ∪ 0. Así, se sigue que

+∞
f −10 = ∑ p n +1 q n ,
n =0
+∞
=p ∑ ( pq)n ,
n =0
p
= .
1 − pq

Análogamente, dado que

f 0,1 (2n + 1) = pn+1 qn y f 0,1 (2n) = 0,

obtenemos que
p
f 0,1 = .
1 − pq

Con esto, tenemos que

2
f −1,0 × f 0,1 = f 0,1 .

5
William Gabriel Granda Betancourt. Deber N◦ 1

2. En primer lugar, consideremos la variable aleatoria

τ = { n ≥ 0 : Xn = 0},

tenemos que
f 00 = P( Xτ = 0| X0 = 0),

por la Fórmula de la Probabilidad Condicional, tenemos que

P( Xτ = 0, X0 = 0)
f 00 = ,
P ( X0 = 0 )

de donde, condicionando sobre el primer paso, se sigue que

P( Xτ = 0, X0 = 0| X1 = 1) P( X1 = 1) + P( Xτ = 0, X0 = 0| X1 = −1) P( X1 = −1)
f 00 = ,
P ( X0 = 0 )
P( Xτ = 0, X0 = 0, X1 = 1) + P( Xτ = 0, X0 = 0, X1 = −1)
= ,
P ( X0 = 0 )
P( Xτ = 0| X1 = 1, X0 = 0) P( X1 = 1, X0 = 0) + P( Xτ = 0| X1 = −1, X0 = 0) P( X1 = −1, X0 = 0)
= ,
P ( X0 = 0 )

luego, por la propiedad de Markov, obtenemos que

P( Xτ = 0| X1 = 1) P( X1 = 1, X0 = 0) + P( Xτ = 0| X1 = −1) P( X1 = 1, X0 = 0)
f 00 = ,
P ( X0 = 0 )

de donde, nuevamente, por la Fórmula de la Probabilidad Condicional, ob-

tenemos que
f 00 = P( Xτ = 0| X1 = 1) P( X1 = 1| X0 = 0) + P( Xτ = 0| X1 = −1) P( X1 = −1| X0 = 0),

de donde, dado que

P ( X1 = 1 | X0 = 0 ) = p y P( X1 = −1| X0 = 0) = q,

podemos concluir que

f 00 = pP( Xτ = 0| X1 = 1) + qP( Xτ = 0| X1 = −1),

lo cual, es equivalente a tener que

f 00 = p f 10 + q f −10 .

Además por el literal anterior, se sigue que

f 00 = p f 10 + q f −10 = p f 10 + q f 01 .