Tarea 1

Procesos estocásticos
Solución propuesta por
Diego Eduardo León Castillo
Eduardo Lobato Montes de Oca
Eliud Alinne Martı́nez Saldaña
Fidel Abel David Vázquez Morales
Mónica Cruz Palma

1. Demostrar que la siguiente igualdad es cierta

X
P(A|C) = P(A|C, Bi )P(Bi |C),
i∈N

donde {Bi } es una partición numerable de Ω, y A y C dos eventos.

Solución..
Sea Pc : F → [0, 1] dada por Pc := P(A|C) = P(A∩C)
P(C)
que es una medida de probabilidad.
Aplicando Teo. de Probabilidad Total en Pc tenemos
X
Pc (A) = Pc (A|Bi ) · Pc (Bi )
i∈N

Ahora notemos que

P(A ∩ Bi )
Pc (A|Bi ) =
P(Bi )
P(A∩Bi ∩C)
P(C)
= P(C∩Bi )
P(C)
P(A ∩ Bi ∩ C)
=
P(C ∩ Bi )
= P(A|C ∩ Bi )
P
Es decir, Pc (A) = P(A|C ∩ Bi ) · Pc (Bi )
i∈N
Finalmente tenemos que X
P(A|C) = P(A|C ∩ Bi ) · P(Bi |C)
i∈N

2. Sea {Zn , n ≥ 1} variables aleatorias independientes idénticamente distribuidas (v.a.i.i.d.), con soporte en
{−1, 1} con (
p si i = 1
P(z1 = 1) =
q = 1 − p si i = −1
con p en [0, 1].
Definimos la caminata aleatoria simple como el proceso {Xn , n ≥ 0} de la siguiente manera

X0 = 0, Xn = z1 + · · · + zn para n ≥ 1

1
— Encuente la expresión para P(Xn = j|Xr = i), para r < n.
Solución..
No sabemos si j < i o j < i pero el tiempo que queremos ver es n-r en ese tiempo subió (o bajo)
(j − i) entonces en el tiempo (turnos) restantes se anularon e.d.

(n − r) − (j − i) = A

Donde A son tiempos en que al final quedó al igual que al inicio

= A/2 subió y A/2 bajo y el resto (j − i) tiempos solo hizo una cosa, o solo subio o solo bajo
Entonces si j − i > 0 (subió)
= pA/2 q A/2 pj−i
Si j − i < 0 (bajo)
= pA/2 q A/2 q i−j
Entonces una expresión para P(Xn = j|Xr = i) para r¡n es:
 (n−r)−(j−i) (n−r)−(j−i)
p
 2 q 2 pj−i si j > i
(n−r)−(j−i) (n−r)−(j−i)
P(Xn = j|Xr = i) = p 2 q 2 q i−j si i > j

0 e.o.c


— En caso de ser una cadena de Markov demuestre que los es, de lo contrario explique porqué no lo es.
Demostración.
Obseervamos que Xn = Z1 + · · · + Zn = Xn−1 + Zn .
Luego

P(Xn = xn |X0 = x0 , . . . , Xn−1 = xn−1 )

=P(Xn−1 + Zn = xn |X0 = x0 , . . . , Xn−1 = xn−1 ) Observación anterior
=P(Zn = xn − xn−1 ) Z independientes y de cada X
=P(Zn = xn − xn−1 |Xn−1 = xn−1 ) Z independientes, en particular de Xn−1
=P(Xn−1 + Zn = xn |Xn−1 = xn−1 ) Observación inicial
=P(Xn = xn |Xn−1 = xn−1 )

— Demuestre que la función generadora de momentos de la variable Xn de la caminata aleatoria simple

es
E(etXn ) = (pet + qe−t )n ,
a partir de esta expresión encuentre la esperanza y varianza de Xn .
Solución..
n
P n n
t Zi Y Y
tXn tZi
E(e ) = E(e i=1 ) = E( e ) = E(etZi )∗
i=1 i=1

*Es porque Zi son (v.a.i.i.d.)

= [E(etZi )]n ∗
*Como Zi son identicamente distribuidas

= [et(1) p + et(−1) q]n = [et p + e−t q]n = [pet + qe−t ]n

2
 Entonces:
E(etXn ) = (pet + qe−t )n
Para la esperanza:
Sabemos que E(X) = M ′ (0) con M(t) la función generadora de momentos entonces:

d
M ′ (0) = (pet + qe−t )n = n(pet + qe−t )n−1 (pet − qe−t )
dt
Donde evaluando en 0 tenemos:
= n(p + q)n−1 (p − q)
Y como p+q=1 entonces:
E(Xn ) = n(p − q)
Para la varianza:
V ar(Xn ) = E(Xn2 ) − E(Xn )2 = M ′′ (0) − [M ′ (0)]2
Para el segundo momento:
E(X 2 ) = M ′′ (0)
d2 t d
M ′′ (0) =
2
(pe + qe−t )n = (n(pet + qe−t )n−1 (pet − qe−t ))
t dt
donde usando regla del producto y sacando constantes tenemos

= n((n − 1)(pet − qe−t )2 (pet + qe−t )n−2 + (pet + qe−t )n )

Evaluando en t=0
= n((n − 1)(p − q)2 (p + q)n−2 + (p + q)n )
Como p+q=1 entonces:
M ′′ (0) = n((n − 1)(p − q)2 + 1)
Entonces:
M ′′ (0) − [M ′ (0)]2 = n((n − 1)(p − q)2 + 1) − [n(p − q)]2 = 4npq
Entonces:
V ar(Xn ) = 4npq

3. En el caso del problema de la ruina del jugador, si analizamos el problema desde la perspectiva del jugador
B, encuentre la probabilidad de ruina del jugador. Verifique además que la probabilidad de que alguno de
los jugadores se arruine es 1.
Solución..

Sea τ = min{n ≥ 0 : Xn = 0 ∨ Xn = N }
Buscamos uN −k = P(Xτ = 0|X0 = N − k)
Por Probabilidad total tenemos que

P(Xτ = 0|X0 = N − k) = P(Xτ = 0|X0 = N − k, X1 = N − k + 1)P(X1 = N − k + 1|X0 = N − k)

+ P(Xτ = 0|X0 = N − k, X1 = N − k − 1)P(X1 = N − k − 1|X0 = N − k)
= uN −k+1 · q + uN −k−1 · p

3
Además, notemos que u0 = 1 y uN = 0, ası́, tenemos que

uN −k = uN −k+1 · q + uN −k−1 · p k ∈ {1, ..., N − 1}

u0 = 1

uN = 0


Como p + q = 1, se tiene que

uN −k = uN −k · (p + q) = uN −k+1 · q + uN −k−1 · p
p
luego uN −k+1 − uN −k = (uN −k − uN −k−1 )
q
como u0 = 1 podemos ver que
p
u2 − u1 = (u1 − 1)
q
 2
p p p p
u3 − u2 = (u2 − u1 ) = ( (u1 − 1)) = (u1 − 1)
q q q q
..
.
 N −k−1
p
uN −k − uN −k−1 = (u1 − 1)
q
  2  N −k−1 
p
Notemos que uN −k − u1 = q + q + ... + pq
p
(u1 − 1)
  2  N −k−1 
De la expresión anterior, es fácil ver que uN −k = q + q + ... + pq
p p
(u1 − 1) + u1
 2  N −k−1
p p p
Denotemos SN −k−1 = 1 + q
+ q
+ ... + q

Ası́, tenemos que uN −k = SN −k−1 (u1 − 1) + 1

−1
Además, como uN = 0, se tiene que uN = SN −1 (u1 − 1) + 1 =⇒ u1 = SN −1
+1
SN −k−1
Finalmente, tenemos que uN −k = 1 − SN −1

Notemos también que 

N − k + 1 1
si p = 2
SN −k = 1−( pq )N −k+1

1− pq
e. o. c.

y por lo tanto k 1
N si p = 2
uk = ( pq )N −k −( pq )N
 N e. o. c.
1−( pq )

4
4. Considere el problema de la ruina del jugador permitiendo ahora que existan empates en cada una de las
apuestas. Las probabilidades de ganar, perder o empatar para el jugador A son p, q y r, respectivamente,
con p + q + r = 1. Encuentre la probabilidad de ruina para el jugador A. ¿Qué diferencia hay con el caso
sin empates?
Solución..

En el problema de la ruina del jugador se considera que A tiene k-pesos y el otro jugador tienen
(N − k)-pesos.
Nos interesa ver uk = P(Xτ = 0|X0 = k) donde τ = mı́n{n ≥ 0 : Xn = 0 o Xn = N }.
Vemos que, por probabilidad total:

P(Xτ = 0|X0 = k) = P(Xτ = 0|X0 = k, X1 = k + 1)P(X1 = k + 1|X0 = k)

+ P(Xτ = 0|X0 = k, X1 = k − 1)P(X1 = k − 1|X0 = k)
+ P(Xτ = 0|X0 = k, X1 = k)P(X1 = k|X0 = k)
= uk+1 p + uk−1 q + uk r

De lo anterior obtenemos el siguiente sistema:


uk = uk+1 p + uk−1 q + uk r
 si k ∈ {1, . . . , N − 1}
u0 = 1

uN = 0


Notamos que uk = uk (p + q + r) = uk+1 p + uk−1 q + uk r por lo que:

q
uk+1 − uk = (uk − uk−1 )
p
Que corresponde exactamente al modelo de la ruina del jugador sin empates, que recordamos tiene
por solución: 
 N −k si p = 21
N
uk = ( pq )k −( pq )N
 1−( q )N e.o.c.
p

5. Demuestre que la duración promedio del juego en el problema de la ruina del jugador es siempre menor o
igual a (N/2)2 .

5
6. Demuestre que la propiedad de Markov (3.1) es equivalente a cada una de las siguientes condiciones.

— Esta condición establece que la distribución conjunta queda especı́ficada a través de la distribución
inicial y las probabilidades de transición en un paso: para cualesquiera estados x0 , , . . . , xn ,

P(X0 = x0 , X1 = x1 , . . . , Xn = xn ) = P(X0 = x0 )P(X1 = x1 |X0 = x0 ) · · · P(Xn = xn |Xn−1 = xn−1 )

Demostación.
Suponiendo que las variables Xn cumplen la Propiedad de Markov, notamos que:

P(x0 , x1 )
P(X0 = x0 ) · P(X1 = x1 |X0 = x0 ) = H
P(x )· H
H0H
P(x
H0H )

Además, para cada 2 ≤ k ≤ n

hhh
P(x0 , . . . , h
hh xk−1 ) P(x0 , . . . , xk )
P(Xk−1 = xk−1 |Xk−2 = xk−2 ) · P(Xk = xk |Xk−1 = xk−1 ) = · hh
hh
P(x0 , . . . , xk−2 ) P(x0h, .h. h
. ,h
xk−1
hh )

Por lo cual
P(X0 = x0 )P(X1 = x1 |X0 = x0 ) · · · P(Xn = xn |Xn−1 = xn−1 )
hhhh
P(x0X, x ) P(x0 , . . h
. ,h
xn−1 ) P(x0 , . . . , xn )
XX
X1X
= P(x0H) · H · · · hhhh · hh
HH hh
P(x
H0H ) P(x0 , . . h
. ,h
xn−2
hh ) P(x0h, .h. h
. ,h
xn−1
hh )
= P(x0 , . . . , xn )

Ası́, hemos comprobado que si se cumple la Propiedad de Markov entonces se cumple que:

P(X0 = x0 , X1 = x1 , . . . , Xn = xn ) = P(X0 = x0 )P(X1 = x1 |X0 = x0 ) · · · P(Xn = xn |Xn−1 = xn−1 )

···
Por otro lado, asumiendo que se cumple esta igualdad, queremos probar que se cumple la Propiedad
de Markov. Vemos que:

P(Xn = xn |X0 = x0 , . . . , Xn−1 = xn−1 )

P(x0 , . . . , xn )
=
P(x0 , . . . , xn−1 )
hhh hh
hhh
XXX
=X
P(X0 X x0X)P(X1 h
=hx1h|X
h0h=hxh) · · · P(Xn−1 =hxh
0h n−1 |X
hhh n−2 =hxn−2 )P(Xn = xn |Xn−1 = xn−1 )
= hhhh h h h
hh
hhh
hh h
XXX
=X
P(X0 X x0X)P(X1 = x1h|X
h h0h=hxh)
0h · · · P(X n−1 = xh
n−1 |X
h hhn−2
hh=h
xn−2 )
hh
h
= P(Xn = xn |Xn−1 = xn−1 )

De esta manera comprobamos que el recı́proco también es válido.

Por lo tanto, concluimos que ambas condiciones son equivalentes.

□

6
— Esta condición establece que el futuro, sin importar lo distante que se encuentre, depende solamente
del último momento observado: para cualesquiera enteros n, m ≥ 1,

P(Xn+m = xn+m |X0 = x0 , . . . , Xn = xn ) = P(Xn+m = xn+m |Xn = xn )

Demostración.
Observamos que cuando m = 1, la igualdad es precisamente la definición de la Propiedad de
Markov.

Procedemos por inducción sobre m.

Base. Vemos que, para m = 2 se cumple:

P(Xn+2 = xn+2 |X0 = x0 , . . . , Xn = xn )

X
= (Xn+2 = xn+2 |X0 = x0 , . . . , Xn = xn , Xn+1 = j) · P(Xn+1 = j|X0 = x0 , . . . , Xn = xn )
j∈N
X
= P(Xn+2 = xn+2 |Xn+1 = j) · (Xn+1 = j|Xn = xn )
j∈N

=P(Xn+2 = xn+2 |Xn = xn )

Paso. Supongamos que se cumple para m = k, es decir:

P(Xn+k = xn+k |X0 = x0 , . . . , Xn = xn ) = P(Xn+k = xn+k |Xn = xn )

Luego, vemos que:

P(Xn+k+1 = xn+k+1 |X0 = x0 , . . . , Xn = xn )

X
= P(Xn+k+1 = xn+k+1 |X0 = x0 , . . . , Xn = xn , Xn+k = j) · P(Xn+k = j|X0 = x0 , . . . , Xn = xn )
j∈N
X
= P(Xn+k+1 = xn+k+1 |X0 = x0 , . . . , Xn = xn , Xn+k = j) · P(Xn+k = j|Xn = xn )
j∈N
X
= P(Xn+k+1 = xn+k+1 |Xn+k = j) · P(Xn+k = j|Xn = xn )
j∈N

=P(Xn+k+1 = xn+k+1 |Xn = xn )

Concluimos que ambas condiciones son equivalentes.

7
— Esta es la condición de Markov para tiempos no necesariamente consecutivos: para cualesquiera enteros
0 ≤ n1 < . . . < nm+1 ,
P(xnm+1 |xn1 , . . . , xnm ) = P(xnm+1 |xnm )
Demostación.
Observamos que cuando cada nk = k, la igualdad es precisamente la definición de la Propiedad de
Markov.

Por otro lado, vemos que usando los dos resultados anteriores tenemos que:
Qm−1 
pnm nm+1   pnj pnj+1
P(xnm+1 |xn1 , . . . , xnm ) =  j=1 = P(xnm+1 |xnm )
Qm−1 
j=1
  p
 nj
p nj+1


Concluimos que ambas condiciones son equivalentes.

□
— Esta condición expresa la independencia entre el pasado y el futuro cuando se conoce el presente: para
cualesquiera enteros 0 < k < n,

P(x0 , . . . , xk−1 , xk+1 , . . . , xn |xk ) = P(x0 , . . . , xk−1 |xk )P(xk+1 , . . . , xn |xk )

Demostración..
Vemos que si se cumple la propiedad de Markov ocurre que:
n−k
Y
P(xk+1 , . . . , xn |xk ) = P(xk ) P(xk+j |xk+j−1 )
j=1

Luego, la igualdad propuesta es inmediata.

···

Por otro lado, tomando k = n − 1 en la igualdad anterior, obtenemos lo siguiente:

P(x0 , . . . , xn |xn−1 ) = P(x0 , . . . , xn−2 |xn−1 )P(xn |xn−1 )

P(x0 , . . . , xn |xn−1 ) P(x0 , . . . , xn )
=⇒ P(xn |xn−1 ) = = = P(xn |xn−1 , . . . , x0 )
P(x0 , . . . , xn−2 |xn−1 ) P(x0 , . . . , xn−1 )

Ası́, P(xn |xn−1 , . . . , x0 ) = P(xn |xn−1 ) por lo que se cumple la propiedad de Markov.

Concluimos que ambas condiciones son equivalentes.

8
7. De un ejemplo de una matriz cuadrada P tal que la potencia P n sea estocástica para algún entero n ≥ 2,
sin ser P misma estocástica.
Solución.

−1 0 P
Proponemos P = , pues al no cumplir que ̸ 1 no es estocástica. Luego, para
pij =
0 −1 j
 
1 0
n = 2, P 2 =
P
es estocástica al cumplir que pij = 1
0 1 j

8. Demuestre que si una matriz estocástica P es simétrica, entonces para cualquier n ≥ 1, la potencia P n
también es simétrica, además demuestre que P es doblemente estocástica.
Solución.
Por hipótesis tenemos que P es simétrica entonces : P = P T por definición . . . . . . . . . . . . . . . . . . . . . . (1)
También sabemos que si tenemos A y B dos matrices simétricas entonces:(AB)T = AT B T = AB . (2)
Entonces P.D. que P n es simétrica para cualquier n ≥ 1
Ası́, por (1) queremos demostrar que: (P n )T = P n
Demostración:.

(P n )T = (P · P · P · · · P · P )T
Donde por (2) pues P es simétrica
= PT · PT · PT ···PT · PT · PT
Como P es simétrica entonces por (1)
= P · P · P ···P · P = Pn
Entonces tenemos que (P n )T = P n por lo tanto P n es simétrica.
···
Ahora P.D. que P es doblemente estocástica
Solución.
Recordemos
P que doblemente estocástica quiere decir que es una matriz estocástica y además
aij = 1 para cada j fijo.
i
Como P es simétrica entonces P T = P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .(1)
Al hacer la transpuesta las columnas se hacen filas y las filas se hacen columnas
Por hip. tenemos que P es estocástica entonces:
X
aij = 1
j

Entonces al hacer la transpuesta esa columna que suma 1 ahora serı́a una fila que suma 1 e.d.
X
aij = 1, para cada j fijo.
i

Y como P T = P entonces las columnas de P también suman 1 entonces P es doblemente es-

tocástica.

9
 9. Demuestre que toda matriz estocástica finita tiene siempre al número uno como valor propio.
Solución.

Una matriz estocástica es aquella matriz cuadrada que cumple que para la matriz P = (pij ) :
a)pX
ij >= 0
b) pij = 1
j
Sea P = (pij ) matriz finita nxn:
Con S = {1, 2, 3, ..}  
p11 p12 . . . p1n
 p21 p22 . . . p2n 
P =  ..
 
.. . . .. 
 . . . . 
pn1 pn2 . . . pnn
Tenemos entonces que:
    
p11 p12 . . . p1n 1 p11 + p12 + . . . + p1n
 p21 p22 . . . p2n  1  p21 + p22 + . . . + p2n 
P =  .. ..   ..  = 
    
.. . . .. .. .. .. 
 . . . .   .   .+.+.+. 
pn1 pn2 . . . pnn 1 pn1 + pn2 + . . . + pnn
por: a) y b)  
1
1
Tenemos que: P = 1  .. 
 
.
1
Por lo tanto la matriz estocástica finita P = (p1j ) tiene al 1 como valor propio.

10. Sea {Xn : n ≥ 0} una cadena de Markov con distribución inicial bernoulli(0.5) y con matriz de probabili-
dades de transición  
4/10 6/10
P =
9/10 1/10
Calcule

— P(X0 = 0, X1 = 1, X2 = 0) = 27/100

Desarrollo:
Ej.6
P(X0 = 0, X1 = 1, X2 = 0) = P(X0 = 0)P(X1 = 1|X0 = 0)P(X2 = 0|X1 = 1)
= (1/2)p01 p10
= (1/2)(6/10)(9/10)
= 27/100

10
— P(X0 = 0|X1 = 1) = 6/7

Desarrollo:
P(X1 = 1|X0 = 0)P(X0 = 0)
P(X0 = 0|X1 = 1) =
P(X1 = 1)
p01 (1/2)
=
P(X1 = 1|X0 = 0)P(X0 = 0) + P(X1 = 1|X0 = 1)P(X0 = 1)
(6/10)
=
p01 + p11
6/10
=
(6/10) + (1/10)
= 6/7

— P(X1 = 0) = 13/20

Desarrollo:
P(X1 = 0) = P(X1 = 0|X0 = 0)P(X0 = 0) + P(X1 = 0|X0 = 1)P(X0 = 1)
= (1/2)(p00 + p10) )
= (1/2)(4/10 + 9/10)
= 13/20

— P(X2 = 1) = 17/40

Desarrollo:
P(X2 = 1) = P(X2 = 1|X1 = 0)P(X1 = 0) + P(X2 = 1|X1 = 1)P(X1 = 1)
= p01 (13/20) + p11 (7/20)
= (6/10)(13/20) + (1/10)(7/20)
= 17/40

— P(X0 = 0, X1 = 0, X2 = 1, X3 = 1) = 18/1000

Desarrollo:

Considerando x0 = 0, x1 = 0, x2 = 1, x3 = 1, tenemos que:

3
Ej.6
Y
P(X0 = 0, X1 = 0, X2 = 1, X3 = 1) = P(X0 = 0) P(Xk = xk |Xk−1 = xk−1 )
k=1
= (1/2)p00 p01 p11
= (1/2)(4/10)(6/10)(1/10)
= 3/250

11
11. Sea {Xn : n ≥ 0} una cadena de Markov con distribución inicial p0 = 1/5 y p1 = 4/5 con matriz de
probabilidaddes de transición  
1/2 1/2
P =
2/3 1/3
Encuentre

— La distribución de X1
Solución.
Debemos calcular P(X1 = 0) y P(X1 = 1)
Para P(X1 = 0)

P(X1 = 0) = P(X1 = 0|X0 = 0)P(X0 = 0) + P(X1 = 0|X0 = 1)P(X0 = 1)

= p00 (1/5) + p10 (4/5)
= (1/2)(1/5) + (2/3)(4/5) = 19/30

Entonces P(X1 = 0) = 19/30

Para P(X1 = 1)

P(X1 = 1) = P(X1 = 1|X0 = 0)P(X0 = 0) + P(X1 = 1|X0 = 1)P(X0 = 1)

= p01 (1/5) + p11 (4/5)
= (1/2)(1/5) + (1/3)(4/5) = 11/30

Entonces P(X1 = 1) = 11/30

Por lo tanto la distribución de X1 es:

19/30 si i = 0

P(X1 = i) = 11/30 si i = 1

0 e.o.c


— La distribución de X2
Solución.
Debemos calcular P(X2 = 0) y P(X2 = 1)
Para P(X2 = 0)

P(X2 = 0) = P(X2 = 0|X1 = 0)P(X1 = 0) + P(X2 = 0|X1 = 1)P(X1 = 1)

= p00 (19/30) + p10 (11/30)
= (1/2)(19/30) + (2/3)(11/30) = 101/180

Entonces P(X2 = 0) = 101/180

Para P(X2 = 1)

P(X2 = 1) = P(X2 = 1|X1 = 0)P(X1 = 0) + P(X2 = 1|X1 = 1)P(X1 = 1)

= p01 (19/30) + p11 (11/30)
= (1/2)(19/30) + (1/3)(11/30) = 79/180

12
 Entonces P(X2 = 1) = 79/180
Por lo tanto la distribución de X2 es:

101/180 si i = 0

P(X2 = i) = 79/180 si i = 1

0 e.o.c


— La distribución conjunta de X1
Solución.
Debemos calcular:
P(X1 = 0, X2 = 0)
P(X1 = 0, X2 = 1)
P(X1 = 1, X2 = 1)
P(X1 = 1, X2 = 0)
Para P(X1 = 0, X2 = 0)

P(X1 = 0, X2 = 0) = P(X2 = 0|X1 = 0)P(X1 = 0)

= p00 P(X1 = 0) = (1/2)(19/30) = 19/60

Entonces P(X1 = 0, X2 = 0) = 19/60

Para P(X1 = 0, X2 = 1)

P(X1 = 0, X2 = 1) = P(X2 = 1|X1 = 0)P(X1 = 0)

= p01 (19/30) = (1/2)(19/30) = 19/60

Entonces P(X1 = 0, X2 = 1) = 19/60

Para P(X1 = 1, X2 = 1)

P(X1 = 1, X2 = 1) = P(X2 = 1|X1 = 1)P(X1 = 1)

= p11 (11/30) = (1/3)(11/30) = 11/90

Entonces P(X1 = 1, X2 = 1) = 11/90

Para P(X1 = 1, X2 = 0)

P(X1 = 1, X2 = 0) = P(X2 = 0|X1 = 1)P(X1 = 1)

= p10 (11/30) = (2/3)(11/30) = 11/45

Entonces P(X1 = 1, X2 = 0) = 11/45

Por lo tanto la distribución conjunta X1 es:


 19/60 si i = 0, j =0

19/60 si i = 0, j =1



P(X1 = i, X2 = j) = 11/90 si i = 1, j =1

11/45 si i = 1, j =0





0 e.o.c

13
 — La esperanza condicional E(X2 |X1 )
Solución.
Debemos calcular:E(X2 , X1 = 0) y E(X2 , X1 = 1)

Para E(X2 , X1 = 0)
1
X
E(X2 , X1 = 0) = iP(X2 = i|X1 = 0)
i=0
= 0P(X2 = 0|X1 = 0) + 1P(X2 = 1|X1 = 0)
= 0 + p01 = 1/2
Entonces E(X2 , X1 = 0) = 1/2
Para E(X2 , X1 = 1)
1
X
E(X2 , X1 = 1) = iP(X2 = i|X1 = 1)
i=0
= 0P(X2 = 0|X1 = 1) + 1P(X2 = 1|X1 = 1)
= 0 + p11 = 1/3
Entonces E(X2 , X1 = 1) = 1/3
Entonces E(X2 |X1 )) es: 
1/2 si X1 = 0

E(X2 |X1 ) = 1/3 si X1 = 1

0 e.o.c


12. Ecuación de Chapman-Kolmogorov para cadenas no homogéneas. Considere una cadena de Markov con
probabilidades de transición no necesariamente homogéneas pij (n, m), para n ≤ m. Demuestre que para
n < u < m se cumple X
pij (n, m) = pik (n, u)pkj (u, m).
k

Demostración.
Por probabilidad total tenemos que:
X
P(A|C) = P(A|Bk , C)P(Bk |C)
k

Ahora veamos que:

pij (n, m) = P(Xm = j|Xn = i)
Sea A := (Xm = j), Bk = (Xn = k) y C = (Xn = i).
Entonces tenemos que:
X
P(Xm = j|Xn = i) = P(Xm = j|Xu = k, Xn = i)P(Xu = k|Xn = i)
k

Luego, como n < u < m podemos decir que

P(Xm = j|Xu = k, Xn = i) = P(Xm = j|Xu = k)

14
 Y observamos lo siguiente

P(Xm = j|Xu = k) = pkj (u, m)

P(Xu = k|Xn = i) = pik (n, u)

Entonces
X
P(Xm = j|Xu = k, Xn = i)P(Xu = k|Xn = i)
k
X
= P(Xm = j|Xu = k)P(Xu = k|Xn = i)
k
X
= pik (n, u)pkj (u, m)
k
X
Por lo tanto, pij (n, m) = pkj (u, m)pik (n, u)
k

13. Considere la matriz con distribución inicial bernoulli(1/2) y con matriz de transiciones
 
1−a a
P =
b 1−b

— Encuentre P(Xn = 0) y P(Xn = 1)

— Vea que pasa cuando n → ∞ para P(Xn = 0) y P(Xn = 1)
— Encuentre los vectores propios y valores propios de P

Solución.
 
b 1−b
Sea S = {0, 1} con 0 ≤ a ≤ 1, 0 ≤ b ≤ 1 y a = 1 − b. Tenemos: P = con S = {0, 1}.
b 1−b
0 ≤ b ≤ 1 y X0 ∼ bernoulli(1/2).
Con p0 = P (X0 = 0) = 1/2 = p0 = P (X0 = 1)
Sean X1 , X2 , ... variables aleatorias independientes, entonces:

P (Xn = 0) = P (Xn = 0|X0 = x0 , X1 = x1 , . . . , Xn−1 = xn−1 )

= p0 P (Xn = 0|Xn−1 = xn−1 )
= p0 [P (Xn = 0|Xn−1 = 0) + P (Xn = 0|Xn−1 = 1)] = 1/2(b + b) = b = 1 − a

P (Xn = 1) = P (Xn = 1|X0 = x0 , X1 = x1 , . . . , Xn−1 = xn−1 )

= p0 P (Xn = 1|Xn−1 = xn−1 )
= p0 [P (Xn = 1|Xn−1 = 0) + P (Xn = 1|Xn−1 = 1)] = 1/2([1 − b] + [1 − b]) = 1 − b = a

Si a ̸= 1 − b, con a + b > 0 entonces Xn depende de Xn−1 , X0 ∼ bernoulli(1/2).

Con 0 < a < 1, 0 < b < 1
  n/2  n/2   n
n 1 1 n 1
P (Xn = 0|X0 = 0) = =
n/2 2 2 n/2 2

15
 Si n tiende

1 aninfinito:
n
lı́m n/2 (2) = 0
n→∞
n n

1 (n+1)/2 1 (n−1)/2
1 n
P (Xn = 1|X0 = 0)= (n+1)/2 (2) (2) = (n+1)/2 (2)
Si n tiende a
infinito:
n
lı́m ( 1 )n/2 = 0
n→∞ (n+1)/2 2
         
1−a a 1 0 1−a a λ 0 1−a−λ a
det(P − λI) = −λ = − =
b 1−b 0 1 b 1−b 0 λ b 1−b−λ
2 2
= (1 − a − λ)(1 − b − λ) − ab = λ + aλ + bλ − 2λ − a − b + 1 = λ + λ(a + b − 2) − a − b + 1,
λ2 + λ(a + b −√2) − a − b + 1 = 0 √
−(a+b−2)± (a+b−2)2 −4(−a−b+1) −(a+b−2)± (a+b)2
λ= 2
= 2
= ±(a+b)−(a+b−2)
2
.
Entonces tenemos los valores propios:
λ1 = (a+b)−(a+b−2)
2
= 1 y λ2 = −(a+b)−(a+b−2)
2
= 1-a-b.
Entonces tenemos los vectores propios:
(P − λI)v = 0
Para
 λ1 = 1       
1−a a 1 0 x 0
− =
 b 1−b  0 1 y 0
−a a x 0
=
( b −b y 0
−ax + ay = 0
bx − by =0
Del sistema de ecuaciones tenemos:
x(b −a)− y(b − a) = 0 =⇒ x = y
1
V1 = Vector propio
1
Para λ2 = 1 − (a
  +b)     
1−a a 1 − (a + b) 0 x 0
− =
 b 1 − b 0 1 − (a + b)
     y 0    
1−a−1+a+b a x 0 b a x 0
= =
( b 1−b−1+a+b y 0 b a y 0
bx + ay = 0
bx + ay = 0
Del sistema de ecuaciones tenemos:
−ay =⇒
bx =   x = −ay/b
−a/b
V2 = Vector propio
1

14. Se lanza un dado equilibrado repetidas veces. Sea Xn el número de lanzamientos realizados al tiempo n
desde la última vez que apareció el número 6. Demuestre que {Xn : n ≥ 1} es una cadena de Markov y
encuentre las probabilidades de transición.
Solución.

Una cadena de Markov esta definida a tiempo discreto como Xn : 0, 1, . . . con espacios de estados
discreto, que para cualquier entero n ≤ 0 y para cualquiera estados X0 , X1 , . . . , Xn+1 se cumple:

16
 P (Xn+1 |X0 , X1 , . . . , Xn ) = P (Xn+1 |Xn )
Sea Xn : El número de lanzamientos al tiempo n desde que apareció el número 6 al lanzar un dado.

Tenemos entonces:
P (Xn+1 |X0 , X1 , . . . , Xn ) = P (Xn = 0|X0 = x0 , X1 = x1 , . . . , Xn−1 = xn−1 )
Sea Ym : El evento que el dado salga al lanzarlo 1,2,3,4,5 hasta que aparezca el 6, es una variable
aleatoria independiente e idénticamente distribuida. Pn+1 P2
P
P(X n = 0|X0 = x0 , XP 1 = x1 , . . . , Xn−1 = xn−1 ) = P (Xn+1 = m=1 Ym |X1 = Y1 , X2 = m=1 Ym , X3 =
3 m
m=1 Ym , . . . , Xn = m=1 Ym
Dado que YP m es una v.a.i.i.d. tenemos P que Xn : es la suma P3 de v.a.i.i.d.entonces:
n+1
Ym |X1 = Y1 , X2 = m=1 Ym , X3 = m=1 Ym , . . . , Xn = m
2 P
P (Xn+1 = m=1 m=1 Ym = P (Xn+1 =
P n+1 P m
Y
m=1 m |X n = m=1 mY = P (X n+1 = x n+1 |X n = x n )
Por lo tanto {Xn : n ≥ 1} es una cadena de Markov.

Como es un dado equilibrado las probabilidades de transición están dadas por:

Sea S= 1, 2, 3, 4, 5, 6 
1/6 1/6 1/6 1/6 1/6 1/6
1/6 1/6 1/6 1/6 1/6 1/6
 
1/6 1/6 1/6 1/6 1/6 1/6
P =  
1/6 1/6 1/6 1/6 1/6 1/6

1/6 1/6 1/6 1/6 1/6 1/6
1/6 1/6 1/6 1/6 1/6 1/6
P es una matriz doble estocástica.

15. 1.5 puntos Sea z1 , z2 , . . . una sucesión de v.a.i.i.d. con soporte en {1, 2, . . . }. Sea X0 = 0 y para cada
n ≥ 1 sea Xn = z1 + · · · + zn . Para cada k = 1, 2, . . . definimos

Nk = máx{n ≥ 1 : Xn ≤ k}

Si el conjunto es vacı́o definimos el máximo como cero.

Sea Ak = k − Xnk , demuestre que el proceso {Ak : k ≥ 1} es una cadena de Markov con espacio de estados
{0, 1, . . . } y encuentre (con demostración) las probabilidades de transición.
Solución.

Sea z1 , z2 , . . . una sucesión de v.a.i.i.d. y S = {1, 2, . . . }. Entonces, para cada n ≥ 1,

Nk = máx{n ≥ 1 : Xn ≤ k}

donde Xn = z1 + z2 + · · · + zn , para cada k = 1, 2, . . . Luego

Nk = máx{n ≥ 1 : z1 + z2 + · · · + zn ≤ k}, para cada k = 1, 2, . . .

Sea Ak = k − Xnk , entonces:

Ak = k − máx{n ≥ 1 : z1 + z2 + · · · + zn ≤ k}
A1 = 1 − máx{n ≥ 1 : z1 + z2 + · · · + zn ≤ 1}
A2 = 2 − máx{n ≥ 1 : z1 + z2 + · · · + zn ≤ 2}
..
.

17
 P(Ak+1 = k + 1 − Xnk+1 |A1 = 1 − Xn1 , A2 = 2 − Xn2 , . . . , Ak = k − Xnk )
=P(Ak+1 = k + 1 − máx{n ≥ 1 : z1 + z2 + · · · + zn ≤ k + 1}|
A1 = 1 − máx{n ≥ 1 : z1 + z2 + · · · + zn ≤ 1},
...,
Ak = k − máx{n ≥ 1 : z1 + z2 + · · · + zn ≤ k})
=P(Ak+1 = k + 1 − máx{n ≥ 1 : z1 + z2 + · · · + zn ≤ k + 1}|
Ak = k − máx{n ≥ 1 : z1 + z2 + · · · + zn ≤ k}), por ser Z∗ v.a.i.i.d.
=P(Ak+1 = k + 1 − Xnk+1 |Ak = k − Xnk )
Ası́, hemos probado que el proceso {Ak : k ≥ 1} es cadena de Markov.

···

Por otro lado, dado que la cadena de Markov obtenida está definida a partir de Xn = z1 + z2 + · · · + zn ,
sus probabilidades de transición están dadas en S = N ∪ {0}. Entonces:

0 1 2 ··· 
0 a0 a1 a2 · · ·
1 0 a0 a1 · · · 
P = 20 0

 a0 · · · 
.. .. .. .. . .
. . . . .
p00 = La suma es 0; la probabilidad de que la nueva suma sea 0 es P(Xn+1 = 0)
p01 = La suma es 0; la probabilidad de que la nueva suma sea 1 es P(Xn+1 = 1)
p02 = La suma es 0; la probabilidad de que la nueva suma sea 2 es P(Xn+1 = 2)
..
.
p10 = La suma es 1; la nueva suma no puede regresar a 0
p11 = La suma es 1; la nueva suma es 1, si la nueva variable sumada es 0
p12 = La suma es 1; la nueva suma es 2, si la nueva variable sumada es 1
..
.
p20 = La suma es 2; la nueva suma no puede regresar a 0
p21 = La suma es 2; la nueva suma no puede regresar a 1
p22 = La suma es 2; la nueva suma es 2, si la nueva variable sumada es 0
..
.
Ahora, tomando en cuenta que: Nk = máx{n ≥ 1 : Xn ≤ k} y Xn = z1 + z2 + · · · + zn donde Z1 , Z2 . . .
son v.a.i.i.d., con S = N ∪ {0}, tenemos que:

0 1 2 ··· 
0 a0 a1 a2 ···
1 0 a0 + a1 a2 · · ·
P = 20

 0 a 0 + a1 + a2 · · ·
.. .. .. .. ..
. . . . .

18
 p00 = El máximo es 0, la P(máx = 0), si la nueva variable es 0
p01 = El máximo es 0; el máximo pasa a 1, si la nueva variable toma el valor 1
p02 = El máximo es 0; el máximo pasa a 2, si la nueva variable toma el valor 2
..
.
p10 = El máximo es 1; no puede retroceder a 0
p11 = El máximo es 1; se mantiene en 1, si la nueva variables es 0 o 1
p12 = El máximo es 1; el máximo pasa a 2, si la nueva variable toma el valor 1
..
.
p20 = El máximo es 2; no puede retroceder a 0
p21 = El máximo es 2; no puede retroceder a 1
p22 = El máximo es 2; el máximo se mantiene en 2, si la nueva variable es 0 o 1 o 2
..
.
Sea Ak = k − Xnk = k − máx{n ≥ 1 : Xn ≤ k}, con Xn = z1 + z2 + · · · + zn donde Z1 , Z2 , . . . son
v.a.i.i.d. con k ≥ 1 y X0 = 0
0 1 2 ···
" #
0 a0 a1 a2 · · ·
P = .. .. .. .. . .
. . . . .
p00 = k − Xnk = 0; la probabilidad que permanezca es si el máximo de n = k
p01 = k − Xnk = 0; la probabilidad que permanezca es si el máximo de n = k − 1
p02 = k − Xnk = 0; la probabilidad que permanezca es si el máximo de n = k − 2
..
.
16. Sea z1 , z2 , . . . una sucesión de v.a.i.i.d. con soporte {0, 1, 2, 3, 4} y probabilidades {p0 , p1 , p2 , p3 , p4 }. Defi-
nimos el proceso
X0 = 0
Xn+1 = Xn + zn+1 mód 5 para n ≥ 0
Verifique si es cadena de Markov, en caso de serlo su matriz de probabilidades de transición.
Solución.
Notemos en un principio que zi toma valores en {0, 1, 2, 3, 4}, además tenemos que 0 mód 5 = 0, 1
mód 5 = 1, ..., 4 mód 5 = 4, entonces el soporte es zn+1 mód 5 = zn+1
Ası́, podemos ver el proceso como sigue:
X0 = 0
Xn+1 = Xn + zn+1
Ahora vamos a demostrar que se cumple la propiedad de Markov, tenemos que
P(Xn+1 = xn+1 |X0 = x0 , ..., Xn = xn ) = P(Xn + zn+1 = xn+1 |X0 = x0 , ..., Xn = xn )
= P(xn + zn+1 = xn+1 |X0 = x0 , ..., Xn = xn )
= P(zn+1 = xn+1 − xn |X0 = x0 , ..., Xn = xn )

19
 Como zn es independiente de Xn ∀n ≥ 0 se tiene que

P(zn+1 = xn+1 − xn |X0 = x0 , ..., Xn = xn ) = P(zn+1 = xn+1 − xn |Xn = xn )

Usando que Xn ⊥Xn+1 , por un lado tenemos que

P(zn+1 = xn+1 − xn |Xn = xn ) = P(zn+1 = xn+1 − xn )

Por otro lado, tenemos que

P(Xn+1 = xn+1 |Xn = xn ) = P(Xn + zn+1 = xn+1 |Xn = xn )

= P(xn + zn+1 = xn+1 |Xn = xn , ..., Xn = xn )
= P(zn+1 = xn+1 − xn )

Finalmente tenemos que

P(zn+1 = xn+1 − xn |X0 = x0 , ..., Xn = xn ) = P(zn+1 = xn+1 − xn |Xn = xn )

=⇒ P(zn+1 + xn = xn+1 |X0 = x0 , ..., Xn = xn ) = P(zn+1 + xn = xn+1 |Xn = xn )

Por lo tanto
P(Xn+1 = xn+1 |X0 = x0 , ..., Xn = xn ) = P(Xn+1 = xn+1 |Xn = xn )
Ası́ tenemos que es una cadena de Markov, cuya matriz de probabilidades de transición esta dada
por:  
p0 p1 p2 p3 p4
p4 p0 p1 p2 p3 
 
P = p3 p4 p0 p1 p2 

p2 p3 p4 p0 p1 
p1 p2 p3 p4 p0
17. ¿Cuál es el número máximo y mı́nimo de clases de comunicación que puede existir para una cadena de
Markov de n estados? Dibuje un diagrama de transición ilustrando cada una de estas dos situaciones.
Solución.

Máximo:
Cada uno de los n estados se comunica solamente consigo mismo, en este caso tendrı́amos n clases de
comunicación
{1}, {2}, {3}, ..., {n}

Mı́nimo:
Todos los estados son comunicantes entre sı́, en este caso tenemos solamente 1 clase de comunicación

{1, 2, 3, ..., n}

20
18. Dibuje un diagrama de transición, determine las clases de comunicación y calcule el periodo de cada uno
de los estados de las siguientes cadenas de Markov
1 1 
2 2
0
1 1
— P = 2 2 0

0 12 12
Solución.

1 2
{1, 2}, {3}
d(1) = d(2) = 1
d(3) = 1
3
1 1

2
0 2
0
0 0 0 1
— P =
 1 0 1 0

2 2
1 1 1 1
4 4 4 4
Solución.

{1, 3}, {2}, {4}

d(1)=d(3)=1
4 3 d(2)=1
d(4)=1

21
 1 1
 1
3
03 3
1 0 0 0
— P =
 1 1 0 0

2 2
1 1 1 1
4 4 4 4
Solución.

4
{1, 3}, {2}, {4}
d(1)=d(3)=1
2 1 d(2)=1
d(4)=1

19. Demuestre que no existe una cadena de Markov irreducible de periodo cero.
Demostración..

Sea i un estado cualquiera de una cadena de Markov irreducible, y j ̸= i otro estado.

Por la irreucibilidad, se cumple que i ↔ j, es decir existen n, m ∈ N tales que pij (n) > 0 y pji (m) > 0.
Luego, por Chapman-Kolmogorov tenemos que pii (n + m) ≥ pij (n)pji (m) > 0, entonces

n + m ∈ {k ≥ 1 : pii (k) > 0}

Ası́, d(i) = m.c.d.{k ≥ 1 : pii (k) > 0} ≥ 1.

Por lo tanto, el periodo del estado i será al menos 1.
Al ser i un estado arbitrario, concluı́mos que toda cadena de Markov irreducible tiene periodo al
menos 1.

22