Probabilidad II

Elitania Guzmán Hernández

June 2020

1. Introducción y repaso
La teorı́a de la probabilidad, la ciencia matemática de la incertidumbre,
desempeña un papel cada vez mayor en la forma en que entendemos el mundo
que nos rodea, ya sea el clima del planeta, la propagación de una enfermedad in-
fecciosa o los resultados de la última encuesta de noticias. La palabra ëstocástico
p̈roviene del griego stokhazesthai, que significa apuntar o adivinar. Un proceso
estocástico, también llamado proceso aleatorio, es simplemente uno en el que
los resultados son inciertos. Por el contrario, en un sistema determinista no hay
aleatoriedad. En un sistema determinista, la misma salida siempre se produce
a partir de una entrada dada. Las funciones y ecuaciones diferenciales se usan
tı́picamente para describir procesos deterministas. Las variables aleatorias y las
distribuciones de probabilidad son los componentes básicos de los sistemas es-
tocásticos.

Florida Louisiana Texas

0.03 0.015 0.02

Cuadro 1: Probabilidad de reclamo de daños por inundación

Florida Louisiana Texas

0.10 0.06 0.06

Cuadro 2: Probabilidad de reclamo para aquellos de la costa atlántica

Problema 1.4 Ver ejercicio 1.2. Entre todos los asegurados que viven a
menos decinco millas del Océano Atlántico, el 75 % vive en Florida, el 20 %
vive en Luisiana y el 5 % vive en Texas. Para aquellos que viven cerca del
océano, las probabilidades de presentar un reclamo aumentan, como se indica

1
en la Tabla 1.2. Suponga que un asegurado vive a menos de cinco millas de la
costa atlántica. Use la ley de probabilidad total de probabilidad condicional en
el Ejercicio 1.3 para encontrar la posibilidad de que presenten un reclamo por
daños por inundación el próximo año.
Solucion:
Problema 1.7 Una rata está atrapada en un laberinto con tres puertas y un
poco de queso escondido. Si la rata toma la puerta uno, deambulará por el
laberinto durante 2 minutos y volverá a donde comenzó. Si toma la puerta dos,
deambulará por el laberinto durante 3 minutos y volverá a donde comenzó. Si
toma la puerta tres, encontrará el queso después de 1 minuto. Si la rata regresa
a donde comenzó, inmediatamente elige una puerta para pasar. La rata elige
cada puerta de manera uniforme al azar. ¿Cuánto tiempo, en promedio, vagará
la rata antes de encontrar el queso?
Solucion:
Suponga que X denotar el tiempo hasta que la rata encuentre el queso. Suponga
que 1, 2 y 3 denotan cada puerta, respectivamente. Entonces,

E(X) = E(X|1)P (1) + E(X|2)P (2) + E(X|3)P (3)

1 1 1
= (2 + E(X)) + (3 + E(X)) + (1)
3 3 3
2
= 2 + E(X)
3
Entonces, E(X) = 6 min.

Problema 1.14 Las variables aleatorias X y Y tienen la funcion de densidad

conjunta
f (x, y) = 4e−2x para 0 < y < x < ∞
(a) Encuentre la densidad condicional de X dado Y = y.
(b) Encuentre la densidad condicional de Y dado X = x. Describe la distribu-
ción condicional.
Solucion:
a) Sabemos que

f (x,y)

 fY (y) si fY (y) < ∞
fX|Y (x|y) :=

 0 si fY (y) ≥ ∞

Luego
∞ ∞
−20
Z Z
fY (y) = f (x, y)dx = 4e−2x dx = lı́m − (−2e−2y ) = 2e−2y
−∞ y n→∞ e2x

2
 Entonces −2x
f (x, y) 
4e
fX|Y (x|y) = =  = 2e−2(x−y)
fY (y) 2e−2y
 

b) Sabemos que

f (x,y)

 fX (x) si 0 < fX (x) < ∞
fY |X (y|x) :=

 0 si fX (x) ≥ ∞

Luego
Z ∞ Z ∞ Z x
−2x −2x
fX (x) = f (x, y)dy = 4e dy = 4e dy = 4xe−2x
−∞ x 0

Entonces
−2x
f (x, y) 4e 1
fX|Y (x|y) = = −2x=
fY (y) 4xe 
 x

Ademas Z x Z y
P (X ≤ x, Y ≤ y) = f (s, t)dtds
−∞ −∞

Asi pues
Z x Z y
P (X ≤ x, Y ≤ y) = 4e−2s dtsd
Z0 x 0 Z y 
= 4e−2s dt ds
0 0
Z x
= (4e−2s y)ds
0
= −2ye−2x − (−2ye−2(0) )
= −2ye−2x + 2y

Problema 1.17 Sea X una variable aleatoria de Poisson con λ = 3. Encuentre

E(X|X > 2)
Solucion:
Sea X una variable aleatoria de Poisson con λ = 3, esto es:
 x −3
 3 x!
 e
si x = 0, 1, . . .
f (x) :=

 0 otro caso

3
Tenemos a A = {X > 2}. Entonces
∞
1 X
E[X|A] = E[X|X > 2] = xf (x)
P (X > 2) x=2
∞
1 X 3x e−3
= x
P (X > 2) x=2 x!
∞
1 X 3 · 3x−1 e−3
= x

− 1)!
P (X > 2) x=2 x(x


∞
1 X 3 · 3x−1 e−3
=
P (X > 2) x=2 (x − 1)!
∞
3e−3 X 3y
=
P (X > 2) y=2 y!
∞
" #
3e−3 30 30 X 3y
= − + +
P (X > 2) 0! 0! y=1 y!
∞
" #
3e−3 30 X 3y
= − +
P (X > 2) 0! y=0 y!
3e−3
= (−1 + e3 )
1 − P (X ≤ 2)
−3e−3 + 3
= P2 x e−3
1 − x=0 3 x!
= 4.16525

Problema 1.24 Demuestre la ley de la expectativa total E(Y ) = E[E(Y |X)]

para el caso continuo.
Demostracion:

4
Sean X y Y variables aleatorias continuas. Entonces
Z ∞
E(E[Y |X]) = E[Y |X]fX (x)dx
−∞
Z ∞ Z ∞ 
= yfY |X (y|x)dy fX dx
−∞ −∞
Z ∞Z ∞
= yfX fY |X (y|x)dxdy
−∞ −∞
Z ∞Z ∞
= yf (x, y)dxdy
−∞ −∞
Z ∞ Z ∞
= ydy f (x, y)dx
−∞ −∞
Z ∞
= ydy · fY (y)
−∞
Z ∞
= yfY (y)dy
−∞

= E[Y ]

Problema 1.27 Un restaurante recibe N clientes por dı́a, donde N es una

variable aleatoria con una media de 200 y una desviación estándar de 40. La
cantidad gastada por cada cliente normalmente se distribuye con una media de
$ 15 y una desviación estándar de $ 3. Las cantidades que los clientes gastan son
independientes entre sı́ e independientes de N. Encuentre la desviación estándar
y media de la cantidad total gastada en el restaurante por dı́a.
Solucion:
Suponga que T sea la cantidad total gastada en el restaurante. Entonces,

E(T ) = 200(15) = $3000

y
V ar(T ) = 9(200) + 152 (402 ) = 361800, SD(T ) = $601.50

Problema 1.34 R El tiempo hasta que llega un autobús tiene una distribución
exponencial con una media de 30 minutos.

a) Use el comando rexp() para simular la probabilidad de que el autobús llegue

en los primeros 20 minutos.

b) Use el comando pexp() para comparar con la probabilidad exacta.

Solucion:
Problema 1.37 R Simule los resultados del ejercicio 1.28. Estime la media y

5
la varianza del número de accidentes por dı́a.
Solucion:

2. Cadenas de Markov: primer paso

Problema 2.2 Sea X0 , X1 , ... una cadena de Markov con una matriz de
transición
0 12 12
 
 1 0 0 
1 1 1
3 3 3
1 1


y distribución inicial α = 2 , 0, 2 . Encuentre lo siguente:

(a) P (X2 = 1|X1 = 3)

(b) P (X1 = 3, X2 = 1)

(c) P (X1 = 3|X2 = 1)

(d) P (X9 = 1|X1 = 3, X4 = 1, X7 = 2)

Solucion:

a) Sea n + 1 = 2 =⇒ n = 1, n − m = 1 =⇒ m = n − 1 = 2. Ademas
 2 7 7 
9 18 18
P3 = 2 1 1 
3 6 6
10 17 17
27 54 54

3 7
Luego entonces P1,3 = 18

b) Observe que la probabilidad conjunta P (A, B) = P (A)P (B|A), P (A, B) =

P (B)P (A|B). Entonces

P (X1 = 3, X2 = 1) = P (X1 = 3)P (X2 = 1|X1 = 3)

3
= P (X1 = 3)P1,3 = P (X1 = 3)(0.388)
  
5 7 35
= =
12 18 216

c)
5 7



P (X1 = 3)P (X2 = 1|X1 = 3) 12 18 175
P (X1 = 3|X2 = 1) = = 110

=
X2 = 1 200
594

6
 Donde
 
0 0.5 0.5
0  = 16 5 5



0.5 0 0.5 =  1 0 12 12
= αP
0.3 0.3 0.3
 
0.67 0.17 0.17
110 9 9



αP 2 = 0.5 0 0.5 =  0 0.5 0.5  = 200 40 40
0.44 0.28 0.28

d)
2 19
P (X9 = 1, X7 = 2) = P1,3 = = 0.3518
54
Problema 2.4 Para la cadena general de dos estados con matriz
 
1−p p
P =
q 1−q

y distribucion inicial α = (α1 , α2 ). Encuentre

(a) La matriz de transicion de dos pasoso.
(b) La distribucion de X1
Solucion:
a)
  
1−p p 1−p p
P2 =
q 1−q q 1−q
2
 
(1 − p) + pq p(1 − p) + p(1 − q)
=
q(1 − p) + q(1 − q) pq + (1 − q)2

b)
 

1−p p


αP = α1 α2 = α1 (1 − p) + qα2 pα1 + α2 (1 − q) = α1 α2
q 1−q

Luego se debe de cumplir que

α1 + α2 = 1 =⇒ pα1 = q − qα1
=⇒ (p + q)α1 = q ∧ p − pα2 = qα2
q p
=⇒ α1 = ∧ α2 =
p+q p+q
 
q p
∴ α = (α1 , α2 ) = ,
p+q p+q

7
Problema 2.12 Dos urnas contienen k bolas cada una. Inicialmente, las bolas
en la urna izquierda son todas rojas y las bolas en la urna derecha son todas
azules. En cada paso, elige una bola al azar de cada urna e intercambialas. Deje
que Xn sea el número de bolas azules en la urna izquierda. (Tenga en cuenta
que necesariamente X0 = 0 y X1 = 1.) Argumenta que el proceso es una cadena
de Markov. Encuentra la matriz de transición. Este modelo se llama modelo
de difusión de Bernoulli Laplace y fue introducido por Daniel Bernoulli en 1769
como modelo para el flujo de dos lı́quidos incompresibles entre dos contenedores.
Solucion:
Sea Xn = numero de bolas azules en la urna 1. Sea Xn = i, luego el numero de
bolas azuñes en ña urna es 2 = k − i pues el total de bolas en cada urna es k.
Luego


 Xn − 1 si la bola azul es elegida para la urna 1 y la roja para la 2




Xn+1 := Xn si la bola elegida ya sean ambas rojas o azules





Xn + 1 si la bola azul es elegida para la urna 2 y la roja para la 1


Entonces se obtiene

i2


 k2 si j =i−1




 2i(k−i)


 k2 si j=i
P (Xn+1 = j|Xn = i) :=
(k−i)2

si j =i+1




 k2




0 en otro caso


Problema 2.19 Sea P una matriz de transición de una cadena de Markov con
k estados. Sea I que denote la matriz identidad k × k. Considere la matriz

Q = (1 − p)I + pP para 0 < p < 1

Muestre que Q es una matriz estocástica. Dar una interpretación probabilı́stica

de la dinámica de una cadena de Markov gobernada por la matriz Q en términos
de la cadena original de Markov.
Solucion:

···

a11 a12 a1k

a21 a22 ··· a2k 
Pij =  .
 
.. .. .. 
 .. . . . 
ak1 ak2 ··· akk

8
Donde Pij = P (X1 = j|X0 = i). Luego (1 − p)I + pP = I − p(I − P )

(1 − p) ··· pa11 pa12 · · · pa1k


0 0
  
 0 (1 − p) · · · 0  pa21 pa22 · · · pa2k 
 
(1 − p)I + pP =  . + .

. . . . . .
 .. .. .. ..   .. .. .. .. 


0 0 · · · (1 − p) pak1 pak2 · · · pakk

(1 − p) + pa11 ···

pa12 pa1k

 a21 (1 − p) + pa22 · · · pa2k 
=
 
.. .. . . .
.

 . . . . 
pak1 pak2 · · · (1 − p) + pakk

Ademas observe que 0 < p < 1 y que 0 ≤ aij ≤ 1 Entonces

(1 − p) + paij + paij+1 + paij+2 + paij+3 + · · · + paik = (1 − p) + p(aij + · · · + aik )

Suponga que los aij = 0 ∀i, j excepto aim 6= 0 para algún m 6= j. Entonces

1 − p(a11 + · · · + aij−1 + aim + aij + · · · + aik − 1) = 1 − p + paim = 1 + p(aim − 1)

Como 0 < aim ≤ 1 =⇒ −1 < aim − 1 ≤ 0 =⇒ −p < p(aim − 1) ≤ 0
=⇒ 1 − p < 1 + p(aim − 1) ≤ 1 =⇒ 0 < 1 + p(aim − 1) ≤ 1

Problema 2.22 Pruebe usando inducción matemática lo siguiente

(a) 1 + 3 + 5 + · · · + (2n − 1) = n2
n(n+1)(2n+1)
(b) 12 + 22 + · · · + n2 = 6

(c) ∀x ∈ R con x > −1 =⇒ (1 + x)n ≥ 1 + nx

Solucion:

a) i) Se prueba para n = 1:

1 = 12
∴ se verifico la igualdad

ii) Ahora veamos que se cumple para k + 1:

1 + 3 + 5 + · · · + (2k + 1) = 1 + 3 + 5 + · · · + (2k − 1) + (2k + 1)

= k 2 + (2k + 1) = k 2 + 2k + 1
= (k + 1)2

9
b) i) Se prueba para n = 1:

1(1 + 1)(2 + 1)
1 = 12 = =1
6
∴ se verifico la igualdad

ii) Ahora veamos que se cumple para k + 1:

12 + 22 + · · · + (k + 1)2 = 12 + 22 + · · · + k 2 + (k + 1)2
k(k + 1)(2k + 1)
= + (k + 1)2
6
 
k(2k + 1)
= (k + 1) + (k + 1)
6
(k + 1)(k + 2)(2k + 3)
=
6

c) i) Se prueba para n = 1:

(1 + x)1 ≥ 1 + 1x
∴ se verifico la igualdad

ii) Ahora veamos que se cumple para k + 1:

(1 + x)k + (1 + x) ≥ (1 + kx) + (1 + x) = 1 + x + kx + kx2

= x2 k + x(k + 1) + 1 ≥ x(k + 1) + 1

3. Cadenas de Markov a largo plazo

Problema 3.2 Una matriz estocástica se llama doblemente estocástica si
sus filas y columnas suman 1. Muestra que una cadena de Markov cuya matriz
de transición es doblemente estocástica tiene una distribución estacionaria, que
es uniforme en el espacio de estado.
Solucion:
La condicion de ser doblemente estocastica se puede escribir como IT P = IT ,
donde I ∈ Rk es un vector con todos sus componentes iguales a 1. Ahora bien,
si definimos k1 = k1 · I, debemos mostrar que k1 satisface:
 T  
1 1
P =
k k

Mas alla, note que la condicion de π siendo una distribucion estacionaria es dada
por π T P = π y la suma de las componentes de π son no negativas y sumandole

10
1, todo lo cual satisface para k1 . Ademas, la cadena es irreducible y finita, por
lo tanto es positiva recurrente y por lo tanto admite una unica distribucion
estacionaria, por lo cual k1 sirve como muestra para la distribucion estacionaria.

1
∴ π(x) = ∀x ∈ {1, 2, · · · , k}
k

Problema 3.9 Sea P una matriz estocástica.

(a) Si P es regular, entonces ¿P 2 es regular?

(b) Si P es una matriz de transición de una cadena de Markov irreducible, ¿Es

P 2 la matriz de transición de una cadena de Markov irreducible?

Solucion:

a) Suponga que P es regular, luego observe que P (Ω|B) = 1 ya que

" #
[ P [∪i Ci ] ∩ P (B)
P Ci |B =
i
P (B)
S
P [ i (Ci ∩ B)]
=
P (B)
P
P (Ci ∩ B)
= i
P (B)
X
= P (Ci |B)
i

Sabemos que Pijn = P (Xn = j|X0 = i). Entonces

" #
X [ X
n
P (Xn |X0 = i) = P (Xn = k)|x0 = i = Pik =1
i i k

or lo cual todas las potencias pares de P n > 0 hacen a (P n)2 > 0 matriz
regular.

b) Procedemos por contradiccion, es decir, suponga que P 2 no es irreducible,

entonces P 2 tiene mas de una clase de comunicacion, luego P 2 es dar dos
recorridos en dicho tiempo de la matriz original P para el tiempo inicial.
Luego para algunos estados i 6= j, para P 2 =⇒ i = j entonces significa que
para P i = j ]c ya que P es irreducible.

11
Problema 3.12 Una cadena de Markov tiene matriz de transición:

0 0 1 0
 
0 1 0 1 
 4 4
 1 0 1 0
2 2
0 34 0 14

Encuentre el conjunto de todas las distribuciones estacionarias.

Solucion:
Sea x := (1, x2 , x3 , x4 ), luego como xP = x entonces

0 0 1 0
 

0 1 1
4 0 4


1, x2 , x3 , x4 1 1 = 1, x2 , x3 , x4
2 0 2 0
3 1
0 4 0 4

Resolviendo el sistema de ecuacioes

x3 x2 +3+x4 x3 +2 3+x2 +x4

2 , 4 , 2 , 4
= 1, x2 , x3 , x4

Tenemos que
 
(1, x2 , x3 , x4 )
x= : x2 ∈ R
2x2 + 3

Problema 3.19 Considere caminar al azar en el gráfico de la figura 1. Use el

análisis de primer paso para encontrar el tiempo esperado para golpear d para
la caminata iniciada en a. (Sugerencia: al explotar las simetrı́as en el gráfico, la
solución se puede encontrar resolviendo un sistema lineal 3 × 3) Solucion:

start a

b f

c e

Figura 1: Grafo de la caminata al azar

Por simetria del grafo, se divide de a a d y dolo se tienen los puntos a, b y c,

donde Pb = Pf ∧ Pc = Pe . Entonces:

12
Pa es el timepo esperado de la primera visita a d dado que la cadena comenzo
en a.
Las simetrias es por que recorre los mismos estados de un lado a ptr, como un
espejo entonces, por ello se toman solo 3 vertices. Ademas como sus aristas son
iguales, entonces b = f tienen las mismas probabilidades, pues se tocan con
2 aristas y comparten el vertice a, c = f pues tienen 4 aristas de las cuales
comparten los vertices entre a, c y e

1 1 1
Pa = (1 + Pb ) + (1 + Pc ) −→ (2Pa − Pb − Pc ) = 1
2 2 2
1 1 1
Pb = (1 + Pa ) + (1 + Pc ) −→ (2Pb − Pa − Pc ) = 1
2 2 2
1 1 1 1 1
Pc = (1 + Pb ) + + (1 + Pa ) + (1 + Pc ) −→ (3Pc − Pb − Pa ) = 1
4 4 4 4 4
1 1 1 1 3 b a
c = (1 + b) + + (1 + a) + (1 + c) −→ c = + + 1
4 4 4 4 4 4 4
a c b c
b=1+ + ∧a=1+ +
 2 2  2 2
3 3 b 3 a 
⇒ c= a−1− = −1
4 2 2 2 2
a 5
⇒ = ∴ a = 10
4 2
Problema 3.22 Considere la cadena general con dos estados
 
1−p p
q 1−q

Donde p y q son no cero. Sea T el primer tiempo de retorno al estado 1, para

la cadena que comenzó en 1.

(a) Muestre que P (T ≥ n) = p(1 − q)n−2 , para n ≥ 2

1
(b) Encuentre E(T ) y verifique que E(T ) = π1 , donde π es la distribución
estacionaria de la cadena.

Solucion:

a)
P1 (T1 = 1) = P (T1 = 1|X0 = 1) = P (X1 = 1|X0 = 1) = 1 − p

13
Luego

P1 (T1 = n) = P1 (X1 6= 1, X2 6= 1, · · · , Xn−1 6= 1, Xn = 1)

= P1 (X1 = 2, X2 = 2, · · · , Xn−1 = 2, Xn = 1)
= P (Xn = 1, Xn−1 = 2, · · · , X1 = 2|X0 = 1)
= P (Xn = 1|Xn−1 = 2, · · · , X1 = 2, X0 = 1)
P (Xn−1 = 2, · · · , X1 = 2|X0 = 1)
= P (2, 1)P (Xn−1 = 2, · · · , X1 = 2|X0 = 1)
= P (2, 1)P (Xn−1 = 2|Xn−2 = 2, · · · , X1 = 2, X0 = 1)
P (Xn−2 = 2, · · · , X1 = 2|X0 = 1)
= P (1, 2)P (2, 2)P (Xn−2 = 2, · · · , X1 = 2|X0 = 1)
= P (Xn = 1|Xn−1 = 2)P (Xn−1 = 2|Xn−2 = 2) · · ·
P (X2 = 2|X1 = 2)P (X1 = 2|X0 = 1)
= q(1 − q)n−2 P (X1 = 2|X0 = 1)
= pq(1 − q)n−2

 1−p si n=1
∴ P (T0 = n) :=
pq(1 − q)n−2 n≥2

si
Ahora sustituimos
∞
X
P (T ≥ n) = P (Xn = 1|Xn−1 = 2)P (Xn−1 = 2|Xn−2 = 2) · · · P (X1 = 2|X0 = 1)
n=0
∞ ∞
(1 − q)n−1
X X  
= pq(1 − q)j−2 = pq (1 − q)m = p
q 
j=2 m=n−2
1−
 −
(1 q)
= p(1 − q)n−2 ∀n ≥ 2

14
b)
∞
X
E[T ] = jP (T = j)
j=1
∞
X
= 1 · P (T = 1) + jP (T = j)
j=2
∞
X
= (1 − p) + jpq(1 − q)j−2
j=2

(q − 1)2 (q + 1)
 
= (1 − p) + pq
q 2 (1 − q)2
q+p
=
q

Luego al comparar con el ejericio 2.4 se obtiene el resultado

Problema 3.29 Considere una cadena de Markov con matriz de transicion:

 
0.6 0.2 0 0 0.2 0 0
0 0 0 0 0 0.5 0.5
 
0 0 0.3 0.7 0 0 0
 
P =  0 0.3 0.4 0.3 0 0 0
 
 
0 0 0 0 1 0 0
 
 0 0.1 0 0 0 0 0.9
0 0.2 0 0 0 0.8 0

Identificar las clases de comunicacion, clasifique los estados de recurrencia y

transitoriedad y determine el periodo de cada estado
Solucion:
Los estados transitorios son {a}, {c, d}, los estados recurrentes son {e}, {b, f, g}.
Por definicion, el periodo de un estado i es el m.c.d del conjunto de posibles
tiempos de retorno a i, es decir

d(i) = m.c.d{n > 0|Piin > 0}

Entonces

d[{a}] = 1, d[{c, d}] = 1, d[{e}] = 1, d[{b, f, g}] = 2

Problema 3.32 Sea X0 , X1 , .... una cadena de Markov ergodica con matriz
de transición P y distribución estacionaria π. Definimos el proceso bivariante
Zn = (Xn , Xn−1 ),∀n ≥ 1, con Z0 = (X0 , X0 ).

15
(a) de una explicación intuitiva del por que Z0 , Z1 , ... es una cadena de Markov.

(b) Determine las probabilidades de transición en términos de P . Es decir, en-

cuentre P (Zn = (i, j)|Zn−1 = (s, t)).

(c) Encuentre la distribución limitante.

Solucion:
a)

b)

c) Consideremos una cadena de Markov que es

i Irreducible
ii Aperiodica
iii Tiene distribucion estacionaria π

Luego sea Zn = (Xn , Xn−1 ),∀n ≥ 1, con Z0 = (X0 , X0 ). es una cade-

na de Markov con probabilidad de transicion P (Zn = (xn , xn−1 )|Zn−1 =
(xn−1 , xn−2 )). La cual tiene distribución estacionaria π(xn ,xn−1 ) = πxn πxn−1 .
Tambien la cadena {Zn |n ≥ 0} es recurrente positiva. Además es irreducible
pues {Xn |n ≥ 0} es aperiodica entonces ∃N ∈ N tal que Pijn Pkl n
> 0, ∀n > N

n
∴ P(i,k)(j,l) >0

Sea j un estado cualquiera de una cadena original. Definamos el primer

momento en el que la cadena {Zn |n ≥ 0} visita a (j, j) como:

τj = min{n ≥ 1|Zn = (j, j)}

Por otro lado

P (Xn = j) ≤ P (Xn−1 = j)+P (τj > n), P (Xn−1 = j) ≤ P (Xn = j)+P (τj > n)

Entonces

|P (Xn = j) − P (Xn−1 = j)| ≤ P (τj > n) −−−−→ 0

n→∞

Si ahora se toma X0 = i con probabilidad 1, se tiene que

P (Xn = j) = P (Xn = j|X0 = i)P (X0 = i) = Pijn P (X0 = i) = Pijn

X X
P (Xn−1 = j) = P (Xn−1 = j|X0 = i)πi = πi Pijn−1 = πj
i i

entonces |Pijn − πj | → 0 =⇒ lı́m Pijn = πj

n→∞

16
 Ademas las probabilidades limitantes πj existen, estan dadas por πj = µ1j
P
y constituyen la unica solución al sistema de ecuaciones πj = i πi Pij .
P
Sujeto a als condiciones πj ≥ 0 y j πj = 1. Como la cadena es irreducible
y recurrente positiva, tiene una unica distribucion estacionaria dada por
πj = µ1j , es decir, es la unica solucion al sistema de ecuaciones π = πP con
πj ≥ 0 y j πj = 1. Ademas, por la aperiocidad Pijn → πj
P

Problema 3.39 Muestre que si X0 , X1 , ... es reversible, entonces para la cadena

en estado estacionario P (X0 = i0 , X1 = i1 , .., Xn = in ) = P (Xn = i0 , Xn−1 =
i1 , ..., X0 = in ) esto es ∀i1 , i2 , i3 , . . . , in−1 , in

Solucion:
Considere la siguiente matriz de transicion de la caminata aleatoria
 
0 1 0 0 0 ···
p 0 (1 − p) 0 0 · · ·
 
0 p 0 (1 − p) 0 · · ·
 
. . .. .. .. .. 
. .
. . . . . . 

 
0 0 0 0 0 · · ·
.. .. .. .. .. . .
 
. . . . . .

Sea π = (π1 , π2 , . . . , πi , πj , . . . ) la distribucion inicial. Entonces para que la

cadena sea reversible, debe cumplirse

∀i, j πi Pij = πi P (Xn+1 = i|Xn = j) = πj P (Xn+1 = j|Xn = i) = πj Pji

Observe que P (Xn+1 = j|Xn = i) y P (Xn+1 = i|Xn = j) solo pueden tomar

los valores {0, 1, p, (1 − p)}
Para p = 0.50 se terndria que π = (0, 0, . . . , 0.5, 0.5, 0, 0, . . . ) Problema
3.42Muestre que la cadena de Markov con matriz de transicion:
1 1 2
6 6 0 3
1 2 2
0
P5 5 5 
1 1 1
0 3 6 2
4 1 2
9 0 3 9

Es reversible. La cadena se puede describir mediante una caminata aleatoria

en un gráfico ponderado. Exhiba el gráfico de manera que todos los pesos sean
enteros
Solucion:
Problema 3.49 Considere una cadena de absorción con t estados trascendentes
y k − t estados de absorción. Para cualquier estado trascendente i y estado

17
absorbente j. Sea Bij denota la probabilidad a partir de i de que la cadena se
absorbe en j. Sea B la resultante de la matriz t × (k − t). Por el análisis del
primer paso muestre que B = (I − Q)−1 R.
Solucion:
Para la cadena iniciada en i, defina variables indicadoras

1 si Xn = j
In :=
0 otro caso
P∞
Para n = 0, 1, . . . entonces n=0 In es el numero de visitas a j. El numero
esperado de visitas es Sea T el conjunto de estados transitorios y sea A el
conjunto de estados absorbentes. Suponga que i ∈ T y j ∈ A. Considere que la
cadena comenzó en i. En el primer paso, la cadena se mueve a algún estado k.
Si k es un estado absorbente, la cadena nunca visitará j, a menos que j = i,
en cuyo caso haya visitado j una vez. Si k es un estado transitorio, entonces
el número esperado de visitas a j es Fkj , si j 6= i, y 1 + Fki , si j = i. Esto da
Problema 3.52 El tablero para un juego modificado de Serpientes y Escalera
se muestra en la Figura 3.18. El juego se juega con un dado de tetraedro (cuatro
caras).

(a) Encuentre la duración esperada del juego.

(b) Suponga que el jugador está en la casilla 6. Encuentre la probabilidad de

que se encuentren en la casilla 3 antes de terminar el juego.

Solucion:
Problema 3.59 Considere la caminata aleatoria en el siguiente grafo pondera-
do:

start a b
1

4 2

1
d c

(a) Si la caminata comienza en a, encuentre el número esperado de pasos para

regresar a a.

18
(b) Si la caminata comienza en a, encuentre el número esperado de pasos para
el primer golpe b.

(c) Si la caminata comienza en a, encuentre la probabilidad de que la caminata

llegue a b antes que c.

Solucion:
Problema 3.62 Sea S una variable aleatoria que es constante, con probabi-
lidad 1, donde esa constante es un número entero positivo. Demuestre que S
es un tiempo de parada. Concluya que la propiedad de Markov se deriva de la
propiedad fuerte de Markov.
Solucion:
Problema 3.69 R Crea tu propio juego de mesa que puede modelarse como
una cadena de Markov. Haga preguntas interesantes y responda mediante simu-
lación y / o un análisis exacto.
Solucion:

4. Procesos de ramificacion
Problema 4.4 Si X es una distribución binomial negativa con los paráme-
tros r y p, entonces X puede escribirse como la suma de r i.i.d. variables alea-
torias geométricas con parámetro p. Usa este hecho para encontrar el pgf de
X. Luego, usa el pgf para encontrar la media y la varianza de la distribución
binomial negativa.
Solucion:
Problema 4.7 Proporcione la función de generación de probabilidad para una
distribución de descendencia en la que un individuo muere, con probabilidad
1 − p, o da a luz a tres hijos, con probabilidad p. También encuentre la media
y la varianza del número de hijos en la cuarta generación.
Solucion:
Un individuo muere con probabilidad M = 1 − p o da a luz a tres hijos con
probabilidad V = p. luego como X es una variable aleatoria discreta, la función
generadora de probabilidad está dada por
∞
X
G(s) = E(sX ) = sk P (X = k)
k=0

Y un proceso de ramificación tiene distribución de descendencia dada por

ak = (1 − p)k p

19
Entonces
3
X
G(s) = E(sX ) = sk P (X = k)
k=0

= s0 P (X = 0) + s1 P (X = 1) + s2 P (X = 2) + s3 P (X = 3)
= (1 − p) + ps3

Luego La función de generación de probabilidad de X puede usarse para encon-

trar la media, la varianza y los momentos más altos de X. Observe que

G0 (1) = E(XsX−1 )|s=1 = E(X)

G00 (1) = E X[X − 1]sX−2 |s=1 = E(X(X − 1)) = E(X 2 ) − E(X)

Es decir
σ 2 = G00 (1) + G0 (1) − G0 (1)2
Entonces asi

G(s) = (1 − p) + ps3
µ = G0 (1) = 3p
σ 2 = G00 (1) + G0 (1) − G0 (1)2 = 6p + 3p − (3p)2 = 9p(1 − p)

Luego

9p(1 − p)(3p)3 (81p4 − 1)

E(Z 4 ) = µ4 = (3p)4 = 81p4 .V ar(Z 4 ) =
(3p − 1)

Problema 4.12
Solucion:
Problema 4.16 Considere un proceso de ramificación donde Z0 = k. Es decir,
el proceso comienza con k individuos. Sea G(s) la función generadora de proba-
bilidad de la distribución de la descendencia. Sea Gn (s) la función generadora
de probabilidad de Zn para n = 0, 1, . . .

a) Encuentre la función generadora de probabilidad G1 (s) en términos de G(s).

b) Verdadero o Falso: Gn + 1(s) = Gn (G(s)), para n = 1, 2, . . .

c) Verdadero o Falso: Gn + 1(s) = G(Gn (s)), para n = 1, 2, . . .

Solucion:
Problema 4.21 El caso fraccional lineal es uno de los pocos ejemplos de pro-
cesos de ramificación en los que la función generadora Gn (s) puede calcularse

20
explı́citamente. Para 0 < p < 1, sea

1−c−p
a0 =
1−p
con
ak = cpk−1 ∀n ∈ N
donde 0 < c < 1 − p es un parámetro. La distribución de la descendencia es una
distribución geométrica reescalada a 0.

a) Encuentre µ la media de la distribución de la descendencia.

b) Suponga que µ = 1. Muestre, por inducción, que

np − (np + p − 1)s
Gn (s) =
1 − p + np − nps

c) Athreya y Ney (1972) muestran

(µn e − 1)s + e(1 − µn

Gn (s) =
(µn − 1)s + e − µn

donde
1−c−p
e=
p(1 − p)
es la probabilidad de extinción. Ver el Ejemplo 4.9. Observe que el modelo
de Lotka cae en el caso fraccionario lineal. Para los datos de Lotka, encuentre
la probabilidad de que una lı́nea de descendencia masculina se extinga en la
tercera generación.

Solucion:
Problema 4.27 Considere un proceso de ramificación cuya distribución de
descendencia es Bernoulli con el parámetro p.

a) Encuentre la función generadora de probabilidad para el enésimo tamaño de

generación Zn . Describe la distribución de Zn .

b) Para p = 0.9, encuentre la probabilidad de extinción y la expectativa de

progenie total.

Solucion:
Problema 4.33 R Simule la progenie total para un proceso de ramificación
cuya distribución de descendencia es Poisson con el parámetro λ = 0.60. Estime
la media y la varianza de la distribución total de la progenie.
Solucion:
> branch <- function(n,lam) { ## Poisson

21
+ z <- c(1,rep(0,n))
+ for (i in 2:(n+1)) {
+ z[i] <- sum(rpois(z[i-1],lam))
+ }
+ return(z) }
Assume extinction occurs by 50th generation
> n <- 10000
> simlist <- replicate(n, sum(branch(50,0.60)))
> mean(simlist)
2.5308
> var(simlist)
9.594811

5. Cadenas de Markov Monte Carlo

Problema 5.4 Solucion:
Problema 5.9 Solucion:
Problema 5.14 Solucion:
Problema 5.19 Solucion:
> trials <- 20000
> n <- 50
> p <- 1/4
> sim <- numeric(trials)
> for (k in 1:trials) {
+ state <- 0
+ # run chain for 60 steps to be near stationarity
+ for (i in 1:60) {
+ y <- sample(0:n,1)
+ acc <- factorial(state)*factorial(n-state)/
(factorial(y)*factorial(n-y))
+ (p/(1-p)) (y-state)
+ if (runif(1) < acc) state <- y
+ }
+ sim[k] <- if (state >= 10 state <= 15) 1 else 0
+ }
> mean(sim) # estimate of P(10 <= X <= 15)
0.6712
# exact probability
> pbinom(15,n,p)-pbinom(9,n,p)
0.6732328

22
6. Procesos de Poisson

7. Cadenas de Markov: Timepo continupo

Problema 6.3 Las llamadas se reciben en un centro de llamadas de la
compañı́a de acuerdo con un proceso de Poisson a razón de cinco llamadas por
minuto.

(a) Encuentre la probabilidad de que no ocurra ninguna llamada durante un

perı́odo de 30 segundos.

(b) Encuentre la probabilidad de que ocurran exactamente cuatro llamadas en

el primer minuto y seis llamadas en el segundo minuto.

(c) Encuentre la probabilidad de que se reciban 25 llamadas en los primeros 5

minutos y seis de esas llamadas ocurran en el primer minuto.

Solucion:

a) 0.082

b) 0.0257

c) 0.01299

23
Problema 6.6 Muestre que la distribución geométrica no tiene memoria.

Solucion:

24
Problema 6.15 Se producen fallas para un proceso mecánico de acuerdo con
un proceso de Poisson. Las fallas se clasifican en mayores o menores. Las fallas
mayores ocurren a razón de 1.5 fallas por hora. Las fallas menores ocurren a
razón de 3.0 fallas por hora.

(a) Encuentre la probabilidad de que ocurran dos fallas en 1 hora.

(b) Encuentre la probabilidad de que en media hora no ocurran fallas mayores.

(c) Encuentre la probabilidad de que en 2 horas, ocurran al menos dos fallas

mayores o al menos dos fallas menores.

Solucion:

a) 0.112

b) 0.472

c) 0.997

25
Problema 6.17 Deje que (Nt )t≥0 sea un proceso de Poisson con el parámetro
λ y los tiempos de llegada S1 , S2 , . . . Evalúe la suma de cuadrados esperada de
los tiempos de llegada antes del tiempo t,
Nt
!
X
E Sn2
n=1

Solucion: !
Nt
X λt3
E Sn2 =
n=1
3

26
Problema 6.22 En el Casino de Poisson, se lanzan dos dados al azar según
un proceso de Poisson con el parámetro λ Halla la probabilidad de que en [0, t]
cada par de dados arroje un resultado de 7.

Solucion:

27
Problema 6.30 Ver ejemplo 6.9. Encuentra la variación del tiempo de espera
total de los asistentes al concierto que llegaron antes de que comience la banda.

Solucion:

28
Problema 6.35 Consulte las definiciones de los procesos de Poisson espaciales
y no homogéneos. Defina un proceso de Poisson espacial no homogéneo en R2 .
Considere dicho proceso (NA )A⊆R2 con función de intensidad
2
+y 2 )
λ(x, y) = e−(x , para − ∞ < x, y < ∞

Solucion:
−1
P (Nc = 0) = e(1−e )π
= 0.137

29
Problema 6.39 Ver ejercicio 6.38. Suponga que (Nt )t≥0 es un proceso mixto
de Poisson con un parámetro de velocidad distribuido uniformemente en (0, 1).
Encuentre P (N1 = 1).

Solucion:

e−2
P (N1 = 1) = = 0.264
e

30
Problema 6.41 Las metas ocurren en un juego de fútbol de acuerdo con un
proceso de Poisson. El número total promedio de goles marcados para un partido
de 90 minutos es 2.68. Suponga que dos equipos están igualados. Use la simu-
lación para estimar la probabilidad de que ambos equipos marquen el mismo
número de goles. Compara con el resultado teórico.

Solucion:
El proceso de puntuación de objetivos de Poisson tiene el parámetro λ = 2.6890.
Considere dos procesos diluidos independientes, cada uno con el parámetro pλ
donde p = 12 . Al condicionar el número de goles marcados en un partido de 90
minutos, la probabilidad deseada es

∞ λ
!2 ∞  −1.34 2
X e−90 2 (90 λ2 )k X e (1.34)k
= = 0.259
k! k!
k=0 k=0

Problema 7.1 Una cadena de Markov de tiempo continuo tiene una matriz ge-
neradora Muestra (i) la matriz de transición de la cadena de Markov incrustada

Figura 2: Matriz Generadora

y (ii) el parámetro de tiempo de mantenimiento para cada estado.

Solucion:

31
Problema 7.6 Una cadena de Markov (Xt )t≥0 en {1, 2, 3, 4} tiene matriz
generadora
−2 1 1 0
 
 1 −3 1 1
Q= 
2 2 −4 0
1 2 3 6
Use la tecnologı́a según sea necesario para lo siguiente:

(a) Encuentre la proporción de tiempo a largo plazo que la cadena visita al

estado 1.

(b) Para la cadena que comenzó en el estado 2, encuentre la probabilidad a

largo plazo de que la cadena visite el estado 3.

(c) Encuentre P (X1 = 3|X0 = 1).

(d) Encuentre P (X5 = 1, X2 = 4|X1 = 3).

Solucion:

32
Problema 7.12 El siguiente resultado del álgebra lineal relaciona el determi-
nante y la traza de la matriz A:

deteA = etrA

Demuestre esto para el caso de que A es diagonalizable.

Solucion:

33
Problema 7.29 Considere una cadena de Markov de tiempo continuo absor-
bente con posiblemente más de un estado absorbente.

(a) Argumentar que la cadena de tiempo continuo se absorbe en el estado a si

y solo si la cadena de tiempo discreto incorporada se absorbe en el estado
a.

(b) Dejar a la Figura 3 para la cadena de Markov de tiempo continuo. Para La

cadena comenzó en el estado 2, encuentre la probabilidad de que la cadena
se absorba en el estado 5

Figura 3: Matriz Generadora

Solucion:
La matriz de transición de cadena incrustada, en forma canónica, es
 
1 0 0 0 0
1
0 1 0 0 0

2 1
P =  3 0 0 32 0 

3
 0 0 21 0 12 

4
0 35 0 25 0

8. Conclusion
“I always thought something was fundamentally wrong with the universe”
[1]

Referencias
[1] D. Adams. The Hitchhiker’s Guide to the Galaxy. San Val, 1995.

34