Universidad Nacional de Colombia

Estadística Bayesiana: Quiz 1

Nombre: Documento:

Considere el modelo jerárquico de la forma

IID 1  y 
i
yi | λ ∼ Exp(λ), i.e., p(yi | λ) = exp − para yi > 0, i = 1, . . . , n, y λ > 0,
λ λ 
β α −(α+1)

β
λ ∼ GI(α, β), i.e., p(λ) = λ exp − para α > 0 y β > 0,
Γ(α) λ

donde GI corresponde a la familia de distribuciones Gamma Inversa.

β β2
Nota: Si X ∼ GI(α, β), entonces E(X) = α−1 , para α > 1, y Var(X) = (α−1)2 (α−2) , para α > 2.

1. Hallar la distribución posterior de λ.

Aplicando el Teorema de Bayes se tiene que:

p(λ | y) ∝ p(y | λ) p(λ)

Yn
= p(yi | λ) p(λ)
i=1
n
β α −(α+1)
 
Y 1  y 
i β
= exp − × λ exp −
i=1
λ λ Γ(α) λ
 s  
β
∝ λ−n exp − × λ−(α+1) exp −
λ λ
 
β + s
= λ−(α+n−1) exp −
λ
Pn
donde y = (y1 , . . . , yn ) y s = i=1 yi . Dado que p(λ | y) es proporcional al núcleo de una distribución Gamma Inversa
con parámetros α + n y β + s, se concluye que la distribución posterior de λ es λ | y ∼ GI(α + n, β + s).

2. Mostrar que la media posterior de λ es un promedio ponderado de la media previa y de la media muestral.

Dado que λ | y ∼ GI(α + n, β + s), la media posterior de λ es:

β+s
E(λ | y) =
α+n−1
1 1
= β+ s
α+n−1 α+n−1
α−1 β n s
= +
α−1+n α−1 α−1+n n
α−1 n
= E(λ) + ȳ
α−1+n α−1+n
β Pn
donde E(λ) = α−1 y ȳ = ns = n1 i=1 yi . Por lo tanto E(λ | y) es un promedio ponderado de la media previa y de la
α−1 n
media muestral, pues α−1+n + α−1+n = α−1+n
α−1+n = 1.
3. Hallar la distribución predictiva posterior de una observación futura y ∗ .

La distribución predictiva posterior de una observación futura y ∗ está dada por:

Z
∗
p(y | y) = p(y ∗ | λ) p(λ | y) dλ
Θ
Z ∞  ∗
(β + s)α+n −(α+n+1)
 
1 y β+s
= exp − λ exp − dλ
0 λ λ Γ(α + n) λ
(β + s)α+n ∞ −(α+n+1+1) β + s + y∗
Z  
= λ exp − dλ
Γ(α + n) 0 λ
(β + s)α+n Γ(α + n + 1)
=
Γ(α + n) (β + s + y ∗ )α+n+1
Γ(α + n + 1) (β + s)α+n
=
Γ(α + n) (β + s + y ∗ )α+n+1

que simplificando da como resultado,

  α+n
∗ α+n β+s Pn
p(y | y) = , para y ∗ > 0, con s = i=1 yi .
β + s + y∗ β + s + y∗

4. Hallar la distribución previa de Jeffreys para λ asociada con la distribución muestral p(y1 , . . . , yn | λ).

Como p(y | λ) = λ−n exp − λs , y por lo tanto, log p(y | λ) = −n log λ − λs , se tiene que:

d n s d2 n 2s
log p(y | λ) = − + 2 y log p(y | λ) = 2 − 3 .
dλ λ λ dλ2 λ λ

Por lo tanto, la información esperada de Fisher está dada por:

!
d2 2 Ey|λ (s)
 
2s n n 2 nλ n n
I(λ) = Ey|λ − 2 log p(y | λ) = Ey|λ − 2 = − 2 = 3 − 2 = 2.
dλ λ3 λ λ3 λ λ λ λ

Así, la distribución previa de Jeffreys para λ asociada con la distribución muestral p(y1 , . . . , yn | λ) es:
r √
p n n
pJ (λ) ∝ I(λ) = 2
= ,
λ λ

y en consecuencia, pJ (λ) ∝ λ1 .