CAP

ITULO 4. MODELOS GAUSSIANOS

Para leer
Gelman et al (1995) Captulo 3, Secciones 3.1
3.4, 3.6 y 3.8.
Box y Tiao (1973), Captulo 2, Secciones 2.1
2.5.
Lee (1997), Captulo 2, Captulo 5, Secciones
5.15.4.
En este captulo, se estudian problemas de una
y dos muestras con datos normales.
83
Problemas de una muestra
Sea X|,
2
N(,
2
). Dada una muestra de
datos, x, se quiere hacer inferencia sobre y/o

2
.
Recordamos la verosimilitud de y
2
del Ejem-
plo 38:
l(,
2
|x)
n
exp
_

1
2
2

(x
i
)
2
_
.
Es conveniente simplicar este expresi on:
l(,
2
|x)
n
exp
_

1
2
2
n

i=1
(x
i
x + x )
2
_
=
n
exp
_

1
2
2
_
n

i=1
(x
i
x)
2
+n( x )
2
__
=
n
exp
_

1
2
2
_
(n 1)s
2
+n( x)
2

_
84
Inferencia para (
2
conocido)
Resumimos los resultados del Ejemplo 38.
Distribuci on a priori conjugada N
_
m,
2
/n
_
.
Distribuci on a posteriori |x N
_
m

,
2
/

_
donde

= +n y m

=
m+n x
+n
.
Distribuci on predictiva.
Supongamos que se quiere hallar la distribuci on pre-
dictiva (a priori) de una observaci on X N(,
2
).
Se tiene X = + donde N(0,
2
) y
N(m,
2
/). Entonces, la distribucion predictiva (a
priori) es
X N
_
m,
2
_
1 +
1

__
.
Si elegimos una distribuci on a priori uniforme, en-
tonces |x N( x,
2
/n) y la media a posteriori es
igual al EMV y el intervalo de credibilidad a poste-
riori es igual al intervalo clasico.
85
Inferencia para
2
cuando es conocido
En lugar de tratar de hacer inferencia sobre la
varianza
2
, es conveniente usar la transfor-
maci on = 1/
2
y hacer inferencia sobre la
precisi on .
En terminos de , la verosimilitud es
l(|x) =
n/2
exp
_

2
_
(n 1)s
2
+n( x)
2
_
_
Si se elige una distribuci on a priori gamma:
G
_
a
2
,
b
2
_
, es facil de ver que la distribuci on
a posteriori es tamben una gamma.
86
f(|x) f()l(|x)

a
2
1
exp
_
b
2

n/2
exp
_

2
_
(n 1)s
2
+n( x)
2
_
_

a+n
2
1
exp
_
b +(n 1)s
2
+n( x)
2
2

_
|x G
_
a

2
,
b

2
_
donde
a

= a +n
b

= b +(n 1)s
2
+n( x)
2
.
Entonces, la inferencia es conjugada.
C omo hallamos un intervalo de credibilidad
para
2
?
87
Es conveniente recordar que si Z G
_
r
2
,
s
2
_
,
entonces
sZ G
_
r
2
,
1
2
_
=
2
r
.
Usamos este resultado para hallar un intervalo
de credibilidad para
2
.
Sea (c
1
, c
2
) el intervalo de 95 % credibilidad.
Suponiendo que |x G
_
a

2
,
b

2
_
, se tiene
0,025 = P(c
1
<
2
)
= P(1/
2
< 1/c
1
)
= P( < 1/c
1
)
= P(b

< b

/c
1
)
b

/c
1
=
2
a
(0,975)
c
1
=
b

2
a

(0,975)
Parecidemente, se tiene c
2
=
b

2
a

(0,025)
y un
intervalo de credibilidad de 95 % para
2
es
_
b

2
a

(0,975)
,
b

2
a

(0,025)
_
88
Si a = b = 0 entonces a

= n y
b

= (n 1)s
2
+ n( x)
2
. El intervalo de
credibilidad a posteriori es
_
(n 1)s
2
+n( x)
2

2
n
(0,025)
,
(n 1)s
2
+n( x)
2

2
n
(0,975)
_
,
igual al intervalo clasico para este problema.
La distribuci on a priori que nos proporciona
este resultado es f()
1

, que es otra dis-

tribuci on impropia.
89
Inferencia con ambos parametros descono-
cidos
Se quiere denir una distribuci on a priori con-
jugada para , .
Se ha visto anteriormente que dado , la dis-
tribuci on a priori conjugada para es normal.
Considerando la verosimilitud en terminos de
, parece a una densidad gamma.
Se descompone la distribuci on a priori como
f(, ) = f(|)f()
y se dene
| N
_
m,
1

_
G
_
a
2
,
b
2
_
90
Entonces, la distribuci on conjunta es
f(, )
1
2
exp
_

2
( m)
2
_

a
2
1
exp
_

b
2
_

a+1
2
1
exp
_

2
_
b +( m)
2
_
_
Observacion 13 La distribuci on de y se
llama la distribuci on normal gamma con param-
etros m, , a/2 y b/2.
, NG(m, , a/2, b/2)
Observacion 14 La distribuci on inducida de

2
es una distribuci on gamma inversa. Un
intervalo de credibilidad de 95 % para
2
es
_
b

2
a
(0,975)
,
b

2
a
(0,025)
_
.
91
La distribuci on marginal de .
Teorema 5 T (a, m, b/(a)), una distribu-
ci on t de Student. Un intervalo de credibilidad
de 95 % para es
m
_
b/(a)t
a
(,025)
Demostraci on
f() =
_

0
f(, ) d

_

0

a+1
2
1
exp
_

2
(b+
( m)
2
__
d

_
b +( m)
2
_
(
a+1
2
)

_
_
_
_
1 +
1
a
_
_
_
m
_
b/a
_
_
_
2
_
_
_
_
(
a+1
2
)
el n ucleo de una distribucion t con a grados de
libertad, y media m.
92
Observacion 15 Transformando =
m

b/a
,
se tiene t
a
, una distribucion t estandar.
La distribuci on predictiva de X
Supongamos que se quiere calcular la distribu-
ci on predictiva de X.
Teorema 6 Sea X|, N(, 1/) y ,
NG(m, , a/2, b/2). La distribuci on marginal de
X es
X T (a, m, b( +1)/(a)).
Un intervalo predictivo de 95 % para X es
m

b( +1)
a
t
a
(,025).
93
Demostraci on
Sea X = + donde | N(m, 1/()) y
| N(0, 1/). Obviamente, se tiene X|,
N(, 1/) y ademas, mediante las propiedades
de la distribuci on normal,
X| N
_
m,
1

_
1 +
1

_
_
Dena

=
_
1 +
1

_
1
=

+1
y entonces se
tiene X, NG(m,

, a/2, b/2).
Mediante el teorema 5, se tiene
X T (a, m, b/(

a))
y sustituyendo para

se demuestra el resulta-
do.
94
La distribuci on a posteriori conjunta
Multiplicando por la verosimilitud se demuestra
el siguiente teorema:
Teorema 7 La distribuci on a posteriori es
, NG
_
m

, a

/2, b

/2
_
.
Entonces
f(, |x)
a

+1
2
1
exp
_

2
_
b

( m

)
2
_
_
donde
a

= a +n
b

= b +(n 1)s
2
+
n
+n
(m x)
2

= +n
m

=
m+n x
+n
Luego
95
|, x N
_
m

,
1

_
and
|x G
_
a

2
,
b

2
_
|x T (a

, m

, b

/(

))
X|x T (a

, m

, b

+1)/(

))
Observamos resultados para la distribucion marginal
de y la distribuci on predictiva de una nueva
observaci on X siguen de los teoremas 5 y 6.
Solo necesitamos demostrar que la distribuci on
a priori es conjugada con la forma dada.
96
Demostraci on
f(, |x) l(, |x)f(, )

n
2
exp
_

2
_
(n 1)s
2
+n( x)
2

a+1
2
1
exp
_

2
_
b +( m)
2

_

a+n+1
2
1
exp
_

2
_
b +( m)
2
+(n 1)s
2
+
n( x)
2

_

a

+1
2
1
exp
_

2
_
b +(n 1)s
2
+

( m

)
2
+
m
2
+n x
2

m
2

_

a

+1
2
1
exp
_

2
_
b +(n 1)s
2
+

( m

)
2
+
m
2
+n x
2

(m+n x)
2
+n
__

a

+1
2
1
exp
_

2
_
b +(n 1)s
2
+

( m

)
2
+
n
+n
(m x)
2
__

a

+1
2
1
exp
_

2
_
b

( m

)
2

_
.
97
Ejemplo 40 Suponer que X|, N(, 1/)
con las distribuciones a priori | N(85, 1/)
y G
_
4
2
,
350
2
_
.
Dada una muestra con n = 100, x = 89 y
s
2
= 30, calcular la distribuci on a posteriori de
y .
Tenemos
a

= 4 +100 = 104
b

= 350 +99 30 +
1 100
1 +100
(85 89)
2
= 3335,84

= 1 +100 = 101
m

=
1 85 +100 89
1 +100
= 88,96
98
Entonces , |x NG
_
88,96, 101,
104
2
,
3335,84
2
_
|, x N
_
88,96,
1
101
_
y
|x G
_
104
2
,
3335,84
2
_
.
Tambien calculemos intervalos de credibilidad
para antes y despues de ver los datos.
Antes de ver los datos tenemos el intervalo
85

335
4 1
t
4
(,025) (59,6, 110,4)
Despues de ver los datos tenemos el intervalo
88,96

3335,84
104 101
t
104
(,025) (87,84, 90,08)
99
Finalmente calculemos intervalos predictivos para
una observacion X antes y despues de ver los
datos.
Antes de ver los datos tenemos el intervalo
85

335 (4 +1)
4 1
t
4
(,025) (28,19, 141,81)
Despues de ver los datos tenemos
88,96

3335,84 (104 +1)

104 101
t
104
(,025)
(77,53, 100,39)
Los intervalos predictivos son mucho mas an-
chos que los intervalos de credibilidad para la
media.
100
Resultados parecidos a los resultados clasicos
Dada la distribucion a priori impropia
f(, )
1

,
la distribuci on a posteriori de , es
f(, |x)
n
2
1
exp
_

2
_
(n 1)s
2
+n( x)
2

_

(n1)+1
2
1
exp
_

2
_
(n 1)s
2
+
+n( x)
2
_
que es el n ucleo de una distribuci on normal
gamma.
, |x NG
_
x, n,
n 1
2
,
(n 1)s
2
2
_
.
Luego |, x N
_
x,
1
n
_
y |x G
_
n1
2
,
(n1)s
2
2
_
y por tanto |x T (n 1, x, s
2
/n).
101
El intervalo de credibilidad bayesiano de 95 %
para es
x t
n1
(,025)
s

n
que coincide con el intervalo clasico de con-
anza.
La distribuci on predictiva para una nueva ob-
servaci on X es X T (n1, x, (1+1/n)s
2
). Un
intervalo predictivo de 95 % para X es
x t
n1
(,025)s

1 +
1
n
.
Finalmente, usando Observacion 14, un inter-
valo de credibilidad de 95 % para
2
es
_
_
s
2

2
n1
(0,975)
,
s
2

2
n1
(0,025)
_
_
igual al intervalo clasico de conanza.
102
Problemas de dos muestras
Solo consideramos en detalle los problemas con
datos no apareados y varianzas desconocidas.
Los resultados bayesianos para los otros prob-
lemas estudiados habitualmente son parecidos
a los resultados clasicos. Los comentamos breve-
mente
Datos apareados
Igual a la inferencia clasica, tomando las difer-
encias de cada pareja de de datos, el problema
se reduce a un problema de una muestra.
103
Datos independientes con varianzas cono-
cidas
Dadas distribuciones a priori normales para las
medias desconocidas, usando el Ejemplo 38,
las distribuciones a posteriori son tambien nor-
males y luego la diferencia entre las medias es
normal. Distribuciones a priori uniformes para
las dos medias implica que la inferencia bayesian
coincide con la inferencia clasica.
104
Datos independientes, con varianzas iguales
pero desconocidas
Sea X
i
|
1
, N(
i
, 1/) con muestras de tamano
n
i
, para i = 1, 2. Dada la distribucion a priori
no informativa
f(
1
,
2
, )
1

.
se tiene
f(
1
,
2
, |x
1
, x
2
)
n
1
+n
2
1
2
exp
_

2
_
2

i=1
(n
i
1)s
2
i
+
n
i
(
i
x
i
)
2
__

i
|, x
i
N
_
x
i
,
1
n
i

_
para i = 1, 2.
Integrando por
1
y
2
succesivamente, se
demuestra que
|x G
_
n
1
+n
2
2
2
,

2
i=1
(n
i
1)s
2
i
2
_
105
Entonces, deniendo =
1

2
, se tiene
|, x
1
, x
2
N
_
x
1
x
2
,
1

_
1
n
1
+
1
n
2
__
y , tiene una distribuci on normal gamma.
Un intervalo de credibilidad de 95 % para es
x
1
x
2
s
comb

1
n
1
+
1
n
2
t
n
1
+n
2
2
donde s
2
comb
=

2
i=1
(n
i
1)s
2
i
n
1
+n
2
2
.
El intervalo es igual al intervalo frecuentista.
106
El problema de Behrens y Fisher
Se suponen dos poblaciones X
1
N(
1
, 1/
1
)
y X
2
N(
2
, 1/
2
).
Se quiere hacer inferencia sobre =
1

2
.
Se observan dos muestras (n
1
, x
1
, s
2
1
) y (n
2
, x
2
, s
2
2
).
Pongamos las distribuciones a priori no infor-
mativas
f(
i

i
)
1

i
i = 1, 2.
Sabemos que las distribuciones a posteriori de

1
y
2
son

1
|x
1
T (n
1
1, x
1
, s
2
1
/n
1
)

2
|x
2
T (n
2
1, x
2
, s
2
2
/n
2
)
107
La distribuci on a posteriori de es la distribu-
ci on de la diferencia entre dos variables t de
Student.
Podemos escribir la f ormula para la distribu-
ci on:
f(|x
1
, x
2
) =
_
f

1
( +
2
|x
1
)f(
2
|x
2
) d
2
pero es mas facil considerar la funci on nor-
malizada

=
( x
1
x
2
)
(s
2
1
/n
1
+s
2
2
/n
2
)
1/2
Teorema 8 Dena tan =
s
1
/

n
1
s
2
/

n
2
, y entonces

= T
1
sin T
2
cos
donde T
1
=

1
x
1
s
1
/

n
1
and T
2
=

2
x
2
s
2
/

n
2
tienen dis-
tribuciones de t estandares con n
1
1 y n
2
1
grados de libertad respetivamente.
108
Demostraci on

=
(
1

2
) ( x
1
x
2
)
(s
2
1
/n
1
+s
2
2
/n
2
)
1/2
=
(
1
x
1
) (
2
x
2
)
(s
2
1
/n
1
+s
2
2
/n
2
)
1/2
=
s
1
/

n
1

1
x
1
s
1
/

n
1
s
2
/

n
2

2
x
2
s
2
/

n
2
(s
2
1
/n
1
+s
2
2
/n
2
)
1/2
=
s
1
/

n
1
(s
2
1
/n
1
+s
2
2
/n
2
)
1/2
T
1

s
2
/

n
2
(s
2
1
/n
1
+s
2
2
/n
2
)
1/2
T
2
Cuadrando y sumando los dos pesos, el resul-
tado es 1 y entonces

= sinT
1
cos T
2
Denicion 8 La distribuci on de T

1
sinT

2
cos
donde T

es una variable t de Student con

grados de libertad, se llama la distribuci on de
Behrens y Fisher con parametros
1
,
2
y :
BF(
1
,
2
, ).
Entonces concluimos que

BF(n
1
1, n
2
1, tan
1
s
1
/

n
1
s
2
/

n
2
).
109
Observacion 16 Calcular intervalos de credi-
bilidad etcetera es difcil. Pero se puede utilizar
la aproximaci on de Patil.
Si X BF(
1
,
2
, ) entonces X/a t
b
donde
f
1
=
_
n
1
1
n
1
3
_
sin
2
+
_
n
2
1
n
2
3
_
cos
2

f
2
=
(n
1
1)
2
(n
1
3)
2
(n
1
5)
sin
4
+
(n
2
1)
2
(n
2
3)
2
(n
2
5)
cos
4

b = 4 +(f
2
1
/f
2
)
a =
_
f
1
(b 2)/b
Observacion 17 Otro metodo es muestrear
las distribuciones a posteriori de
1
y
2
para
simular una muestra de la distribuci on de . Se
puede utilizar la muestra de diferencias para
estimar intervalos de credibilidad etc.
110
Observacion 18 (Ver Lee Secciones 5.35.4).
No hay resultados parecidos usando inferencia
clasica. (La distribuci on de muestreo de

de-
pende de la razon
1
/
2
.) Los clasicos utilizan
una aproximacion t:

t
r
donde r =
(s
2
1
/n
1
+s
2
2
/n
2
)
2
_
s
4
1
/n
2
1
n
1
1
+
s
4
2
/n
2
2
n
2
1
_
El problema es que no se puede evaluar la cali-
dad de la aproximaci on para una muestra dada.
111
Ejemplo 41 Se supone que (n
1
, x, s
2
1
) = (10, 0, 1)
y (n
2
, y, s
2
2
) = (10, 1, 1).
Entonces, dadas las distribuciones a priori no
informativas,

BF(9, 9, /4) y un intervalo

de credibilidad de 95 % es (utilizando la aprox-
imacion de Patil que implica a = 1,04, b = 14)
1 1,04

2t
14
(,975) = (0,00, 2,01)
El intervalo de conanza clasico es (con r =
18)
1

2t
18
(,975) = (0,06, 1,94)
112
La raz on de dos varianzas
De vez en cuando se quiere hacer inferencia
sobre la raz on de las dos varianzas =
2
1
/
2
2
=

2
/
1
.
Sea (n
i
, x
i
, s
2
i
), para i = 1, 2, como anterior-
mente con distribuciones a priori no informa-
tivas f(
i
,
i
) 1/
i
. Entonces, recordamos
que
i
|data G
_
n
i
1
2
,
(n
i
1)s
2
i
2
_
y luego (n
i

1)s
2
i

i

2
n
i
1
. Ahora:
=

2

1
=
_
(n
1
1)s
2
1
(n
2
1)s
2
2
_
(n
2
1)s
2
2

2
(n
1
1)s
2
1

1
=
_
s
2
1
s
2
2
_
(n
2
1)s
2
2
(n
2
1)

2
(n
1
1)s
2
1
(n
1
1)

1
y entonces se tiene
s
2
2
s
2
1
F(n
2
1, n
1
1).
113
Un intervalo de credibilidad de 95 % para es
_
s
2
1
s
2
2
F
n
2
1
n
1
1
(0,025),
s
2
1
s
2
2
F
n
2
1
n
1
1
(0,975)
_
igual al intervalo clasico.
Observacion 19 Es facil extender el analisis
al modelo normal gamma.
114