Captulo 5

Modelos Lineares
Em uma situacao mais geral, a variavel de interesse (variavel resposta) tem sua
descric ao probabilstica afetada por outras variaveis (variaveis explicativas ou
covariaveis). No caso mais simples a inuencia sobre a resposta media e linear e
aditiva e pode ser vista como uma aproximacao de primeira ordem para fun coes
mais complexas.
Usando uma notacao matricial, o modelo linear normal pode ser escrito como
y = X +,
onde y e um vetor n 1 de observacoes, X e uma matriz n p conhecida,
e um vetor p 1 de parametros e e um vetor n 1 de erros aleatorios tais
que
i
N(0,
2
) e E(
i

j
) = 0, para i = 1, , n e j = i. O modelo nos diz
entao que, a distribuicao condicional de y dados e
2
e normal multivariada,
i.e. y N(X,
2
I
n
) sendo I
n
e a matriz identidade de ordem n. Denindo
=
2
e usando a funcao de densidade da normal multivariada (ver apendice
A) segue que
f(y|, ) = (2)
n/2
|
1
I
n
|
1/2
exp

1
2
(y X)

(
1
I
n
)
1
(y X)

n/2
exp

2
(y X)

(y X)

. (5.1)
A forma quadratica em (5.1) pode ser reescrita em termos de

= (X

X)
1
X

y
que e o estimador de maxima verossimilhanca de ,
(y X)

(y X) = (y X

X(

))

(y X

X(

))
= (y X

(y X

) + ( X

X( X

)
2( X

)X

(y X

)
= (y X

(y X

) + ( X

X( X

)
88
89
pois X

(y X

) = 0. Denotando por S = (y X

(y X

) a soma de
quadrados residual, podemos escrever entao a funcao de verossimilhanca como,
f(y|, )
n/2
exp

2
[(

)

X(

) + S]

.
A distribui cao a priori adotada aqui e uma generaliza cao multivariada da
distribuicao Normal-Gama vista na Secao 2.3.5. Assim, a distribui cao a priori e
especicada como
| N
p
(
0
, (C
0
)
1
)
onde C
0
e agora uma matriz p p e
Gama

n
0
2
,
n
0

2
0
2

.
Com isso a densidade a priori conjunta de (, ) ca completamente especicada
e assim como no caso univariado a distribuicao marginal de e obtida integrando-
se p(, ) em relacao a onde,
p(, )
n
0
+p
2
1
exp

n
0

2
0
+ (

0
)

C
0
(

0
)

E facil vericar que

p()

1 +
(
0
)

C
0
(
0
)
n
0

2
0

(n
0
+p)/2
de modo que a distribui cao a priori marginal de e t
n
0
(
0
,
2
0
C
1
0
). Note
que, como C
0
e simetrica, e necessario especicar p(p + 1)/2 de seus elementos.
Na pratica, podemos simplicar esta especicacao assumindo que C
0
e diagonal,
i.e. que os componentes de sao nao correlacionados a priori.
Combinando-se com a verossimilhanca via teorema de Bayes obtem-se as
seguintes distribui coes a posteriori
|, y N(
1
, (C
1
)
1
)
|y Gama

n
1
2
,
n
1

2
1
2

ou n
1

2
1

2
n
1
|y t
n
1
(
1
,
2
1
C
1
1
)
90 CAP

ITULO 5. MODELOS LINEARES

onde os parametros atualizados sao
n
1
= n
0
+ n
C
1
= C
0
+X

1
= (C
0
+X

X)
1
(C
0

0
+X

)
n
1

2
1
= n
0

2
0
+ (y X
1
)

y + (
0

1
)

C
0

0
= n
0

2
0
+ (n p)
2
+ (
0

[C
1
0
+X

X
1
]
1
(
0

)
onde

2
=
1
n p
(y X

(y X

).
Os estimadores pontuais de e sao dados respectivamente por
1
e
2
1
.
Intervalos de conanca para
j
e sao obtidos atraves dos percentis das
distribuicoes univariadas t
n
1
(
j
,
2
1
(C
1
1
)
jj
), j = 1, , p e
2
n
1
. Em particular,
note que
1
e obtida como uma ponderacao matricial entre a estimativa a priori
de e sua estimativa de maxima verossimilhanca

. Inferencia conjunta sobre
tambem pode ser feita usando o fato que a forma quadratica
(
1
)

C
1
(
1
)/p

2
1
F(p, n
1
).
Note que o modelo visto na secao anterior e na verdade o caso mais simples
de um modelo linear quando p = 1 e X e um vetor n 1 de 1s. Neste caso e
um escalar podendo ser denotado por e o modelo se reduz a y
i
= +
i
.
A priori nao informativa e tambem uma generalizacao multivariada da secao
anterior. Aqui o vetor e um parametro de locacao e e um parametro de escala,
e portanto a priori nao informativa de Jereys e p(, )
1
. Vale notar
que esta priori e um caso particular (degenerado) da priori conjugada natural
com C
0
= 0 e n
0
= p. Fazendo as substitui coes adequadas obtem-se que as
distribuicoes a posteriori sao dadas por
|y t
np
(

, s
2
(X

X)
1
)
(n p)s
2
|y
2
np
(

)

X(

)
s
2
|y F(p, n p)
e estimadores pontuais bem como intervalos de conanca coincidirao com os obti-
dos usando metodos classicos.
5.1. AN

ALISE DE VARI

ANCIA COM 1 FATOR DE CLASSIFICA C

AO 91
5.1 Analise de Variancia com 1 Fator de Classi-
cacao
Considere o modelo y
ij
=
j
+
ij
, i = 1, , n
j
e j = 1, , p. Assim, todas as
n
j
observacoes do grupo j tem a mesma media
j
. Neste problema, o n umero
total de observacoes independentes e n = n
1
+ + n
p
. Em outras palavras,
Y
1j
, , Y
n
j
j
N(
j
,
2
). Se os y
ij
foremempilhados em um unico vetor n1
entao podemos reescrever o modelo na forma matricial y = X + sendo
X =

1 0 0
.
.
.
.
.
.
.
.
.
1 0 0
.
.
.
.
.
.
.
.
.
0 0 1
.
.
.
.
.
.
.
.
.
0 0 1

.
Note que X

X = diagonal(n
1
, , n
p
) e a forma quadratica (

X(

)
se reduz a
p

j=1
n
j
(
j
y
j
)
2
e a fun cao de verossimilhanca e dada por
l(
1
, ,
p
, ; y)
n/2
exp

(n p)s
2
+
p

j=1
n
j
(
j
y
j
)
2

com
s
2
=
1
n p
(y X

(y X

).
Assumindo que
j
| N(
j
, (c
j
)
1
), j = 1, , p sao condicionalmente
independentes e que n
0

2
0

2
n
0
entao as distribui coes a posteriori sao

j
|, y N(

j
, (c

j
)
1
)
n
1

2
1
|y
2
n
1

j
|y t
n
1
(

j
,
2
1
/c

j
)
92 CAP

ITULO 5. MODELOS LINEARES

onde

j
=
c
j

j
+ n
j
y
j
c
j
+ n
j
c

j
= c
j
+ n
j
n
1
= n
0
+ n
n
1

2
1
= n
0

2
0
+ (n p)s
2
+
p

i=1
n
j
c
j
c
j
+ n
j
(y
j

j
)
2
e os
j
|, y permanecem independentes.
A priori nao informativa p(, )
1
e obtida fazendo-se c
j
= 0, j = 1, , p
e n
0
= p. Assim, as distribuicoes a posteriori marginais sao dadas por

j
|y t
np
(y
j
, s
2
/n
j
)
(n p)s
2

2
np
e as estimativas pontuais e intervalos de conanca coincidirao com os da inferencia
classica. Em particular, se estamos interessados em testar
H
0
:
1
= =
p
=
entao pode-se mostrar que (DeGroot,1970, paginas 257 a 259) deve-se rejeitar H
0
se
P

F >
p

j=1
n
j
(y
j
y)
2
/(p 1)
s
2

onde F F(p 1, n p) for pequena.

Note que as hipoteses equivalentes sao
H
0
:
1
= =
p
= 0
sendo

j
=
j
, =
1
n
p

j=1
n
j

j
e
p

j=1
n
j

j
= 0
e
j
e o efeito da j-esima popula cao. Neste caso, X

X = diagonal(n
1
, , n
p
) e
a forma quadratica (

)

X(

) ca

n
j
(
j
y
j
y)
2
+n( y
j
y)
2
.