Tema 8:Regresión múltiple

Fuente: Capítulo 8 (Basic Econometrics, D. Gujarati)

8.1 Regresión Múltiple

Y i= β1 + β 2 X 2 +.. .+ β K X i K + ε i
 i

Matricialmente:

Y nx1 =X nxK β Kx 1 +ε nx 1 FRP: Función de Regresión Poblacional

Y nx1 =X nxK^ β Kx1 +e nx 1 FRM: Función de Regresión Muestral

Gráficamente:
Proyección de Y en espacio columna de X

β^ 2 Mide la variación del valor de E(Y ) por variación unitaria de X 2 manteniendo a X 3 constante.
β^ 3 Mide la variación del valor de E(Y ) por variación unitaria de X 3 manteniendo a X 2 constante.
Notas:

β^ 1 , β^ 2 , . .. β^ K
Coeficientes de regresión parcial

8.2 Método de OLS: Enfoque Matricial

Dada la ecuación de regresión muestral: Y nx1 =X nxK β Kx 1 +ε nx 1

[] [ ]
y1 1 x12 x 13 ⋯ x 1 K
Y= ⋮ X= ⋮ ⋮ ⋮ ⋱ ⋮
yn nx 1 1 x n2 xn 3 … xnk nxK

[] []
β1 ε1
β= ⋮ ε= ⋮
βK Kx 1 εn nx1

Definamos:

S 1 x1 =ε ´ nx1 ε nx1 ε=Y −Xβ

El problema puede re-expresarse como:

min β S=[ (Y nx 1 −X nxK β Kx1 )´ ] [ (Y nx1 − X nxK β Kx 1 )]

=Y´1 xn Y nx1 −Y´1 xn X n×K β Kx 1−β´1 xK X ´ Kxn Y nx 1 + β' 1 xK X' Kxn X nxK β Kx 1
Todos son escalares

=Y'1 xn Y nx1 −2 β '1 xK X´Kxn Y nx1 + β1 xK X' Kxn X n×K β Kx1

Así, el problema de minimización es:
 '
min β S=Y'1 xn Y nx 1−2 β 1 xK X´Kxn Y nx1 + β1 xK X' Kxn X n× K β Kx1
CPO:

δS
δβ
=−2 X´ Kxn Y nx 1 + 2X´ Kxn X nxK β Kx 1=0

X´ Kxn Y nx 1= X' Kxn X nxK β Kx1

( X' Kxn X nxK )−1 X' Kxn Y nx1 = β^ Kx 1

^ X' X )−1 X' Y
β=( Kxn nxK Kxn nx1

Estimadores de MCO-OLS

CSO:

δ2S
=2 X'Kx 1 X nxK ¿ 0
δβδβ ´ Semi-definida Positiva (Mínimo)

Notas:

i)Reglas de Diferenciación de Matrices

δ(C´β ) δ( β ' C )
δβ
= δβ =C
δβ´Aβ )
δβ
=( A+A´ )β
Si A es una Matriz Simétrica

∂ β'Aβ
=2 Aβ
∂β

ii) Demostración de que ( X'X )−1 existe

∃ ( X'X )−1 ⇔r [ ( X'X )−1 ]=K

Dado que r ( X )=K ⇒ r ( X ' )=K

r ( Aβ )=min { r ( A ) ,r ( β ) }

⇒r [ ( X'X )−1 ] =K
−1
∴∃ ( X'X )

Ejemplo 8.2:

Dado
Y i= β1 + β 2 X i2 + ε i Modelo de Regresión Simple

[] [ ]
Y1 1 X1
Y= ⋮
Yn nx 1
X= ⋮ ⋮
1 Xn nx2
β=
[]
β1
β2 2x 1

Dado β^ =(X'X )−1 X'Y

−1
Calculamos (X'X )

][ ]
1 X1
X'X = 1
[
.. . 1
X 1 .. . X n
∗⋮ ⋮
1 Xn

[ ]
n
n ∑i=1 X i
= n n
∑i =1 X i ∑i=1 X 2i
 [ ]
n n
−1 1 ∑i=1 X 2i −∑i =1 X i
( X'X ) = ∗
det ( X'X ) − n X
∑i=1 i n

n 2
det( X'X)=n ∑ X
i=1 i
2
− (∑ X i )

[ ]
n n
−1 1 ∑i =1 X 2i −∑ i=1 X i
( X'X ) = n 2
∗ n
n ∑i=1 X i −(∑ X i ) −∑i=1 X i
2
n

Ahora calculamos X' Y

][ ][ ]
n
Y1
∑i=1 Y i
X' Y =
[ 1 . ..
X 1 . ..
1
Xn
∗ ⋮ =
Yn
n
∑i=1 Y i X i 2×1

Ahora calculamos β^ =(X'X )−1 X'Y

[] [ ][ ]
n n n
^
^ β1 = 1 ∑i =1 X 2i −∑i=1 X i ∑i=1 Y i
β= ∗
β^ 2
n
n ∑i =1 X 2i −( ∑ X i )
2 n
−∑ i=1 X i n
n
∑i=1 Y i X i

( ∑ Y i ) (∑ X 2i )−(∑ X i )( ∑ Y i X i )
β^ 1= 2
n ∑ X 2i −( ∑ X i )

−(∑ Y i )(∑ X i ) +n (∑ Y i X i )
β^ 2=
n ∑ X 2i −(∑ X i )
2
Ejemplo 8.3:

Dado
Y i= β1 + β 2 X i +β 3 X i 3 + ε i Modelo de Regresión Múltiple

[ ]
1 x 12 x 13

[]
y1 1 … x 23
X=
Y= ⋮ ⋮ ⋮
yn nx 1 1 x n2 x n 3 nx 3

[]
β1
β= β 2
β^ =(X'X ) X'Y
β3 −1
3 x1

Obtener: (X'X )−1

Solución

[ ] [ ]
1 ⋯ 1 1 X 12 X 13
X'X= X 12 ⋯ X n2 ⋅¿ ¿ ⋮ ⋮ ⋮
X 13 ⋯ X n3 3 xn 1 X 2n X n 3 nx 3

=¿ ¿
Donde
a=∑ ¿ X i 2 ¿ b=∑ ¿ X i3 ¿ c=∑ ¿ X 2i 2 ¿d=∑ ¿ X i3 X i2 ¿ e= ∑ ¿ X i23 ¿

Ahora calculamos:

1
(X'X )−1= det( X'X ) adj(X'X )
Notas:

−1 1
A =| A | adj A
Adjunta de A "Transpuesta de la matriz de cofactores"

[ ]
c
d [ ] [ ] [ ]
d
e
−
a
b
d
e
a
b
c
d
=−a
d [ ] [ ] [ ]
b
e
n
b
b
e
−
n
b
a
d

Matriz de Cofactores
a
c [ ] [ ] [ ]
b
d
−n
a
b
d
n
a
a
c

[ ]
T
(ce−d 2 ) −(ae−bd ) (ad −bc )
Adj (X'X )= −(ae−bd ) (ne−b 2 ) −(nd−ab)
(ad−bc ) −(nd−ab ) (nc−a 2 )

[ ]
(ce−d 2 ) −(ae−bd ) (ad −bc )
Adj(X'X )= −(ae−bd ) (ne−b 2 ) −(nd−ab)
(ad−bc ) −(nd−ab ) (nc−a 2 )

n a b
det( X'X)=|a c d |=( nce+abd+ bad )−( b 2 c+ a2 e +nd 2 ) =
b d e
2 2 2
det( X'X )=nce+2 abd−(b c+ a e+ nd )=

[ ]
(ce−d 2 ) −(ae−bd ) (ad−bc )
1
(X'X )−1= det −(ae−bd ) (ne−b2 ) −( nd−ab )
( ad−bc ) −(nd−ab ) (nc−a2 )
Ahora calculamos X'Y

[ ][]
1 ⋯ 1 Y1
X'Y = X 12 ⋯ X n2 ⋅ ⋮ =¿ ¿
X 13 ⋯ X n3 kxn Y n nx 1

Donde
f =∑ ¿ Y i ¿ g=∑ ¿ Y i X i2 ¿ h=∑ ¿ Y i X i 3 ¿

^ X'X)−1 X'Y
β=(
Ahora trabajamos

[] [ ] []
β^ 1 (ce−d 2 ) −(ae−bd ) (ad −bc ) f
β^ 2 = det −( ae−bd ) ( ne−b 2 ) −(nd−ab)
1
⋅g
β^ 3 (ad−bc ) −(nd−ab ) (nc−a 2 ) 3x 3
h 3 x1

[ ]
(ce−d2 )f −(ae−bd )g +(ad−bc )h
1 2
= det −( ae−bd )f +(ne−b )g −(nd −ab )h +
(ad −bc )f −(nd−ab )g +(nc−a2 )h

Así:

( ce−d 2 ) f −( ae−bd ) g+( ad−bc) h

β^ 1= 2 2 2
nce +2 bad−(a e +nd +b c )
−( ae−bd )f +( ne−b 2 ) g−( nd−ab )h
β^ 2= 2 2 2
nce +2 bad−( a e+nd +b c )
( ad−bc )f −( nd−ab ) g+( nc−a 2 )h
β^ 3= 2 2 2
nce +2 bad−( a e+nd +b c )

∴ Sólo queda efectuar la sustitución.

a=∑ ¿ X i 2 ¿ b=∑ ¿ X i3 ¿ c=∑ ¿ X 2i 2 ¿d=∑ ¿ X i3 X i2 ¿ e= ∑ ¿ X i23 ¿

^
β 1= ( ¿ ¿ ¿ ¿ ¿
^ = −( ¿ ¿ ¿ ¿ ¿
β 2
^
β =( ¿ ¿ ¿ ¿ ¿
3

8.3 Varianza y Errores Estándar (Expresión Matricial)

 varcov( β^ )=σ 2 ( X'X)−1 Matriz de varianzas y covarianzas

2 e´e [ Y − X β^ ] ´ [ Y −Xβ ]
S = n−K = n−K
 Estimador Muestral de la Varianza

 S= √ S2 Error Estándar de la Regresión

β^ k
1


se ( β^ k )=[ ( S 2 ( X'X)−1 ) ]kk
2
Error Estándar de

k=1,..., K

8.4 Bondad de Ajuste de F y R

2

 Coeficiente de Determinación
e´e
R2 =1−
y´ε0 y
 1
Siendo
ε 0 =I − n i´i

 Prueba F
R 2 /( K −1)
F= ∼F K−1, n−K
(1−R2 )/(n−K )

H 0 : β2 =. ..=β K =0 “El conjunto de variables no son significativas”

Criterio de Decisión:

Si
F≥F K−1 ,n−K ⇒ Rechazamos
H0

 R cuadrada ajustada

R2a =1− ( )
n−1
n−k
( 1−R 2 )

Sirve para comparar estimaciones econométricas

Propiedades:

i)
R2asirve para comparar modelos que tienen la misma variable dependiente pero diferente
número de regresores.

ii)
R2a
puede ser negativa
2
iii) Si ↑ K ⇒↑ R siempre
2
iv) Cuando comparemos R
2 Ra
y de un modelo contra otro, deben tener la misma forma
funcional.

Ejemplo

Y i= β1 + β 2 X i2 + β3 X i3 + β 4 X i4 + β 5 X i5 +β 6 X i 6 + β 7 X i7 +β 8 X i8 +ε i

H 0 : β 2 =β 3=β 4 =β5 =β 6 =β 7 =β 8 =0 ¨El conjunto de variables no es significativo”

 2
R =0 . 84
K=8
n=181
2
R /( K −1)
F= ∼F k −1, n−K
(1−R2 )/(n−K )

0 . 84 /(8−1)
F= =129 .75
(1−0 . 84 )/(181−8 )

F∼ F7 , 173

Criterio de Decisión:

Si
F≥F K−1 ,n−K ⇒ Rechazamos
H 0 (poner asteriscos)

{
0.10 1.77 ¿
α 0.05 2.09 **
0.01 2.79 ***
F=129. 75 ***
Al 1 por ciento de nivel de significancia, el conjunto de variables sí es estadísticamente significativo.

Ejemplo 8.4:

2 2
Modelo Especificación R Ra F

1 Y ↵CTE 0 0 0

2 Y ↵ X 2, X 3 0.53 0.51 34.17

3 Y ↵ X2, X 4 0.15 0.12 5.50

 4 Y ↵ X2 , X 3 , X4 0.89 0.88 118.05

Análisis:
2
- Regresión 4 es la mejor de todas, porque
Ra =0 . 88
2 2
-Regresión 2 es mejor que la 3, porque
Ra =0 . 51> R a =0 .12

8.5 Mínimos Cuadrados Restringidos

i)
H 0 : β2 =β 3 =⋯=β K =0 (La regresión no ajusta)

R 2 /( K −1)
F STAT = 2
∼F K−1, n−K
(1−R )/(n−K )
Criterio de decisión
F STAT≥ F K −1 , n− K ⇒ Rechazo
H0 (las variables son necesarias)

H 0 : β K =β K−1 =.. .=β K−(m +1 )=0

ii)

Las últimas m β´ s no son significativas (m restricciones)

2 2
( RU −R R )/m
F= 2
∼ F m ,n− K
(1−RU )/(n−K )

¿Cómo evaluamos?

i)
Y ↵ X K ,X K −1 ,. .. , X 2 ⇒ R 2U
Sin restringir

2
ii)
Y ↵ X K−m , X K−( m+1 ) ,. ., X 2 , ; R R Restringida
 Si
F≥Fm , n−K ⇒ Rechazo
H0 Las variables sí son necesarias

Ejemplo

Y i= β1 + β 2 X i2 + β3 X i3 + β 4 X i4 + β 5 X i5 +β 6 X i 6 + β 7 X i7 +β 8 X i8 +ε i

H 0 : β 7 =β 8 =0 ¨Las 2 últimas variables no son significativas”

2
RU =0 . 60 Regresión sin restringir (tiene todas las variables)
2
R R=0 .59 Regresión restringida (elimino las variables)

K=8
n=177
m=2

( R2U −R 2R )/m
F= 2
∼ F m ,n− K
(1−RU )/(n−K )

(0 . 60−0. 59 )/2
F= =2. 1125
(1−0 . 60)/(177−8 )

F ∼ F 2,169
Criterio de Decisión:

Si
F≥Fm,n−K ⇒ Rechazamos
H 0 (poner asteriscos)

{
0.10 2.35 ¿
α 0.05 3.07 **
0.01 4.79 ***
F=2. 1125
Aceptamos la Ho (las 2 últimas no son significativas) “El modelo restringido es mejor”

Ejemplo 8.5:

Dados:
2
Y ⇒ X2 , X3 RU =0 .89 n=32 K =3
Y ⇒ X3 R2R =0 .15 m=1
Solución

H 0 : β 2 =0 La variable no es significativa
( 0. 89−0 .15 )/ 1
F= ( 1−0. 89 )/( 32−3) = 00..11
74 /1
/ 29
=195 . 1

Criterio de Decisión:

Si
F≥Fm,n−K ⇒ Rechazamos
H 0 (poner asteriscos)

{
0.10 2.88 ¿
α 0.05 4.17 **
0.01 7.56 ***
F=195. 1 ***
Al 1 por ciento de nivel de significancia rechazo H0 (La variable si es significativa)

∴ X
2 Sí es necesaria en la regresión

REFERENCIAS
Gujarati, D.N. (2006), Principios de Econometría, Tercera edición, McGraw-Hill, México DF.
Gujarati, D.N. & Porter, D.C. (2008), Basic Econometrics, Quinta edición, McGraw-Hill/Irwin, Estados
Unidos.