Tema 8:Regresión múltiple
Fuente: Capítulo 8 (Basic Econometrics, D. Gujarati)
8.1 Regresión Múltiple
Y i= β1 + β 2 X 2 +.. .+ β K X i K + ε i
i
Matricialmente:
Y nx1 =X nxK β Kx 1 +ε nx 1 FRP: Función de Regresión Poblacional
Y nx1 =X nxK^ β Kx1 +e nx 1 FRM: Función de Regresión Muestral
Gráficamente:
Proyección de Y en espacio columna de X
β^ 2 Mide la variación del valor de E(Y ) por variación unitaria de X 2 manteniendo a X 3 constante.
β^ 3 Mide la variación del valor de E(Y ) por variación unitaria de X 3 manteniendo a X 2 constante.
Notas:
β^ 1 , β^ 2 , . .. β^ K
Coeficientes de regresión parcial
8.2 Método de OLS: Enfoque Matricial
Dada la ecuación de regresión muestral: Y nx1 =X nxK β Kx 1 +ε nx 1
[] [ ]
y1 1 x12 x 13 ⋯ x 1 K
Y= ⋮ X= ⋮ ⋮ ⋮ ⋱ ⋮
yn nx 1 1 x n2 xn 3 … xnk nxK
[] []
β1 ε1
β= ⋮ ε= ⋮
βK Kx 1 εn nx1
Definamos:
S 1 x1 =ε ´ nx1 ε nx1 ε=Y −Xβ
El problema puede re-expresarse como:
min β S=[ (Y nx 1 −X nxK β Kx1 )´ ] [ (Y nx1 − X nxK β Kx 1 )]
=Y´1 xn Y nx1 −Y´1 xn X n×K β Kx 1−β´1 xK X ´ Kxn Y nx 1 + β' 1 xK X' Kxn X nxK β Kx 1
Todos son escalares
=Y'1 xn Y nx1 −2 β '1 xK X´Kxn Y nx1 + β1 xK X' Kxn X n×K β Kx1
Así, el problema de minimización es:
'
min β S=Y'1 xn Y nx 1−2 β 1 xK X´Kxn Y nx1 + β1 xK X' Kxn X n× K β Kx1
CPO:
δS
δβ
=−2 X´ Kxn Y nx 1 + 2X´ Kxn X nxK β Kx 1=0
X´ Kxn Y nx 1= X' Kxn X nxK β Kx1
( X' Kxn X nxK )−1 X' Kxn Y nx1 = β^ Kx 1
^ X' X )−1 X' Y
β=( Kxn nxK Kxn nx1
Estimadores de MCO-OLS
CSO:
δ2S
=2 X'Kx 1 X nxK ¿ 0
δβδβ ´ Semi-definida Positiva (Mínimo)
Notas:
i)Reglas de Diferenciación de Matrices
δ(C´β ) δ( β ' C )
δβ
= δβ =C
δβ´Aβ )
δβ
=( A+A´ )β
Si A es una Matriz Simétrica
∂ β'Aβ
=2 Aβ
∂β
ii) Demostración de que ( X'X )−1 existe
∃ ( X'X )−1 ⇔r [ ( X'X )−1 ]=K
Dado que r ( X )=K ⇒ r ( X ' )=K
r ( Aβ )=min { r ( A ) ,r ( β ) }
⇒r [ ( X'X )−1 ] =K
−1
∴∃ ( X'X )
Ejemplo 8.2:
Dado
Y i= β1 + β 2 X i2 + ε i Modelo de Regresión Simple
[] [ ]
Y1 1 X1
Y= ⋮
Yn nx 1
X= ⋮ ⋮
1 Xn nx2
β=
[]
β1
β2 2x 1
Dado β^ =(X'X )−1 X'Y
−1
Calculamos (X'X )
][ ]
1 X1
X'X = 1
[
.. . 1
X 1 .. . X n
∗⋮ ⋮
1 Xn
[ ]
n
n ∑i=1 X i
= n n
∑i =1 X i ∑i=1 X 2i
[ ]
n n
−1 1 ∑i=1 X 2i −∑i =1 X i
( X'X ) = ∗
det ( X'X ) − n X
∑i=1 i n
n 2
det( X'X)=n ∑ X
i=1 i
2
− (∑ X i )
[ ]
n n
−1 1 ∑i =1 X 2i −∑ i=1 X i
( X'X ) = n 2
∗ n
n ∑i=1 X i −(∑ X i ) −∑i=1 X i
2
n
Ahora calculamos X' Y
][ ][ ]
n
Y1
∑i=1 Y i
X' Y =
[ 1 . ..
X 1 . ..
1
Xn
∗ ⋮ =
Yn
n
∑i=1 Y i X i 2×1
Ahora calculamos β^ =(X'X )−1 X'Y
[] [ ][ ]
n n n
^
^ β1 = 1 ∑i =1 X 2i −∑i=1 X i ∑i=1 Y i
β= ∗
β^ 2
n
n ∑i =1 X 2i −( ∑ X i )
2 n
−∑ i=1 X i n
n
∑i=1 Y i X i
( ∑ Y i ) (∑ X 2i )−(∑ X i )( ∑ Y i X i )
β^ 1= 2
n ∑ X 2i −( ∑ X i )
−(∑ Y i )(∑ X i ) +n (∑ Y i X i )
β^ 2=
n ∑ X 2i −(∑ X i )
2
Ejemplo 8.3:
Dado
Y i= β1 + β 2 X i +β 3 X i 3 + ε i Modelo de Regresión Múltiple
[ ]
1 x 12 x 13
[]
y1 1 … x 23
X=
Y= ⋮ ⋮ ⋮
yn nx 1 1 x n2 x n 3 nx 3
[]
β1
β= β 2
β^ =(X'X ) X'Y
β3 −1
3 x1
Obtener: (X'X )−1
Solución
[ ] [ ]
1 ⋯ 1 1 X 12 X 13
X'X= X 12 ⋯ X n2 ⋅¿ ¿ ⋮ ⋮ ⋮
X 13 ⋯ X n3 3 xn 1 X 2n X n 3 nx 3
=¿ ¿
Donde
a=∑ ¿ X i 2 ¿ b=∑ ¿ X i3 ¿ c=∑ ¿ X 2i 2 ¿d=∑ ¿ X i3 X i2 ¿ e= ∑ ¿ X i23 ¿
Ahora calculamos:
1
(X'X )−1= det( X'X ) adj(X'X )
Notas:
−1 1
A =| A | adj A
Adjunta de A "Transpuesta de la matriz de cofactores"
[ ]
c
d [ ] [ ] [ ]
d
e
−
a
b
d
e
a
b
c
d
=−a
d [ ] [ ] [ ]
b
e
n
b
b
e
−
n
b
a
d
Matriz de Cofactores
a
c [ ] [ ] [ ]
b
d
−n
a
b
d
n
a
a
c
[ ]
T
(ce−d 2 ) −(ae−bd ) (ad −bc )
Adj (X'X )= −(ae−bd ) (ne−b 2 ) −(nd−ab)
(ad−bc ) −(nd−ab ) (nc−a 2 )
[ ]
(ce−d 2 ) −(ae−bd ) (ad −bc )
Adj(X'X )= −(ae−bd ) (ne−b 2 ) −(nd−ab)
(ad−bc ) −(nd−ab ) (nc−a 2 )
n a b
det( X'X)=|a c d |=( nce+abd+ bad )−( b 2 c+ a2 e +nd 2 ) =
b d e
2 2 2
det( X'X )=nce+2 abd−(b c+ a e+ nd )=
[ ]
(ce−d 2 ) −(ae−bd ) (ad−bc )
1
(X'X )−1= det −(ae−bd ) (ne−b2 ) −( nd−ab )
( ad−bc ) −(nd−ab ) (nc−a2 )
Ahora calculamos X'Y
[ ][]
1 ⋯ 1 Y1
X'Y = X 12 ⋯ X n2 ⋅ ⋮ =¿ ¿
X 13 ⋯ X n3 kxn Y n nx 1
Donde
f =∑ ¿ Y i ¿ g=∑ ¿ Y i X i2 ¿ h=∑ ¿ Y i X i 3 ¿
^ X'X)−1 X'Y
β=(
Ahora trabajamos
[] [ ] []
β^ 1 (ce−d 2 ) −(ae−bd ) (ad −bc ) f
β^ 2 = det −( ae−bd ) ( ne−b 2 ) −(nd−ab)
1
⋅g
β^ 3 (ad−bc ) −(nd−ab ) (nc−a 2 ) 3x 3
h 3 x1
[ ]
(ce−d2 )f −(ae−bd )g +(ad−bc )h
1 2
= det −( ae−bd )f +(ne−b )g −(nd −ab )h +
(ad −bc )f −(nd−ab )g +(nc−a2 )h
Así:
( ce−d 2 ) f −( ae−bd ) g+( ad−bc) h
β^ 1= 2 2 2
nce +2 bad−(a e +nd +b c )
−( ae−bd )f +( ne−b 2 ) g−( nd−ab )h
β^ 2= 2 2 2
nce +2 bad−( a e+nd +b c )
( ad−bc )f −( nd−ab ) g+( nc−a 2 )h
β^ 3= 2 2 2
nce +2 bad−( a e+nd +b c )
∴ Sólo queda efectuar la sustitución.
a=∑ ¿ X i 2 ¿ b=∑ ¿ X i3 ¿ c=∑ ¿ X 2i 2 ¿d=∑ ¿ X i3 X i2 ¿ e= ∑ ¿ X i23 ¿
^
β 1= ( ¿ ¿ ¿ ¿ ¿
^ = −( ¿ ¿ ¿ ¿ ¿
β 2
^
β =( ¿ ¿ ¿ ¿ ¿
3
8.3 Varianza y Errores Estándar (Expresión Matricial)
varcov( β^ )=σ 2 ( X'X)−1 Matriz de varianzas y covarianzas
2 e´e [ Y − X β^ ] ´ [ Y −Xβ ]
S = n−K = n−K
Estimador Muestral de la Varianza
S= √ S2 Error Estándar de la Regresión
β^ k
1
se ( β^ k )=[ ( S 2 ( X'X)−1 ) ]kk
2
Error Estándar de
k=1,..., K
8.4 Bondad de Ajuste de F y R
2
Coeficiente de Determinación
e´e
R2 =1−
y´ε0 y
1
Siendo
ε 0 =I − n i´i
Prueba F
R 2 /( K −1)
F= ∼F K−1, n−K
(1−R2 )/(n−K )
H 0 : β2 =. ..=β K =0 “El conjunto de variables no son significativas”
Criterio de Decisión:
Si
F≥F K−1 ,n−K ⇒ Rechazamos
H0
R cuadrada ajustada
R2a =1− ( )
n−1
n−k
( 1−R 2 )
Sirve para comparar estimaciones econométricas
Propiedades:
i)
R2asirve para comparar modelos que tienen la misma variable dependiente pero diferente
número de regresores.
ii)
R2a
puede ser negativa
2
iii) Si ↑ K ⇒↑ R siempre
2
iv) Cuando comparemos R
2 Ra
y de un modelo contra otro, deben tener la misma forma
funcional.
Ejemplo
Y i= β1 + β 2 X i2 + β3 X i3 + β 4 X i4 + β 5 X i5 +β 6 X i 6 + β 7 X i7 +β 8 X i8 +ε i
H 0 : β 2 =β 3=β 4 =β5 =β 6 =β 7 =β 8 =0 ¨El conjunto de variables no es significativo”
2
R =0 . 84
K=8
n=181
2
R /( K −1)
F= ∼F k −1, n−K
(1−R2 )/(n−K )
0 . 84 /(8−1)
F= =129 .75
(1−0 . 84 )/(181−8 )
F∼ F7 , 173
Criterio de Decisión:
Si
F≥F K−1 ,n−K ⇒ Rechazamos
H 0 (poner asteriscos)
{
0.10 1.77 ¿
α 0.05 2.09 **
0.01 2.79 ***
F=129. 75 ***
Al 1 por ciento de nivel de significancia, el conjunto de variables sí es estadísticamente significativo.
Ejemplo 8.4:
2 2
Modelo Especificación R Ra F
1 Y ↵CTE 0 0 0
2 Y ↵ X 2, X 3 0.53 0.51 34.17
3 Y ↵ X2, X 4 0.15 0.12 5.50
4 Y ↵ X2 , X 3 , X4 0.89 0.88 118.05
Análisis:
2
- Regresión 4 es la mejor de todas, porque
Ra =0 . 88
2 2
-Regresión 2 es mejor que la 3, porque
Ra =0 . 51> R a =0 .12
8.5 Mínimos Cuadrados Restringidos
i)
H 0 : β2 =β 3 =⋯=β K =0 (La regresión no ajusta)
R 2 /( K −1)
F STAT = 2
∼F K−1, n−K
(1−R )/(n−K )
Criterio de decisión
F STAT≥ F K −1 , n− K ⇒ Rechazo
H0 (las variables son necesarias)
H 0 : β K =β K−1 =.. .=β K−(m +1 )=0
ii)
Las últimas m β´ s no son significativas (m restricciones)
2 2
( RU −R R )/m
F= 2
∼ F m ,n− K
(1−RU )/(n−K )
¿Cómo evaluamos?
i)
Y ↵ X K ,X K −1 ,. .. , X 2 ⇒ R 2U
Sin restringir
2
ii)
Y ↵ X K−m , X K−( m+1 ) ,. ., X 2 , ; R R Restringida
Si
F≥Fm , n−K ⇒ Rechazo
H0 Las variables sí son necesarias
Ejemplo
Y i= β1 + β 2 X i2 + β3 X i3 + β 4 X i4 + β 5 X i5 +β 6 X i 6 + β 7 X i7 +β 8 X i8 +ε i
H 0 : β 7 =β 8 =0 ¨Las 2 últimas variables no son significativas”
2
RU =0 . 60 Regresión sin restringir (tiene todas las variables)
2
R R=0 .59 Regresión restringida (elimino las variables)
K=8
n=177
m=2
( R2U −R 2R )/m
F= 2
∼ F m ,n− K
(1−RU )/(n−K )
(0 . 60−0. 59 )/2
F= =2. 1125
(1−0 . 60)/(177−8 )
F ∼ F 2,169
Criterio de Decisión:
Si
F≥Fm,n−K ⇒ Rechazamos
H 0 (poner asteriscos)
{
0.10 2.35 ¿
α 0.05 3.07 **
0.01 4.79 ***
F=2. 1125
Aceptamos la Ho (las 2 últimas no son significativas) “El modelo restringido es mejor”
Ejemplo 8.5:
Dados:
2
Y ⇒ X2 , X3 RU =0 .89 n=32 K =3
Y ⇒ X3 R2R =0 .15 m=1
Solución
H 0 : β 2 =0 La variable no es significativa
( 0. 89−0 .15 )/ 1
F= ( 1−0. 89 )/( 32−3) = 00..11
74 /1
/ 29
=195 . 1
Criterio de Decisión:
Si
F≥Fm,n−K ⇒ Rechazamos
H 0 (poner asteriscos)
{
0.10 2.88 ¿
α 0.05 4.17 **
0.01 7.56 ***
F=195. 1 ***
Al 1 por ciento de nivel de significancia rechazo H0 (La variable si es significativa)
∴ X
2 Sí es necesaria en la regresión
REFERENCIAS
Gujarati, D.N. (2006), Principios de Econometría, Tercera edición, McGraw-Hill, México DF.
Gujarati, D.N. & Porter, D.C. (2008), Basic Econometrics, Quinta edición, McGraw-Hill/Irwin, Estados
Unidos.
