Tema 1: Regresión lineal Múltiple

Josep Navarro
jm.navarro@ucv.es
Gujarati Capı́tulos 1, 2 y 3
Econometrı́a el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3

UCV

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
1 / 18
 Método de Mı́nimos Cuadrados Ordinarios (MCO)
El método de los mı́nimos cuadrados ordinarios (MCO) se atribuye a Carl
Friedrich Gauss. A partir de ciertos supuestos que estudiaremos en un
momento, el método de los mı́nimos cuadrados presenta propiedades
estadı́sticas muy atractivas que lo han convertido en uno de los más
eficaces y populares en el análisis de regresión.

Para entenderlo partamos de la función de regresión poblacional (FRP) de

k − 1 variables explicativas:

Yi = β1 + β2 X2i + β3 X3i + . . . + βk Xki + ui i = 1, 2, ..., N

Sin embargo, como como la FRP no es observable directamente., se

calcula a partir de la FRM:

Yi = β̂1 + β̂2 X2i + β̂3 X3i + . . . + β̂k Xki + ûi i = 1, 2, ..., N

(1)
= Ŷi + ûi

donde Ŷi es el valor estimado de Yi .

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos
Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
2 / 18
 Introducción

Consideremos las N ecuaciones para los N individuos contenidas en la

ecuación (1):

Y1 = β1 + β2 X21 + β3 X31 + . . . + βk Xk1 + u1

Y2 = β1 + β2 X22 + β3 X32 + . . . + βk Xk2 + u2
..........................................
YN = β1 + β2 X2N + β3 X3N + . . . + βk XkN + uN
Alternativamente, es posible expresar las N ecuaciones en la forma
matricial:
      
Y1 1 X21 X31 . . . Xk1 β1 u1
 Y2   1 X22 X32 . . . Xk2  β2   u2 
 ..  =  .. +
      
.. .. .. ..  .. .. 
 .   . . . . .  .   . 
YN 1 X2N X3N . . . XkN βk uN

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
3 / 18
 Introducción

Las expresiones de la matriz de regresores X , los valores correspondientes

al regresando y , los parámetros del modelo β y las perturbaciones
aleatorias u son las siguientes:
   
Y1 1 X21 X31 . . . Xk1
 Y2   1 X22 X32 . . . Xk2 
Y =  . , X =  . ..  ,
   
.. .. ..
 ..   .. . . . . 
YN 1 X2N X3N . . . XkN
   
β1 u1
 β2   u2 
β= , u=
   
.. .. 
 .   . 
βk uN

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
4 / 18
 Introducción

Es posible representar matricialmente la ecuación de regresión de la

siguiente manera:
Y = Xβ + u (2)
La columna i-ésima de la matriz X contiene las observaciones de la
variable Xi -por ejemplo, la tercera columna contiene las observaciones de
la variable X3 : X31 , X32 , ..., X3N -. Respecto a la primera columna, para
homogeneizar el tratamiento de los regresores podemos considerar que el
término independiente está multiplicado por el regresor X1i , el cual
siempre toma el valor 1, o sea,

X1i = 1, i = 1, 2, .., N

Obsérvese que el modelo y, por tanto, la ecuación (2) contienen k − 1

variables explicativas, X2 , X3 , X4 , ..., Xk o k regresores, X1 , X2 , ..., Xk .

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
5 / 18
 Introducción

Como hemos visto en el Tema 0, cuando disponemos de N observaciones

sobre Y y sobre X , la estimación de los coeficientes del modelo consiste en
ajustar una recta sobre los puntos (Xi , Yi ) con i = 1, 2, ..., N. En la
regresión múltiple se trata de ajustar un hiperplano al conjunto de
observaciones sobre el regresando y los regresores.

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
6 / 18
 Ajuste Mı́nimo-Cuadrático del Hiperplano de Regresión

Consideremos el modelo de Regresión Poblacional en notación matricial

representado en la ecuación (2):

Y = Xβ + u
donde Y es un vector N × 1, X es una matriz N × k, β es un vector k × 1
y u es un vector N × 1

Denotando el modelo de regresión Muestral:

Ŷ = X β̂
El vector de residuos muestrales se puede expresar por lo tanto como:

û = Y − Ŷ = Y − X β̂ (3)

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
7 / 18
 Ajuste Mı́nimo-Cuadrático del Hiperplano de Regresión

Si designamos con S a la suma de los cuadrados de los residuos,

tendremos:
 
û1
N
 û2  X
0
S = û û = [û1 , û2 , ..., ûN ]  .  = ûi2
 
 .. 
i=1
ûN
o, utilizando la equivalencia (3)

S = (Y − Ŷ )0 (Y − Ŷ ) =
= (Y − X β̂)0 (Y − X β̂) =
(4)
= Y 0 Y − β̂ 0 X 0 Y − Y 0 X β̂ + β̂X 0 X β̂ =
= Y 0 Y − 2β̂ 0 X 0 Y + β̂ 0 X 0 X β̂

Puesto que β̂ 0 X 0 Y = Y 0 X β̂ 1
1
Prueba en Apéndice A
Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos
Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
8 / 18
 Ajuste Mı́nimo-Cuadrático del Hiperplano de Regresión

Aplicar el criterio mı́nimo-cuadrático consiste en minimizar la suma de los

residuos al cuadrado mı́n û 2 , o lo que es lo mismo mı́n S. Para ello
P
calcularemos la primera derivada de S con respecto al vector de
coeficientes mı́nimo-cuadráticos β̂, en la expresión (4) y lo igualaremos a
cero:

∂S
= −2X 0 Y + 2X 0 X β̂ = 0
∂ β̂
X 0 X β̂ = X 0 Y

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
9 / 18
 Ajuste Mı́nimo-Cuadrático del Hiperplano de Regresión

Para poder resolver el sistema respecto de β̂ se debe cumplir que el rango

de la matriz X 0 X sea igual a k (Supuesto de no multicolinealidad que
veremos a continuación). Si se cumple esta condición, se pueden
premultiplicar ambos miembros de la ecuación por [X 0 X ]−1 :
 0 −1  0  −1 0
X X β̂ = X 0 X

XX XY
con lo cual se obtiene la expresión del vector de estimadores
mı́nimo-cuadráticos: −1 0
β̂ = X 0 X

XY
S presenta un mı́nimo en β̂, ya que la matriz de segundas derivadas,
2X 0 X , es definida positiva.

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
10 / 18
 Propiedades descriptivas de los estimadores MC
Las propiedades que se exponen a continuación son propiedades derivadas
exclusivamente de la aplicación del método de estimación por mı́nimos
cuadrados al modelo de regresión (2), en el que se incluye como primer
regresor el término independiente.
1. La suma de los residuos mı́nimo-cuadráticos es igual a cero:
X
ûi = 0
2. El hiperplano de regresión pasa necesariamente por el punto
(1, X̄1 , ..., X̄k , Ȳ ).
3. Los momentos de segundo orden entre cada regresor y los residuos
son iguales a 0.
X 0 û = 0
4. Los momentos de segundo orden entre Ŷ y los residuos son 0. Por lo
tanto,
Ŷ 0 û = 0
Las pruebas están en el apéndice B.
Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos
Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
11 / 18
 Ejemplo:
Considérese la ecuación:

Di = β1 + β2 Ri + β3 Pi + ui

donde D es la cantidad consumida de un determinado bien, R es una

medida de la renta disponible y P el precio del bien. Se dispone de los
siguientes datos, correspondientes a ocho periodos:

D R P
5 3 5
43 5 2
30 6 6
24 6 7
30 5 4
65 9 3
57 10 7
90 12 6

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
12 / 18
 Apéndice A

 0  0  
β̂1 1 X12 . . . X1k Y1
 β̂2   1 X22 . . . X2k   Y2 
β̂ 0 X 0 Y =  =
     
..   .. .. .. ..   ..
 .   . . . .   . 
β̂k 1 XN2 . . . XNk YN
 
1 1 ... 1

Y1
 X21 X22 . . . X2N
Y2
 
  
= β̂1 β̂2  ...
. . . β̂k  .. .. .. =

. . .
 ..
.
 
..
 
Xk1 Xk2 . XKN YN

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
13 / 18
 Apéndice A

 
Y1
h Pk Pk Pk i Y2 
β̂1 + i=2 Xi1 β̂i β̂1 + i=2 Xi2 β̂i . . . β̂1 + i=2 XiN β̂i =
 
 ..
 . 
YN
h Pk Pk
Y1 (β̂1 + i=2 Xi1 β̂i ) + Y2 (β̂1 + i=2 Xi2 β̂i ) + ...
Pk i
+YN (β̂1 + i=2 XiN β̂i ) =

β̂1 + ki=2 Xi1 β̂i

 P 

β̂1 + ki=2 Xi2 β̂i

P
  
Y1 Y2 . . . YN =
 
 ..
 . 
Pk
β̂1 + i=2 XiN β̂i
Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos
Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
14 / 18
 Apéndice A

  
1 X21 . . . Xk1 β̂1
  1 X22 . . . Xk2   β̂2 
 
= Y1 Y2 . . . YN ..   ..  =

 .. .. ..
 . . . .  . 
1 X2N . . . XkN β̂k
 0   
Y1 1 X21 . . . Xk1 β̂1
 Y2   1 X22 . . . Xk2   β̂2 
=   ..  = Y 0 X β̂
    
..   .. .. .. ..
 .   . . . .  . 
YN 1 X2N . . . XkN β̂k

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
15 / 18
 Apéndice B

X
ûi = 0
Prueba:
Como

ûi = Yi − Ŷi = Yi − β̂1 − β̂2 X2i − . . . − β̂k Xki i = 1, 2, ..., N

Por lo que al sumar las N ecuaciones se obtiene:

X X X X X
ûi = Yi − β̂1 − β̂2 X2i − . . . − β̂k Xki = i = 1, 2, ..., N

N û¯ = N Ȳ − N β̂1 − N β̂2 X¯2 − . . . − N β̂k X¯k =

û¯ = Ȳ − β̂1 − β̂2 X¯2 − . . . − β̂k X¯k = 0

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
16 / 18
 Apéndice B

El hiperplano de regresión pasa necesariamente por el punto

(1, X̄2 , X̄3 , ..., X̄k , Ȳ ). Se deduce de la anterior demostración

X 0 û = 0
Prueba:

û = Y − X β̂ =
Y − X [X 0 X ]−1 X 0 Y
Premultiplicando ambos lados de la ecuación por X 0 :

X 0 û = X 0 Y − X 0 X [X 0 X ]−1 X 0 Y
= X 0Y − X 0Y = 0

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
17 / 18
 Apéndice B

Ŷ 0 û = 0
Prueba:
h i0
Ŷ 0 û = X β̂ û = β̂ 0 X 0 û = β̂ 0 0 = 0

Josep Navarro jm.navarro@ucv.es Gujarati Capı́tulos

Tema
1, 21:y Regresión
3 Econometrı́a
lineal Múltiple
el modelo Lineal Ezequiel Uriel 1990 Capı́tulo 3 (UCV)
18 / 18