Modelo general de regresión

lineal múltiple
Econometría I. Curso 2007-08
 Variables
• Y: • Xj:
– Variable dependiente – Variables exógenas
– Variable endógena – Variables
– Variable explicada independientes
– Variables explicativas

Sólo una Al menos una

Ejemplo de ilustración
 Ejemplo de ilustración
• Y: Ingresos del supermercado
• X1: Habitantes del municipio del
supermercado
• X2: Superficie del supermercado (m2)

Y = f ( X1, X 2 )
 Tabla de datos
Ingresos (Y) Habitantes (X1) Superficie (X2)
198 70 21
209 35 26
197 55 14
156 25 10
85 28 12
187 43 20
43 15 5
211 33 28
120 23 9
62 4 6
176 45 10
117 20 8
273 56 36
 Modelo de regresión lineal
Ejemplo de ilustración

• Deseamos explicar los ingresos del supermercado

(Y), mediante la población del municipio (X1) y la
superficie del supermercado (X2).
• Si la relación existente entre las variables fuera de
tipo lineal utilizaríamos la siguiente expresión:

yi = α + β1 xi1 + β2 xi 2
 Modelo de regresión lineal (II)
Ejemplo de ilustración

• Pero la relación entre las variables no es

necesariamente perfecta. Por ese motivo
añadimos un elemento aleatorio a cada
observación:

yi = α + β1 xi1 + β2 xi 2 + εi

donde 1 ≤ i ≤ n
 Modelo de regresión lineal (III)
Ejemplo de ilustración

Renta de los habitantes

yi = α + β1 xi1 + β2 xi 2 + εi Medio rural o urbano

...
Edad promedio de los habitantes

donde 1 ≤ i ≤ n
Variables que no hemos considerado
 Modelo de regresión lineal (IV)
Ejemplo de ilustración

• Es el término constante del modelo y es

desconocido.
• Son los coeficientes desconocidos de la
combinación lineal.
• Es el i-ésimo término de error (desconocido)

yi = α + β1 xi1 + β2 xi 2 + εi
 Modelo de regresión lineal (V)
Ejemplo de ilustración

• Es el término constante del modelo y es

desconocido.
• Son los coeficientes desconocidos de la
combinación lineal.
• Es el i-ésimo término de error (desconocido)

yi = α + β1 xi1 + β2 xi 2 + εi
 Modelo de regresión lineal (VI)
Ejemplo de ilustración

• Es el término constante del modelo y es

desconocido.
• Son los coeficientes desconocidos de la
combinación lineal.
• Es el i-ésimo término de error (desconocido)

yi = α + β1 xi1 + β2 xi 2 + εi
 Modelo de regresión lineal (VII)
Ejemplo de ilustración

 198 = α + β1 × 70 + β 2 × 21 + ε1
 209 = α + β × 35 + β × 26 + ε
 1 2 2

 ...
273 = α + β1 × 56 + β 2 × 36 + ε13
• Este sistema de ecuaciónes:
– Consta de 13 ecuaciones y 16 incógnitas.
– Tiene infinitas soluciones.
• Podemos asignar valores arbitrarios a cualesquiera tres
incógnitas y calcular las demás.
 Especificación del modelo
Ejemplo de ilustración

• Así lo haremos:
– Nuestro objetivo es que los valores de las
incógnitas ε i sean lo más pequeños posible.
– Determinaremos cuáles son los valores más
adecuados de los coeficientes del modelo para
alcanzar este objetivo.
α = a, β1 = b1, β2 = b2
– Llamaremos residuos a los valores que toman las
incógnitas ε i en la solución del sistema de
ecuaciones.

ε i = ei
 Especificación del modelo(II)
Ejemplo de ilustración

• Dicho de otro modo:

– queremos encontrar valores concretos para las

incógnitas α, β1 y β2 a los que llamaremos
a, b1 y b2

ε i que los valores

ei concretos consiguen
– Estos valores
de las incógnitas sean lo más pequeños
posible.
 Especificación del modelo(III)
Ejemplo de ilustración

• Para minimizar los residuos de manera global

emplearemos la siguiente expresión:

min ∑ e [ 2
i ]
• Es decir, debemos encontrar los valores de los
coeficientes que minimizan la suma de los cuadrados
de los residuos.
• A este criterio se le llama de los “mínimos
cuadrados”.
Especificación del modelo(IV)
Ejemplo de ilustración

(198 − a − b1 × 70 − b2 × 21) 2 + 

( 209 − a − b1 × 35 − b2 × 26) 2 + 
 Deseamos minimizar esta suma
... 
( 273 − a − b1 × 56 − b2 × 36) 2 


n 2
Min ∑ ( yi − a − b1 xi1 − b2 xi 2 ) 
 i =1 
 Especificación del modelo (V)
Ejemplo de ilustración

• Por tanto, la solución del sistema de

ecuaciones será la siguiente:
– Las incógnitas α, β1 y β2 tomarán los
valores a, b1 y b2 . Estos valores consiguen
que los valores ei de las icógnitas ε i sean lo
más pequeños posible.
– Las incógnitas ε i tomarán los valores
ei = yi − a − b1 xi1 − b2 xi 2
 Modelo de ajuste lineal
Ejemplo de ilustración

• Después de calcular los valores de los parámetros

de la combinación lineal, podremos construir el
modelo de ajuste lineal:

yˆ i = a + b1 xi1 + b2 xi 2
• Los valores calculados para la variable
dependiente mediante el modelo de ajuste lineal
serán los llamados valores estimados.
 Modelo de ajuste lineal (II)
Ejemplo de ilustración

• A la diferencia entre los valores observados

y los valores estimados para la variable
dependiente los llamamos residuos:

ei = yi − yˆ i = yi − a − b1 xi1 − b2 xi 2
 ¡Cuidado!
• Es muy importante distinguir los residuos de los errores:
– Los errores son cantidades desconocidas y aleatorias. Miden el
efecto de las variables que no hemos tomado en cuenta.

εi = yi − ( α + β1 xi1 + β2 xi 2 )
– Los residuos, por el contrario, son valores conocidos. Miden las
diferencias entre los valores observados y los valores estimados de
la variable dependiente.

ei = yi − ( a + b1 xi1 + b2 xi 2 )
 Estimación de los parámetros
Ejemplo de ilustración

• Recordemos:

– Queremos encontrar unos valores concretos a, b1 y b2

α, β1 y β2
para las incógnitas .

– Estas estimaciones consiguen que los valores

concretos de las incógnitas ε i -a los que
llamamos ei - sean lo más pequeños posible.

n 2
Min ∑ ( yi − a − b1 xi1 − b2 xi 2 ) 
 i =1 
 Estimación de los parámetros (II)
Ejemplo de ilustración

∂ ∑ ( yi − yˆ i )
2

=0 na + b1 ∑ xi1 + b2 ∑ xi 2 = ∑ yi
∂a
∂ ∑ ( yi − yˆ i )
2

=0 a ∑ xi1 + b1 ∑ xi21 + b2 ∑ xi1 xi 2 = ∑ xi1 yi

∂b1
∂ ∑ ( yi − yˆ i )
2

=0 a ∑ xi 2 + b1 ∑ xi1 xi 2 + b2 ∑ xi22 = ∑ xi 2 yi
∂b2

Ecuaciones normales
(3 ecuaciones, 3 incógnitas)
 Estimación de los parámetros (III)
Ejemplo de ilustración

• Empleando matrices:

 n
 ∑x i1 ∑x i2
 a   ∑ yi 
   
 ∑ xi1 ∑x 2
∑x x i1 i 2  b1  =  ∑ xi1 yi 
 2    x y
i1

 ∑ xi 2 ∑x x i1 i 2 ∑x i2  2   ∑ i 2 i 
b

−1
a  n
   ∑x i1 ∑x i2


 ∑ yi 
 
 b1  =  ∑ xi1 ∑x ∑x x i1 i 2   ∑ xi1 yi 
2

b   x 2   x y
i1

 2   ∑ i2 ∑x x i1 i 2 ∑x i2   ∑ i2 i 
 Estimación de los parámetros (IV)
Ejemplo de ilustración

• En nuestro ejemplo de ilustración:

 13 452 205  a   2034 
    
 452 19828 8452  b1  =  82495 
 205 8452 4343  b   38769 
  2   

−1
 a   13 452 205   2034   37,502 
       
 b1  =  452 19828 8452   82495  ≈  1,496 
 b   205 8452 4343   38769   4,245 
 2      

ˆ = 37,502 + 1,496 X + 4,245X

Y 1 2
Caso general
 Modelo de regresión lineal
Caso general

• Cuando tenemos más de dos variables

explicativas:
yi = α + β1 xi1 + β2 xi 2 + ... + βk xik + εi
con i = (1,...,n )
• Empleando matrices:
Y = α 1 + β1X1 + β 2 X 2 + ... + β k X k + ε
 Modelo de regresión lineal (II)
Caso general

 y1  1  x11   x1k   ε1 

         
 y2  1  x 21   x2k  ε 2 
Y =   1 =   X1 =   Xk =  ε = 
( n ,1) ... ( n ,1) ... ( n ,1) ... ( n ,1) ...  ( n ,1) ...
         
y  1 x  x  ε 
 n    n1   nk   n
 Modelo de regresión lineal (III)
Caso general

• Podemos expresar el modelo de regresión

lineal de un modo más sencillo:

Y = Xβ + ε Modelo de regresión lineal

n ecuaciones
n+k+1 incógnitas
 Modelo de regresión lineal (IV)
Caso general

 y1   1 x11 x12 ... x1k  α   ε1 

       
 y2   1 x21 x22 ... x2 k   β1  ε 2 
Y = X = β =  ε = 
( n ,1)  ...  ( n ,k +1)  ... ... ... 
... ... ( k +1,1) ... ( n ,1) ...
       
y  1 x xn 2 ... xnk  β  ε 
 n  n1  k  n
 Especificación del modelo
Caso general

– Nuestro objetivo es conseguir que los valores de

las incógnitas ε i sean lo más pequeños posible.
– Buscaremos los valores de los coeficientes del
modelo que resulten los más adecuados de cara a
cumplir con el objetivo planteado.
α = a, β1 = b1, β2 = b2 ,..., βk = bk
– A los valores que en la solución del sistema de
ecuaciones toman las inógnitas ε i los
llamaremos residuos.
ε i = ei
 Especificación del modelo (II)
Caso general

• Expresado de otro modo:

– Deseamos encontrar un vector B , que es un

valor concreto del vector β .

– Este vector concreto B consigue que los valores ei

εi
de las incógnitas sean lo más pequeños
posible.
 Esepecificación del modelo (III)
Caso general

• Por lo tanto, la solución del sistema de

ecuaciones será la siguiente:
– El vector β tomará el valor B . Este valor
del vector β consigue que el valor e del
vector ε sea mínimo.
– El vector ε tomará el valor e = Y − XB
 Especificación del modelo (IV)
Caso general

• Para minimizar los residuos de manera global

emplearemos la siguiente expresión:

[ ]
min ∑ e = min[ e' e] =
2
i

= min[ ( Y − XB ) ' ( Y − XB ) ]
• Es decir, tenemos que encontrar los valores de los
coeficientes del modelo que hacen mínima la suma de
los cuadrados de los residuos.
• A este criterio se le da el nombre de “criterio de los
mínimos cuadrados”.
 Modelo de ajuste lineal
Caso general

• Cuando tenemos más de dos variables

explicativas:
yˆ i = a + b1 xi1 + b2 xi 2 + ... + bk xik
con i = (1,...,n )
• Empleando matrices:
ˆ = a1 + b X + b X + ... + b X
Y 1 1 2 2 k k
 Modelo de ajuste lineal (II)
Caso general

• Podemos expresar el modelo de ajuste lineal

de una forma más sencilla:

ˆ = XB
Y Modelo de ajuste lineal
 Modelo de ajuste lineal (III)
Caso general

 yˆ1   1 x11 x12 ... x1k  a

     
 yˆ2   1 x21 x22 ... x2 k   b1 
Yˆ = X = B = 
( n ,1)  ...  ( n ,k +1) ... ... ... ... ...  ( k +1,1) ...
     
 yˆ  1 x xn 2 ... xnk  b 
 n  n1  k
 Modelo de ajuste lineal (IV)
Caso general

• El valor estimado de la variable dependiente

para un individuo será el siguiente:
ˆ ( )
Y X = X 'B
i i

 1
• Con:  
 xi1 
X i =  xi 2 
 
 ... 
x 
 ik 
 Estimación de los parámetros
Caso general

• Recordemos:

– Queremos encontrar un vector B de valores

concretos para el vector β .

– Este vector B debe ser tal que minimice

globalmente los residuos.

[ ]
min ∑ ei2 = min[ e' e] = min[ (Y − XB)' (Y − XB)]
Estimación de los parámetros (II)
Caso general

• Teniendo en cuenta que:

∑e 2
i = Y' Y − 2B' X' Y + B' X' XB

• Derivando respecto a B:

∂∑ e 2
i
= −2 X' Y + 2 X' XB
∂B
 Estimación de los parámetros (III)
Caso general

• Igualando la derivada a cero:

X' XB = X' Y

• Si la matriz X' X es no singular:

B = ( X' X ) X' Y
−1
 Estimación de los parámetros (IV)
Caso general

• ¿La solución que se ha encontrado consigue

minimizar la SCR?
~
• Supongamos que B es otra solución. Entonces:
~e = Y − XB ~
( ~
) ~
= ( Y − XB ) + XB − XB = e + X B − B ( )
[ ( )] [ ( )]
~e ' ~e = e + X B − B ~ ' ~
e+ X B−B

e ' e = e' e + e' X( B − B ) + ( B − B )' X' e + ( B − B )' X' X( B − B )

~ ~ ~ ~ ~ ~

e = e' e + 2( B − B )' X' e + ( B − B )' X' X( B − B )

~ ~ ~ ~
e'~
~e ' ~e = e' e + ( B − B
~
)' X' X(B − B~ ) = e' e + [ X(B − B~ )]' [X(B − B~ )] = e' e + X(B − B~ ) 2

~e ' ~e ≥ e' e
Datos centrados
 Modelo de ajuste
Datos centrados

• Cuando las variables explicativas toman sus

respectivos valores promedio el valor estimado para
la variable dependiente es su media:

ˆ ( X) = Y
Y
y = a + b1 x1 + b2 x2 + ... + bk xk
• Es decir, el hiperplano del modelo de ajuste pasa por
la media de las variables.
 Modelo de ajuste (II)
Datos centrados

• Por lo tanto podemos escribir el modelo de ajuste

lineal de otro modo:

yi − y = b1 ( xi1 − x1 ) + b2 ( xi 2 − x2 ) + ... + bk ( xik − xk ) + ei

con i = (1,...,n )

• O empleando matrices:

~ ~
Y = XB + e
 Modelo de ajuste (III)
Datos centrados

• Con:

 y1 − y   x11 − x1 x12 − x2 ... x1k − xk   b1   e1 

       
~  y2 − y  ~  x21 − x1 x22 − x2 ... x2 k − xk   b2   e2 
Y = X = B = e =
( n ,1)  ...  ( n , k )  ... ... ... ...  ( k ,1)  ...  ( n ,1)  ... 
       
 y − y x −x x n 2 − x2 ... xnk − xk  b  e 
 n   n1 1  k  n
 Estimación de los parámetros
Datos centrados

• Recordemos:

– Para encontrar el vector B debemos minimizar de

manera global los residuos.

[ ] [ ~ ~ ~ ~
min ∑ ei2 = min[ e' e] = min (Y − XB)' (Y − XB) ]
Estimación de los parámetros (II)
Datos centrados

• Teniendo en cuenta que:

~ ~ ~ ~ ~ ~
∑ e = Y' Y − 2B' X' Y + B' X' XB
2
i

• Dervando respecto a B:

∂∑ e 2
i ~ ~ ~ ~
= −2 X' Y + 2 X' XB
∂B
 Estimación de los parámetros (III)
Datos centrados

• Igualando a cero la derivada anterior:

~ ~ ~ ~
X' XB = X' Y
~ ~
• Si la matriz X' X es no singular:

(
~ ~ −1 ~ ~
B = X' X X' Y )
 Modelo de ajuste lineal
Datos centrados

• Si trabajamos con datos centrados:

(
~ ~ −1 ~ ~
B = X' X X' Y )
• y:
~ˆ ~
Y = XB
 Modelo de ajuste lineal (II)
Datos centrados

• Con:

 yˆ1 − y   x11 − x1 x12 − x2 ... x1k − xk   b1 

     
~ˆ  yˆ 2 − y  ~  x21 − x1 x22 − x2 ... x2 k − xk   b2 
Y = X = B =
( n ,1)  ...  ( n , k )  ... ... ... ...  ( k ,1)  ... 
     
 yˆ − y  x − x xn 2 − x2 ... xnk − xk  b 
 n   n1 1  k
 Modelo de ajuste lineal (III)
Datos centrados

• Para obtener el término constante utilizaremos la

siguiente expresión:

y = a + b1 x1 + b2 x2 + ... + bk xk

• Por lo tanto:

a = y − b1 x1 − b2 x2 − ... − bk xk
 Datos centrados
• Trabajar con datos centrados supone una
gran ventaja:
– Con datos originales, la dimensión de X' X es
(k+1, k+1).
~ ~
– Con datos centrados, la dimensión de X' X es
(k,k).
• Por lo tanto, el cálculo de la matriz inversa
~ ~
es más sencillo en el caso de la matriz X' X .
Matriz de varianzas y
covarianzas
 Matriz de varianzas y covarianzas

 n n n

 ∑ ( xi1 − x1 ) 2
∑ ( xi1 − x1 )( xi 2 − x2 ) ( x − x )(
∑ i1 1 ik k 
x − x )
 i =1 i =1
... i =1 
 n n n 
 n n n 
 ∑ ( xi 2 − x2 )( xi1 − x1 ) (
∑ i2 2 ) ∑ ( xi 2 − x2 )( xik − xk ) 
2
x − x
VXX =  i =1 i =1
... i =1 
 n n n 
 ... ... ... ... 
 n n n 
 ∑ ( xik − xk )( xi1 − x1 ) ∑( x − xk )( xi 2 − x2 ) ∑ ( xik − xk ) 2
ik 
 i =1 i =1
... i =1 
 n n n 
Matriz de varianzas y covarianzas

 Var ( X1 ) Cov( X1 , X 2 ) ... Cov( X1 , X k ) 

 
 Cov( X 2 , X1 ) Var ( X 2 ) ... Cov( X 2 , X k ) 
VXX = 
... ... ... ...
 
 Cov( X , X ) Cov( X , X ) ... Var ( X k ) 
 k 1 k 2
 Matriz de varianzas y covarianzas

 n n n

 ∑ ( xi1 − x1 ) 2 ∑ ( xi1 − x1 )( xi 2 − x2 ) ... ( x − x )(
∑ i1 1 ik k 
x − x )
 i =1 i =1 i =1 
 n n n

~ ~  ∑ ( xi 2 − x2 )( xi1 − x1 ) ∑( x i 2 − x2 )
2
... ∑ ( xi 2 − x2 )( xik − xk ) 
X' X = i =1
 i =1 i =1

 n ... ... ... ... 
n n
 ( x − x )( x − x ) ( xik − xk ) 2 
 ∑ ik
 i =1
k i1 1 ∑( x
i =1
ik − xk )( xi 2 − x2 ) ... ∑
i =1 

~ ~
X' X = nVXX
 Modelo de ajuste lineal
Matriz de varianzas y covarianzas

( )
~ ~ −1 ~ ~
B = X' X X' Y = ( nVXX ) ( nVXY ) = VXX VXY
−1 −1

−1
B = VXX VXY
 Modelo de ajuste
Datos centrados

Y ( X ) = 1' XB = 1' X( X' X ) X' Y

ˆ 1 1 −1

n n
Pero, como se puede demostrar
1' X( X' X ) X' = 1'
−1

Por lo tanto

Y ( X ) = 1' Y = Y
ˆ 1
n