REGRESIÓN LINEAL MÚLTIPLE

INTRODUCCIÓN
Un modelo de regresión donde interviene más de una variable exógena se llama modelo de
regresión lineal múltiple. En este capítulo se explica el ajuste y análisis de esos modelos. Los
resultados son extensiones de los que se obtuvieron en el capítulo 1 para la regresión lineal
simple.

Supóngase que se tienen ahora k variables exógenas X 1 , X 2 ,..., X k y la variable endógena Y.

De nuevo, el interés se centra en determinar el valor esperado de la variable endógena, pero en
este caso, este valor está condicionado al valor que toman todas las variables independientes.
Por lo tanto, si la variable dependiente Y está relacionada con las variables independientes
X 1 , X 2 ,..., X k , se usará la notación E Y X 1  x1 ,..., X k  x k  para representar el valor
esperado de la variable dependiente cuando las variables independientes toman los valores
x1 , x2 ,..., xk , respectivamente. El supuesto de linealidad, en este contexto, implica que esta
esperanza condicional es de la forma

E Y X 1  x1 ,..., X k  x k    0   1 x1  ...   k x k (3.1)

donde los parámetros  0 ,  1 ,...,  k deben estimarse a partir de los datos.

INTERPRETACIÓN DE LOS PARÁMETROS

Si cada una de las variables independientes toma el valor de cero, puede observarse de la
ecuación (3.1) que
E Y X 1  0,..., X k  0   0

Es decir que  0 es el valor esperado de la variable dependiente cuando las variables

independientes toman el valor de cero. En muchos casos no tiene sentido interpretar la
constante.
La interpretación de los parámetros  0 ,  1 ,...,  k es muy importante. Supóngase que en la
ecuación (3.1) una de las variables independientes, por ejemplo, X 1 incrementa su valor en una
unidad, mientras que el resto de las variables independientes mantiene su valor. Por lo tanto se
tiene que
E Y X 1  x1  1,..., X k  x k    0   1 ( x1  1)  ...   k x k
de donde
 E Y X 1  x1  1,..., X k  x k   E Y X 1  x1 ,..., X k  x k 
  0   1 ( x1  1)  ...   k x k  0  1 x1   2 x2  ... k xk
 1

Es decir, si la variable X 1 se incrementa en una unidad dejando fijas las demás variables, se
espera que la variable respuesta se incremente o disminuya en  1 unidades. En forma análoga
se interpretan los demás parámetros.

MODELO DE REGRESIÓN MÚLTIPLE

Como la relación lineal no es exacta, definamos la variable aleatoria  i como la diferencia entre
la variable aleatoria Yi y su valor esperado dadas las variables independientes, es decir

 i  Yi  E Y X 1  x1  1,..., X k  x k  , i  1, 2,..., n

Despejando Yi se obtiene el modelo de regresión lineal múltiple

Yi   0   1 x i1  2 x i 2  ...   k x ik   i
donde:

Yi : es la i-ésima respuesta observada

 0 : es la ordenada en el origen
 j : es el coeficiente de regresión parcial de la j-ésima variable regresora.

Supuestos del modelo de regresión lineal múltiple

1) El adjetivo lineal se refiere a que el modelo es lineal en los parámetros.

2) Las variables regresoras X 1 , X 2 ,..., X k , son variables no estocásticas, es decir, que no son
variables aleatorias y toman valores fijos.

3) El valor medio de las perturbaciones estocásticas es cero, es decir,    i   0, para todo

i  1,2,3,..., n

4) La varianza de todas las perturbaciones estocásticas es constante, es decir,

Var  i    2 , para todo i  1,2,3,..., n (supuesto de homoscedasticidad).
5) Las perturbaciones estocásticas se distribuyen normalmente con media cero y varianza  2 ,
es decir,  i N 0 ,  2 
6) Las perturbaciones estocásticas son incorrelacionadas, es decir
Cov  i ,  j   0, para todo i  j

La información para un modelo de regresión múltiple se presenta en una tabla como la

siguiente:

Observación Respuestas Regresoras

i yi x1 , x2 ,..., xk
1 y1 x11 , x12 ,...x1k
2 y2 x21 , x22 ,...x2k
3 y3 x31 , x32 ,...x3k

n yn xn1 , xn 2 ,...xnk

Con base en la información anterior se plantea el siguiente sistema de ecuaciones lineales en los
parámetros
y 1   0   1 x11   2 x12  ...   k x1k   1
y 2   0   1 x 21   2 x 22  ...   k x 2 k   2

y n   0   1 x n1   2 x n 2  ...   k x nk   n
El sistema anterior puede escribirse de forma matricial como

 y 1   1 x11 x12 x1k   0    1 

      
 y 2    1 x 21 x 22 x 2 k   1    2 

      
      
 y n   1 x n1 x n2 x nk 
  k    k 
De manera simplificada Y = Xβ +ε
donde
Yn1 : es el vector columna de las n observaciones de la variable dependiente.
X n k 1 : es la matriz de observaciones de las k variables regresoras.
 k 11 : es el vector columna de los parámetros desconocidos.
εn1 : es el vector columna de las n perturbaciones estocásticas.

La presentación formal de dos de los supuestos del modelo es como sigue

 1   E  1    0 
   E    0 
 2   
1) E ε  E  2     0
     
     
 n   E   n   0 
E ε  0

Var  ε   E  ε  E  ε    ε  E  ε     E εεT 
T
2)
 
  1    12 1 2 1 n 
    
  2     22  2 n 
 E  1  2  n 1n   E  1 2
    
 
  n    
1 n  2 n n  nn
2
 n1 
 2 0 0 
 
2

0 0 
 
 
 0 0  2 

Esta última expresión hace referencia a la matriz de varianzas y covarianzas del vector de
errores.

En resumen se tiene que ε 

N 0,  2 I n 
ESTIMACIÓN DEL VECTOR 
Para la estimación del vector  se utiliza el método de mínimos cuadrados ordinarios, que
consiste en minimizar la función

S (  )   T   Y  X    Y  X    Y T   T X T  Y  X  
T

 YTY  YT X   T X TY  T X T X 
 Y T Y  2 T X T Y   T X T X 
Por lo tanto, derivando parcialmente S (  ) con respecto al vector , se tiene que
S  
 2  β T X T Y    β T X T Xβ  (3.2)
  
donde

a)  β T X T Y   X T Y


b)  β T X T Xβ   2 X T X 


La parte a) puede demostrarse bajo el siguiente procedimiento:

 n 
  Yi 
1 1 1 1   Y1   ni 1 
x xn1  Y2    xi1Yi 
Si X T Y   11      i 1 
    
 x1k xnk  Yn   n 
 
  xik Yi 
 i 1 
 n 
  Yi 
 ni 1 
 xY
  k   
n n n
Entonces,  T X T Y    0 1 i 1
i1 i 
  0 i Y  1  i1 i
x Y  ...   k  xik Yi
  i 1 i 1 i 1
 
 n 
  xik Yi 
 i 1 

  T  X T Y  
 
  0 
 T 
  X T Y  
  X Y 
T T 
Derivando parcialmente se tiene:  1 
  
 
 T 
   X Y  
T

  k 
 
  T  X T Y  n  T  X T Y  n
Luego,   Yi ,   xi1Yi ,…
0 i 1 1 i 1

 
n

  Yi 
 i 1 
 n 
 T  X T Y    xi1Yi 
Por tanto,  i 1  X TY
  
 
 n 
 x Y 
 i 1 ik i 

Ahora, sustituyendo a) y b) en (3.2) e igualando a cero queda 2 X T Y  2 X T X   0 , de donde

X T X   X TY
 ˆ0 
 
 ˆ 
Por lo tanto, ˆ   X T X   X T Y  , donde ˆ   1 
1

 
 ˆ 
 k
y el modelo de regresión ajustado es Ŷ  X  ˆ

Propiedades del vector ˆ

1)  
E ˆ  

Var  ˆ     X X 
2 T 1
2) , matriz de varianzas y covarianzas de los parámetros estimados.
EJEMPLO. Se ajustó el siguiente modelo de regresión con una muestra de 30 familias para
explicar el consumo familiar de leche.
Yi  0  1 X i1  2 X i 2   i
donde:
Yi : consumo de leche en litros por semana
X i1 : ingreso semanal, en cientos de dólares
X i 2 : tamaño de la familia
La estimación de mínimos cuadrados de los parámetros de la regresión fue:
ˆ0  0.025 , ˆ1  0.052 , ˆ2  1.14
Interpretar los estimadores de ˆ1 y ˆ2

SOLUCIÓN.
El modelo estimado es Y  0.025  0.052 X1  1.14 X 2
Y
  0.052
X 1
Significa que por cada 100 dólares de incremento en el ingreso semanal, se espera que el
consumo semanal de leche aumente en 0.052 litros, dejando las demás variables fijas.
Y
  1.14
X 2
Significa que por cada miembro nuevo en la familia se espera que el consumo semanal de leche
se incremente en 1.14 litros por semana, dejando las demás variables fijas.

ESTIMACIÓN DE LA VARIANZA

Un estimador insesgado de  2 en el modelo de k variables regresoras es S 2 , donde

SSE εT ε Y T Y  ˆ T X T Y
S 
2
 
n  (k  1) n  k  1 n  k 1

1)  
Var ˆ j  S 2 C jj , para j  0,1, 2, ,k

2) Sˆ  S C jj , para j  0,1, 2, ,k

j

INFERENCIA CON RESPECTO A LOS PARÁMETROS DEL MODELO

Intervalos de confianza. El intervalo de confianza del (1   ) 100 para  j es

 ˆ  t
j ( 2,v ) j

Sˆ , donde Sˆ  S C jj , para j = 1, 2, ..., k y   n   k  1 .
j

Interpretación

Con una confianza del (1   ) 100 si la variable X j , se incrementa en una unidad

permaneciendo las demás variables fijas; se espera que la variable respuesta se incremente (o
disminuya) entre el límite superior y el límite inferior del intervalo.
Prueba de hipótesis individual
En esta prueba se utiliza el estadístico T, para determinar si cada una de las variables regresoras
influyen de manera significativa en las variaciones en el valor esperado de la variable explicada
Y.

El contraste de hipótesis es
 H0 :  j  0
 , j  0,1, 2, ..., k
Ha :  j  0
El estadístico de prueba es:
ˆ j ˆ j
T 
S ˆ S C jj
j

Se rechaza H 0 si T  t( 2,n( k 1))

Si  j  0 , es decir, que no se rechaza la hipótesis nula, significa que la variable X j no es

significativa en el modelo y es candidata a ser eliminada del modelo.

Rechazar la hipótesis nula significa que la variable X j ayuda a explicar la variabilidad de Y,

dejando las demás variables constantes.

Prueba de hipótesis global

Para esta etapa se utiliza el estadístico F con el objeto de determinar si hay una relación lineal
significativa entre la variable explicada Y y las variables regresoras X1, X 2, ..., X k . El contraste
de hipótesis es

 H 0 : 0  1   2  ...   k  0

 H a : al menos un  j  0
Rechazar la hipótesis nula indica que al menos una de las variables es significativa para el
modelo; en cambio, si se acepta, indica que el modelo no es significativo.

Se puede dar que en la prueba individual las variables no sean significativas y en la prueba
global, en cambio, por lo menos una sea significativa. En este caso, el modelo puede presentar
problemas de multicolinealidad (relación que puede existir entre dos o más variables
explicativas).

Los cálculos para determinar el valor del estadístico de prueba F se resumen en la siguiente
tabla ANOVA (se analiza la variabilidad)
 Fuente de Grados de Cuadrados
Suma de Cuadrados F
Variación libertad medios

SSR
Modelo de SSR
SSR  ˆ X Y  nY 2 k
Regresión K F  K2
S
SSE
Errores (residuales) SSE  Y Y  ˆ X Y n  k 1 S2 
n  k 1

TOTAL SST  Y Y  nY 2 n 1

La regla de decisión es rechazar H0 si F  f , k , nk 1 donde:

 : nivel de significancia
k: grados de libertad del numerador
n  k  1 : grados de libertad del denominador

COEFICIENTE DE DETERMINACIÓN MÚLTIPLE

El coeficiente de determinación múltiple, denotado por R2, es un estadístico que mide la

proporción de variabilidad en el valor esperado de (y) cuando se presentan variaciones en todas
las variables regresoras y se define como:
SSR
R2 
SST

Nota. El valor de R2 aumenta cuando el número de variables regresoras aumenta, independiente

de la contribución unitaria de la variable regresora que se incluya en el modelo.
Por lo anterior, se define entonces el coeficiente de determinación ajustado como

 n  1  SSE
Ra2  1   
 n  k  1  SST
Observe que si k   , entonces Ra2  1

PROPIEDADES DE Ra2

1) Se interpreta de igual forma como se hace con R2

2) Ra2  R 2 . Siempre existe esta desigualdad
R 2
a  R 2 si k  1
3) Ra2 puede ser negativo y si así ocurre se toma como cero.

PRUEBA DE HIPÓTESIS PARA SUBCONJUNTOS

Consideremos el modelo de regresión lineal múltiple (modelo completo):

Yi  0  1 X1  ...  l X l  l 1 X l 1  ...  k X k   i

 H 0 : 1   2  l  0


 H a : al menos un  j  0, j  1, 2, ..., l


Modelo reducido: Yi  0  l 1 X l 1  ...  k X k   i

No rechazar H 0 significa que el modelo reducido es significativo.

Rechazar H 0 significa que al menos una de las primeras L variables es significativa.

SSR* : Es la suma de cuadrados explicada por las variables regresoras del modelo reducido.
SSE * : Es la suma de cuadrados del error del modelo reducido.
SSR : Es la suma de cuadrados totales del modelo completo.

Se sabe que SSR*  SSR , SSE*  SSE y SST *  SST

El estadístico de prueba es

F
 SSE *
 SSE  l
S2
donde l es el número de parámetros que hay en H 0

Se rechaza H 0 si F  f ,l ,n( k 1)

EJEMPLO. Un agente de bolsa está interesado en saber qué factores pueden influir en las tasas
de retorno de las acciones de los bancos. Se estimó el siguiente modelo de regresión a partir de
una muestra de 30 bancos.
Ŷ  2.37  0.84 X1  0.15 X 2  0.13 X 3  1.67 X 4
Las desviaciones estándar son: Sˆ  0.39; Sˆ  0.12; Sˆ  0.09; Sˆ  1.97 y además
1 2 3 4

Y : Tasa de retorno de las acciones

X 1 : Tasa de crecimiento de las ganancias de los bancos
X 2 : Tasa de crecimiento del activo
X 3 : Préstamos concedidos
1, si la central del banco está en Bogotá 
X4   
0, si está en otra parte 
SST  3.881
SSR  3.549

a) Interpretar los valores estimados de los parámetros 1 y  4

b) Contrastar la hipótesis de que permaneciendo todo lo demás igual, la tasa de crecimiento del
activo no tiene influencia lineal sobre las tasas de retorno de las acciones.
c) Hallar e interpretar un intervalo de confianza del 95% para  3
d) Realice el siguiente contraste H 0 : 2  4  0 , donde la S 2* del modelo es 0.01341

Solución.

a) ̂1  0.84 . Si la tasa de crecimiento de las ganancias de los bancos se incrementa en el 1%

dejando las demás variables fijas, se espera que la tasa de retorno de las acciones se
incremente en 0.84%.
4  1.67 . Si la central del banco se encuentra en Bogotá, se espera que la tasa de retorno de
las acciones se incremente en 1.67%, dejando las demás constantes.
H 0 : 2  0
b) 
H a : 2  0
Se rechaza H 0 si T  t / 2 ,v
v  n  (k  1)
v  30  5
v  25
k = al número de variables regresoras
Sˆ  S C22
2
 t(0,0.25,25)  2.060
ˆ2  0 0.15
T   1.25
S ˆ 0.12
2

No se rechaza la H 0 , es decir, la tasa de crecimiento del activo no tiene influencia lineal

sobre la tasa de retorno de las acciones cuando las demás variables están constantes.

c) Intervalo de confianza del 95% para  3 :

ˆ3  t( / 2,v ) S ˆ

3

0.13  (2.060)(0.09)
0.31  3  0.055

Con una confianza del 95% se puede afirmar que los préstamos concedidos no son
significativos en el modelo.

 H 0 : 2  4  0

d) 
 H a : al menos un  j  0, j  2, 4


Modelo reducido: Yi  0  l 1 X l 1  ...  k X k   i

F
 SSE *
 SSE  / 2
S2

SSE  SST  SSR  0.332

SSE 0.332
S2    0.01328
n  (k  1) 25

Por lo tanto, el estadístico de prueba es

F
 0.362  0.332  / 2  1.129
0.01328
F(0.05,2,25)  3.39 , no se rechaza H 0 , es decir, el modelo reducido es significativo.