1

El modelo de regresin lineal mltiple

Ejemplos

1) Consumo familiar

Y Consumo =
1
X Renta =

2
X Riqueza =

1 2 1 3 2
Y X X = + + +


2) De acuerdo con la teora microeconmica, los costos totales se expresan como una funcin de la cantidad
producida. Sin embargo, es muy restrictivo considerar que el costo marginal permanece constante,
independientemente de la cantidad producida.

Y Costos totales =

X Cantidad producida =

2 3
1 2 3 4
Y X X X = + + + +



3) Los salarios se determinan por diferentes factores. Un modelo relativamente simple para explicar los salarios es
en funcin de los aos de educacin y de los aos de experiencia. Otros factores importantes para explicar los
salarios pueden ser variables cuantitativas tales como el tiempo de formacin y la edad, o variables cualitativas,
como el sexo, la profesin, etc.

Y Salario =
1
X Aos de educacin =

2
X Aos de experiencia =

3
X Edad =

4
X Aos de formacin =

5
X Sexo =

6
X Profesin =

1 2 1 3 2 4 3 5 4 6 5 7 6
Y X X X X X X = + + + + + + +



4) Para explicar los gastos en consumo de pescado los factores relevantes pueden ser su precio, el precio de un
producto sustitutivo como la carne, y la renta disponible.

Y Gastos en consumo de pescado =

1
X Precio del pescado =

2
X Precio de la carne =

3
X Renta =

1 2 1 3 2 4 3
Y X X X = + + + +












2

En el modelo de regresin lineal mltiple, la variable dependiente (o una transformacin de ella), es una funcin
lineal de k regresores correspondientes a las variables explicativas (o a transformaciones de las mismas) y una
perturbacin aleatoria o error. El modelo tambin incluye un trmino independiente. Si designamos por Y a la
variable dependiente, por X
1
, X
2
,..., X
k
a los regresores o variables independientes y por al error o perturbacin
aleatoria, el modelo poblacional de regresin lineal mltiple vendr dado por la siguiente expresin:

1 2 1 3 2 1 k k
Y X X X
+
= + + + + + L


Supongamos que tenemos una muestra aleatoria de tamao N,
( ) { }
1 2
, , , , : 1, 2, ,
i i i ki
Y X X X i N = L K
, extrada de la poblacin
estudiada. Si expresamos el modelo poblacional para todas las observaciones de la muestra, se obtiene el siguiente
el sistema:
1 1 2 11 3 21 1 1 1
2 1 2 12 3 22 1 2 2
1 2 1 2 2 1
k k
k k
N N N k kN N
Y X X X
Y X X X
Y X X X



+
+
+
= + + + + +
= + + + + +
= + + + + +
L
L
M


El anterior sistema de ecuaciones se puede expresar en la forma matricial siguiente:

1 11 21 1 1 1
2 12 22 2 2 2
1 2 1
1
1
1
k
k
N N N kN k N
Y X X X
Y X X X
Y X X X



+



= +



L
M M M M

Si

1
2
N
Y
Y
Y
Y



=



M
,
11 21 1
12 22 2
1 2
1
1
1
k
k
N N kN
X X X
X X X
X
X X X



=



L
M
,
1
2
1 k

+



=



M
,
1
2
N

=



M


Entonces, el modelo de regresin lineal mltiple puede ser expresado como:

Y X = +


donde, Y es un vector N1, X es una matriz de orden N(1+k), es un vector (1+k) 1 y es un vector
N1.

Funcin de regresin muestral

La idea bsica de la regresin consiste en estimar los parmetros poblacionales 1 2 1
, , ,
k

+
K

a partir de una muestra
dada.

La FRM, que es una estimacin de la FRP, viene dada por

1 2 1 3 2 1

i i i k ki
Y X X X
+
= + + + + L

1, 2, , i N = K


Permite calcular el valor ajustado

i
Y correspondiente a cada
i
Y

observado
. El residuo se define como la diferencia
entre estos dos valores

i i i
Y Y =
.




Obtencin de estimadores MCO


Denominando S a la suma de los cuadrados de los residuos se tiene:
3



( )
2
2
1 2 1 3 2 1
1 1

N N
i i i i k ki
i i
S Y X X X
+
= =
= =

L


Para aplicar el criterio de mnimos cuadrados en el modelo de regresin lineal mltiple, calculamos la primera
derivada de S con respecto a cada

j
en la expresin anterior e igualamos a cero:

( )( )
1 2 1 3 2 1
1
1

2 1 0

N
i i i k ki
i
S
Y X X X

+
=

= =

L

( )( )
1 2 1 3 2 1 1
1
2

2 0

N
i i i k ki i
i
S
Y X X X X

+
=

= =

L

( )( )
1 2 1 3 2 1 2
1
3

2 0

N
i i i k ki i
i
S
Y X X X X

+
=

= =

L

M

( )( )
1 2 1 3 2 1
1
1

2 0

N
i i i k ki ki
i
k
S
Y X X X X

+
=
+

= =

L


1 1 2 2 3 1
1 1 1 1
2
1 1 1 2 1 2 3 1 1 1
1 1 1 1 1
2 1 2 1
1

N N N N
i i ki k i
i i i i
N N N N N
i i i i i ki k i i
i i i i i
N
i i i
i i
N X X X Y
X X X X X X X Y
X X X

+
= = = =
+
= = = = =
=

+ + + + =



+ + + + =



+

L
L
2
2 2 3 2 1 2
1 1 1 1
2
1 1 2 2 3 1
1 1 1 1 1


N N N N
i i ki k i i
i i i
N N N N N
ki ki i ki i ki k ki i
i i i i i
X X X X Y
X X X X X X X Y


+
= = = =
+
= = = = =

+ + + =



+ + + + =




L
M
L


1
1 1 1
1
2
1 1 1 1 2
1 1 1 1
1
2
1
1 1 1 1

N N N
i ki i
i i i
N N N N
i i i ki i i
i i i i
N N N N
k
ki ki i ki ki i
i i i i
N X X Y
X X X X X Y
X X X X X Y

= = =
= = = =
+
= = = =







=













L
M
M M O M M
L



En forma matricial, se tiene el sistema de ecuaciones normales:

t t
X X X Y =

( )
1

t t
X X X Y

=



Como la matriz de segundas derivadas, 2X
t
X , es una matriz definida positiva, la conclusin es que S
presenta un mnimo en

4

Ejemplo: Gastos de los computadores personales segn su antigedad y las horas diarias de trabajo
Supongamos que estamos interesados en explicar los gastos (en miles de pesos) de los computadores personales de un
departamento comercial a partir de su edad (en aos) y del nmero de horas diarias que trabajan (horas/da). Se ha tomado una
muestra de cinco computadores personales y de las cuales se han obtenido los resultados siguientes:

Gastos Y (miles de pesos ) Antigedad X
1
( aos) Horas de trabajo X
2
(horas/da)
24,6 1 11
33,0 3 13
36,6 4 13
39,8 4 14
28,6 2 12

Se quiere encontrar un modelo de regresin de la forma:
1 2 1 3 2
Y X X = + + +
A partir de las observaciones de la muestra se quiere encontrar una ecuacin de regresin lineal mltiple estimada que predice
la variable dependiente, Y, en funcin de las variables independientes observadas X
j
. Tal modelo tiene la forma siguiente:
1 2 1 3 2

Y X X = + + +


Los estimadores se obtienen resolviendo el sistema de ecuaciones:

t t
X X X Y =

( )
1

t t
X X X Y

=

Donde
24.6
33.0
36.6
39.8
28.6
Y



=




,
1 1 11
1 3 13
1 4 13
1 4 14
1 2 12
X



=




,
1
2
3

=



,
1 1 11
1 1 1 1 1 5 14 63 1 3 13
1 3 4 4 2 14 46 182 1 4 13
11 13 13 14 12 63 182 799 1 4 14
1 2 12
t
X X





= =

( )
1
181.5 14 17.5
14 1.3 1.4
17.5 1.4 1.7
t
X X

=




,
24.6
1 1 1 1 1 162.6 33.0
1 3 4 4 2 486.4 36.6
11 13 13 14 12 2075.8 39.8
28.6
t
X Y





= =








( )
1
181.5 14 17.5 162.6 5

14 1.3 1.4 486.4 2.6

17.5 1.4 1.7 2075.8 2.4
t t
X X X Y



= = =

1
2
3

2.6

2.4

=
=
=


El modelo de regresin ajustado queda:
1 2

5 2.6 2.4 Y X X = + +


1 2 1 3 2

Y X X = + +

Y X =

1
2
3
4
5

1 1 11 24.0

5 1 3 13 34.0

2.6 1 4 13 36.6
2.4 1 4 14 39.0
1 2 12 29.0

Y
Y
Y
Y
Y







= =











5


Suma Total de los Cuadrados:
( ) ( )
1
2
2
1 2 3 4 5 3
1
4
5
147.97
N
i
i
Y Y
Y Y
STC Y Y Y Y Y Y Y Y Y Y Y Y Y Y
Y Y
Y Y
=

= =

Suma Explicada de los Cuadrados:

( ) ( )
1
2
2
1 2 3 4 5 3
1
4
5

145.81

N
i
i
Y Y
Y Y
SEC Y Y Y Y Y Y Y Y Y Y Y Y Y Y
Y Y
Y Y
=

= =

Suma de los Cuadrados de los Residuos:
( ) ( )
1 1
2 2
2
1 2 2 3 3 4 4 5 5 3 3
1
4 4
5 5

2.16

N
i
i
Y Y
Y Y
SCR Y Y Y Y Y Y Y Y Y Y Y Y Y Y
Y Y
Y Y
=

= =

( )
( )
2
2 1
2
1

145.81
0.9854
147.97
N
i
i
N
i
i
Y Y
R
Y Y
=
=

= = =

R cuadrado ajustado

Un problema delicado aparece cuando los dos modelos a comparar tienen un nmero distinto de variables explicativas. Se
puede demostrar que cuando se aade una variable al modelo, entonces la suma residual siempre disminuye. Por tanto, si uno
de los dos modelos contiene las mismas variables que el otro y alguna ms (en cuyo caso los dos modelos se dicen anidados)
entonces este modelo amplio siempre ser preferido de acuerdo con el criterio del mayor R
2
. Se hace preciso en esta situacin
utilizar un concepto similar al del coeficiente de determinacin, pero teniendo en cuenta el nmero de variables explicativas
que un modelo utiliza.

R cuadrado:
( )
( ) ( )
2
2
2 1 1
2 2
1 1

1
N N
i i
i i
N N
i i
i i
Y Y
R
Y Y Y Y

= =
= =

= =





R cuadrado ajustado:
( )
2 2
1
1 1
1
N
R R
N k

=





Cuando el nmero de variables explicativas k aumenta, la fraccin
1
1
N
N k

tambin aumenta, mientras que
2
1 R
disminuye, ya
que el coeficiente de determinacin R
2
aumenta. Como en la definicin del R cuadrado ajustado aparece el producto de estos
dos factores, la idea es que ambos efectos, el creciente y el decreciente, se compensen aproximadamente, por lo que este
6

estadstico sea una medida de la bondad de ajuste de un modelo de regresin con la propiedad de ser neutral frente a la
introduccin de variables adicionales. Este estadstico est concebido, por tanto, para la comparacin de modelos anidados.


En sntesis, para evitar la tentacin de introducir ms al modelo para aumentar el R
2
se utiliza el R cuadrado ajustado.
( ) ( )
2 2
1 5 1
1 1 1 1 0.9854 0,9708
1 5 2 1
N
R R
N k

= = =