CAPTULO 2

Mnimos cuadrados ordinarios

En el Captulo 1, hemos denido el modelo lineal general como una relaci
on estadstica lineal entre una variable dependiente y una o m
as variables explicativas, relaci
on que
podemos expresar de tres formas equivalentes:
1. Yi = 1 + 2 X2i + + k Xki + ui ,
2. Yi = xi + ui , i = 1, . . . , n
3. y = X + u
en donde xi = (1 X2i . . . Xki ) ,

1 X21
Y1

1 X22
Y2

y=
..
.. , X = ..
.
.
.
Yn

...
...
..
.

1 X2n . . .

i = 1, . . . , n

Xk1

Xk2
..
,
.

Xkn

1

2

=
..
.

u1

u2

u=
.. .
.
un

La forma 1 y su versi
on compacta dada por la forma 2 son la representaci
on escalar
del modelo lineal general, y son u
tiles para introducir los conceptos b
asicos del metodo
de estimaci
on de mnimos cuadrados. Sin embargo, para profundizar en el estudio del
analisis de regresion resulta m
as conveniente la forma 3 o forma matricial del modelo
lineal general.
Este captulo describe el
algebra de mnimos cuadrados, es decir, un metodo estadstico para obtener estimaciones de los par
ametros desconocidos 1 , . . . , k a partir
de un conjunto de observaciones sobre las variables Y, X2 , . . . , Xk . El metodo de estimacion de mnimos cuadrados se presenta utilizando tanto la forma escalar como la
forma matricial del modelo lineal general. Se deja como ejercicio para el alumno, el
desarrollo de este procedimiento para la forma 2 del modelo.
2.1.

Ecuaciones normales

2.1.1. Forma escalar. Si en la forma escalar del modelo lineal general reemplazamos los par
ametros desconocidos 1 , . . . , k por las estimaciones 1 , . . . , k , obtenemos el modelo estimado
i ,
Yi = 1 + 2 X2i + + k Xki + u

i = 1, . . . , n

on del error ui . Surgen aqu dos conceptos fundamentales.

en donde u
i es una estimaci
n 2. El valor ajustado Yi es la combinaci
Definicio
on lineal
Yi = 1 + 2 X2i + + k Xki ,

i = 1, . . . , n

n 3. El residuo u
i es la diferencia entre el valor observado Yi y el valor
Definicio

ajustado Yi ,
u
i = Yi Yi = Yi 1 2 X2i k Xki ,
11

i = 1, . . . , n

12

2.1. Ecuaciones normales

Vemos que al estimar los par

ametros del modelo lineal general descomponemos cada
observaci
on Yi en la suma de dos componentes
Yi = Yi + u
i ,

i = 1, . . . , n

on de Yi dada por el
en donde podemos interpretar el valor ajustado Yi como la predicci
on asociado. Es claro que distinmodelo estimado y el residuo u
i como el error de predicci
tas estimaciones de los par
ametros conducir
an a distintos residuos o valores ajustados,
siendo preferibles aquellas estimaciones que proporcionan un mayor n
umero de residuos
peque
nos o, equivalentemente, un mayor n
umero de valores ajustados muy pr
oximos a
los valores observados. Esta es la idea que subyace al metodo de estimaci
on de mnimos
cuadrados ordinarios.

n 4. Las estimaciones de minimocuadr

ametros 1 , . . . , k
Definicio
aticas de los par
son los valores 1 , . . . , k que minimizan la suma de cuadrados de los residuos
Q=

u
2i =

i=1

(Yi 1 2 X2i k Xki )2




i=1

u
i

Como Q es una funci

on cuadr
atica de j (j = 1, . . . , k), se trata de una funci
on

diferenciable. Los valores j (j = 1, . . . , k) que minimizan Q son los que cumplen las
condiciones de primer orden:
n

Q
1 ) = 0
=
2(Yi 1 2 X2i k Xki )( 




1
i=1

(2.1)

Q
=
2

i=1

..
.

u
i / 1

u
i

2(Yi 1 2 X2i k Xki )( X2i ) = 0



 

u
i / 2

u
i

Q
=
2(Yi 1 2 X2i k Xki )( Xki ) = 0


 

k
i=1

u
i / k

u
i

De las condiciones de primer orden obtenemos el sistema de k ecuaciones en k variables

n1 + 2

i=1

1
(2.2)

X2i + 2

i=1

i=1

i=1

Xki + 2

i=1

X2i + + k

2
X2i
+ + k

Xki =

i=1

Yi

i=1

X2i Xki =

i=1

Xki X2i + + k

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

X2i Yi

Xki Yi

i=1

..
.
n

i=1

2
Xki
=

i=1

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

13

2. Mnimos cuadrados ordinarios

cuya soluci
on permite encontrar las estimaciones de mnimos cuadrados j (j = 1, . . . , k).
Cuando k es mayor que dos, es conveniente escribir (2.2) en forma matricial:

n
n
n
...
1
i=1 X2i
i=1 Xki
i=1 Yi
n
n
n


2
X2i
...
X2i Xki 2 ni=1 X2i Yi
i=1 X2i
i=1
i=1

(2.3)
=
..
..
..
..
..

..

.
.
.
.
.

n
n
n
n
2

k
i=1 Xki
i=1 Xki X2i . . .
i=1 Xki
i=1 Xki Yi

 
 



X X

X y

Vemos que el elemento generico (i, j) de la matriz cuadrada X X de orden k es el

producto escalar de las variables explicativas Xi y Xj , es decir, la suma de los productos
n
,
de los valores de Xi por los correspondientes valores de Xj ,
h=1 Xih Xjh . De aqu
los elementos que se encuentran la diagonal principal (j, j) son sumas de cuadrados
n
2
h=1 Xjh (j = 1, . . . , k), mientras que los que se encuentran en la primera la o columna


son sumas de observaciones: nh=1 X1h Xjh = nh=1 Xjh porque X1h = 1 (h = 1, . . . , n).
n

2
2 =
Es claro que el elemento (1,1) es el tama
no muestral porque nh=1 X1h
h=1 1 = n.
Analogamente, el elemento i-esimo del vector columna X y de orden k es el producto

escalar de la variable explicativa Xi y la variable dependiente Y , nh=1 Xih Yh .
n 5. Las ecuaciones (2.2) o
Definicio
(2.3) se denominan ecuaciones normales y
permiten obtener la expresi
on del estimador de mnimos cuadrados.
n 6. Los estimadores minimocuadr
ametros 1 , . . . , k del
Definicio
aticos de los par
modelo lineal general son la soluci
on del sistema (compatible determinado) de ecuaciones
normales

1 n

n
n
1
n
...
i=1 X2i
i=1 Xki
i=1 Yi
n
n
n


2
X2i
...
X2i Xki ni=1 X2i Yi
2 i=1 X2i
i=1
i=1

(2.4) . =
..
..
..
..
..

.
.
.
.
.
..





n
n
n
n
2

k
i=1 Xki
i=1 Xki X2i . . .
i=1 Xki
i=1 Xki Yi



 

(X X)1

X y

cuyo c
alculo requiere invertir una matriz no singular de orden k k.

Observaci
on 2. Si la matriz X X es singular, entonces tenemos innitas estimaciones que conducen a la misma suma de cuadrados de los residuos.
2.1.2. Forma matricial. Un desarrollo similar puede seguirse para el modelo en
forma matricial. Reemplazando el vector de par
ametros desconocidos por el vector de

estimaciones , obtenemos el modelo estimado

+u
y = X

on del vector de errores u. Vemos que el

en donde u
= (
u1 . . . un ) es una estimaci
modelo estimado descompone el vector de observaciones y en la suma del vector de
y el vector de residuos u
valores ajustados y
= X
.
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

14

2.2. Propiedades numericas del metodo de mnimos cuadrados

La suma de cuadrados de los residuos u

u
puede expresarse como
(y X)
= (y
X )(y X)

=(y X)
Q=u
u

+
X X

=y y X y y X

X y +
X X

=y y 2

en donde hemos usado la propiedad de la transposici

on de matrices, (A + BC) =

X y = y X,
que se cumple porque
X y es un escalar
A + C B , y el resultado
Vemos que u
u
depende de una forma lineal y de
1 1 y es igual a su traspuesta y X.

una forma cuadr

atica en .
igualamos el vector de primeras derivadas
Para hallar el mnimo de u
u
respecto de
al vector nulo
)
(
u u
= 0k
= 2X y + 2X X

De aqu, obtenemos el sistema de ecuaciones normales dado en (2.3)
= X y
X X
y la expresi
on del estimador de mnimos cuadrados ordinarios de la denicion (6)


= X X 1 X y

es un mnimo debemos comprobar que la matriz hessiana

Para asegurarnos de que
o matriz de segundas derivadas es denida positiva


u u
)
u u
)
2 (
2 (
= 2X X
=

i j

n 1. Bajo el supuesto de que X X es no singular, la matriz X X es una
Proposicio
matriz denida positiva.

n. La matriz cuadrada X X de orden k es denida positiva si para

Demostracio
cualquier vector columna a de orden k la forma cuadr
atica
a X Xa > 0
Deniendo el vector columna z = Xa, tenemos
a X Xa = z z =

i=1

zi2 0

La igualdad surge cuando z es un vector nulo o, equivalentemente, cuando las columnas

de X son linealmente dependientes. Si X X es una matriz no singular, rang(X X) =
rang(X) = k, por lo que las columnas de X son linealmente independientes.

2.2.

Propiedades num
ericas del m
etodo de mnimos cuadrados

La propiedad numerica fundamental del metodo de mnimos cuadrados se deriva

directamente de las condiciones de primer order orden.
n 2. Los residuos y las variables explicativas son ortogonales
Proposicio
n

u
i Xji = 0,

j = 1, . . . , k

i=1

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

15

2. Mnimos cuadrados ordinarios

n. Ver las condiciones de primer orden (2.1). Alternativamente, las

Demostracio
ecuaciones normales del modelo en forma matricial
X y = 0k
X X
pueden escribirse como



= X u
= 0k
X y X

cuyo elemento j-esimo es el producto escalar de los residuos y la variable explicativa

Xj .
Corolario 1. Si el modelo incluye termino constante, la suma de los residuos es
igual a cero.
n. Si el modelo incluye termino constante, la primera variable asociDemostracio
ada a 1 , X1i , es una variable de unos, de modo que
n

u
i X1i =

i=1

u
i = 0

i=1

Corolario 2. Los residuos u

i y los valores ajustados Yi son ortogonales
n

Yi u
i = 0

i=1

n. Los valores ajustados son una combinaci

Demostracio
on lineal de las variables
explicativas. Como las variables explicativas y los residuos son otogonales tambien lo
seran los valores ajustados y los residuos
n

Yi u
i =

i=1

(1 + 2 X2i + + k Xki )
ui
i=1

=1

u
i + 2

i=1

i=1

Alternativamente, vemos que

u
i X2i + + k

u
i Xki = 0

i=1

u
= X u
= 0k
y

Corolario 3. Si el modelo incluye termino constante, la media de las observaciones

de la variable dependiente es igual a la media de los valores ajustados
n

i=1

i=1

1
1
Yi =
Yi
n
n
n. De la descomposici
Demostracio
on Yi = Yi + u
i , se cumple que
n

i=1

i=1

i=1

i=1

i=1

1
1
1
1
1
Yi =
(Yi + u
i ) =
u
i =
Yi +
Yi
n
n
n
n
n

Observaci
on 3. El corolario anterior indica que el hiperplano de regresi
on Yi =
2 , . . . , X
k ).
1 + 2 X2i + + k Xki pasa por el punto (Y , X
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

16

2.3. Regresion con datos centrados

Observaci
on 4. La propiedad numerica fundamental del metodo de mnimos cuadrados (los residuos y las variables explicativas son ortogonales) nos sugiere una regla pr
actica para especicar las ecuaciones normales. El punto de partida es el modelo estimado
Yi = 1 + 2 X2i + + k Xki + u
i ,

i = 1, . . . , n

La j-esima ecuaci
on normal puede obtenerse multiplicando el modelo estimado por la
variable j-esima Xji
Xji Yi = 1 Xji + 2 Xji X2i + + k Xji Xki + Xji u
i ,

i = 1, . . . , n

Sumando todas las observaciones, tenemos

n

Xji Yi = 1

i=1

porque

Xji + 2

i=1

i .
i=1 Xji u

i=1

Xji X2i + + k

Xji Xki ,

j = 1, . . . , k

i=1

An
alogamente, premultiplicando el modelo estimado
+u
y = X

por la traspuesta de X, tenemos

X y = X X
Ahora podemos encontrar f
acilmente la expresi
on del estimador de mnimos cuadrados
para la forma escalar compacta del modelo. Premultiplicando el modelo estimado
+ ui ,
yi = xi

i = 1, . . . , n

por el vector columna xi , y sumando para todas las observaciones, obtenemos

n

xi yi =

i=1

+
xi xi

i=1

en donde el elemento j-esimo de i=1 xi ui es

minimocuadr
atico puede expresarse como

2.3.

i = 1, . . . , n

i=1

xi ui ,

xi xi

i=1

1

i=1 Xji ui

= 0. De aqu, el estimador

xi yi

i=1

Regresi
on con datos centrados

Cuando el modelo a estimar incluye un termino constante es conveniente usar datos

centrados o en desviaciones respecto a la media. De esta forma, podemos estimar las k1
pendientes 2 , . . . , k resolviendo un sistema de k 1 ecuaciones normales, estimaciones
on de
que usamos despues para estimar la ordenada 1 . Hay que valorar que la inversi
una matriz de orden k 1 es siempre menos costosa que la de una matriz de orden k.
Partiendo del modelo estimado por mnimos cuadrados
Yi = 1 + 2 X2i + + k Xki + u
i ,

(2.5)

i = 1, . . . , n

si sumamos todas las observaciones de Y y dividimos por n tenemos

n

i=1

i=1

i=1

i=1

i=1

1
1
1
1
1
1 + 2
Yi =
X2i + + k
Xki +
u
i
n
n
n
n
n
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

17

2. Mnimos cuadrados ordinarios

y, dado que la suma de los residuos es cero,

2 + + k X
k
Y = 1 + 2 X

(2.6)

Restando (2.6) de (2.5), tenemos

2 ) + + k (Xki X
k ) + u
i ,
Yi Y = 2 (X2i X

i = 1, . . . , n

que, para simplicar, escribimos como

(2.7)

i ,
yi = 2 x2i + + k xki + u

i = 1, . . . , n

j son los valores de cada variable en desviaciones

en donde yi = Yi Y y xji = Xji X
con respecto a su media. Observamos que desaparece el termino constante, pero los
parametros estimados 2 , . . . , k y los residuos permanecen inalterados. Por tanto, la
aplicacion del metodo de mnimos cuadrados en la ecuaci
on (2.7) proporciona los mismos
resultados que en la ecuaci
on (2.5). Los estimadores de mnimos cuadrados 2 , . . . , k
pueden obtenerse utilizando datos en desviaciones con respecto a la media a partir de
la formula
1 


n
n
n
2
x
.
.
.
x
x
x
y
2
2i i
i=1 2i
i=1 2i ki
i=1.

.
..
..
.

.
.
.
=
(2.8)
.
.
.
.
.




n
n
n
2
k
x
x
.
.
.
x
x
y
i=1 ki 2i
i=1 ki
i=1 ki i

cuyo calculo requiere invertir una matriz de menor orden (k 1) (k 1). El termino
constante se obtiene de la ecuaci
on (2.6) que relaciona las medias
2 k X
k
1 = Y 2 X
2.4.

Regresi
on con datos tipicados

Las pendientes estimadas del modelo lineal general miden la respuesta de la variable
dependiente a cambios unitarios en las variables explicativas. El tama
no de estas estimaciones depende de las unidades en que se midan las variables. De aqu, para apreciar
la importancia relativa de cada variable explicativa es conveniente usar datos tipicados.
n 7. Una variable tipicada, normalizada o estandarizada es una transDefinicio
formaci
on lineal de una variable observada que se obtiene restando de cada observaci
on
la media y diviendo la desviaci
on resultante por la desviaci
on tpica. Para las variables
del modelo lineal general, las variables tipicadas son

(Xji X)
(Yi Y )
y xji =
yi =
SY
S Xj
en donde
SY2 =

i=1 (Yi

Y )2

2
=
SX
j

i=1 (Xji

n
son las varianzas muestrales de Y y Xj , respectivamente.

j )2
X

Observaci
on 5. Las variables tipicadas tienen media cero y varianza unitaria. Por
ejemplo, la variable dependiente tipicada tiene media
n
n
n

(Yi Y )/SY
Yi nY
Y Y
i=1 yi
=0
= i=1
= i=1
=
n
n
SY n
SY
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

18

2.4. Regresion con datos tipicados

y varianza

i=1 (yi

0)2

i=1 [(Yi

S2
Y )/SY ]2
= Y2 = 1
n
SY

n 3. La regresi
Proposicio
on con datos tipicados es
yi = 2 x2i + + k xki + u
i ,

i = 1, . . . , n

en donde los nuevos coecientes de regresi

on y residuos son
SX
j = j j (j = 1, . . . , k)
SY

u
i = u
i /SY (i = 1, . . . , n)

n. Dividiendo el modelo estimado con datos centrados

Demostracio
yi = 2 x2i + + k xki + u
i ,

i = 1, . . . , n

por Sy y multiplicando y diviendo cada variable explicativa por SXj , obtenemos

u
i
SX x2i
SX xki
yi
+ + k k
= 2 2
+
,
Sy
S y S X2
S y S Xk
Sy

 
 


 
 

yi

x2j

xki

i = 1, . . . , n

u
i

n 4. Las pendientes estimadas en la regresi

Proposicio
on con datos tipicados miden la respuesta de la variable dependiente en terminos de su desviaci
on tpica ante un
cambio de una desviaci
on tpica en las variables explicativas.
n. Un cambio cambio unitario en la variable tipicada xj es equivaDemostracio
lente a un cambio de una desviaci
on tpica en la variable observada
j
j
Xj,i1 X
Xji Xj,i1
Xji
Xji X
xji = xji xj,i1 =

=
=
S Xj
S Xj
S Xj
S Xj
a igual a uno cuando Xji = SXj . A su vez, un cambio de una
en donde xji ser
desviaci
on tpica en Xj implica la siguiente respuesta en Y
Yi = Yi Yi1 = j SXj
o, en terminos de su desviaci
on tpica,
SX
Yi
= j j = j
Sy
SY

n 5. El coeciente de determinaci
Proposicio
on es invariante a transformaciones
lineales de las variables del modelo y, en particular, a la tipicaci
on de datos.
n. El coeciente de determinaci
Demostracio
on en el modelo con datos tipicados
es
R

n
n
n
2
2i /Sy2
i
2i
i=1 u
2
i=1 u
i=1 u

= 1 n
=
1

=
1

2
n
2 =R

n
y
y
i=1 i
i=1 i

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

19

2. Mnimos cuadrados ordinarios

2.5.

Las matrices P y M

Las matrices P y M de orden n n

P = X(X X)1 X

M = I X(X X)1 X

son dos matrices fundamentales en el an

alisis de regresi
on. Estas matrices est
an asociadas
por
a los vectores de valores ajustados y de residuos, respectivamente. Sustituyendo
tenemos
su expresi
on en y
= X
y
= X(X X)1 X y = Py
Analogamente,
= y X(X X)1 X y
u
= y X
y sacando y como factor com
un por la derecha


u
= I X(X X)1 X y = My

n 8. La transformaci
Definicio
on lineal de un vector y a un vector z, ambos de
orden n 1, se dene como z = Ay, en donde A es una matriz cuadrada n n de
coecientes.

n 9. Una transformaci
Definicio
on lineal z = Ay es una proyecci
on, si la matriz

A es simetrica (A = A ) e idempotente (A = AA).

Observaci
on 6. Si A es una matriz de proyecci
on (simetrica e idempotente), I A
es tambien una matriz de proyecci
on.
n 6. Las matrices P y M son matrices de proyecci
Proposicio
on.
n.
Demostracio
1. P es una matriz simetrica P = P
P = [X(X X)1 X ] = X(X X)1 X
porque
(A(BC)1 D) = D (C B )1 A
2. P es una matriz idempotente P = PP
PP = X(X X)1 X X(X X)1 X = P
3. M es una matriz simetrica
M = (I P) = I P = I P = M
4. M es una matriz idempotente
MM = (I P)(I P) = I P P + PP = I P = M

Corolario 4. El producto de la matriz M de dimensi

on nn por el vector columna
de residuos u
es igual a u
, esto es, M
u=u
.
n.
Demostracio
M
u = MMy = My = u

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

20

2.6. Regresion particionada

n 7. Las matrices P y M son ortogonales, PM = 0.

Proposicio
Corolario 5. El producto de M por X es una matriz nula de orden n k.
n.
Demostracio
MX = (I P)X = X PX = X X = 0

n 8. El rango de P es k y el de M n k.
Proposicio
n. El rango de una matriz idempotente es igual a su traza. De aqu,
Demostracio
tr(P) =tr[X(X X)1 X ] = tr[(X X)1 X X] = tr(Ik ) = k
tr(M) =tr(In P) = tr(In ) tr(P) = n k
en donde se han utilizado las siguientes propiedades de la traza: trAB = trBA y tr(A +
B) = trA + trB.

De todo lo anterior deducimos que el producto de la matriz P de dimensi

on n n
por un vector columna z de dimensi
on n 1 es el vector de valores ajustados z, en
la regresi
on de z sobre X. Para destacar este resultado nos referiremos a P como la
matriz generadora de valores ajustados. Del mismo modo, el producto de la matriz M
de dimension n n por un vector columna z de dimensi
on n 1 es el vector de residuos
u
, en la regresion de z sobre X; y nos referiremos a M como la matriz generadora de
residuos.
2.6.

Regresi
on particionada

El modelo lineal general estimado por mnimos cuadrados

+u
y = X

puede escribirse como

r + Xs
s + u

y = Xr

(2.9)

en donde Xr es una submatriz n r que contiene las r primeras columnas de la matriz

X y Xs es una submatriz n s que contiene las s = k r columnas restantes de X;
ametros
analogamente, r es un subvector columna r 1 que contiene los r primeros par

del vector y s es un subvector columna s 1 que contiene los s = k r restantes

parametros del vector .

Sea la matriz
Ms = In Xs (Xs Xs )1 Xs
Por analoga con la matriz M tenemos
1. Ms Xs = 0 es la matriz nula de orden n s,
s de orden n 1 en la regresi
on de y sobre Xs
2. Ms y es el vector de residuos u
y = Xs bs + u
s
con bs = (Xs Xs )1 Xs y,
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

21

2. Mnimos cuadrados ordinarios

3. Ms Xr es una matriz n k cuya columna j son los residuos en la regresi

on de
la variable Xj sobre Xs ,
4. Ms u
=u
.
Premultiplicando la ecuaci
on (2.9) por la matriz Ms tenemos
r + Ms Xs
s + Ms u

Ms y = Ms Xr
o bien
r + u

Ms y = Ms Xr
Aplicando la formula del estimador de mnimos cuadrados a este modelo de regresion,
tenemos
r = (Xr Ms Ms Xr )1 Xr Ms Ms y = (Xr Ms Xr )1 Xr Ms y

Teorema 1. Frisch-Waugh-Lovel. En el modelo de regresi

on particionado (2.9) los
estimadores de mnimos cuadrados de r y s son
r =(X Ms Xr )1 X Ms y

r
r
s =(Xs Mr Xs )1 Xs Mr y

Corolario 6. Modelo en desviaciones respecto a la media. Si Xr = i = (1 1 . . . 1) ,

entonces
s + u

y = i1 + Xs
y premultiplicando por Mi = In i(i i)1 i tenemos
s + u
Mi y = Mi Xs

en donde

Y1 Y

Y2 Y

Mi y = .

..

Yn Y

2 . . .
X21 X

2 . . .
X22 X
Mi Xs =
..

.
...

X2n X2 . . .

k
Xk1 X
k
Xk2 X

..

k
Xkn X

contienen los datos en desviaciones. Aplicando la f

ormula del estimador de mnimos
cuadrados ordinarios al modelo en desviaciones
s = (Xs Mi Xs )1 Xs Mi y

que es la forma simplicada de la ecuaci

on (2.8).
n 9. La matriz Mi transforma un vector de observaciones z = [Zi ] de
Proposicio
orden n 1 en un vector que contiene las observaciones en desviaciones con respecto a

la media Mi z = [Zi Z]
n. El producto Mi z se interpeta como los residuos en la regresi
on de
Demostracio
z sobre el vector i
z = 1 i + u

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

22

2.7. Medidas de la bondad de ajuste

por tanto,
Pero 1 = (i i)1 i z = Z,

Z
Z1

Z Z
= .2 .
u
= z Zi
. .
. .
Z
Zn

2.7.

Medidas de la bondad de ajuste

Es deseable que los valores ajustados Yi esten pr

oximos a los valores observados Yi ,
lo que es equivalente a decir que los residuos sean peque
nos (en valor absoluto). En el

caso extremo Yi = Yi , los residuos ser

an todos iguales a cero, y se dice que el ajuste
es perfecto. De aqu, una primera medida para valorar la bondad del ajuste es la suma
de cuadrados de los residuos. Sin embargo, este criterio de bondad de ajuste (la suma
de cuadros de los residuos) depende de las unidades de medida, por lo que es necesario
buscar una medida alternativa adimensional.
n 10. La suma de cuadrados total mide la variaci
Definicio
on o dispersi
on de las
observaciones de la variable dependiente con respecto a su media
n

(Yi Y )2
SCT =
i=1

n 10. Si el modelo incluye termino constante, la SCT puede expresarse

Proposicio
como la suma de dos componentes
n
n
n

(Yi Y )2 =
(Yi Y )2 +
u
2i
i=1

i=1

i=1

el primer componente, que se denomina suma de cuadrados explicada SCE, mide la porci
on de la variaci
on total de la variable dependiente explicada por la regresi
on, mientras
que el segundo, la suma de cuadrados de los residuos SCR, mide la variaci
on residual o
no explicada. Se tiene que
SCT = SCE + SCR
n. Observando que Yi Y = Yi Y + Yi Yi , tenemos
Demostracio
n
n 
n 

2

(Yi Y )2 =
2i + 2(Yi Y )
ui
(Yi Y ) + (Yi Yi ) =
(Yi Y )2 + u
i=1

i=1

i=1

porque

i=1

n
n

(Yi Y ) +
u
2i
=
i=1

i = 0 e Y n u
i=1 Yi u
i=1 i = 0.

n 11. Si el modelo incluye termino constante, el coeciente de determinaci

Definicio
on,
es una medida de bondad de ajuste que indica la proporci
on de la varianza de la
variable dependiente que es explicada por la regresi
on, y se calcula como

R2 ,

R2 =

SCR
SCE
=1
SCT
SCT

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

23

2. Mnimos cuadrados ordinarios

n 11. Si el modelo incluye termino constante, entonces

Proposicio
0 R2 1
n. Si u
Demostracio
i = 0 o Yi = Yi (i = 1, . . . , n), entonces SCR = 0 y R2 = 1;
i (i = 1, . . . , n), entonces SCR = SCT y R2 = 0. Como
si Yi = Y o Yi Y = u

SCE SCT , entonces R2 1; y dado que SCR SCT , entonces R2 0.

En notaci
on matricial, las deniciones de SCT, SCE, SCR y R2 son
SCT = y y nY 2 = y Mi y
y
Mi y
nY 2 = y

SCE = y
SCR = u
u
= y My

Mi y

y My
y
=1
R2 =
y Mi y
y Mi y

n 12. Los grados de libertad de un estadstico se denen como el rango de

Definicio
una forma cuadr
atica o como el n
umero de valores que varan libremente en el c
alculo
de un estadstico.
n 12. Los grados de libertad de la suma de cuadrados total son iguales
Proposicio
a n 1.
n. El rango de la forma cuadratica y Mi y es el rango de la matriz
Demostracio
Mi que es igual a n 1. En otras palabras, para calcular la SCT tenemos n valores, pero
antes hemos estimado la media, lo que nos deja n 1 valores variando libremente.
n 13. Los grados de libertad de la suma de cuadrados de los residuos
Proposicio
son iguales a n k.
n. El rango de la forma cuadr
Demostracio
atica y My es el rango de la matriz
M que es igual a n k. Dicho de otro modo, para calcular la SCR tenemos n residuos
obtenidos despues de estimar k coecientes de regresi
on, luego tenemos n k residuos
que varan libremente.

n 14. Los grados de libertad de la suma de cuadrados explicada son

Proposicio
iguales a k 1.
n. Como la SCE = SCT SCR, tenemos que
Demostracio
= y Mi y y My = y [Mi M] y
Mi y
y
es el rango de la matriz Mi M que
Mi y
Por tanto, el rango de la forma cuadr
atica y
es igual a k 1. De otra forma, los n valores Yi pueden variar libremente, mientras que
i se deduce que k
n k de n residuos que pueden variar libremente. Como Yi = Yi + u
valores ajustados pueden variar libremente. Para calcular, la SCE tenemos que calcular
la media de los valores ajustados, tenemos entonces k 1 valores ajustados que varan
libremente.

Un inconveniente del R2 es que nunca disminuye al aumentar el n

umero de variables
independientes en la regresi
on, aunque no tengan capacidad explicativa . Por tanto,
este criterio de bondad de ajuste favorece a los modelos complejos que incluyen muchas
variables (algunas irrelevantes) frente a los modelos simples que contienen un n
umero
reducido de variables.
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

24

2.8. Casos especiales del modelo lineal general

2 , es el coeciente de
n 13. El coeciente de determinaci
Definicio
on ajustado, R
determinaci
on corregido por los grados de libertad

2 = 1 y My/(n k) = 1 n 1 (1 R2 )
R
y Mi y/(n 1)
nk

Esta medida de bondad de ajuste penaliza la inclusi

on de variables independientes
que no tengan capacidad explicativa. As, si las variables a
nadidas dejan inalterado el
2
2

a porque el factor de penalizaci

on (n 1)/(n k) aumenta
R , entonces el R disminuir
con k.
2.8.

Casos especiales del modelo lineal general

Dentro de la clase general de modelos de regresi

on lineal, hay cuatro miembros que
merecen especial atenci
on:
1.
2.
3.
4.

regresi
on
regresi
on
regresi
on
regresi
on

2.8.1.

sobre una constante,

simple,
simple a traves del origen y
sobre dos variables.

Regresi
on sobre una constante.

n 14. El modelo de regresi

Definicio
on sobre una constante es
Yi = 1 + ui

i = 1, . . . , n

n 15. El estimador minimocuadr

Proposicio
atico de la constante en (14) es la media muestral de la variable dependiente
1 = Y
n. Partiendo del modelo estimado Yi = 1 +ui (i = 1, . . . , n) y sumanDemostracio
do todas las observaciones obtenemos la ecuaci
on normal
n

Yi = n1
i=1

que podemos tambien obtener particularizando el sistema (2.2) para k = 2. Alternativamente, podemos usar la expresi
on general del estimador
= (X X)1 X y = (n)1

Yi

i=1

es el escalar 1 .
en donde X es ahora una vector columna de unos y

n 16. El coeciente de determinaci

on sobre una conProposicio
on R2 en la regresi
stante es igual a cero.
n. Es claro que los residuos en la estimaci
Demostracio
on minimocuadr
atica de
(14) son los datos centrados de la variable dependiente, esto es,
Yi = 1 + u
i = u
i = Yi Y
Por tanto, la suma de cuadrados de los residuos es igual a la suma de cuadrados total,
siendo la suma de cuadrados explicada igual a cero. Logicamente, un modelo que no
incluye variables explicativas no tiene capacidad explicativa.

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

25

2. Mnimos cuadrados ordinarios

2.8.2.

Regresi
on simple.

n 15. El modelo de regresi

Definicio
on lineal simple es
Yi = 1 + 2 Xi + ui

i = 1, . . . , n

en donde Xi es la variable explicativa.

olo incluye una variable
Observaci
on 7. Usamos Xi en lugar de X2i porque el modelo s
explicativa.
n 16. La covarianza muestral entre dos variables Y y X es una medida
Definicio
de su asociaci
on lineal y se dene como
n
i Y )
(Xi X)(Y
SXY = i=1
n
o, equivalentemente, como
n
Y
Xi Yi nX
SXY = i=1
n
Observaci
on 8. La covarianza muestral de una variable consigo misma es la varianza
muestral. As,
n
n
2
2
X 2 nX
2
i=1 (Xi X)
SXX =
= i=1 i
= SX
n
n
n 17. En el modelo de regresi
Proposicio
on simple, los estimadores de mnimos
cuadrados de 1 y 2 son

1 = Y 2 X

2 =

(X X)(Yi
i=1
n i
2
i=1 (Xi X)

Y )

son las medias muestrales de las observaciones de Y y X.

en donde Y y X
n. Para k = 2, las ecuaciones normales (2.2) son
Demostracio
n

n1 + 2
1

Xi + 2

i=1

i=1
n

Xi =

Xi2 =

i=1

i=1
n

Yi
Xi Yi

i=1

Despejando 1 en la primera ecuaci

on normal
n
n
Xi
i=1 Yi

2 i=1
= Y 2 X
1 =
n
n

Multiplicando la primera ecuaci
on normal por ni=1 Xi y la segunda por n se obtiene
 n
2  n
 n

n

Xi + 2
Xi
=
Yi
Xi
n1
i=1

n1

i=1

Xi + n2

i=1

Xi2 =n

i=1

i=1
n

i=1

Xi Yi

i=1

y restando la primera ecuaci

on de la segunda tenemos

 n
 n
2
 n
 n

n

1
1
2
Xi
Xi = n
Xi Yi
Yi
Xi
n2
n
n
i=1

i=1

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

i=1

i=1

i=1

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

26

2.8. Casos especiales del modelo lineal general

que puede escribirse como


 n
  n

2 =
Y
X 2 nX
Xi Yi nX
2
i

i=1

de donde

i=1

n
n
Y
i Y )
Xi Yi nX
(Xi X)(Y
i=1
i=1


2 = n
=
n
2
2
2
i=1 Xi nX
i=1 (Xi X)

Observaci
on 9. La demostraci
on puede simplicarse usando el modelo en desviaciones
yi = 2 xi + u
i , i = 1, . . . , n
De la ecuaci
on normal
en donde yi = Yi Y y xi = Xi X.
n

xi yi = 2

i=1

obtenemos

x2i

i=1

n
xi y i
SXY
2 = i=1
n
2 = S
x
XX
i=1 i

n 17. El coeciente de correlaci

Definicio
on muestral entre dos variables Y y X
es una medida adimensional de su relaci
on lineal y se dene como el cociente de su
covarianza entre las respectivas desvaciones tpicas
n
i Y )
X)(Y
SY X
i=1 (Xi 

= 
rY X =
n
SY Y SXX
2 n (Xi X)
2
i=1 (Yi Y )
i=1
n 18. El coeciente de determinaci
Proposicio
on R2 en la regresi
on de Y sobre X
es igual al cuadrado del coeciente de correlaci
on muestral entre Y y X
2
R2 = rXY

n. El R2 en regresi
Demostracio
on simple se dene como
n
n

2
(Yi Y )2
SCE
2
2
i=1
i=1 (Xi X) = 2 SXX
= n
=

R =
n
2
2
2
2
SCT
SY Y
i=1 (Yi Y )
i=1 (Yi Y )

Reemplazando 22 por su expresi

on
R2 =

2
2
SXY
SXY
SXX
2
=
= rXY
2
SY Y SXX
SXX SY Y

El an
alisis regresion simple se utiliza a menudo para ilustrar el ajuste de minimos
cuadrados. En la gura 1 se representa una muestra de pares observaciones (Yi , Xi ), que
se denomina nube de puntos, y la recta de regresion minimocuadratica. Podemos trazar
o ajustar distintas rectas a traves de la nube de puntos, pero s
olo una de ellas minimiza
los cuadrados de las distancias verticales entre cada punto y la recta. Los puntos por
encima de la recta tienen asociados residuos positivos, indicando que la recta infraestima
la observaci
on; mientras que los puntos por debajo de la recta tienen asociados residuos
negativos, indicando que la recta sobreestima la observaci
on. Los puntos sobre la recta
2
tienen asociados residuos iguales a cero. Cuando R = 0, la recta es horizontal y los
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

27

2. Mnimos cuadrados ordinarios

residuos son los datos centrados de Y . Cuando R2 = 1, la nube de puntos se encuentra

sobre la recta de regresi
on, siendo todos los residuos iguales a cero. La pendiente positiva
de la recta de regresi
on indica una relaci
on lineal positiva entre las variables, pero no
puede interpretarse como una relaci
on de causalidad.
Observaci
on 10. En general, la pendiente en la regresi
on de Y sobre X es distinta
de la pendiente en la regresi
on de X sobre Y . Usando la gura 1, en la regresi
on de X
sobre Y minimizamos las distancias horizontales de cada punto a la recta de regresi
on.
2
1.5
1

0.5
0
-0.5
-1
-1.5
-2
-2

-1.5

-1

-0.5

0.5

1.5

La recta de regresion minimocuadratica se ajusta a la nube

de observaciones (Xi , Yi ) minimizando los cuadrados de las distancias verticales entre cada punto y la recta. Para cada observacion Xi , la recta proporciona el
valor ajustado Yi . Las lneas verticales son los residuos. La recta de regresion pasa por el punto

(Y , X).

Figura 1: Diagrama de dispersi

on y recta de regresi
on

2.8.3.

Regresi
on simple a trav
es del origen.

n 18. El modelo de regresi

Definicio
on simple a traves del origen es
Yi = Xi + ui

i = 1, . . . , n

en donde Xi es la variable explicativa.

Observaci
on 11. El nombre del modelo enfatiza que la recta de regresi
on pasa por el
punto (0,0).
n 19. En la regresi
Proposicio
on a traves del origen el estimador minimocuadr
atico
de 2 es
n
Xi Yi

2 = i=1
n
2
i=1 Xi
n. El modelo estimado es
Demostracio
i+u
i
Yi = X

i = 1, . . . , n

Multiplicando por Xi y sumando todas las observaciones

n

i=1

Como

i
i=1 Xi u

Xi Yi =

Xi2

i=1

Xi u
i

i = 1, . . . , n

i=1

= 0, obtenemos que
n
Xi Yi

2 = i=1
n
2
i=1 Xi

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

28

2.8. Casos especiales del modelo lineal general

Alternativamente, aplicando la f
ormula general del estimador
n
n

1
2 1

= (X X) X y = (
Xi )
Xi Yi
i=1

en donde X = (X1 , . . . , Xn

= ().
y

i=1

es ahora una vector columna que contiene los datos de X

2.8.4.

Regresi
on lineal sobre dos variables explicativas.

n 19. El modelo de regresi

Definicio
on lineal sobre dos variables explicativas es
Yi = 1 + 2 X2i + 2 X3i + ui

i = 1, . . . , n

n 20. Los estimadores minimocuadr

Proposicio
aticos de las pendientes son
n



n
n
x23i i=1 x2i yi i=1 x2i x3i ni=1 x3i yi
i=1



2 =
n
n
n
2
2
2
i=1 x2i
i=1 x3i ( i=1 x2i x3i )



n
n
x2
x3i yi ni=1 x2i x3i ni=1 x2i yi
i=1
n
3 = i=12i
n
n
2
2
2
i=1 x2i
i=1 x3i ( i=1 x2i x3i )

n. Aplicando la f
Demostracio
ormula general del estimador para datos centrados
  
1 

n
n
n
2
2
i=1 x2i
i=1 x2i x3i
i=1 x2i yi
= n
n
n
2
3
i=1 x2i x3i
i=1 x3i
i=1 x3i yi
 
1 


n
n
x2i yi
x23i
ni=1 x2i x3i
1
i=1
i=1
n
n
= n

n
n
2
2
2
2
ni=1 x2i x3i
i=1 x2i
i=1 x3i ( i=1 x2i x3i )
i=1 x2i
i=1 x3i yi

Corolario 7. Las pendientes estimadas en la regresi

on sobre dos varaibles pueden
expresarse en terminos de las pendientes estimadas en regresiones simples
12 32 13
2 =
1 23 32

en donde
estimada
X2 sobre

13 23 12
3 =
1 23 32

12 es la pendiente estimada en la regresi

on de Y sobre X2 , 13 es la pendiente
en la regresi
on de Y sobre X2 , 23 es la pendiente estimada en la regresi
on de
X3 , y 32 es la pendiente estimada en la regresi
on de X3 sobre X2 .

Observaci
on 12. En general, las pendientes estimadas en la regresi
on sobre dos varion simple 12 y 13 .
ables 2 y 3 son distintas de las pendientes estimadas en la regresi

Se cumplir
a que 2 = 12 y 3 = 13 cuando 23 = 32 , es decir, cuando las variables
explicativas son ortogonales.
La gura 2 representa el diagrama de dispersi
on tridimensional. Ahora, ajustamos
un plano a la nube de puntos de manera que el cuadrado de la distancia vertical de
cada punto al plano sea mninima. En el caso kdimensional se dice que ajustamos
un hiperplano de regresi
on a la nube de puntos de manera que el cuadrado de la
distancia vertical de cada punto (Yi , X2i , . . . , Xki ) al hiperplano sea mnima.
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

29

2. Mnimos cuadrados ordinarios

Y
Y

10
9
8
7
6
5
4
3
2
-2

-1

X2

-3

-2

-1

El plano de regresion minimocuadratico se ajusta a la nube

de observaciones (Yi , X2i , X3i )
minimizando los cuadrados de las
distancias verticales entre cada
punto y el plano. Para cada par
(X2i , X3i ), el plano proporciona
el valor ajustado Yi . El plano
de regresion pasa por el punto
3 ).
2, X
(Y , X

X3

Figura 2: Diagrama de dispersi

on tridimensional y plano de regresi
on

2.9.

Correlaci
on simple, parcial y m
ultiple

El coeciente de correlaci
on simple es una medida de la asociaci
on lineal entre dos
variables, y toma valores entre -1 y 1. Esta medida tiene el inconveniente de estar
contaminada por la inuencia de otras variables. Por ejemplo, si dos variables y y x2 no
estan relacionadas, pero ambas est
an inuidas por una tercera variable x3 , el coeciente
de correlaci
on simple no ser
a igual a cero.
El coeciente de correlaci
on parcial entre y y x2 dado x3 es la correlaci
on simple
entre y y x2 despues de eliminar la inuencia de x3 . Una de las aplicaciones del modelo
de regesi
on es precisamente la de eliminar de una variable las inuencias de terceras
variables. As, en las ecuaciones de regresi
on con datos centrados
3i + u
1,3i
yi =x
x2i =
x3i + u
2,3i
los residuos u
1,3i y u
2,3i se pueden interpretar como los componentes de yi y x2i , respecon simple entre estos residuos u
1,3 y u
2,3
tivamente, que no dependen de x3i . La correlaci
es la correlaci
on parcial entre y y x2 dado x3 .
Finalmente, el coeciente de correlaci
on m
ultiple, R, es la raz cuadrada del coeciente de determinaci
on.
Una vez denidos los coecientes de correlaci
on simple, parcial y m
ultiple, vamos
a establecer una relaci
on entre ellos. Consideramos, en primer lugar, la regresi
on lineal
simple con datos centrados
2i + u
yi = x
1,2i
donde u
1,2 denota los residuos en la regresi
on de y sobre x2 . El R2 de esta regresi
on
2
2
lineal simple es r12 . Y como la suma de cuadrados de los residuos SCR = (1 R )SCT ,
tenemos que
n
n

2
u
21,2i = (1 r12
)
yi2
i=1

i=1

Consideramos ahora la regresi

on lineal simple de u
1,2i sobre u
3,2i
u
1,2i = u
3,2i + u
1,23i

esto es, la regresi

on del componente de y que no depende de x2 , u
1,2i , sobre el componente
de x3 que no depende de x2 . Observamos que:

1. La SCT en esta regresion es ni=1 u
21,2i ,
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

30

2.10. Ejemplo

2. El R2 de la regresi
on simple es el cuadrado de la correlaci
on simple entre u
1,2
yu
3,2 ,
3. La correlaci
on simple entre u
1,2 y u
3,2 es la correlaci
on parcial entre y y x3
2
dado x2 , r13,2 .
Por tanto, la relaci
on SCR = (1 R2 )SCT para esta regresion simple puede escribirse
como
n
n

2
2
2
2
u
1,23i = (1 r13,2 )
u
21,2i = (1 r13,2
)(1 r12
)
yi2
i=1

i=1

i=1

Analogamente, planteamos ahora la regresi

on simple de u
1,23i sobre u
4,23i ,
u
1,23i = u
4,23i + u
1,234i

esto es, la regresi

on del componente de y que no depende de x2 ni x3 , u
1,23i , sobre el
componente de x4 que no depende de x2 ni x3 .
Observamos que:

21,23i ,
1. La SCT en esta regresion es ni=1 u
on simple es el cuadrado de la correlaci
on simple entre u
1,23i
2. El R2 de la regresi
yu
4,23i ,
3. La correlaci
on simple entre u
1,23i y u
4,23i es la correlaci
on parcial entre y y x4
2
dados x2 y x3 , r14,23
Por tanto, la relaci
on SCR = (1 R2 )SCT para esta ecuaci
on de regresi
on puede
escribirse como
n
n

2
2
2
2
u
21,234i = (1 r14,23
)
u
21,23i = (1 r14,23
)(1 r13,2
)(1 r12
)
yi2
i=1

i=1

i=1

Procedimiendo de este modo, llegamos a

i=1

u
21,2...ki

2
(1r1k,2...(k1)
)

2
2
2
2
u
21,2...(k1)i = (1r1k,2...(k1)
) . . . (1r12,23
)(1r13,2
)(1r12
)

i=1

i=1

y dividiendo ambos lados de la ecuaci

on por la SCT, tenemos
n
21,2...ki
i=1 u
2
2
2
2
2

= 1 R1,2...k
= (1 r12
)(1 r13,2
)(1 r14,23
) . . . (1 r1k,2...(k1)
)
2
y
i=1 i
2.10.

Ejemplo

El cuadro 1.a contiene las notas de 10 alumnos que se examinaron de Econometra

en el curso 2006-2007. Al comienzo del curso 2007-2008 el profesor pregunt
o a los nuevos
estudiantes que causas podran explicar las diferencias en esas notas. Los alumnos apuntaron r
apidamente tres: las horas semanales que dedican al estudio, la asistencia regular
a las clases, y la asistencia a clases particulares en una academia. Adem
as, pensaban
que el n
umero de horas de estudio inuye positivamente en la nota, como tambien lo
hacen las otras dos variables. La asistencia regular a clase se representa por un variable
dicotomica que toma el valor 1 si el alumno asiste regularmente a clase y el valor 0 en
caso contrario. An
alogamente, se mide la asistencia a clases particulares.
Para medir la posible inuencia de estas tres variables explicativas sobre la variable
dependiente formulamos el modelo de regresion lineal multivariante
Ni = 1 + 2 Hi + 3 Ci + 4 Ai + ui ,
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

i = 1, . . . , 10

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

yi2

31

2. Mnimos cuadrados ordinarios

Alumno
1
2
3
4
5
6
7
8
9
10

Nota
5
9
7.5
4.5
4
8
0
4
8.5
10

Horas
1
5
3
1
1
4
0
2
5
5

Clase
1
1
1
1
1
0
0
1
0
1

Academia
0
0
0
0
1
1
1
0
1
0

(a) Datos observados

Nota
5
9
7.5
4.5
4
8
0
4
8.5
10

Horas
1
5
3
1
1
4
0
2
5
5

Clase
1
1
1
1
1
0
0
1
0
1

Academia
0
0
0
0
1
1
1
0
1
0

(b) Datos centrados

u
i
1.10811
-0.945946
0.581081
0.608108
-2.4869e-014
0.986486
-0.959459
-1.40541
-0.027027
0.0540541

(c) Residuos

Cuadro 1: Calicaciones y otras caractersticas individuales

en donde denotamos por sus iniciales las variables del cuadro 1.a. Siguiendo la regla
practica para especicar las ecuaciones normales obtenemos
10

10
10
10
1
10
i=1 Ni
i=1 Hi
i=1 Ci
i=1 Ai
10
10
10
10 H N
10 H
2

i=1 i
i i
i=1 Hi Ai 2
i=1 Hi
i=1 Hi Ci
10
10 2 10

= i=1
10
10

i=1 Ci
Ci Ai
C
3
i=1 Ci Ni
i=1 Ci Hi

10
10
10i=1 i
i=1
10
10
2
4
i=1 Ai Ni
i=1 Ai
i=1 Ai Hi
i=1 Ai Ci
i=1 Ai

y calculando todos estos momentos muestrales con los datos del cuadro 1.1, podemos
encontrar las estimaciones minimocuadr
aticas de los par
ametros

1
10 27 7 4
1
60,5
0,851351
27 107 18 10 213,5
1,51351
2

=
7 18 7 1 3 44
3 1,52703
4 10 1 4
20,5
0,108108
4
4
Estas estimaciones nos dicen lo siguiente:

1 = 0,85: es la nota de un alumno que no estudie, que no asista a clase y que no

reciba clases particulares,
2 = 1,51: es el incremento en la nota por cada hora de estudio,
3 = 1,52: es el incremento en la nota por asistir regularmente a clase,
4 = 0,11: es el incremento en la nota por ir a una academia.
El modelo estimado puede usarse para predecir la nota que obtendr
a un alumno que
estudia 3 horas a la semana, asiste regularmente a clase y no recibe clases particulares
i = 0,851351 + 1,51351 3 + 1,52703 1 + 0,108108 0 = 6,92
N
o para estimar cu
antas horas debe estudiar este alumno si quiere obtener una nota igual
a9
i = (9 0,851351 1,52703 1 0,108108 0)/1,51351 = 4,38
H
El modelo puede estimarse usando los datos centrados del cuadro 1.b. Ahora el
sistema de ecuaciones normales es
10
10

10
10
2
2
h
h
c
h
a
h
n

i
i
i
i
i
i
i
i=1
i=1
i=1
i=1
10
10

10
10
2
i=1 ci hi
i=1 ci
i=1 ci ai 3 =
i=1 ci ni
10
10
10 2
10
4
i=1 ai hi
i=1 ai ci
i=1 ai
i=1 ai ni

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

32

2.10. Ejemplo

en donde las letras min

usculas son las iniciales de las variables en desviaciones. Calculando estos momentos centrados obtenemos

2
50,15
2
34,1 0,9 0,8
1,51351

0,9 2,1 1,8 3 = 1,65 3 = 1,52703

0,108108
3,7
0,8 1,8 2,4
4
4

La estimaci
on del termino constante se obtiene de la ecuaci
on que relaciona las medias
muestrales
2 H
2 C 2 A
1 = N
que conduce a
1 = 6,05 1,51351 2,7 1,52703 0,7 0,108108 0,4 = 0,851359

Vemos que usando los datos centrados obtenemos los mismos resultados, pero invertimos
una matriz de menor orden. A partir de estas estimaciones podemos calcular los residuos
que se presentan en el cuadro 1.c
u
i = Ni 0,851351 1,51351Hi 1,52703Ci 0,108108Ai
La bondad del ajuste medida por el coeciente de determinaci
on
10 2
i
6,7027
i=1 u
R2 = 1 10
= 0,920889
=1
2
84,725
i=1 ni

indica que la regresi

on explica el 92,1 % de la varianza de la variable Nota.
El an
alisis de regresi
on anterior puede realizarse por etapas incluyendo secuencialmente las variables explicativas. Usando los datos centrados del cuadro 1.b, estimamos
primero la regresi
on simple
x2i + u
1,2i
yi =

en donde yi = ni y x2i = hi . De aqu obtenemos

n
n
21,2i
x2i yi
50,15
10,97067
i=1 u
2
i=1

=
1,47067
y
r
= 0,87051
=
=
1

= 1

= n
n
12
2
2
34,1
84,725
i=1 x2i
i=1 yi
on simple
y los residuos u
1,2i mostrados en el cuadro 2. Despues, estimamos la regresi
x2i + u
3,2i
x3i =
en donde x3i = ci , y obtenemos
n
0,9
i=1 x2i x3i
= 0,026393
=

= 
n
2
34,1
x
i=1 2i

on simple
y los residuos u
3,2i mostrados en el cuadro 2. Ahora, podemos estimar la regresi
u
3,2i + u
1,23i
u
1,2i =
obteniendo
n
2,97361
3,2i u
1,2i
i=1 u
= 1,4322
=

= 
n
2
2,07625
3,2i
i=1 u

Finalmente, estimamos la regresi

on m
ultiple

2
r13,2

= 1

21,23i
i=1 u
n
21,2i
i=1 u

= 1

6,71186
= 0,388199
10,970674

2 x2i +
3 x3i + u
4,23i
x4i =

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

33

2. Mnimos cuadrados ordinarios

Alumno
u
1,2
u
3,2
u
1,23
u
4,23
u
1,234
1
1.45015 0.255132
1.08475 -0.216102
1.10811
2
-0.432551 0.360704 -0.949153 -0.029661
-0.945946
3
1.0088 0.307918
0.567797 -0.122881
0.581081
4
0.950147 0.255132
0.584746 -0.216102
0.608108
5
0.450147 0.255132 0.0847458 0.783898 8.88178e-016
6
0.0381232 -0.665689
0.991525 0.0466102
0.986486
7
-2.07918 -0.771261 -0.974576 -0.139831
-0.959459
8
-1.02053 0.281525
-1.42373 -0.169492
-1.40541
9
-0.932551 -0.639296 -0.0169492 0.0932203
-0.027027
10
0.567449 0.360704 0.0508475 -0.029661
0.0540541
Cuadro 2: Residuos de diferentes regresiones

en donde x4i = ai , y obtenemos


 


1 

  
0,0466102
0,8
2,1 0,9
34,1 0,9
0,8

2
1
=
=
=
70,8 0,9 34,1
0,877119
1,8

3
0,9 2,1
1,8
y los residuos u
4,23i mostrados en el cuadro 2. Ahora, podemos estimar la regresi
on
simple
u
4,23i + u
1,234i
u
1,23i =
obteniendo que
n
3,2i u
1,2i
0,0847458
i=1 u
= 0,108108
=

= 
n
2
0,783898
u

i=1 3,2i

2
r14,23

i=1
= 1 n

u
21,234i

21,23i
i=1 u

= 1

6,7027
= 0,001365
6,71186

on
= 0,108108
y los residuos u
1,234i mostrados en el cuadro 2. Vemos que la estimaci
y los residuos u
1,234i de esta regresi
on simple coinciden con la estimaci
on de 4 y los
on m
ultiple.
residuos u
i obtenidos en la regresi
Podemos comprobar que
2
2
2
2
=(1 r12
)(1 r13,2
)(1 r14,23
)
1 R1,234

1 0,92088873 =(1 0,870514)(1 0,388199)(1 0,001365)

0,0791113 =0,129486 0,611801 0,998635
Resumen
1. El metodo de mnimos cuadrados tiene la propiedad numerica fundamental de
generar residuos ortogonales a los regresores: X u
= 0.

pueden obtenerse premultiplicando el

2. Las ecuaciones normales X y = X X
+u
modelo estimado y = X
por la matriz X .
= (X X)1 X y.
3. El estimador de mnimos cuadrados ordinarios (MCO) es
4. Utilizando datos centrados reducimos en una unidad la dimensi
on de la matriz

1
(X X) .
5. La regresi
on con datos tipicados permite apreciar la importancia relativa de
cada variable explicativa.
on de la varianza del regre6. El coeciente de determinaci
on R2 mide la proporci
sando explicada por los regresores.
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

34

2.10. Ejercicios

7. En la regresi
on simple de Y sobre X, el R2 es el cuadrado del coeciente de
correlaci
on muestral entre Y y X.
8. Los coecientes de regresi
on estimados por MCO son coecientes de regresion
parcial, miden la relaci
on entre el regresando y el regresor despues de extraer
la inuencia de los otros regresores.
Palabras clave
Suma de cuadrados total
Suma de cuadrados explicada
Suma de cuadrados residual
Coeciente de determinaci
on
Coecientes de regresi
on parcial

Observaciones
Valores ajustados
Residuos
Ecuaciones normales
Estimaciones minimocuadraticas
Ejercicios

1. Considere tres variables Y , X y Z. Escriba la ecuaci

on de regresi
on m
ultiple
de Z sobre un termino constante, Y y X.
on de regresi
on
2. Sea Yt (t = 1, . . . , 10) una serie temporal descrita por ecuaci
m
ultiple
Yt = 0 + 1 Yt1 + 2 Yt2 + ut ,

t = 3, . . . , 10

Escriba el modelo de regresi

on en forma matricial, indicando los elementos del
vector y y de la matriz X.
3. El cuadro 3 contiene las series temporales de Consumo Nacional (Ct ) y Renta
na para el periodo 1995-2005 a precios corriNacional Disponible (Yt ) en Espa
entes. Usando estos datos, obtenga las ecuaciones normales y las estimaciones
de mnimos cuadrados para el modelo de regresi
on simple Ct = 1 + 2 Yt + ut .
A
no
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005

CN
349.268
368.474
388.373
414.158
444.982
484.359
518.484
550.49
586.594
635.993
686.699

RD
388.029
408.24
433.777
465.222
498.647
538.594
574.786
614.7
656.77
699.271
748.357

Cuadro 3: Consuno y Renta a precios corrientes (109 euros)

4. Para la regresi
on lineal simple estimada en el ejercicio anterior, calcule las
sumas de cuadrados total, explicada y residual, as como el coeciente de determinaci
on. Compruebe que el R2 es el cuadrado del coeciente de correlaci
on
simple entre Ct e Yt .
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

35

2. Mnimos cuadrados ordinarios

5. Sea u
el vector de residuos en la regresi
on de y sobre X. Demuestre que el
estimador de mnimos cuadrados en la regresi
on de u
sobre X es un vector
nulo.
6. Sea M la matriz de proyecci
on generadora de residuos de orden n n y sea
Y = (y1 , y2 , . . . , ym ) una matriz n m. C
omo se intepreta el producto MY?
7. Considere los modelos de regresi
on
y =Xr r + e
y =Xr r + Xs + u
Escriba la expresi
on del estimador de mnimos cuadrados de r en cada modelo.
En que caso especial ambos estimadores ser
an iguales?
e
.
8. Demuestre que, para los modelos del ejercicio anterior, u
u
e
9. Utilizando los datos del cuadro 3 estime por mnimos cuadrados las ecuaciones
de regresi
on
Ct =1 + 1 Yt + u1t
Ct =2 + 2 Ct1 + u2t
Ct1 =3 + 3 Yt + u3t
Yt =4 + 4 Ct1 + u4t
Use estas estimaciones para calcular las estimaciones de 2 y 3 en
Ct = 1 + 2 Yt + 3 Ct1 + ut
10. Dos investigadores han utilizado muestras diferentes sobre las mismas variables
para estimar por mnimos cuadrados la ecuaci
on de regresi
on simple
yi = 1 + 2 Xi + ui
Deciden unir esfuerzos y se plantean dos estrategias:
a) calcular la media aritmetica de sus estimaciones,
b) reestimar los par
ametros utilizando todos los datos.
Que procedimiento producira una menor suma de cuadrados de los residuos?
11. Demuestre que el coeciente de determinaci
on es invariante a transformaciones
lineales de las variables.

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons