Dra. Lucia A.

Ruiz Galindo Econometra I

2. Modelo de regresion lineal simple

2.1. Especificacion del MRS

yt = 1 + 2 xt + t , (1)

donde

t indexa las observaciones de una muestra (t = 1, . . . , T ),

yt es la variable dependiente en el periodo t (observable),

xt es la variable independiente en el periodo t (observable),

k , k = 1, 2 son los parametros (no observables) y

t es el termino de error o estocastico en el periodo t (no observable).

Observaciones:

a) En (1) se distinguen dos componentes:

i) determinista
ii) estocastica

b) Los valores de yt , xt y t cambian a medida que t lo hace.

c) Los valores de 1 y 2 son los mismos para todas las observaciones de la muestra.

El modelo se puede escribir en forma matricial como sigue

y1 = 1 + 2 x1 + 1
y2 = 1 + 2 x2 + 2
.. (2)
.
yT = 1 + 2 xT + T

1
Econometra I Dra. Lucia A. Ruiz Galindo

y1 1 x1 1
y2 1 x2   2
1
.. = .. .. + .

. . . 2 ..
yT 1 xT T
0
x1 1
x0   2
2
= . 1 + .

.. 2 ..
xT0 T

yt = x0 t + t (3)
0
= xt + t (4)

o bien,

y = X + . (5)

2.2. Supuestos del modelo

2.2.1. Supuestos en la forma funcional

A1. Linealidad en los parametros (no en las variables!).

A2. Especificacion correcta: x es la unica variable que explica o determina el comportamiento de

la variable dependiente y.

A3. Independencia lineal de las variables independientes.

A4. Permanencia estructural.

A5. Tamano de la muestra: T debe ser mucho mayor que el numero de parametros en la ecuacion,
en este caso, K = 2.

2.2.2. Supuestos Gauss-Markov

S1. E(t |xt ) = 0, t = 1, 2, . . . , T .

S2. {1 , . . . , T } y {x1 , . . . , xT } son independientes.

S3. V (t |xt ) = 2 , t = 1, 2, . . . , T

2
Dra. Lucia A. Ruiz Galindo Econometra I

S4. Cov(t , s |xt , xs ) = 0, t 6= s, t, s = 1, 2, . . . , T .

Los supuestos S1, S3 y S4 establecen que las perturbaciones t son elegidas de manera no
correlacionada de una distribucion con media y varianza constantes. El supuesto S2 es muy fuerte,
implica que

E(t |xt ) = E(t ) = 0, t = 1, 2, . . . , T y

V (t |xt ) = V (t ) = 2 , t = 1, 2, . . . , T .

y por ello, se puede establecer como

xt no es estocastica (es determinista, exogena), t = 1, 2, . . . , T.

2.3. Propiedades de yt
Bajo S1 y S2, el modelo se puede interpretar como

E(yt |xt ) = E[(1 + 2 xt + t )|xt ]]

= 1 + 2 E(xt |xt ) + E(t |xt )
= 1 + 2 xt + E(t )
= 1 + 2 xt .

Ademas, usando S3

V (yt |xt ) = E[(yt E(yt |xt ))2 |xt ]

= E[(yt 1 2 xt )2 |xt ]
= E(2t |xt )
= V (t |xt )
= 2

Cov[(yt , ys )|xt , xs ] = E{[(yt E(yt |xt ))(ys E(ys |xs ))]|xt , xs }

= E{[(yt 1 2 xt )(ys 1 2 xs )]|xt , xs }
= E(t s |xt , xs )
= Cov[(t , s )|xt , xs ]
= 0

En resumen,

E(yt |xt ) = 1 + 2 xt , (6)

2
V (yt |xt ) = y (7)
Cov[(yt , ys )|xt , xs ] = 0, (8)

3
Econometra I Dra. Lucia A. Ruiz Galindo

de manera que la variable dependiente yt al igual que el termino estocastico t , es homoscedastica

y no autocorrelacionada, pero no esta centrada en cero.

2.4. Estimacion por mnimos cuadrados ordinarios (MCO)

Dadas las observaciones muestrales (xt , yt ), se deben encontrar valores de los parametros descono-
cidos 1 y 2 , tales que minimicen la siguiente suma de cuadrados

T
X T
X
S(1 , 2 ) = min 2t = min (yt 1 2 xt )2
t=1 t=1

Condiciones de primer orden (CPO)

Calculando las derivadas parciales respecto a cada parametro , conduce a las CPO

T
S(1 , 2 ) X
= 2 (yt 1 2 xt ) = 0,
1
t=1

T
S(1 , 2 ) X
= 2 xt (yt 1 2 xt ) = 0,
2
t=1

de donde se obtienen las denominadas ecuaciones normales:

T
X
(yt 1 2 xt ) = 0, (9)
t=1

T
X
xt (yt 1 2 xt ) = 0. (10)
t=1

De (9) se obtiene, al dividir por T ,

y 1 2 x = 0, (11)

y por tanto
1 = y 2 x. (12)

4
Dra. Lucia A. Ruiz Galindo Econometra I

La sustitucion de esta expresion en (10) conduce a

T
X T
X T
X
xt yt = (y 2 x) xt + 2 x2t
t=1 t=1 t=1
T
X
= T x(y 2 x) + 2 x2t
t=1
T
X
x2t T x2 ,


= T xy + 2
t=1

de donde PT
xt yt T xy
2 = Pt=1
T
(13)
2 T x2
t=1 xt

o equivalentemente, PT
t=1 (xt x)(yt y)
2 = PT . (14)
2
t=1 (xt x)

Observe que 2 es el cociente de la covarianza muestral entre y y x y la varianza muestral de x.

Condiciones de segundo orden

1 y 2 son optimos (mnimos)? 1 y 2 son los puntos crticos, es decir, los candidatos para
minimizar la funcion objetivo y son mnimos si el hessiano, H, es definido positivo. Las derivadas
de segundo orden de S(1 , 2 ) son

T
2 S(1 , 2 ) 2 S(1 , 2 ) X
= 2T, = 2 x2t y
12 22 t=1

2 S(1 , 2 ) 2 S(1 , 2 )
= = 2T x,
1 2 2 1

de manera que la matriz hessiana es

 
2T 2T x
H= PT . (15)
2T x 2 t=1 x2t

Dado que los elementos de la diagonal principal de H son positivos y su determinante

T
X
|H| = 4T (xt x)2
t=1

5
Econometra I Dra. Lucia A. Ruiz Galindo

tambien lo es, se concluye entonces que el hessiano es definido positivo.

Notese que el determinante de H es cero cuando los valores de las xs son constantes en toda la
muestra, lo cual no es posible puesto que la determinacion de 2 supone implcitamente que no es
cero, si lo fuera, habra dependencia lineal en las xs y el rango de la matriz X no sera completo,
cuando esto sucede, 2 no esta bien definida puesto que

T
X T
X
(xt x)2 = (c c)2 ,
t=1 t=1

donde c es una constante (ver 14).

Observaciones

- Las ecuaciones normales son funciones lineales de 1 y 2 .

- 1 y 2 son los estimadores mnimo cuadraticos de 1 y 2 .

- yt = 1 + 2 xt son los valores ajustados de yt , para cada t = 1, . . . , T .

- t = yt yt = yt 1 2 xt , para t = 1, . . . , T son los residuos.1

Con la definicion de los residuales, la variable dependiente se puede expresar tambien como

yt = yt + t

o equivalentemente,

yt = 1 + 2 xt + t .

2.5. Momentos poblacionales de los estimadores mnimos cuadraticos de las s

2.5.1. Esperanza de 1 y 2
Dado que

1 = y 2 x,

PT
t=1 (xt x)(yt y)
2 = PT .
2
t=1 (xt x)
1
No confundir los residuos con los errores, son conceptos diferentes.

6
Dra. Lucia A. Ruiz Galindo Econometra I

y que
yt y = 1 + 2 xt + t (1 + 2 x + ) = 2 (xt x) + (t ), (16)

2 se puede expresar como

PT
t=1 (xt x)[2 (xt x) + (t )]
2 = PT (17)
2
t=1 (xt x)
PT
t=1 (xt x)(t )
= 2 + PT 2
t=1 (xt x)

y por tanto, aplicando esperanza matematica se obtiene que 2

E(2 ) = 2 (Por que?)

de manera que 2 es un estimador insesgado de 2 .

Ahora bien,

1 = y 2 x
= 1 + 2 x + 2 x
= 1 + + (2 2 )x, (18)

y aplicando esperanza se tiene

E(1 ) = E[1 + + x(2 2 )]

= E(1 ) + E() + xE(2 2 )
= 1 ,

y entonces 1 es tambien un estimador insesgado de 1 . La ultima igualdad se obtiene de S1 y de

que 2 es insesgado.
2.5.2. Varianza de 1 y 2
El estimador de 2 se puede expresar como

PT
t=1 (xt x)(yt y)
2 = PT 2
t=1 (xt x)
PT
(xt x)yt
= Pt=1
T 2
t=1 (xt x)
2
Observe que E(t ) = 0.

7
Econometra I Dra. Lucia A. Ruiz Galindo

por tanto,
"P #
T
(xt x)yt
V (2 ) = V Pt=1
T 2
t=1 (xt x)
PT 2
t=1 (xt x) V (yt )
= Por que?
[ Tt=1 (xt x)2 ]2
P

2
= PT
t=1 (xt x)2
y

V (1 ) = V (y 2 x)
= V (y) + V (2 x) 2Cov(y, 2 x)
T
1 X
= 2 V (yt ) + x2 V (2 ) Por que?
T t=1

1 2 2
= + x2 PT
T t=1 (xt x)
2

PT 2 2
2 t=1 (xt x) + T x
= PT
T t=1 (xt x)2
PT
x2
= PT t=1 t
2
T t=1 (xt x)2

Errores estandar de 1 y 2 .
Los errores estandar de los estimadores de las s son las desviaciones estandar de sus
varianzas, esto es,
s
1
ee(2 ) = 2 PT (19)
2
t=1 (xt x)

y
s PT
t=1 x2t
ee(1 ) = 2 PT (20)
2
T t=1 (xt x)

2.5.3. Covarianza de 1 y 2

8
Dra. Lucia A. Ruiz Galindo Econometra I

La covarianza de 1 y 2 es por definicion

Cov(1 , 2 ) = E[(1 1 )(2 2 )]

sutituyendo 1 1 de (18) en la ecuacion anterior, se tiene

Cov(1 , 2 ) = E[( + (2 2 )x)(2 2 )]

= xE[(2 2 )2 ]
= xV (2 )

2.6. Propiedades algebraicas de las s y de los residuales

a) 1 y 2 minimizan la suma de cuadrados de los residuales:

t = yt yt
= yt 1 2 xt

b) 1 y 2 son funciones lineales de yt .

c) La lnea de regresion pasa por el punto (x, y), ya que y = 1 + 2 x, (ver (11)).

d) El promedio de los residuos es cero, es decir, = 0, se sigue de la CPO (9).

e) Los vectores = (1 , . . . , T )0 y x = (x1 , . . . , xT )0 son ortogonales (de CPO (10)).

3
f) Los residuos t y el regresor xt no estan correlacionados.

g) Los residuos t y los valores ajustados yt tampoco estan correlacionados.

h) El promedio de los valores ajustados yt , es igual al de los valores observados de yt , esto

es, y = y (ver (11)).
3

T
X
Cov(, x) = t x)
(t )(x
t=1
T
X
=
t xt T x (puesto que = 0 por (9))
t=1
T
X
= t xt = 0,
t=1

ya que los vectores = (1 , . . . , T ) y x = (x1 , . . . , xT ) son ortogonales.

9
Econometra I Dra. Lucia A. Ruiz Galindo

2.7. Teorema de Gauss-Markov

Dados los supuestos del modelo de regresion lineal, el teorema de Gauss-Markov establece
que
Los estimadores mnimos cuadraticos de las s son
los mejores estimadores lineales e insesgados.4
La linealidad en el contexto de este resultado se refiere a que tanto 1 como 2 son funciones
lineales de las variables aleatorias yt . Y son los mejores porque dentro de los lineales insesgados
son los de varianza mnima (mas eficientes).

2.8. Estimacion de la varianza de los errores, 2

El metodo de MCO no proporciona un estimador de la varianza de los errores, 2 , pero
propone uno. Partiendo de que

V (t ) = 2 ,

lo que se ocurre es estimarla mediante

T
2 1X 2
= .
T t=1 t

Sin embargo esto no es apropiado (Por que?) No obstante, se puede sugerir uno alternativo

T
1X 2
2 = .
T t=1 t

que s es un estimador, pero tampoco es del todo apropiado, ya que ignora que los residuales
deben satisfacer las condiciones de primer orden, las formuladas en las ecuaciones normales,
a saber,

T
X T
X
t = 0 y xt t = 0,
t=1 t=1

de manera que T 2 valores de los residuales son suficientes para obtener los T y por tanto,

T
2 1 X 2
= ,
T 2 t=1 t
4
MELI o BLUE por sus siglas en ingles, best linear unbaised estimators.

10
Dra. Lucia A. Ruiz Galindo Econometra I

es el estimador mnimo cuadratico de la varianza de los errores.

2.9. Bondad del ajuste

El modelo es adecuado o no? En que medida la lnea de regresion estimada se ajusta a los
datos? Los residuales son realmente pequenos? Que tan bien explica la variable x a la y?
Estas preguntas se deben contestar para saber si el modelo es adecuado o no.

2.9.1. Descomposicion de la varianza de los residuales

La suma del cuadrado de los residuales es

T
X T
X
2t = (yt 1 2 xt )2
t=1 t=1
XT
= [yt (y 2 x) 2 xt ]2
t=1
XT
= [(yt y) 2 (xt x)]2
t=1
XT T
X T
X
2
= (yt y) 22 (xt x)(yt y) + 22 (xt x)2 (21)
t=1 t=1 t=1

y como
T T PT
t=1 (yt y)(xt x)
X X
2
2 (yt y)(xt x) = 2 (xt x) PT 2
t=1 t=1 t=1 (xt x)
XT
= 22 (xt x)2 (22)
t=1

entonces, la sustitucion de este resultado en el segundo termino de (21) conduce a la siguiente

expresion

T
X T
X T
X T
X
2t = 2
(yt y) 222 (xt x) + 2
22 (xt x)2
t=1 t=1 t=1 t=1
XT T
X
= (yt y)2 22 (xt x)2 (23)
t=1 t=1

11
Econometra I Dra. Lucia A. Ruiz Galindo

pero

T
X T
X
22 (xt x)2 = (2 xt 2 x)2
t=1 t=1
XT
= [(1 + 2 xt ) (1 + 2 x)]2
t=1
XT
= (y y)2 ,
t=1

de manera que reemplazando este resultado en (23) se tiene que

T
X T
X T
X
2t = (yt y) 2
(y y)2
t=1 t=1 t=1
T
X T
X
= (yt y)2 (y y)2 ,
t=1 t=1

o bien,

T
X T
X T
X
(yt y)2 = (y y)2 + 2t .
t=1 t=1 t=1

En esta expresion el termino del lado izquierdo de la igualdad es la variacion muestral

de yt , conocida tambien como variacion total (V T ), el primer termino del lado derecho es la
variacion muestral de yt , y el segundo, la de los residuos, denominadas de manera respectiva,
variacion explicada (V E) y variacion no explicada (V noE).5 As, la variacion muestral de yt se
puede expresarr como la suma de las variaciones muestrales de las componentes ortogonales:
yt y t .6 Mas especificamente, la variacion total en la variable explicada (V T ) se puede
5
Observe que la V T es la suma de cuadrados de las desviaciones de la variable observada yt respecto a su media,
de manera que si se divide por sus grados de libertad, se obtiene la varianza muestral de yt . Analogamente para la
V E y la V noE.
6

T
X T
X T
X T
X
yt t = (1 + 2 xt )t = 1 t + 2 xt t = 0,
t=1 t=1 t=1 t=1

dado que ambos sumandos son cero.

12
Dra. Lucia A. Ruiz Galindo Econometra I

descomponer como la suma de la variacion explicada por el modelo (V E) y la no explicada

(V noE).
V T = V E + V noE.7 (24)

2.9.2. Coeficiente de determinacion

Una medida que con frecuencia se utiliza para medir la bondad de ajuste es la proporcion de
la variacion muestral de y que es explicada por el modelo respecto a la variacion total y se
denomina R cuadrada de la regresion (R2 ), o coeficiente de determinacion y se calcula como
VE
R2 =
VT
T
(yt y)2
P
t=1
= T
.
P
(yt y)2
t=1

Dada la descomposicion de la variacion total en (24), la R2 tambien se puede expresar en

terminos de los residuales como:
PT 2
V T V noE V noE
2
R = =1 = 1 PT t=1 t . (25)
VT VT t=1 (y t y)2

de esta ultima igualdad, es claro que si la variacion no explicada es cero, es decir, si el

modelo ajusta perfectamente, R2 = 1. Mientras que, cuando el modelo no ajusta, la variacion
explicada es cero y por ende, R2 = 0. De forma que

0 R2 1.

Observaciones sobre la R2 .

- Mide solo la relacion lineal entre variables, y y x.

- El modelo debe de incorporar termino independiente, de no ser as puede suceder que
R2 sea negativa, ya que el promedio de los errores no necesariamente es cero.
- El metodo de MCO se desarrolla de manera que proporcione la mejor aproximacion
lineal al modelo poblacional, independientemente de los supuestos implcitos y proba-
bilsticos. En consecuencia, la estimacion de MCO proporciona la mejor R2 . De esta
forma, si el modelo se estima por otros metodos, la R2 sera menor, aun cuando las
propiedades de los estimadores por ese metodo alternativo sean mejores que las corres-
pondientes a las de MCO.
7
Esta igualdad es valida solo cuando el modelo incluye termino independiente. Como cambia si no lo incluye?

13
Econometra I Dra. Lucia A. Ruiz Galindo

2.8.3. R2 ajustada
Finalmente, cabe observar que R2 crece cuando se incorporan variables en el modelo, aun
cuando de manera individual no sean relevantes para explicar a la variable dependiente y.
A medida que el numero de variables aumenta R2 1, por lo cual se propone una medida
corregida por los grados de libertad, la R2 ajustada, dada por
1
PT 2
T 2 t=1 t
R2 = 1 1 PT
2
T 1 t=1 (yt y)
T 1
= 1 (1 R2 )
T 2

14