EcoI D 2015 I Sesión7 16 Abril 2015

UNIVERSIDAD DEL PACIFICO
DEPARTAMENTO DE ECONOMÍA
ECONOMETRÍA I (D)
Sesión 7:
REGRESIÓN LINEAL CON VARIOS REGRESORES
Fátima Ponce Regalado

Lima, 16 de Abril de 2015
Sesión 7: Regresión Lineal con varios Regresores (I).
• Sesgo de variable omitida

• El modelo de regresión múltiple
• El estimador MCO en regresión múltiple
• Los supuestos de MCO en regresión múltiple
• Propiedades del estimador MCO
• Medidas de Ajuste en regresión Múltiple.
Econometría I – D Prof: F. Ponce 16/04/2015 2 de 40

Empleado para analizar el comportamiento de una
variable (Y) a través de variables independientes (Xs), es
uno de los más populares y aplicados.
Características:
La variable dependiente Y es cuantitativa. Si la variable
dependiente fuese cualitativa se requiere métodos de
estimación alternativos a MCO (Logit-probit)
La variable explicativa X tiene varianza muestral Sx² no
nula y además n ≥ K.
Se tiene una muestra suficiente (n).

El análisis de regresión múltiple puede emplearse para
construir mejores modelos para predecir la variable
dependiente Y.
Es más adecuado para un análisis CETERIS PARIBUS
debido a que permite controlar de manera explicita muchos
otros factores que afectan en forma simultanea a la variable
dependiente.
Permite hacer en un ambiente no experimental, lo que en las
ciencias naturales puede hacerse con experimentos
controlados de laboratorio: MANTENER CONSTANTE
OTROS FACTORES.
Es un método que puede eliminar el sesgo por variables
omitidas.

MANTENER CONSTANTE LAS OTRAS
VARIABLES
(i) Retornos de la Educación.- Ecuación de Mincer, relaciona
“mayores ingresos debido a mayor educación”.
variable explicada: ingreso salario (w)
variable explicativa: educación años de estudio (educ)
w = β0 + β1educ + µ
β1 = da el ∆w ante un ∆educ en 1 unidad, asumiendo que no

hay relación entre educ y µ (supuesto básico del MRLG).
Si educ y µ estuvieran correlacionados β1 podría dar el efecto

sobre w a través de educ de otra variable que afecta a ambas.

MANTENER CONSTANTE LAS OTRAS
VARIABLES
Si se quiere controlar por la variable experiencia (exp) se
debería especificar en el modelo:
w = β0 + β1 educ + β2exp + µ
En general se pueden tener varios controles:

w = β0 + β1educ + β2exp + β3hab + … + βkXk+ µ
β1 = da el ∆w ante un ∆educ en 1 unidad, manteniendo

constante los años de experiencia y asumiendo que no
hay relación entre educ y µ (supuesto básico del MRLG).

ANÁLISIS DE REGRESIÓN MÚLTIPLE
Sea el modelo econométrico especificado:
Y = β0 + β1X1 + β2X2 + … + βkXk + µ

Y=Xβ+µ
En el análisis de regresión se busca determinar la relación

existente entre la variable Y (dependiente) y las variables
X’s (independientes), sobre la base de estimar la media
poblacional de la variable Y condicionada a los valores
ya conocidos de las variables explicativas:
E(Y/X) = β0 + β1X1 + β2X2 + … + βkXk
El objetivo es estimar los parámetros (β) buscando el valor

más probable de Y dados los valores de X.

Si el regresor (X) del modelo está correlacionado con una
variable que ha sido omitida del análisis y que es importante
para determinar, en parte, la variable dependiente (Y),
entonces el estimador MCO tendrá SESGO POR VARIABLE
OMITIDA.
Este sesgo ocurre cuando:

i) La variable omitida está correlacionada con la variable
incluida en el modelo,
ii) La variable omitida es una variable determinante de la
variable dependiente.

EJERCICIO: ESTIMACIÓN MCO EN EL MODELO : ANÁLISIS DE
LOS RENDIMIENTOS DE LA EDUCACIÓN
Modelo 1: lnW = β0 + β1 S + µ
Modelo 2: lnW = β0 + β1 S + β2 EX + µ

EJERCICIO: ESTIMACIÓN MCO EN EL MODELO : ANÁLISIS DE
LOS RENDIMIENTOS DE LA EDUCACIÓN
Modelo 1: lnW = β0 + β1 S + µ
Modelo 2: lnW = δ0 + δ1 S + δ2 EX + µ
El sesgo del coeficiente bivariado b1 está dado por:
b1 = d1 + d2 * c 1 Regla de la variable omitida
c1 es el estimador MCO de θ1 del modelo: EX= θ0 + θ1 S + ε
Es decir: 0.054757 = 0.070811 + 0.015871 * (-1.011546)
^ coeficiente de la * Coef. de la regresión de la

Sesgo (βMCO) = variable excluida variable excluida sobre la
variable incluida

EL MRLG MULTIPLE ó MULTIVARIADO
A nivel de observaciones:
y1 1 x11 x12 ... x1k β0 µ1 Objetivo:

Estimar
y2 1 x21 x22 ... x2k β1 µ2 intercepto,y
y3 = 1 x31 x32 … x3k β2 + µ3 pendientes,
… … … … … … … …
yn 1 xn1 xn2 … xnk βk µn
nx1 nx(k+1) (k+1)x1 nx1
vector de observaciones de perturbación
observaciones las var. exógenas
de la var.
dependiente
Y=Xβ+µ

β0=E(Yi|Xi=0): valor medio de la variable dependiente
cuando el valor que toma c/u de las variables
independientes es cero. Es el intercepto u ordenada.
β1=∆E(Yi)/∆Xi1: un aumento unitario en la variable
independiente X1 conlleva un aumento promedio de β1
unidades en la variable dependiente, manteniendo
constante las otras variables. La pendiente mide el
efecto de un aumento marginal en la variable explicativa
sobre E(Yi). Es un coeficiente de regresión parcial.
……
βk=∆E(Yi)/∆Xik: un aumento unitario en la variable
independiente Xk conlleva un aumento medio de βk
unidades en la variable dependiente (ceteris paribus).

APLICACIÓN 2 Wooldridge Ej.7.1
Coeficiente de female: Si se toma un hombre y una mujer con

los mismos niveles de educación, experiencia y antiguedad, la
mujer gana, en promedio $1.81 menos por hora que el hombre.
Como se ha controlado educ, exper y tenure, la diferencia de
$1.81 en el salario no puede ser explicada por diferencias en los
niveles de educación, experiencia o antiguedad entre hombres y
mujeres. Tal diferencia se debe al genero o a factores
relacionados con el genero que no han sido controlados en
la regresión.

EL ESTIMADOR MCO
Hasta ahora del estimador se sabe:

^
βMCO = (X’X)-1 X’Y
(k+1)x1
^
Media del estimador MCO : E[ βMCO ] = β
Matriz de varianzas y covarianzas del estimador MCO:

^
MVC(βMCO) = σµ2 (X’X)-1
Pero la varianza residual (σµ2) se debe

conocer y por lo general no se conoce
hay que estimarla.

EL ESTIMADOR MCO
n
Criterio MCO: Minimización de Σ ei2
i=1
^
ei = Yi – Yi
^
e = Y – Y
^ ^ ^ ^
Min.Σe2 = Min.e‘e = Min[(Y-Y)’(Y-Y)] = Min[(Y- Xβ)’ (Y-Xβ )]
^ ^ ^ ^
= Min[Y Y – β’X’Y – Y’Xβ + β’X’Xβ ]
^ ^ ^
Min.e‘e = Min.[ Y Y – 2β’X’Y + β’X’Xβ ]
^
Tomando primera derivada respecto a β e igualando a cero:
^ ^
∂e‘e / ∂β = – 2 X’Y + 2 X’X β = 0

EL ESTIMADOR MCO
^ Sistema de Ecuaciones Normales:

(X’X) β = X’Y Sistema de (k+1) ecuaciones
lineales en los (k+1) betas.
^
y segunda derivada X’X : matriz definida positiva.

^
β es variable aleatoria, entonces conocer su media y varianza.
^
Media del estimador MCO : E[ β ] = β

MATRIZ DE VAR-
VAR-COV DEL ESTIMADOR MCO
^ ^ ^ ^ ^
MVC(β) = E[[β – E(β)] [β – E(β)] ‘]
^ ^
= E[(β – β) (β – β)’](k+1)x(k+1)
^
Pero β - β = (X’X)-1X’ µ
por supuesto del MRLG E(µµ’) = σµ2 I
^
MVC(β) = E[(X’X)-1X’ µ µ’X(X’X)-1]
^
MVC(β) = σµ2 (X’X)-1 ^
β ∼ N (β , σµ2 (X’X)-1 )

Yi = β0 + β1 X1 + β2 X2 + β3 X3 + … + βk Xk + µ
Supuesto 1: Linealidad de los Parámetros.
Supuesto 2: La distribución condicional de ui dado X tiene
media Cero: E(u/X) = 0 Xs y u son no correlacionados.
Supuesto 3: Muestreo Aleatorio: (Xi,Yi), i = 1,.., n son iid
entre observaciones.
Supuesto 4: No hay colinealidad perfecta: Ninguna de las
Xs es constante y no hay relaciones lineales exactas entre
las Xs.
Supuesto 5: Homoscedasticidad: Var(u/X) = σ2 = Varianza
constante No depende de Xs.

SUPUESTOS DEL MRLG (1/7)
(1/7)
1. Hipótesis Económica:
Relación lineal de la variable endógena Y con un conjunto
de k variables independientes X:
Y = β0 + β1 X1 + β2 X2 + β3 X3 + … + βk Xk + µ
Y=Xβ+µ
Linealidad en los parámetros vs linealidad en las variables.

Y = β0 + β1 X1 Lineal en parámetros y variables
Y = β1 + β2 ln X2 No lineal en variables

Linealidad en los parámetros vs linealidad en las variables.
Caso de la función tipo Cobb Douglas:
En este modelo las variables están medidas en

yi = β0 Kiβ1 Liβ2 niveles, pero los parámetros que miden los
efectos de las variables explicativas sobre la
variable endógena no son de forma lineal. Pero
si tomamos log:
ln yi = lnβ0 + β1 ln Ki + β2 ln Li
ln yi = β0’ + β1 ln Ki + β2 ln Li Modelo lineal en parámetros
pero no en variables.

Linealidad
Forma Lineal: y = β0 + β1X1 + β2 X2 + µ
pendientes
Si los demás factores contenidos en µ se mantienen fijos,

∆µ = 0, así como X2 (ceteris paribus) entonces X1 tiene un
efecto lineal sobre y: ∆y = β1 ∆X1 manteniendo constante X2.

Otras Formas Funcionales:
- Semilogarítmica: y = eβ1 + β2 X2 + β3 X3 + µ
tasa de crec.
linealización: ln y = β1 + β2 X2 + β3 X3 + µ
- Doblelogarítmica: y = β1 X2β2 X3β3 eµ

linealización: ln y = ln β1 + β2 ln X2 + β3 ln X3 + µ
elasticidades

2. Hipótesis sobre las perturbaciones (µ):
i) E (µ / X) = 0
El valor esperado de la perturbación de la

observación i no es función de las variables
independientes observadas en cualquier
observación.
Las variables independientes no tienen

información útil para la predicción de µ.

2. Hipótesis sobre las perturbaciones (µ):
ii) Matriz de Varianzas y Covarianzas de µ:
MVC(µ) = E(µµ’/X) = σ2µI
Var(µi)=σ2µ Homoscedasticidad de las perturbaciones

(necesario en Corte Transversal)
Cov(µi,µj)=0 Cada perturbación es No correlacionada

con todas las otras perturbaciones (necesario en
Series de tiempo)
iii) Distribución de la perturbación: Normal: (necesario para
inferencia)
µ /X ∼ N (0, σ2µ I)

MATRIZ DE VARIANZAS Y COVARIANZAS DE µ
µ1 µ1 µ2 µ3 … µn µ 12 µ 1µ 2 µ 1µ 3 … µ 1µ n
µ2 1xn µ 2µ 1 µ 22 µ 2µ 3 … µ 2µ n
µ3 = : : : :
… µ nµ 1 µ nµ 2 µ nµ 3 … µ n2
nxn
µn nx1
Cov(µ1µn)
E(µ12) E(µ1µ2) E(µ1µ3) … E(µ1µn)
2
E(µµ’/X) = E(µ2µ1) E(µ2 ) E(µ2µ3) … E(µ2µn) = σ 2µ I
: : : :
E(µnµ1) E(µnµ2) E(µnµ3) …E(µn2) Var(µi)

MATRIZ DE VARIANZAS Y COVARIANZAS DE µ

donde I es una matriz de orden “n” No Autocorrelación:
Cov(uiuj)= 0 ∀i≠j
(necesario en Series de
tiempo)
1 0 0 …0 σ2 0 0…0
0 1 0 …0 0 σ2 0 … 0
E(uu’)= σ2 I = σ2 : : : : = : : : :
0 0 0 …1 0 0 0 … σ2
Homoscedasticidad: Var(ui) = σ2 ∀i = 1,.., n

(necesario en Corte Transversal)

Iguales varianzas de “u”
para los distintos valores
de “X” implica igual
varianza de “Y” para
distintos valores de “X”.
La recta de regresión de
Ahorros sobre Ingresos
representa con igual
precisión la relación
Errores homoscedásticos: entre ingresos y
Igual varianza ahorros, independiente-
mente de los valores de
ingreso.

RESIDMCO
.06
.04
.02
Los errores tienen un

.00
comportamiento pura-
-.02
mente aleatorio o
-.04 irregular.
-.06
30 35 40 45 50 55 60 65 70 75
Errores no correlacionados:
Cov(ut,ut-1)=0

3. Hipótesis sobre los regresores:
i) X es regresor exógeno (medido sin error),

independiente de µ.
(El PGD de X es independiente del proceso que genera µ).

E(Xi’µ) = Xi’E(µ) = 0 ∀ i = 1, .., k
ii) No hay relación lineal exacta entre las X’s)

Supuesto de No Multicolinealidad perfecta.
Los k vectores son Linealmente Independientes.

(σ^µ2) (1/3)
ESTIMADOR DE LA VARIANZA RESIDUAL (σ
^
e=Y–Y
^
=Xβ+µ-Xβ
= X β + µ - X (X’X)-1 X’Y
= X β + µ - X (X’X)-1 X’ (X β + µ)
= X β + µ - X β - X (X’X)-1 X’µ
e = µnx1 - X nx(k+1) (X’X)-1 (k+1)x(k+1) X’ (k+1)xn µ nx1
e = (I - X (X’X)-1 X’) µ

(σ^µ2) (2/3)
e = [I - X (X’X)-1 X’] µ
M = Matriz Idempotente, M = M’ = M2 = M3 …
Matriz M “Hacedora de residuos”
e = M µ, Por lo que:
e’e = µ’M’Mµ = µ’Mµ
E(e’e) = E(µ’1xnMnxnµ nx1)

= E[tr(µ’1xnMnxnµnx1)] Traza(escalar) es el mismo escalar
= E[tr(µnx1µ’ 1xnMnxn)] tr(AB)= tr(BA)
= E(µµ’) tr(M)

(σ^µ2) (3/3)
= E(µµ’) tr(M)
= σµ2 tr(M) = σµ2 tr[I - X(X’X)-1X’]
= σµ2 tr I - σµ2 tr[X(X’X)-1X’]
= σµ2 tr Inxn - σµ2 tr[Xnx(k+1)(X’X)-1(k+1)x(k+1)X’ (k+1)xn]
= σµ2 n - σµ2 tr[X’ (k+1)xn Xnx(k+1)(X’X)-1(k+1)x(k+1)
E(e’e) = σµ2(n - k-1)

^
s2= σµ2 = e’e / (n-k-1)

EL ESTIMADOR MCO
– Fórmulas Importantes -
^
(k+1)x1
^
Media del estimador MCO : E[ βMCO ] = β
Matriz de varianzas y covarianzas del estimador MCO:

^MCO
MVC(β ) = σµ2 (X’X)-1
Matriz de varianzas y covarianzas estimada del estimador MCO:
^ ^ ^
MVC(βMCO) = σµ2 (X’X)-1
^
σµ2 = e’e / (n-k-1)

PROPIEDADES DEL ESTIMADOR MCO (1/2)
^
LINEAL: βMCO = f(Y)
^
INSESGADEZ: E[ βMCO ] = β
^
β = (X’X)-1 X’Y = (X’X)-1 X’ (X β + µ)
= (X’X)-1 X’Xβ + (X’X)-1 X’µ

^
β = β + (X’X)-1X’ µ
Tomando valor esperado:

^
E(β) = E[β + (X’X)-1X’ µ ] = β + E[(X’X)-1X’ µ ] , pero E[X’µ]= 0
^
E[ βMCO ] = β

PROPIEDADES DEL ESTIMADOR MCO (2/2)
EFICIENCIA:
El estimador MCO tiene menor varianza que cualquier otro
estimador lineal insesgado.
Teorema de Gauss-Markov:
^
El estimador βMCO es el Mejor Estimador Lineal Insesgado
(M.E.L.I. = B.L.U.E. en ingles) si se cumplen los supuestos
básicos del MRLG.

BONDAD DE AJUSTE (1/3)
(1/3)
Descomposición de la Suma Total de Cuadrados (STC):
^ ^
Y= Y + e = Xβ + e
^ ^ ^ ^ ^ ^
Y’Y= (Y + e)’ (Y + e) = Y’Y + e’e = β X’X β + e’e (1)
n
Pero Y’Y = Σt=1 Yt2 = SCT
_ _ _
En desvíos: y=Y–Y Σt=1 y2= y’y= Σt (Yt – Y)2 = Σt Yt2 - nY2
_
Restando nY2 en (1):
_ ^ ^ _ SEC= Suma de cuadrados
(Y’Y- nY2 )= (βX’Xβ - nY2 ) + e’e explicada.
SRC= Suma de cuadrados de
STC = SEC + SRC los residuos
STC= Suma total de
cuadrados.
Coeficiente de Determinación ó R2:

Mide el grado de ajuste lineal de la regresión e indica el % de
la variación observada de Y que es explicada por la variación
combinada lineal de los regresores (X’s).
^^
R2= SEC/ STC = y’y / y’y
R2= 1 – SRC / STC = 1 - e’e/y’y
0 < R2 < 1

Ejercicio Wooldridge
R2=0.316 El 31.6% de las variaciones de la variable

dependiente son explicadas por las variaciones de las
variables independientes del modelo.

COMPARACIÓN ENTRE MODELOS
_
R2 Ajustado ó R2:
Dado que el R2 se ve afectado cuando varían los grados de
libertad ( n ó k), se eleva al subir n o al subir k, es mejor
emplear el R2 ajustado por los grados de libertad.
Penaliza al R2 por la adición de regresores que no

contribuyen a aumentar el poder explicativo del modelo
lineal. Se calcula como:
R2 ajustado = 1 – (1- R2)(n-1 )/( n-k-1 )

Cap. 6 de Stock, J. y M. Watson. 2006. Introduction to
Econometrics. Addison-Wesley, 2nd Edition.
Cap. 3 de Wooldridge, J. 2006. Introductory

Econometrics. A modern approach, Edit. Thomson,
2da. Edición.

EcoI D 2015 I Sesión7 16 Abril 2015

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

EcoI D 2015 I Sesión7 16 Abril 2015

Cargado por

Copyright:

Formatos disponibles

UNIVERSIDAD DEL PACIFICO

REGRESIÓN LINEAL CON VARIOS REGRESORES

Fátima Ponce Regalado

• Sesgo de variable omitida

Econometría I – D Prof: F. Ponce 16/04/2015 2 de 40

Econometría I – D Prof: F. Ponce 16/04/2015 3 de 40

Econometría I – D Prof: F. Ponce 16/04/2015 4 de 40

β1 = da el ∆w ante un ∆educ en 1 unidad, asumiendo que no

Si educ y µ estuvieran correlacionados β1 podría dar el efecto

Econometría I – D Prof: F. Ponce 16/04/2015 5 de 40

En general se pueden tener varios controles:

β1 = da el ∆w ante un ∆educ en 1 unidad, manteniendo

Econometría I – D Prof: F. Ponce 16/04/2015 6 de 40

Y = β0 + β1X1 + β2X2 + … + βkXk + µ

En el análisis de regresión se busca determinar la relación

El objetivo es estimar los parámetros (β) buscando el valor

Econometría I – D Prof: F. Ponce 16/04/2015 7 de 40

Este sesgo ocurre cuando:

Econometría I – D Prof: F. Ponce 16/04/2015 8 de 40

Econometría I – D Prof: F. Ponce 16/04/2015 9 de 40

b1 = d1 + d2 * c 1 Regla de la variable omitida

c1 es el estimador MCO de θ1 del modelo: EX= θ0 + θ1 S + ε

Es decir: 0.054757 = 0.070811 + 0.015871 * (-1.011546)

^ coeficiente de la * Coef. de la regresión de la

Econometría I – D Prof: F. Ponce 16/04/2015 10 de 40

y1 1 x11 x12 ... x1k β0 µ1 Objetivo:

Econometría I – D Prof: F. Ponce 16/04/2015 11 de 40

Econometría I – D Prof: F. Ponce 16/04/2015 12 de 40

Coeficiente de female: Si se toma un hombre y una mujer con

Econometría I – D Prof: F. Ponce 16/04/2015 13 de 40

Hasta ahora del estimador se sabe:

Matriz de varianzas y covarianzas del estimador MCO:

Pero la varianza residual (σµ2) se debe

Econometría I – D Prof: F. Ponce 16/04/2015 14 de 40

Econometría I – D Prof: F. Ponce 16/04/2015 15 de 40

^ Sistema de Ecuaciones Normales:

y segunda derivada X’X : matriz definida positiva.

Econometría I – D Prof: F. Ponce 16/04/2015 16 de 40

Econometría I – D Prof: F. Ponce 16/04/2015 17 de 40

Econometría I – D Prof: F. Ponce 16/04/2015 18 de 40

Linealidad en los parámetros vs linealidad en las variables.

Econometría I – D Prof: F. Ponce 16/04/2015 19 de 40

Linealidad en los parámetros vs linealidad en las variables.

Caso de la función tipo Cobb Douglas:

En este modelo las variables están medidas en

Econometría I – D Prof: F. Ponce 16/04/2015 20 de 40

Forma Lineal: y = β0 + β1X1 + β2 X2 + µ

Si los demás factores contenidos en µ se mantienen fijos,

Econometría I – D Prof: F. Ponce 16/04/2015 21 de 40

Otras Formas Funcionales:

- Doblelogarítmica: y = β1 X2β2 X3β3 eµ

Econometría I – D Prof: F. Ponce 16/04/2015 22 de 40

2. Hipótesis sobre las perturbaciones (µ):

El valor esperado de la perturbación de la

Las variables independientes no tienen

Econometría I – D Prof: F. Ponce 16/04/2015 23 de 40

MVC(µ) = E(µµ’/X) = σ2µI

Var(µi)=σ2µ Homoscedasticidad de las perturbaciones

Cov(µi,µj)=0 Cada perturbación es No correlacionada

Econometría I – D Prof: F. Ponce 16/04/2015 24 de 40

Econometría I – D Prof: F. Ponce 16/04/2015 25 de 40

MVC(µ) = E(µµ’/X) = σ2µI

Homoscedasticidad: Var(ui) = σ2 ∀i = 1,.., n

Econometría I – D Prof: F. Ponce 16/04/2015 26 de 40