ECONOMETRÍA II

SESIÓN I: Teoría de la regresión lineal con regresor único

Ciclo: Teoría econométrica del análisis de regresión

Profesor: Javier Hualde

1
ÍNDICE
1. Los supuestos ampliados de mínimos cuadrados y el estimador
MCO
2. Fundamentos de la teoría asintótica
3. Distribución asintótica del estimador MCO y del estadístico t
4. Distribución es normales exactas con errores normalmente
distribuidos
5. Mínimos cuadrados ponderados

2
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO

¿Por qué debería un económetra aplicado interesarse en aprender algo de

teoría econométrica?
 Para entender mejor la “caja negra” que es el software econométrico
 Para saber extraer la herramienta estadística más adecuada con la que tratar la
cuestión a resolver
 Para saber por qué estas herramientas funcionan
 Para conocer los supuestos sobre los que están basados estas herramientas
 Para saber cuándo una herramienta no va a funcionar

Este capítulo complementa (no sustituye) y profundiza sobre material ya conocido

del curso de Econometría I

3
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
LOS SUPUESTOS AMPLIADOS DE MÍNIMOS CUADRADOS Y EL ESTIMADOR MCO

Supuestos que amplían los supuestos de mínimos cuadrados ya conocidos del

curso de Econometría I

Se trata de supuestos más fuertes para obtener mejores resultados teóricos sobre
el MCO

En general son supuestos menos realistas que los ya conocidos

Recordemos: recta de regresión poblacional Yi = β0 + β1Xi + ui , i = 1,…, n

4
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
LOS SUPUESTOS AMPLIADOS DE MÍNIMOS CUADRADOS Y EL ESTIMADOR MCO

Supuesto ampliado 1: La media condicional de 𝑢𝑖 dado 𝑋𝑖 es cero (𝐸 𝑢𝑖 𝑋𝑖 = 0

para i = 1,…, n)

Supuesto ampliado 2: 𝑋𝑖 , 𝑌𝑖 , 𝑖 = 1, … , 𝑛, son independientes e idénticamente

distribuidas

Supuesto ampliado 3: Los datos atípicos “grandes” (en valor absoluto) son
improbables (𝑋𝑖 , 𝑌𝑖 presentan momentos de cuarto orden finitos)

Estos supuestos ampliados son idéntidos a los supuestos presentados en la Sesión

4 del curso Econometría I
5
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
LOS SUPUESTOS AMPLIADOS DE MÍNIMOS CUADRADOS Y EL ESTIMADOR MCO

Recordemos que bajo estos supuestos:

 El estimador MCO es insesgado

 El estimador MCO es consistente
 El estimador MCO tiene una distribución asintóticamente normal
 Los contrastes de hipótesis están justificados para tamaño muestral grande
 Los intervalos de confianza están justificados para tamaño muestral grande

Sin embargo, supuestos más fuertes son necesarios para:

 Desarrollar una teoría de estimación eficiente para el MCO

 Calcular la distribución exacta del MCO
6
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
LOS SUPUESTOS AMPLIADOS DE MÍNIMOS CUADRADOS Y EL ESTIMADOR MCO

2
Supuesto ampliado 4: 𝑢𝑖 es homocedástico: es decir 𝑉𝑎𝑟 𝑢𝑖 𝑋𝑖 = 𝜎𝑢 para i =
1,…, n, donde 𝜎𝑢2 es una constante

Este supuesto implica que 𝑉𝑎𝑟 𝑌𝑖 𝑋𝑖 = 𝜎𝑢2 para i = 1,…, n, por lo que en muchas
situaciones no es realista

Como se discutió en la Sesión 6 del curso Econometría I, bajo este supuesto el

MCO es eficiente entre todos los estimadores lineales e insesgados, condicionado
a 𝑋1 ,…, 𝑋𝑛

7
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
LOS SUPUESTOS AMPLIADOS DE MÍNIMOS CUADRADOS Y EL ESTIMADOR MCO

Supuesto ampliado 5: La distribución condicional de 𝑢𝑖 dado 𝑋𝑖 es normal

Bajo los supuestos 1,2, 4 y 5:

2
 𝑢𝑖 ~𝑁(0, 𝜎𝑢 ) y es i.i.d
 𝑢𝑖 y 𝑋𝑖 están independientemente distribuidas

Demostración:
2
 Claramente la distribución condicional de 𝑢𝑖 |𝑋𝑖 ~𝑁(0, 𝜎𝑢 )
 La distribución condicional no depende de 𝑋𝑖 ⇒ 𝑢𝑖 y 𝑋𝑖 están
independientemente distribuidas ⇒ 𝑢𝑖 ~𝑁(0, 𝜎𝑢2 )
 Por el supuesto 2 𝑢𝑖 es i.i.d.
8
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
LOS SUPUESTOS AMPLIADOS DE MÍNIMOS CUADRADOS Y EL ESTIMADOR MCO

En esta sesión veremos que bajo los cinco supuestos ampliados:

 El MCO tiene una distribución condicional muestral exacta normal

 El estadístico t válido solo bajo homocedasticidad tiene una distribución
exacta t de Student

Los tres primero supuestos son realistas en la práctica

Los dos últimos son menos realistas, pero tienen interés teórico, porque si se
cumplieran el MCO tiene propiedades adicionales interesantes
9
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
FUNDAMENTOS DE LA TEORÍA ASINTÓTICA
Teoría de la distribución de estimadores, estadísticos de contraste e intervalos de
confianza cuando el tamaño muestral (n) es grande

Formalmente, comportamiento de los estadísticos cuando 𝑛 → ∞

Papel central en la econometría moderna:

 Si n es grande, el límite asintótico es una muy buena aproximación de la
distribución en muestras finitas
 Las distribuciones asintóticas son mucho más sencillas de derivar que las
distribuciones exactas y son más fáciles de usar

Piedras angulares: ley de los grandes números y el teorema central del límite
10
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
FUNDAMENTOS DE LA TEORÍA ASINTÓTICA

La convergencia en probabilidad y la ley de los grandes números

Sea 𝑆1 , 𝑆2 , … , 𝑆𝑛 una secuencia de variables aleatorias (por ejemplo 𝑆𝑛 = 𝑌). La

𝑝
secuencia anterior converge en probabilidad a 𝑆 (𝑆𝑛 → 𝑆) si para cualquier 𝛿 > 0

Pr( 𝑆𝑛 − 𝑆 > 𝛿) → 0 cuando 𝑛 → ∞

Un estimador es consistente si converge en probabilidad al parámetro que intenta

estimar.
Ley de los grandes números: bajo ciertas condiciones (por ejemplo i.i.d. con
varianza finita) la media muestral converge en probabilidad a la media poblacional
(esperanza). 11
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
FUNDAMENTOS DE LA TEORÍA ASINTÓTICA

El teorema central del límite y la convergencia en distribución

Convergencia en distribución: Sea 𝐹1 , 𝐹2 , … , 𝐹𝑛 una sucesión de funciones de

distribución acumuladas de una secuencia de variables aleatorias 𝑆1 , 𝑆2 , … , 𝑆𝑛 .
Supongamos que una variable aleatoria 𝑆 tiene una función de distribución
𝑑
acumulada 𝐹. La secuencia anterior converge en distribución a 𝑆 (𝑆𝑛 → 𝑆) si para
todo 𝑥 donde 𝐹(𝑥) sea continua
𝐹𝑛 (𝑥) → 𝐹(𝑥) cuando 𝑛 → ∞

En este caso 𝐹 se denomina distribución asintótica de 𝑆𝑛 : la distribución exacta de 𝑆𝑛

se aproxima a la distribución de 𝑆 (es decir, 𝐹(𝑥)) a medida que aumenta 𝑛
12
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
FUNDAMENTOS DE LA TEORÍA ASINTÓTICA
El teorema central del límite: bajo ciertas condiciones (i.i.d. con varianza finita) la
media muestral normalizada y centrada tiende en distribución a una variable
aleatoria con una distribución 𝑁(0,1). Es decir
𝑑
(𝑌 − E 𝑌𝑖 )/ Var(𝑌) → 𝑁(0,1)

Sabemos que, en este caso, E 𝑌 = 𝜇𝑌 , donde E 𝑌𝑖 = 𝜇𝑌 y Var 𝑌 = σ2𝑌 /𝑛, donde

Var 𝑌𝑖 = σ2𝑌 , por lo que
𝑑 𝑑
𝑛(𝑌 − μ𝑌 )/σ𝑌 → 𝑁 0,1 ó 𝑛(𝑌 − μ𝑌 ) → 𝑁 0, σ2𝑌

Este resultado se puede extender a datos de series temporales donde el supuesto

i.i.d. no se cumple 13
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
FUNDAMENTOS DE LA TEORÍA ASINTÓTICA

El teorema de Slutsky: combina convergencia en probabilidad y en distribución.

𝑝 𝑑
Supongamos que 𝑎𝑛 → 𝑎 donde 𝑎 es una constante y 𝑆𝑛 → 𝑆. Entonces
𝑑 𝑑 𝑑
𝑎𝑛 + 𝑆𝑛 → 𝑎 + 𝑆, 𝑎𝑛 𝑆𝑛 → 𝑎𝑆 y, si 𝑎 ≠ 0, 𝑆𝑛 /𝑎𝑛 → 𝑆/ 𝑎

El teorema de la función continua: si 𝑔(𝑥) es una función continua, se cumple que

𝑝 𝑝
Si 𝑆𝑛 → 𝑎, entonces 𝑔(𝑆𝑛 ) → 𝑔(𝑎)

𝑑 𝑑
Si 𝑆𝑛 → 𝑆, entonces 𝑔(𝑆𝑛 ) → 𝑔(𝑆)

14
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
FUNDAMENTOS DE LA TEORÍA ASINTÓTICA
Ejemplo de la aplicación de las técnicas anteriores: 𝑯𝟎 : 𝐄 𝒀𝒊 = 𝝁𝟎
Estadístico t
𝑌 − μ0 𝑛(𝑌 − μ0 ) σ𝑌
𝑡= =
s𝑌 / 𝑛 σ𝑌 s𝑌
donde s𝑌 es la desviación típica muestral de 𝑌𝑖

Resultados
𝑑
 Bajo 𝐻0 : 𝑛(𝑌 − μ0 ) → 𝑁(0,1)
𝑝
2 2
 s𝑌 → σ𝑌

𝑑
Conclusión: 𝑡 → 𝑁(0,1) 15
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
DISTRIBUCIÓN ASINTÓTICA DEL ESTIMADOR MCO Y DEL ESTADÍSTICO t

Consistencia y normalidad asintótica de los estimadores MCO

Bajo los supuestos 1, 2, 3, se puede demostrar que:

𝑝
 𝛽1 → 𝛽1
𝑑 𝑉𝑎𝑟 𝑋𝑖 −𝜇𝑋 𝑢𝑖
 𝑛(𝛽1 − 𝛽1 ) → 𝑁 0,
(𝑉𝑎𝑟 𝑋𝑖 )2

Nótese que una de las implicaciones del segundo resultado (distribución asintótica)
es que el MCO es consistente.

16
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
DISTRIBUCIÓN ASINTÓTICA DEL ESTIMADOR MCO Y DEL ESTADÍSTICO t
Consistencia de los errores estándar heterocedástico-robustos
Recordemos el estimador de la varianza de 𝛽1
1 𝑛 2 𝑢2
1 (𝑋 −𝑋)
2 𝑛−2 𝑖=1 𝑖 𝑖
𝜎𝛽 = × 2
1 𝑛 1 𝑛
(𝑋𝑖 −𝑋) 2
𝑛 𝑖=1
Resultado
2
𝜎𝛽 𝑝
1
2
→ 1
𝑉𝑎𝑟 𝑋𝑖 − 𝜇𝑋 𝑢𝑖 /𝑛 𝑉𝑎𝑟 𝑋𝑖
Demostración
2 1 𝑛 2 2 2
𝜎𝛽 𝑛 (𝑋𝑖 − 𝑋) 𝑢𝑖 𝑉𝑎𝑟 𝑋𝑖
1
= × 𝑛 𝑖=1
×
𝑉𝑎𝑟 𝑋𝑖 − 𝜇𝑋 𝑢𝑖 /𝑛 𝑉𝑎𝑟 𝑋𝑖 2 𝑛 − 2 𝑉𝑎𝑟 𝑋𝑖 − 𝜇𝑋 𝑢𝑖 1 𝑛 2
𝑛 𝑖=1(𝑋𝑖 − 𝑋)
17
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
DISTRIBUCIÓN ASINTÓTICA DEL ESTIMADOR MCO Y DEL ESTADÍSTICO t

La prueba se basa en:

𝑛
 →1
𝑛−2
1 𝑛 𝑝
2
 𝑖=1 (𝑋𝑖 − 𝑋)2 𝑢𝑖 → 𝑉𝑎𝑟 𝑋𝑖 − 𝜇𝑋 𝑢𝑖
𝑛
1 𝑛 𝑝
 𝑖=1 (𝑋𝑖 − 𝑋)2 → 𝑉𝑎𝑟 𝑋𝑖
𝑛

El resultado más delicado es el segundo que se justifica demostrando:

1 𝑝
𝑛
 𝑖=1(𝑋𝑖 − 𝜇𝑋 )2 𝑢𝑖2 → 𝑉𝑎𝑟 𝑋𝑖 − 𝜇𝑋 𝑢𝑖
𝑛
1 1 𝑝
𝑛 2 2 𝑛
 𝑖=1(𝑋𝑖 − 𝑋) 𝑢𝑖 − 𝑖=1(𝑋𝑖 − 𝜇𝑋 )2 𝑢𝑖2 → 0
𝑛 𝑛

18
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
DISTRIBUCIÓN ASINTÓTICA DEL ESTIMADOR MCO Y DEL ESTADÍSTICO t
Normalidad asintótica del estadístico t heterocedástico-robusto

Estadístico de contraste para 𝐻0 : 𝛽1 = 𝛽1,0

𝛽1 − 𝛽1,0 𝛽1 − 𝛽1,0
𝑡= =
𝐸𝑆(𝛽1 ) 𝜎𝛽1
2
𝑛(𝛽1 − 𝛽1,0 ) 𝜎𝛽
1
= ÷ 2
2 𝑉𝑎𝑟 𝑋𝑖 − 𝜇𝑋 𝑢𝑖 /𝑛 𝑉𝑎𝑟 𝑋𝑖
𝑉𝑎𝑟 𝑋𝑖 − 𝜇𝑋 𝑢𝑖 / 𝑉𝑎𝑟 𝑋𝑖

𝑑
Por los resultados anteriores: 𝑡 → 𝑁(0,1) bajo 𝐻0
19
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
DISTRIBUCIONES MUESTRALES EXACTAS CON ERRORES NORMALMENTE DISTRIBUIDOS

Las distribuciones exactas del MCO y del estadístico t dependen esencialmente de

la distribución del error y son complicadas

Pero si los errores son homocedásticos y normalmente distribuidos, distribuciones

sencillas. Asumiremos que los supuestos ampliados 1-5 se cumplen

Distribución (condicional) exacta de 𝜷𝟏

Del curso de Econometría I sabemos que

𝑛
𝑖=1(𝑋𝑖 − 𝑋)𝑢𝑖
β1 = β1 + 𝑛 2
(𝑋
𝑖=1 𝑖 − 𝑋)
20
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
DISTRIBUCIONES MUESTRALES EXACTAS CON ERRORES NORMALMENTE DISTRIBUIDOS

La distribución exacta se deriva de los siguientes resultados:

 𝐸(𝛽1 𝑋1 , … , 𝑋𝑛 = β1
𝜎𝑢2
 𝑉𝑎𝑟(𝛽1 𝑋1 , … , 𝑋𝑛 = 𝑛 (𝑋 −𝑋)2
𝑖=1 𝑖
 La distribución condicional de β1 (dados 𝑋1 , … , 𝑋𝑛 ) es normal

Resultado: Bajo los supuestos 1-5

2
𝜎𝑢
β1 |𝑋1 , … , 𝑋𝑛 ~𝑁(β1 , 𝑛 2
)
𝑖=1 𝑋𝑖 − 𝑋
21
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
DISTRIBUCIONES MUESTRALES EXACTAS CON ERRORES NORMALMENTE DISTRIBUIDOS
Distribución exacta del estadístico t válido solo bajo homocedasticidad
El estimador de la varianza (condicional) de 𝛽1 válido con homocedasticidad es
2
2 𝑠𝑢 1
σ𝛽 = 𝑛 (𝑋 −𝑋)2 donde 𝑠𝑢2 = 𝑛
𝑢
𝑖=1 𝑖
2
1 𝑖=1 𝑖 𝑛−2
De esta forma, el estadístico t para 𝐻0 : 𝛽1 = 𝛽1,0
𝛽1 − 𝛽1,0 𝛽1 − 𝛽1,0 𝑠𝑢2 𝛽1 − 𝛽1,0 𝑊
𝑡= = ÷ 2 = ÷
𝜎𝛽1 2 𝑛 2
𝜎𝑢 2 𝑛 2
𝑛 − 2
𝜎𝑢 / 𝑖=1(𝑋𝑖 − 𝑋) 𝜎𝑢 / 𝑖=1(𝑋𝑖 − 𝑋)
donde
𝑛 2
𝑖=1 𝑢𝑖
𝑊=
𝜎𝑢2 22
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
DISTRIBUCIONES MUESTRALES EXACTAS CON ERRORES NORMALMENTE DISTRIBUIDOS

Resultados

𝛽1 −𝛽1,0
 ~𝑁 0,1 bajo 𝐻0
𝜎𝑢2 / 𝑛 (𝑋
𝑖=1 𝑖 −𝑋) 2

2
 𝑊~𝜒𝑛−2
 𝑊 se distribuye de forma independiente del estimador MCO estandarizado

Conclusión
𝛽1 − 𝛽1,0
𝑡= ~𝑡𝑛−2 bajo 𝐻0
𝜎𝛽1
23
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
MÍNIMOS CUADRADOS PONDERADOS

Teorema de Gauss-Markov: Bajo los cuatro primeros supuestos ampliados el

estimador MCO es eficiente entre los estimadores lineales (en 𝑌1 , …, 𝑌𝑛 ) y
condicionalmente (dado 𝑋1 , …, 𝑋𝑛 ) insesgados

Presentaremos una modificación del MCO (Mínimos cuadrados ponderados, MCP)

que es más eficiente que el MCO con errores heterocedásticos

Consideraremos dos casos dependiendo del conocimiento que tengamos de las

varianza condicional del error

24
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
MÍNIMOS CUADRADOS PONDERADOS
MCP con heterocedasticidad conocida

Supongamos que la 𝑉𝑎𝑟(𝑢𝑖 |𝑋𝑖 ) es conocida (menos un factor de proporcionalidad 𝜆)

De esta forma se asume que 𝑉𝑎𝑟(𝑢𝑖 𝑋𝑖 = 𝜆ℎ(𝑋𝑖 ) siendo ℎ una función conocida
Modelo
Yi = β0 + β1Xi + ui , i = 1,…, n
Modelo transformado
𝑌𝑖 1 𝑋𝑖 𝑢𝑖
= β0 + β1 +
ℎ(𝑋𝑖 ) ℎ(𝑋𝑖 ) ℎ(𝑋𝑖 ) ℎ(𝑋𝑖 )
MCP es MCO en el modelo transformado
𝑢𝑖
Es fácil demostrar que 𝑉𝑎𝑟 𝑋𝑖 = 𝜆, por lo que bajo los primeros tres
ℎ(𝑋𝑖 )
supuestos el MCP el mejor estimador lineal insesgado de β1 25
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
MÍNIMOS CUADRADOS PONDERADOS
MCP con heterocedasticidad de forma funcional conocida

En general ℎ es una función desconocida, pero si la forma funcional es conocida

puede ser estimada
2
Ejemplo: 𝑉𝑎𝑟(𝑢𝑖 𝑋𝑖 = 𝜃0 + 𝜃1 𝑋𝑖 donde 𝜃0 > 0, 𝜃1 ≥ 0 , son parámetros
desconocidos
2 2 2
Se estiman 𝜃0 , 𝜃1 por MCO en 𝑢𝑖 = 𝜃0 + 𝜃1 𝑋𝑖 + 𝑣𝑖 y 𝑉𝑎𝑟 (𝑢𝑖 𝑋𝑖 = 𝜃0 + 𝜃1 𝑋𝑖 y se
transforma el modelo dividiendo por 𝑉𝑎𝑟 (𝑢𝑖 𝑋𝑖

Si los estimadores de 𝜃0 , 𝜃1 son consistentes, el MCP factible tiene la misma

distribución asintótica que el MCP infactible (con 𝜃0 , 𝜃1 conocidos), por lo que es el
mejor estimador lineal insesgado asintóticamente 26
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
MÍNIMOS CUADRADOS PONDERADOS
¿Errores estándar heterocedástico-robustos o MCP?

Estas son las dos formas de actuar en presencia de heterocedasticidad

MCP

 Ventaja: más eficiente que el MCO (al menos asintóticamente)

 Desventaja: requiere conocer la forma funcional de la varianza condicional.

Rara vez es conocida y si la forma funcional es incorrecta ⇒ errores
estándar incorrectos lo que implica contrastes inválidos
27
SESIÓN I - TEORÍA DE LA REGRESIÓN LINEAL CON REGRESOR ÚNICO –
MÍNIMOS CUADRADOS PONDERADOS

¿Errores estándar heterocedástico-robustos o MCP?

Errores estándar heterocedástico-robustos

 Ventaja: inferencia asintóticamente válida aunque no se conozca la forma

de la varianza condicional. Fáciles de calcular

 Desventaja: MCO mayor varianza que el MCP

Conclusión: en general, mejor la segunda opción por el desconocimiento acerca de

la estructura de la varianza condicional
28