Repaso

El modelo lineal clásico

Propiedades de los estimadores
Inferencia

Los estimadores mínimo cuadráticos

bajo los supuestos clásicos
Propiedades estadísticas e inferencia

Mariana Marchionni
marchionni.mariana@gmail.com

Mariana Marchionni MCO bajo los supuestos clásicos 1 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Temario de la clase

1 Repaso

2 El modelo lineal clásico

3 Propiedades de los estimadores

4 Inferencia

Mariana Marchionni MCO bajo los supuestos clásicos 2 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Estimación por MCO del modelo lineal simple

Tenemos el modelo lineal con 2 variables

Yi = α + β Xi + µi i = 1, ...n
Y el objetivo es estimar α y β a partir de (Yi , Xi ) i = 1, ...n.
Recordemos notación y deniciones:

α̂ y β̂ son los estimadores de α y β

Ŷi ≡ α̂ + β̂ Xi es la versión estimada de Yi
ei ≡ Yi − Ŷi = Yi − (α̂ + β̂ Xi ) es el error de estimación
(residuo)

Mariana Marchionni MCO bajo los supuestos clásicos 3 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Cada posible valor que asignemos a α̂ y β̂ dene una recta en el

plano (Y , X )

Mariana Marchionni MCO bajo los supuestos clásicos 4 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Mínimos Cuadrados Ordinarios (MCO)

Criterio de MCO: elegir α̂ y β̂ de manera de minimizar SRC.

Formalmente:

n n
Minα̂,β̂ SRC (α̂, β̂) = ei2 = [Yi − (α̂ + β̂ Xi )]2
X X

i =1 i =1
∂ SRC

(1) =0

 ∂ α̂
CPO :
∂ SRC

(2)
 =0
∂ β̂
Solución:
N
Xi Yi −nȲ X̄
P

(3) α̂ = Ȳ − β̂ X̄ y (4) β̂ = i =P
1
N 2
Xi −nX̄ 2
i =1
Mariana Marchionni MCO bajo los supuestos clásicos 5 / 43
 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Propiedades algebraicas

Pn
1 ei = 0
Pin=1
2
i =1 ei Xi = 0 (⇒ Cov (X , e ) = 0)
3 Ŷ (X̄ ) = Ȳ (⇒la recta de regresión pasa por las medias
muestrales)

4 β̂ = rY ,X SY /SX (relación entre el coeciente de regresión y el

de correlación)

5 Ȳ = Ŷ¯ (la media de las estimaciones de Y coincide con Ȳ )

6 rŶ ,e = 0 (la correlación entre las estimaciones de Y y los
residuos es nula)

Mariana Marchionni MCO bajo los supuestos clásicos 6 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Así luce la regresión estimada por MCO

Ŷi = α̂ + β̂ Xi

Mariana Marchionni MCO bajo los supuestos clásicos 7 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Bondad del ajuste

Vimos que cuando se estima por MCO es válida la siguiente

descomposición:

n n n
(Yi − Ȳ )2 = (Ŷi − Ȳ )2 + ei2
X X X

|i =1 {z } |i =1 {z } |i ={z
1
}
STC = SEC + SRC
STC : Suma Total de Cuadrados, SEC : Suma Explicada de Cuadrados,
SRC : Suma de los Residuos al Cuadrado
Denimos:

SEC SRC
R2 = =1−
STC STC

Mariana Marchionni MCO bajo los supuestos clásicos 8 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

R 2=0.94

94 % de la variabilidad muestral de Y está explicada por el modelo

lineal en X

Mariana Marchionni MCO bajo los supuestos clásicos 9 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

R 2=0.35

35 % de la variabilidad de Y está explicada por el modelo

lineal en X

Mariana Marchionni MCO bajo los supuestos clásicos 10 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

El modelo lineal clásico

Adoptaremos algunos supuestos llamados supuestos clásicos

Linealidad: Yi = α + β Xi + µi , i = 1, ...n
X no aleatoria: las Xi son determinísticas, jas en muestreos
repetidos.

Esperanza nula de µi : E [µi ] = 0, i = 1, ..., n.

Homocedasticidad de µi : V [µi ] = cte . ≡ σ 2 , i = 1, ..., n.
No correlación serial de µi : Cov [µi , µj ] = 0, i 6= j .
No multicolinealidad perfecta de las variables explicativas: las
Xi no pueden ser todas iguales, X debe variar entre las
observaciones.

La mayoría de estos supuestos son poco realistas. Los adoptamos

por razones pedagógicas. Levantaremos la mayoría a lo largo del
curso.

Mariana Marchionni MCO bajo los supuestos clásicos 11 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

El modelo lineal clásico

Adoptaremos algunos supuestos llamados supuestos clásicos

Linealidad: Yi = α + β Xi + µi , i = 1, ...n
X no aleatoria: las Xi son determinísticas, jas en muestreos
repetidos.

Esperanza nula de µi : E [µi ] = 0, i = 1, ..., n.

Homocedasticidad de µi : V [µi ] = cte . ≡ σ 2 , i = 1, ..., n.
No correlación serial de µi : Cov [µi , µj ] = 0, i 6= j .
No multicolinealidad perfecta de las variables explicativas: las
Xi no pueden ser todas iguales, X debe variar entre las
observaciones.

La mayoría de estos supuestos son poco realistas. Los adoptamos

por razones pedagógicas. Levantaremos la mayoría a lo largo del
curso.

Mariana Marchionni MCO bajo los supuestos clásicos 11 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Linealidad

De esto ya habíamos hablado. Nuestro modelo:

Yi = α + β Xi + µi , i = 1, ...n

Lo importante es la linealidad en los parámetros α y β.

Por qué?

Vimos algunos modelos no lineales que pueden linealizarse

(log-log, log-lin, etc.)

Mariana Marchionni MCO bajo los supuestos clásicos 12 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

X no aleatoria

¾Qué signica esto? Fijas en muestreos repetidos

Poco real para una ciencia social

Experimentos

Mariana Marchionni MCO bajo los supuestos clásicos 13 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Esperanza nula

E [µi ] = 0 , i = 1, ..., n

⇒ E [Yi ] = α + β Xi , i = 1, ..., n
En promedio, la relación es lineal y exacta

Mariana Marchionni MCO bajo los supuestos clásicos 14 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Homocedasticidad

V [µi ] = V [µj ], ∀ i 6= j

V [µi ] = cte . ≡ σ 2 , i = 1, ..., n

Intuitivamente: para todas las observaciones, la relación entre

Y y X está igual de cerca de una relación lineal

Si la varianza no es constante decimos que hay

heterocedasticidad
Notar: si E [µi ] = 0 y V [µi ] = σ 2 ⇒ E [µ2i ] = σ 2

Mariana Marchionni MCO bajo los supuestos clásicos 15 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

No correlación serial

Cov [µi , µj ] = 0, i 6= j .

Es una forma débil de independencia entre los términos

aleatorios

Notar que si E [µi ] = 0 y Cov [µi , µj ] = 0 ⇒ E [µi µj ] = 0

¾Cuánto vale Cov [µi , µj ] para i = j ?

Mariana Marchionni MCO bajo los supuestos clásicos 16 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

No multicolinealidad perfecta

Las Xi , i = 1, ...n no pueden ser todas iguales

Por qué? Ver gráco

Fuerte supuesto de identicación

Intuición?

Mariana Marchionni MCO bajo los supuestos clásicos 17 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Recapitulando... el modelo lineal clásico

Yi = α + β Xi + µi , i = 1, ...n
1 E [µi ] = 0, i = 1, ..., n .

2 V [µi ] = σ 2 , i = 1, ..., n .

3 Cov [µi , µj ] = 0, i 6= j .

4 Las Xi no son aleatorias y no son todas iguales

Notar: en este contexto los parámetros desconocidos son α,

β y σ

Mariana Marchionni MCO bajo los supuestos clásicos 18 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Recapitulando... el modelo lineal clásico

Yi = α + β Xi + µi , i = 1, ...n
1 E [µi ] = 0, i = 1, ..., n .

2 V [µi ] = σ 2 , i = 1, ..., n .

3 Cov [µi , µj ] = 0, i 6= j .

4 Las Xi no son aleatorias y no son todas iguales

Notar: en este contexto los parámetros desconocidos son α,

β y σ

Mariana Marchionni MCO bajo los supuestos clásicos 18 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Ya sabemos que los estimadores mínimo cuadraticos α̂ y β̂ son

buenos en el sentido de que minimizan la SRC

En la derivación de los estimadores MCO de la clase pasada

nunca recurrimos a los supuestos clásicos

Vamos a explorar si los estimadores MCO son buenos en algún

otro sentido, ahora sí basándonos en los supuestos clásicos

Nuevas propiedades: linealidad, insesgadez, de varianza

mínima, etc.

Nos concentramos en β̂ . Los resultados para α̂ serán cubiertos

en los prácticos.

Mariana Marchionni MCO bajo los supuestos clásicos 19 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Las propiedades

ωi Y i
P
1. Linealidad: β̂ =
β̂ puede escribirse como una combinación lineal de las
Yi , i = 1, ...n

Ver demostración

Intuitivamente poco interesante, analíticamente conveniente

Mariana Marchionni MCO bajo los supuestos clásicos 20 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

2. Insesgadez: E [β̂] = β
Es decir, β̂ es un estimador insesgado del parámetro β

Ver demostración

Intuitivamente: qué quiere decir que un estimador sea

insesgado?

¾Qué pasa con la propiedad de insesgadez si levantamos el

supuesto de homocedasticidad?

¾Cuál es el supuesto más importante para el insesgadez?

Mariana Marchionni MCO bajo los supuestos clásicos 21 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

V [β̂] = σ 2 / xi2
P
3.

Ver demostración

¾Qué mide V [β̂]?

¾Qué supuestos usamos para la prueba?

Mariana Marchionni MCO bajo los supuestos clásicos 22 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Notar:

σ2 σ2
V [β̂] = P =
xi2 nV [X ]
Entonces, en el modelo lineal simple, la varianza del estimador
depende de:

la dispersión del término aleatorio

la cantidad de observaciones

la variabilidad de X

Mariana Marchionni MCO bajo los supuestos clásicos 23 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

4. Teorema de Gauss-Markov

Si valen todos los supuestos clásicos, β̂ tiene la menor varianza en

la clase de todos los estimadores lineales e insesgados de β.

En el modelo lineal clásico, los estimadores MCO son los

Mejores Estimadores Lineales e Insesgados (MELI)

Mejor en el sentido de más eciente dentro de su clase

Entonces, MCO es bueno?

Mariana Marchionni MCO bajo los supuestos clásicos 24 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Inferencia

Consideremos el modelo Yi = α + β Xi + µi , i = 1, ...n

Sabemos cómo producir estimaciones puntuales de α y β
¾Qué hacemos si quisiéramos evaluar la veracidad de una
hipótesis como β = 0? (test de hipótesis)

O si quisiéramos construir intervalos de conanza para los

parámetros? (estimación por intervalos)

Necesitamos asociar alguna medida de conanza a esa

estimación puntual

Mariana Marchionni MCO bajo los supuestos clásicos 25 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Test de hipótesis

Hipótesis: una armación acerca de una parámetro

desconocido
Ejemplo: H0 : β = 0
Puede ser cierta o falsa

Si pudiéramos observar β no hay problema

¾Y si no conocemos β? No sabemos realmente

Pero... esperamos poder conocer algo acerca de si H0 es cierta

o falsa

Mariana Marchionni MCO bajo los supuestos clásicos 26 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Supongamos que estamos interesados en distinguir entre

H0 : β = 0 y HA : β 6= 0, pero sin observar β.
Podemos obtener β̂
β̂ es una variable aleatoria. Por qué?

Puede tomar cualquier valor tanto bajo H0 como bajo HA : no

podemos resolver nuestro problema observando los valores que
toma β̂

Mariana Marchionni MCO bajo los supuestos clásicos 27 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Supongamos que β̂ es un buen estimador

Si H0 : β = 0 es cierta, entonces, aunque β̂ pueda tomar

cualquier valor, esperamos que tome valores cercanos a cero.
Por qué?

Con esta lógica, podemos sospechar que H0 es falsa si β̂ toma

valores lejanos de cero: rechazamos H0 .
Problema: cómo denimos qué valores están cerca y qué
valores estan lejos del cero?

Mariana Marchionni MCO bajo los supuestos clásicos 28 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

A nes de denir qué valores de β̂ están cerca y qué valores

están lejos del cero en el caso de que H0 fuera cierta,
necesitamos conocer la distribución de β̂ (distribución de β̂
bajo H0 )
A partir de las propiedades de β̂ bajo los supuestos clásicos,
sabemos que si H0 : β = 0 entonces E [β̂] = 0. Por qué?
También sabemos su varianza.

Pero no tenemos información suciente para conocer toda la

distribución de β̂ bajo H0
Dónde conseguimos esa información?

Mariana Marchionni MCO bajo los supuestos clásicos 29 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Nuevo supuesto: normalidad del término aleatorio

µi ∼ N (0, σ 2 )

Recordemos: cualquier función lineal de una variable normal es

también normal

Entonces Yi es normal. Por qué?

Entonces β̂ es normal. Por qué?

Mariana Marchionni MCO bajo los supuestos clásicos 30 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Entonces, con los supuestos clásicos más el supuesto de normalidad

tenemos:

β̂ ∼ N (β, σ 2 / xi2 )
X

De manera que cuando es cierta H0 : β = 0, se cumple:

β̂ ∼ N (0, σ 2 / xi2 )
X

y también:

β̂
z≡q ∼ N (0, 1)
σ 2 / xi2
P

Cuando β̂ es chico, z es chico

Mariana Marchionni MCO bajo los supuestos clásicos 31 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Distribución de β̂

Mariana Marchionni MCO bajo los supuestos clásicos 32 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Distribución de z (estandarización de β̂ )

Mariana Marchionni MCO bajo los supuestos clásicos 33 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Regla: aceptamos H0 si β̂ es cercano al valor correspondiente a esa

hipótesis

Para denir cercano: sea 0 <c <1 y zc un número tal que:

Pr [− zc ≤ z ≤ zc ] = 1 − c
Entonces, si el valor z (estandarización de β̂ ) está entre los límites
−zc y zc , aceptamos H0
Grácamente...

Mariana Marchionni MCO bajo los supuestos clásicos 34 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Mariana Marchionni MCO bajo los supuestos clásicos 35 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

La región de aceptación en términos de z está dada por:

Pr [− zc ≤ z ≤ zc ] = 1 − c
Reemplazando z por su denición:

 q X  q X 
Pr −zc σ2/ xi2 ≤ β̂ ≤ zc σ2/ xi2 = 1 − c

Entonces la región de aceptación de H0 viene dada por los valores

de β̂ en el intervalo:

q X 
0 ± zc 2
σ / xi2

Mariana Marchionni MCO bajo los supuestos clásicos 36 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Aceptamos H0 si β̂ cae en ese intervalo. En caso contrario,

rechazamos H0
Notar: especicamos c de antemano

c es la signicatividad del test: probabilidad de rechazar una

H0 cierta
A partir de c , zc puede obtenerse a partir de una tabla de
percentiles de la distribución normal estándar

Luego las zonas de aceptación y rechazo se computan usando

q P 
0 ± zc σ 2 / xi2

Problema: σ2 no se observa!

Mariana Marchionni MCO bajo los supuestos clásicos 37 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Aceptamos H0 si β̂ cae en ese intervalo. En caso contrario,

rechazamos H0
Notar: especicamos c de antemano

c es la signicatividad del test: probabilidad de rechazar una

H0 cierta
A partir de c , zc puede obtenerse a partir de una tabla de
percentiles de la distribución normal estándar

Luego las zonas de aceptación y rechazo se computan usando

q P 
0 ± zc σ 2 / xi2

Problema: σ2 no se observa!

Mariana Marchionni MCO bajo los supuestos clásicos 37 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Estimación de σ2:

ei2
P
2
S =
n−2

Resultado: bajo todos los supuestos, si H0 : β = 0 es cierta

β̂
t≡q P 2 ∼ Tn−2
2
S / xi

Mariana Marchionni MCO bajo los supuestos clásicos 38 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

β̂
t≡q P 2 ∼ Tn−2
2
S / xi

t es z pero reemplazando σ 2 por S 2

Tn−2 es la distribición T de Student con n−2 grados de
libertad

Ahora todo puede ser computado con los datos disponibles

Mariana Marchionni MCO bajo los supuestos clásicos 39 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Mariana Marchionni MCO bajo los supuestos clásicos 40 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Hasta ahora vimos el caso particular: H0 : β = 0 vs.

HA : β 6= 0
Caso general: H0 : β = β0 vs. HA : β 6= β0
Ejemplo: en Yi = α + β Xi + µi , si Y es el consumo y X el
ingreso, y β0 = 1, qué estamos evaluando?

Mariana Marchionni MCO bajo los supuestos clásicos 41 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

Entonces, bajo todos los supuestos y cuando es cierta H0 : β = β0 ,

se cumple:

β̂ ∼ N (β0 , σ 2 / xi2 )
X

β̂ − β0
z≡q ∼ N (0, 1)
σ 2 / xi2
P

Y también:

0 β̂ − β
t≡q ∼ Tn−2
S 2 / xi2
P

Mariana Marchionni MCO bajo los supuestos clásicos 42 / 43

 Repaso
El modelo lineal clásico
Propiedades de los estimadores
Inferencia

0 β̂ − β
t≡q ∼ Tn−2
S 2 / xi2
P

En la práctica, reemplazamos β0 por cualquier valor que nos

interese

En general, el estadístico t es la versión estimada de H0 ,

dividida por la raíz cuadrada de la varianza estimada

Mariana Marchionni MCO bajo los supuestos clásicos 43 / 43