Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Jorge Catepillan
August 18, 2022
Universidad de Piura
Regresión Lineal
Clase Pasada
1
Clase Pasada
Yi = β0 + β1 Xi + Ui
1
Clase Pasada
Yi = β0 + β1 Xi + Ui
1
Clase Pasada
Yi = β0 + β1 Xi + Ui
• Esto es β1 .
1
Propiedades que nos interesan
2
Propiedades que nos interesan
2
Propiedades que nos interesan
• Inferencia: A partir de los datos, que nos dicen los test estadísticos?
2
Propiedades que nos interesan
• Inferencia: A partir de los datos, que nos dicen los test estadísticos?
2
Supuestos I
• Linealidad: Yi = β0 + β1 Xi + Ui
3
Supuestos I
• Linealidad: Yi = β0 + β1 Xi + Ui
3
Supuestos I
• Linealidad: Yi = β0 + β1 Xi + Ui
3
Supuestos I
• Linealidad: Yi = β0 + β1 Xi + Ui
3
Supuestos I
• Linealidad: Yi = β0 + β1 Xi + Ui
3
Supuesto II
4
Supuesto II
4
Supuesto II
∑
N
(xi − x̄)(yi − ȳ)
\
Cov(Xi , Yi ) i=1
β̂1 = =
\)
Var(X ∑
N
i (xi − x̄)2
i=1
4
Estimación
5
Estimación
5
Inferencia
• Nos interesa, a partir de la data, hacer Test de Hipótesis sobre las incognitas
que nos interesan.
6
Inferencia
• Nos interesa, a partir de la data, hacer Test de Hipótesis sobre las incognitas
que nos interesan.
6
Inferencia
• Nos interesa, a partir de la data, hacer Test de Hipótesis sobre las incognitas
que nos interesan.
• Sin embargo, eso requiere que hagamos más supuestos, pues necesitamos
saber algo sobre la distribución de los datos que nos permita realizar los
test!
6
Inferencia
7
Inferencia
7
Inferencia
7
Inferencia
8
Inferencia
8
Supuestos III
9
Supuestos III
9
Supuestos III
9
Inferencia
√
n(β̂1 − β1 ) → N(0, σ 2 /Var(Xi ))
Pues:
[∑ ] ∑
√ (xi − x̄)2 −1 √ (xi − x̄)ui
n(β̂1 − β1 ) = n
n n
[∑ ]−1 [ ∑ ∑ ]
(xi − x̄)2 √ (xi − µx )ui √ ui
= n + (µx − x̄) n
n n n
10
Inferencia
11
Inferencia
• plim(µx − x̄) = 0
11
Inferencia
• plim(µx − x̄) = 0
11
Inferencia
• plim(µx − x̄) = 0
11
Inferencia
• plim(µx − x̄) = 0
11
Inferencia
• plim(µx − x̄) = 0
11
Inferencia
12
Inferencia
12
Inferencia
12
Inferencia
• El estimador:
∑
n
û2i
2 i=1
σ̂ =
n−2
Es insesgado y consistente!
12
Estimador de la varianza
13
Estimador de la varianza
∑ ∑ ∑ 2
i −x̄)(ui −ū))
• Segundo: û2i = (ui − ū)2 − ( (x∑
(xi −x̄)2
∑ ∑
û2i =(ui − ū − (xi − x̄)(β̂1 − β1 ))2
∑
= (ui − ū)2 − 2(ui − ū)(xi − x̄)(β̂1 − β1 ) + (xi − x̄)2 (β̂1 − β1 )2
∑ ∑ ∑
= (ui − ū)2 − 2(β̂1 − β1 ) (ui − ū)(xi − x̄) + (β̂1 − β1 )2 (xi − x̄)2
∑ ∑
Pero ocupando que β̂1 − β1 = (xi − x̄)(ui − ū)/ (xi − x̄)2 llegamos a la
expresión:
∑ ∑ ∑
( (xi − x̄)(ui − ū))2
û2i = (ui − ū)2 − ∑
(xi − x̄)2
14
Estimador de la varianza
• Consistencia:
(∑ )2
∑ ∑ (xi −x̄)(ui −ū)
û2i
(ui − ū)2 n n n
= − ∑
(xi −x̄)2
n−2 n n−2 n−2
n
15
Estimador de la varianza
• Consistencia:
(∑ )2
∑ ∑ (xi −x̄)(ui −ū)
û2i
(ui − ū)2 n n n
= − ∑
(xi −x̄)2
n−2 n n−2 n−2
n
∑
(ui −ū)2
• n converge en probabilidad a σ 2
15
Estimador de la varianza
• Consistencia:
(∑ )2
∑ ∑ (xi −x̄)(ui −ū)
û2i
(ui − ū)2 n n n
= − ∑
(xi −x̄)2
n−2 n n−2 n−2
n
∑
(ui −ū)2
• n converge en probabilidad a σ 2
n
• n−2 converge a 1
15
Estimador de la varianza
• Consistencia:
(∑ )2
∑ ∑ (xi −x̄)(ui −ū)
û2i
(ui − ū)2 n n n
= − ∑
(xi −x̄)2
n−2 n n−2 n−2
n
∑
(ui −ū)2
• n converge en probabilidad a σ 2
n
• n−2 converge a 1
∑
(xi −x̄)(ui −ū)
• n converge en probabilidad a 0.
15
Estimador de la varianza
• Consistencia:
(∑ )2
∑ ∑ (xi −x̄)(ui −ū)
û2i
(ui − ū)2 n n n
= − ∑
(xi −x̄)2
n−2 n n−2 n−2
n
∑
(ui −ū)2
• n converge en probabilidad a σ 2
n
• n−2 converge a 1
∑
(xi −x̄)(ui −ū)
• n converge en probabilidad a 0.
∑
(xi −x̄)2
• n converge en probailidad a Var(Xi ).
15
Estimador de la varianza
• Consistencia:
(∑ )2
∑ ∑ (xi −x̄)(ui −ū)
û2i
(ui − ū)2 n n n
= − ∑
(xi −x̄)2
n−2 n n−2 n−2
n
∑
(ui −ū)2
• n converge en probabilidad a σ 2
n
• n−2 converge a 1
∑
(xi −x̄)(ui −ū)
• n converge en probabilidad a 0.
∑
(xi −x̄)2
• n converge en probailidad a Var(Xi ).
∑ 2
û
• Finalmente, n−2i converge en probabilidad a σ2.
15
Estimador de la varianza
• Insesgado:
16
Estimador de la varianza
• Insesgado:
16
Estimador de la varianza
• Insesgado:
16
Estimador de la varianza
• Insesgado:
[∑ ] ∑ [∑ 2 ]
E û2i |X E [ (ui − ū)2 |X] E ( (xi − x̄)(ui − ū)) |X
= − ∑
n−1 n−2 (n − 2) (xi − x̄)2
∑
nσ 2 − σ 2 σ 2 (xi − x̄)2
= − ∑
n−2 (n − 2) (xi − x̄)2
= σ2
17
Comentarios
β̂1 − β1
√ ∑
σ̂ 2 / (xi − x̄)2
De distribuye asintóticamente como una normal con media cero y varianza 1.
18
Comentarios
β̂1 − β1
√ ∑
σ̂ 2 / (xi − x̄)2
De distribuye asintóticamente como una normal con media cero y varianza 1.
18
Comentario
19
Comentario
19
Comentario
19
Comentario
19
Comentario
19
Comentario
20
Comentario
20
Comentario
βˆ1 − β1
T= √ ∑
(σ̂ 2 / (xi − x̄)2 )
Es una t-student con n − 2 grados de libertad.
20
Comentario
βˆ1 − β1
T= √ ∑
(σ̂ 2 / (xi − x̄)2 )
Es una t-student con n − 2 grados de libertad.
• Esto es lo que reporta stata
20
Comentario
βˆ1 − β1
T= √ ∑
(σ̂ 2 / (xi − x̄)2 )
Es una t-student con n − 2 grados de libertad.
• Esto es lo que reporta stata
• Para n grande, esta distribución es muy similar a una normal.
20
Regresiones
• Linealidad: Yi = α + βXi + Ui
21
Regresiones
• Linealidad: Yi = α + βXi + Ui
21
Regresiones
• Linealidad: Yi = α + βXi + Ui
21
Regresiones
• Linealidad: Yi = α + βXi + Ui
21
Regresiones
• Linealidad: Yi = α + βXi + Ui
21
Regresiones
• Linealidad: Yi = α + βXi + Ui
21
Regresiones
22
Regresiones
Un ejemplo:
Supongamos que tenemos el siguiente modelo que cumple con todos los
supuestos.
Yi = β0 + β1 X1i + β2 X2i + Ui
Yi = β0 + β1 X1i + Wi
23
Regresiones
∑ 1
(xi − x̄1 )(yi − ȳ) Cov(X1i , Yi )
β̂1 = →
(x1i − x̄1 )2 Var(X1i )
Cov(X1i , β0 + β1 X1i + β2 X2i + Ui )
=
Var(X1i )
Cov(X1i , X2i )
= β1 + β2
Var(X1i )
24
Múltiples Regresores
Modelo con un regresor es útil para entender los conceptos, pero en la realidad:
25
Múltiples Regresores
Modelo con un regresor es útil para entender los conceptos, pero en la realidad:
• Puede que no sea posible identificar el efecto causal porque en los datos el
error se mueve con X, por lo que hay que controlar por más variables!
25
Múltiples Regresores
yi = x′i β + ui
26
Múltiples Regresores
yi = x′i β + ui
26
Múltiples Regresores
yi = x′i β + ui
26
Múltiples Regresores
Supuestos
27
Múltiples Regresores
Supuestos
27
Múltiples Regresores
Supuestos
27
Identificación
Supuestos
• De la linealidad:
E[xi yi ] = E[xi x′i ]β + E[xi ui ]
28
Identificación
Supuestos
• De la linealidad:
E[xi yi ] = E[xi x′i ]β + E[xi ui ]
• De exogeneidad:
28
Identificación
Supuestos
• De la linealidad:
E[xi yi ] = E[xi x′i ]β + E[xi ui ]
• De exogeneidad:
• De la invertibilidad:
β = E[xi x′i ]−1 E[xi yi ]
28
Estimación
Supuestos.
β̂ = (X′ X)−1 X′ Y
29
Estimación
• Insesgado:
30
Estimación
• Insesgado:
• Consistente:
( n
)−1 ( n )
∑ xi x′ ∑ x i yi
β̂ = i
→ E[xi x′i ]−1 E[xi yi ] = β
n n
i=1 i=1
30
Estimación
• Insesgado:
• Consistente:
( n
)−1 ( n )
∑ xi x′ ∑ x i yi
β̂ = i
→ E[xi x′i ]−1 E[xi yi ] = β
n n
i=1 i=1
30
Inferencia
Supuestos
31
Inferencia
Supuestos
31
Inferencia
32
Inferencia
33
Inferencia
√ ∑n
xi ui
• n n converge en distribución a una normal con media cero y varianza
i=1
E[xi ui ui x′i ] = E[u2i xi x′i ] = σ 2 E[xi x′i ] (Teorema Central del Límite)
33
Inferencia
√ ∑n
xi ui
• n n converge en distribución a una normal con media cero y varianza
i=1
E[xi ui ui x′i ] = E[u2i xi x′i ] = σ 2 E[xi x′i ] (Teorema Central del Límite)
√
• Por lo tanto n(β̂ − β) converge en distribución a una normal con media
cero y varianza σ 2 E[xi x′i ]−1 E[xi x′i ]E[xi x′i ]−1′ = σ 2 E[xi x′i ]−1
33
Estimador de la varianza
Cómo estimamos σ 2 ?
34
Estimador de la varianza
Cómo estimamos σ 2 ?
34
Estimador de la varianza
Cómo estimamos σ 2 ?
34
Estimador de la varianza
Cómo estimamos σ 2 ?
34
Estimador de la varianza
Cómo estimamos σ 2 ?
34
Estimador de la varianza
Cómo estimamos σ 2 ?
34
Estimador de la varianza
Cómo estimamos σ 2 ?
34
Estimador de la varianza
Cómo estimamos σ 2 ?
34
Estimador de la varianza
35
Estimador de la varianza
∑
• E[U′ U/(n − k)|X] = E[ u2i |X]/(n − k) = nσ 2 /(n − k)
35
Estimador de la varianza
∑
• E[U′ U/(n − k)|X] = E[ u2i |X]/(n − k) = nσ 2 /(n − k)
35
Estimador de la varianza
36
Estimador de la varianza
36
Estimador de la varianza
36
Estimador de la varianza
36
Estimador de la varianza
37
Estimador de la varianza
Finalmente
38
Estimador de la varianza
Finalmente
∑
• E[U′ U/(n − k)|X] = E[ u2i |X]/(n − k) = nσ 2 /(n − k)
38
Estimador de la varianza
Finalmente
∑
• E[U′ U/(n − k)|X] = E[ u2i |X]/(n − k) = nσ 2 /(n − k)
38
Estimador de la varianza
Finalmente
∑
• E[U′ U/(n − k)|X] = E[ u2i |X]/(n − k) = nσ 2 /(n − k)
• Y E[σ̂ 2 |X] = σ 2
38
Otras Propiedades
Propiedades del estimador de MCO
39
Frisch–Waugh–Lovell
40
Frisch–Waugh–Lovell
• P′x = Px y Px Px = Px ; M′x = Mx y Mx Mx = Mx .
40
Frisch–Waugh–Lovell
• P′x = Px y Px Px = Px ; M′x = Mx y Mx Mx = Mx .
40
Frisch–Waugh–Lovell
• P′x = Px y Px Px = Px ; M′x = Mx y Mx Mx = Mx .
40
Frisch–Waugh–Lovell
Y = Xβ + Zα + U
41
Frisch–Waugh–Lovell
Y = Xβ + Zα + U
• Si hacemos la regresión de Y en X y en Z, entonces
41
Frisch–Waugh–Lovell
Y = Xβ + Zα + U
• Si hacemos la regresión de Y en X y en Z, entonces
Mz Y = Mz Xβ + W
41
Frisch–Waugh–Lovell
Demostración
• Primero, notar que los errores estimados son ortogonales a los regresores.
Asumiendo que solo tenemos regresores X, entoncs
42
Frisch–Waugh–Lovell
Demostración
• Primero, notar que los errores estimados son ortogonales a los regresores.
Asumiendo que solo tenemos regresores X, entoncs
Y − Û = Xβ̂mco + Zα̂mco
42
Frisch–Waugh–Lovell
Demostración
43
Frisch–Waugh–Lovell
Demostración
X′ Mz Y = X′ Mz Xβ̂mco
43
Frisch–Waugh–Lovell
Demostración
X′ Mz Y = X′ Mz Xβ̂mco
43
Teorema de Gauss Markov
44
Teorema de Gauss Markov
44
Teorema de Gauss Markov
44
Teorema de Gauss Markov
Demostración
45
Teorema de Gauss Markov
Demostración
45
Teorema de Gauss Markov
Demostración
45
Teorema de Gauss Markov
Demostración
45
Teorema de Gauss Markov
Demostración
Otras propiedades.
46
Propiedades del estimador
Otras propiedades.
46
Propiedades del estimador
Otras propiedades.
46
Revisando los supuestos
47
Revisando los supuestos
47
Revisando los supuestos
47
Revisando los supuestos
47
Revisando los supuestos
47
Evaluando regresiones
Evaluando estudios basados en regresiones
48
Evaluando estudios basados en regresiones
48
Evaluando estudios basados en regresiones
48
Evaluando estudios basados en regresiones
48
Evaluando estudios basados en regresiones
48
Evaluando estudios basados en regresiones
48
Validación Externa
49
Validación Externa
49
Validación Externa
• Ej, meta-análisis.
49
Validación Externa
• Ej, meta-análisis.
• ¿Revisión de la literatura?
49
Validación Externa
• Ej, meta-análisis.
• ¿Revisión de la literatura?
49
Validación Interna
En general, existen cinco razones por las cuales los estimadores podrían estar
sesgados o ser inconsistentes:
1. Variables omitidas
2. Especificación funcional errónea
3. Error de medición en las variables
4. Sesgo de selección en la muestra
5. Causalidad simultánea
Y dos razones por las que los test podrían no ser correctos:
El sesgo por variables omitidas ocurre cuando una variable que determina a la
variable dependiente y está correlacionada con alguno de los regresores es
omitida de la regresión. ¿Cómo solucionarlo?
51
Validación Interna: Variables Omitidas
El sesgo por variables omitidas ocurre cuando una variable que determina a la
variable dependiente y está correlacionada con alguno de los regresores es
omitida de la regresión. ¿Cómo solucionarlo?
51
Validación Interna: Variables Omitidas
52
Validación Interna: Variables Omitidas
52
Validación Interna: Variables Omitidas
52
Validación Interna: Variables Omitidas
2. Yi = βXi + Wi
52
Validación Interna: Variables Omitidas
53
Validación Interna: Variables Omitidas
54
Validación Interna: Error en la especificación funcional
• Esto se puede ver como un caso de variables omitidas, que implica sesgo en
los estimadores.
55
Validación Interna: Error en la especificación funcional
• Esto se puede ver como un caso de variables omitidas, que implica sesgo en
los estimadores.
55
Validación Interna: Error en la especificación funcional
• Esto se puede ver como un caso de variables omitidas, que implica sesgo en
los estimadores.
55
Validación Interna: Error en la especificación funcional
• Esto se puede ver como un caso de variables omitidas, que implica sesgo en
los estimadores.
55
Validación Interna: Error en la especificación funcional
56
Validación Interna: Errores de Medición.
57
Validación Interna: Errores de Medición.
57
Validación Interna: Errores de Medición.
¿Cómo solucionarlos?
• Variables instrumentales!
58
Validación Interna: Errores de Medición.
¿Cómo solucionarlos?
• Variables instrumentales!
• Modelación del error de medición. Para eso hay que saber como se
comporta el error de medición.
58
Validación Interna: Sesgo de selección y pérdida de datos.
59
Validación Interna: Sesgo de selección y pérdida de datos.
• Ejemplo, queremos saber si los fondos mutuos están rentando más que el
mercados.
60
Validación Interna: Sesgo de selección y pérdida de datos.
• Ejemplo, queremos saber si los fondos mutuos están rentando más que el
mercados.
60
Validación Interna: Sesgo de selección y pérdida de datos.
• Ejemplo, queremos saber si los fondos mutuos están rentando más que el
mercados.
60
Validación Interna: Sesgo de selección y pérdida de datos.
¿Cómo solucionarlo?
61
Validación Interna: Causalidad simultánea
Pd = β0 − β1 Qd + Ui
Po = γ0 + γ1 Qo + Vi
62
Validación Interna: Causalidad simultánea
63
Validación Interna: Problemas con los test estadísticos.
Para asegurarse de que los test que se ralizan sean los correctos, idealmente
hay que usar errores robustos al estimar las varianzas. Stata hace eso
automáticament.
Si hay correlación serial, es necesario modelarla para poder incluirla en los tests.
64