Econometría

Inferencia y Predicción en el Modelo de Regresión

Lineal
Profesora: María Elisa Farías
maria.fariase@usm.cl
 Inferencia del Modelo de Regresión Lineal

En el modelo simple:
Y i = b0 + b1 Xi + u i

Distribución de los errores? Supuestos:

i. E(ui) = 0
ii. Var(ui) = s2
iii. Cov(ui,uj) = 0, para todo i ≠ j

u ~ N(0, s2)

 Si los errores son independientes y se distribuyen en forma normal, se dice

que son idénticamente, pero independientemente distribuidos (iid).

2
 Distribución de la Variable Dependiente

o En el modelo simple:
Y i = b0 + b1 X i + u i

Como la variable dependiente Y es una combinación lineal de errores

“normales”, su distribución es normal:

Y ~ N(E(Y), Var(Y))

Distribución de ?

3
 Propiedades de los Estimadores MCO

Bajo el supuesto de normalidad de los errores, los estimadores MCO tienen las
siguientes propiedades

1. Insesgados (Teorema Gauss Markov)

2. Consistentes
3. Eficientes (varianza mínima) (Teorema Gauss Markov)
4. Se distribuyen en forma normal. Porqué?

En el modelo simple:

0 ~ N(b0, var(0))
1 ~ N(b1, var(1))

Z = (1 – b1)/var(1)0,5 ~ N(0,1)
4
 Distribución normal de los parámetros

• Bajo el supuesto de normalidad de los errores, los parámetros

beta se distribuyen en forma normal…
• Normal estandarizada, con varianza de los errores
desconocida: distribución t de Student.
 Test de Hipótesis

Hipótesis: Determina un valor para los parámetros de la regresión lineal b0, b1.
Ejemplo, se desea saber si la pendiente es distinta de cero (estadísticamente
significativa).
 Prueba de dos colas:

Hipótesis nula: H0
Hipótesis alternativa: H1

H0: b1 = 0 vs H1: b1 ≠ 0

Prueba o Estadístico:

t = (estimador – valor de hipótesis)/error estándar del estimador

6
 Distribución t para los parámetros

t = N(0,1)/ ~ t(n-k)

Var(1) = s2/Sx2

s2 = SCR/(n-k)

SCR = Se2 ~ c2(n-k)

7
 Prueba de dos Colas para la Pendiente

H0: b1 = 0 vs H1: b1 ≠ 0

t = (1 – b1,0)/

t = 1/~ ta/2(n – k)

Si t 1 > ta/2 (n – k), se rechaza H0 al a% = 5%

8
 Ejemplo

o Ejercicio clase 24 Agosto

o Fórmula del CAPM

9
 Ejemplo: Ejercicio

o Test de significación estadística para la pendiente:

H0: b1 = 0 vs H1: b1 ≠ 0

Var() = 1,9/215,4 = 0,0088

tb1 = (– 0)/ = 5,266

• Test para la pendiente: Para verificar la significación estadística se compara el valor

calculado de la prueba t, con el valor crítico de t-a/2
• El valor de a representa la “confianza” de la prueba, que por convención es el 5%.
Luego a/2 = 2,5%.
• El valor crítico de t-2,5% para 18 grados libertad = 2,101

 Si tb1 > t-a/2, se rechaza H0 y se dice que el parámetro es significativo con un (1 –

a)% de confianza, es decir con un 95% de confianza. Como 5,266 > 2,101, la
pendiente del modelo es significativa.
10
 Significación Estadística de la Pendiente (Prueba de dos “colas”)
En el modelo de regresión lineal queremos saber si el parámetro de
pendiente es estadísticamente significativo. Es decir, que es distinto de
cero. De lo contrario se diría que la variable explicativa no esta
relacionada con la variable dependiente.

Yi = b0 + b1 X i + ui

• Test de Hipótesis:
H0: b1 = 0 vs H1: b1 ≠ 0

• Prueba (Estadístico):

t - 1 = 1/s ~ ta/2(n – k)

Con a = 5%; s =)
11
 Significación estadística usando el Valor de “p”
Otra forma de ver la significación estadística de la pendiente (o cualquiera de
los parámetros del modelo de regresión lineal es a partir del valor de p.

Yi = b0 + b1 Xi + ui
Test de Hipótesis:
H0: b1 = 0 vs H1: b1 ≠ 0

• p = Prob( Aceptar H0)

 Si a = 5%, se tiene que si p < 5%, se rechaza H0.

 p = 1 - F(tb)

F(tb): Distribución normal

12
 Prueba de una “cola”:
Si demostramos que la pendiente es
significativa, quisiéramos saber si es
o Test de Hipótesis: positiva o negativa.

H0: b1 ≤ 0 vs H1: b1 > 0

Para esto debemos descartar que adopta
valores negativos.

o Prueba (Estadístico):

t - 1 = (1)/s ~ ta(n – k) Con a = 5%; s =)

13
 Intervalo de Confianza para los Coeficientes de Regresión (IC)

o Dada la incertidumbre asociada al “verdadero” valor de los parámetros de la

función de regresión, estos no puede ser estimados con exactitud. Los
estimadores de MCO permiten obtener los mejores estimadores a partir de
una muestra, pero no necesariamente, los valores exactos.

o Para compensar esta incertidumbre, se construyen intervalos de confianza

para los parámetros.

 En el modelo simple, se construye

• Un intervalo de confianza para la pendiente b1

• Un intervalo de confianza para el intercepto b0

14
 Intervalo de Confianza para la Pendiente

Un intervalo de confianza (IC) para la pendiente tiene la siguientes

interpretaciones:

i. Es el conjunto de valores que no pueden ser rechazados usando

una prueba de dos colas al 5% (a = 5%).
ii. Indica la probabilidad de contener el “verdadero” valor del
parámetro.

 Esto significa que un IC de 95% contiene el verdadero valor de la

pendiente de la regresión. En la prueba de dos colas:

Pr(1 – ta/2*s ≤ b1 ≤ 1 + ta/2*s) = 95%

con a = 5%; s =)1

15
 Intervalo de Confianza para el Intercepto

Análogamente, para el intercepto b0:

Pr(0 – ta/2*s ≤ b0 ≤ 0 + ta/2*s) = 95%

Con a = 5%; s =)0

16
 Ejemplo

Sea la regresión: Y = a + bX + u

= 1 + 1,75X
n=5

• Var( 0) = 0,3
• Var( 1) = 0,0125

Construir un intervalo de confianza para el intercepto y la pendiente

de la regresión.

17
 Predicción con Mínimos Cuadrados Ordinarios (MCO)
Una vez estimada la función de regresión lineal, con los parámetros del
modelo, se desea predecir el “verdadero” valor de la variable dependiente.
Para esto, existen dos alternativas:

o Predicción “en la muestra”: Esto significa predecir el valor de la variable

dependiente Y, con los mismos datos utilizados para estimar .

o Predicción fuera de la muestra: Aquí se utilizan datos distintos que los

utilizados para estimar la función de regresión.

En cualquiera de estos casos, nos interesa que la predicción sea lo más

precisa posible, es decir con el menor error...

18
 Predicción
• Predicción Media
• Predicción Puntual

Predicción Media

Se busca predecir el valor esperado de Y, dados valores conocidos

(determinados) de X. En el modelo simple:

Y = b0 + b1X + u
Con X = X0

A partir de X0, se desea predecir E(Y/X0), en que:

E(Y/X0) = b0 + b1X0 19
 El Estimador de la Predicción Media: E()

Por teorema de Gauss – Markov, el mejor estimador es el de MCO:

E() = 0 = 0+ 1X0

Var(0) = s2[1/n + ]

En que 0 ~ N(b0 + b1X0, Var(0))

 Ya que los estimadores 0 y 1 son insesgados…

20
 Cómo se evalúa la Predicción?
Se crea un intervalo de confianza para el valor medio de la variable
dependiente.

t = (0 - E(Y/X0))/s ~ t(n-k)

En que: s = [Var(0)]1/2

Pr(0 - s ta/2 ≤ E(Y/X0) ≤ 0 + s ta/2) = 1 – a = 95%

21
 Ejemplo

En el modelo:
= 24,4545 + 0,5091X

Se desea predecir el valor medio de Y, dado X0 = 100, con n = 10. Por
otra parte, 2 = 42,159; = 170 y Sx2 = 33.000. Cuál es el intervalo de
confianza para la predicción media?

22
 Predicción Puntual
o Se busca predecir un valor puntual para la variable dependiente Y,
dados valores conocidos (determinados) de X. En el modelo simple:

Y = b0 + b1X + u
Con X = X0

A partir de X0, se desea predecir Y/X0, en que:

Y0/X0 = b0 + b1X0 + u0

o El predictor:

0 = 0 + 1X0
23
 El Error de Predicción

ep = Y0 - 0
E(ep) = 0, por qué?

Var(ep) =E[(Y0 - 0)2]

Var(ep) = var(0) + s2
Var(ep) =s2[ 1 + 1/n + ]

Intervalo de Confianza (IC) para la Predicción Puntual?

24
 Ejemplo

En el modelo:
= 24,4545 + 0,5091X

Se desea predecir el valor de Y, dado X0 = 100, con n = 10. Por otra
parte, 2 = 42,159; = 170 y Sx2 = 33.000. Cuál es el intervalo de
confianza para la predicción puntual?

25