Modelo de Regresión Lineal Múltiple

Econometría Aplicada
Modelo de Regresión Lineal Múltiple: Inferencia Estadística

Econ. José Bordón

Marzo 2021
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Supuesto 6 (Normalidad del error): La distribución de

condicionada en es normal.

 Los supuestos 4, 5 y 6 en conjunto implican que la distribución de

condicionada en es

 Como la distribución de de condicionada en no depende de , se

sigue que y son independientes.

 Una consecuencia del punto anterior es la distribución marginal

(incondicionada) de es .
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Recuerde de (7) que el error muestral, , es lineal en . Como es

normal, entonces el error muestral también tiene una distribución
normal.

 Entonces:
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

 Contraste de Hipótesis sobre coeficientes individuales

 La hipótesis nula es del tipo , donde es algún valor conocido.

 La hipótesis nula es del tipo (si el test a dos colas) o (si el test es a
una cola)

 Usando (10) e imponiendo la hipótesis nula tenemos:

Donde es el elemento de la diagonal principal de ubicado en la fila

k y la columna k.
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Bajo la hipótesis nula, el estadístico de contraste

tiene una distribución normal estándar.

 Utilizando el estadístico de contraste , podemos determinar si el

error muestral es demasiado grande como para ocurrir por
casualidad.

 El concepto “muy grande” se establece probabilísticamente si el

estadístico de contraste toma un valor que no es representativo
para una realización proveniente de la distribución de .
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Distribución del estadístico de contraste

Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Si es desconocido, una idea natural es reemplazarlo con su

estimador mínimo cuadrático, .

 El denominador del nuevo estadístico se llama error estándar

mínimo cuadrático de

 Como es una variable aleatoria, su inclusión en el estadístico de

contraste cambia la distribución muestral del mismo.
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Distribución del estadístico : Supongamos que los supuestos 1 al 6

se cumplen. Entonces, bajo la hipótesis el estadístico nula definido
como,

Se distribuye como una . (distribución con grados de libertad).

 El contraste de hipótesis basado en el estadístico se llama test t y

se resuelve como sigue:
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Distribución del estadístico

Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

 Comparación entre la distribución normal estándar y la

distribución t.
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

 Paso 1: Dado el valor hipotetizado, , de , construya el estadístico como

en (12). Un desvió muy grande de de cero es un signo de la falla de la
hipótesis nula. El siguiente paso especifica cuan grande es “muy
grande”.
Paso 2:
Para el test de dos colas, encuentre el valor crítico, , en la distribución
como el intervalo alrededor de cero que deja de cada lado de la
distribución. Esto es,

Para el test de una cola, encuentre el valor crítico, , en la distribución

como el intervalo alrededor de cero que deja a la derecha (izquierda)
de la distribución. Esto es,
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

 Paso 3: Regla de Decisión

Para el test de dos colas, rechace , si o

Para el test de una cola, rechace , si .

 p-valor: La regla de decisión del test también puede ser formulada

en términos del p-valor . Es la probabilidad de observar un
estadístico t tan extremo como el que se encontró, suponiendo que
la hipótesis nula es verdadera.

Paso 2:
Para el test de dos colas, calcular
Para el test de una cola, calcular
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

 Paso 3: Regla de Decisión: Rechace , si

 Esto significa que valores pequeños son evidencia contra la

hipótesis nula; valores p grandes proporcionan poca evidencia
contra la hipótesis nula.

Intervalos de Confianza

 Un intervalo de confianza de para el coeficiente es el intervalo que

contiene a para el de las muestras, esto es el intervalo con una
probabilidad de de contener al verdadero valor de .

Ej: Con un , tenemos un nivel de confianza de . Esto significa que un

intervalo de confianza del 95% es el intervalo que contiene al
verdadero con una probabilidad del 95%.
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Se puede utilizar el estadístico t para construir un intervalo de

confianza para el coeficiente . Para ello, tomamos el valor critico
de la distribución t, , y construimos el intervalo de la siguiente
manera:

Ej: Con un , el intervalo de confianza del 95% quedaría:

 Cuanta mas grande sea el nivel de confianza, mayor será la

amplitud del intervalo.
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  En muestras grandes, los coeficientes de mínimos cuadrados se

distribuyen aproximadamente con una normal estándar, por lo que
podemos usar la inversa de la distribución normal estándar para
construir el intervalo de confianza,

Ej: Con un , el intervalo de confianza del 95% quedaría:

 Cuanta mas grande sea el nivel de confianza, mayor será la

amplitud del intervalo.
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

 Contraste de Hipótesis lineales

 Hipótesis lineales: Supongamos que queremos contrastar hipótesis

que son combinaciones lineales de coeficientes. Estas pueden
escribirse como

 Donde los valores de R y r son conocidos. Note que (13) puede ser
un sistema de ecuaciones.

 Denominamos al número de ecuaciones, que es la dimensión de

r, . Por tanto R es de dimensión .
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

 Ejemplo: Contraste de Significancia global

 La hipótesis nula es , que se puede escribir como en la expresión

(13), con las matrices R y r dadas por:

 Donde el numero de filas de r, .

 La hipótesis alternativa es:

Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Para contrastar estas hipótesis utilizamos un test F o test de Wald.

El estadístico de contraste se define como

 Supongamos que se cumplen los supuestos 1 – 6. Bajo la hipótesis

nula (13), el estadístico de contraste W, definido en la ecuación
anterior se distribuye como una . (Distribución F con y grados de
libertad)
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

 Distribución de W
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  Si la hipótesis nula es verdadera, deberíamos esperar que fuera

muy pequeño, por lo que valores muy altos de W deberían ser
tomados como evidencia en contra de la hipótesis nula.

 El contraste de hipótesis basado en W se resuelve como sigue

Paso 1: Calcule el estadístico W con la formula (14).

Paso 2: Encuentre el valor critico en una distribución F, con grados de
libertad en el numerador y grados de libertad en el denominador, que
deje una probabilidad de en la cola superior de la distribución.
Paso 3: Rechace si el estadístico W en el paso 1 es mayor al valor
crítico
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  p-valor: La regla de decisión del test de Wald también puede ser

formulada en términos del p-valor .

Paso 1: Calcule el estadístico W con la formula (14).

Paso 2: Calcule
Paso 3 Regla de Decisión: Rechace , si .

 El test de Wald puede reformularse en los siguientes términos:

Paso 1: Establezca dos modelos, el modelo original (denominado no

restringido) y un modelo alternativo que cumpla con la hipótesis nula
(denominado restringido). Estime los dos modelos y obtenga la suma
de los residuos al cuadrado ( y ).
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

 Paso 2: Construya el estadístico W con la siguiente formula

Paso 3: Encuentre el valor critico en una distribución F, con grados de

libertad en el numerador y grados de libertad en el denominador, que
deje una probabilidad de en la cola superior de la distribución.
Paso 4: Rechace si el estadístico W en el paso 2 es mayor al valor
crítico

 Intuición: Si la hipótesis nula es verdadera, deberíamos esperar que

fuera muy pequeño, por lo que valores muy altos de W deberían
ser tomados como evidencia en contra de la hipótesis nula.
Modelo de Regresión Lineal Múltiple

Mínimos Cuadrados Ordinarios: Inferencia Estadística

  El test de Wald puede escribirse también en términos del de

ambos modelos:

En la ecuación (15), teniendo en cuenta y que el , tenemos que

 Los pasos para la aplicación del test de Wald en términos del son
los mismos que los pasos para el test en términos de las RSS.