Regresión lineal múltiple – Verificación de supuestos

Regresión lineal

Modelo de la población 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ + 𝛽𝑘 𝑥𝑘 + 𝑢

𝑢 es una variable aleatoria

Parámetros del modelo 𝛽0 , 𝛽1 , 𝛽2 , … , 𝛽𝑘

variable independientes 𝑥1 , 𝑥2 , … 𝑥𝑘

variable dependiente 𝑦

Los valores que conforman la observación i se identifican por:

𝑦𝑖 , 𝑥𝑖1 , 𝑥𝑖2 , … , 𝑥𝑖𝑘

𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 + 𝑢𝑖

Estimadores ̂0 , 𝛽
𝛽 ̂1 , 𝛽
̂2 , … , 𝛽
̂𝑘

Ecuación ajustada ̂0 + 𝛽
𝑦̂ = 𝛽 ̂1 𝑥1 + 𝛽
̂2 𝑥2 + ⋯ + 𝛽
̂𝑘 𝑥𝑘

Valor ajustado observación 𝑖 ̂0 + 𝛽

𝑦̂𝑖 = 𝛽 ̂1 𝑥𝑖1 + 𝛽
̂2 𝑥𝑖2 + ⋯ + 𝛽
̂𝑘 𝑥𝑖𝑘

Residuales 𝑢̂𝑖 = 𝑦𝑖 − 𝑦̂𝑖

SRC suma de residuales al cuadrado 𝑆𝑅𝐶 = ∑ 𝑢̂𝑖 2 = ∑(𝑦𝑖 − 𝑦̂𝑖 )2

𝑆𝑅𝐶
Desviación estimada de los errores 𝑠 = √ 𝑛−(𝑘+1)
 Regresión lineal múltiple – Verificación de supuestos

Supuestos del modelo de regresión lineal

∀𝑖=1,2,…,𝑛; 𝑗=1,2,…,𝑘

1. 𝐸[𝑢𝑖 ] = 0 la media del error aleatorio es cero

2. 𝑉[𝑢𝑖 ] = 𝜎 2 la varianza del error es constante – Homocedasticidad

no depende del valor de 𝑖

3. 𝐶𝑜𝑣[𝑥𝑖𝑗 , 𝑢𝑖 ] = 0 no hay correlación entre las independientes y el error

4. 𝐶𝑜𝑣[𝑢𝑖 , 𝑢𝑡 ] = 0 no hay correlación entre errores de dos observaciones

5. No multicolinealidad Ninguna variable independiente se puede expresar como

combinación lineal de otras variables independientes

6. 𝑢𝑖 ~𝑁(0, 𝜎 2 ) los errores siguen una distribución normal

 Regresión lineal múltiple – Verificación de supuestos
Supuesto 2 – La varianza es constante
Pruebas de homocedasticidad

𝐻0 : 𝑉(𝑢𝑖 ) = 𝜎 2 La varianza del error es constante

𝐻1 : 𝑉(𝑢𝑖 ) 𝑛𝑜 𝑐𝑜𝑛𝑠𝑡𝑎𝑛𝑡𝑒 Varianza del error no constante
La variable aleatoria 𝑢𝑖 tiene 𝐸[𝑢𝑖 ] = 0
La varianza se define por 𝐸[〈𝑢𝑖 − 𝐸(𝑢𝑖 )〉2 ] = 𝐸[𝑢𝑖 2 ]
Es decir, los cuadrados de los residuales son una estimación de la varianza del residual
La afirmación de que la varianza es constante se puede verificar mostrando que el residual
al cuadrado no se puede explicar por otras variables.

Prueba Breusch Pagan

Modelo auxiliar 𝑢̂2 = 𝛿0 + 𝛿1 𝑥1 + 𝛿2 𝑥2 + ⋯ + 𝛿𝑘 𝑥𝑘 + 𝑣
𝐻0 : 𝛿1 = 0, 𝛿2 = 0, … , 𝛿𝑘 = 0 EL modelo para explicar la varianza
NO es significativo. La varianza es constante
Utilice el estadístico F de significancia general para este modelo auxiliar

Prueba White 1
𝑢̂2 = 𝛿0 + 𝛿1 𝑥1 + 𝛿2 𝑥2 + ⋯ + 𝛿𝑘 𝑥𝑘 +
+ 𝑡é𝑟𝑚𝑖𝑛𝑜𝑠 𝑒𝑛 𝑥𝑗2 , 𝑡é𝑟𝑚𝑖𝑛𝑜𝑠 𝑑𝑒 𝑖𝑛𝑡𝑒𝑟𝑎𝑐𝑐𝑖𝑜𝑛 (𝑥𝑗 ∗ 𝑥𝑟 ) + 𝑣
𝐻0 : 𝛿1 = 0, 𝛿2 = 0, … EL modelo para explicar la varianza
NO es significativo. La varianza es constante
Utilice el estadístico F de significancia general para este modelo auxiliar

Prueba White 2
𝑢̂2 = 𝛿0 + 𝛿1 𝑦̂ + 𝛿2 𝑦̂ 2 + 𝑣
𝐻0 : 𝛿1 = 0, 𝛿2 = 0 EL modelo para explicar la varianza
NO es significativo. La varianza es constante
Utilice el estadístico F de significancia general para este modelo auxiliar

Decisión en la prueba de homocedasticidad

El rechazo de la hipótesis nula indica la presencia de heterocedasticidad, es decir varianza
no constante
 Regresión lineal múltiple – Verificación de supuestos
Supuesto 3 – Errores no correlacionados con variables explicativas

Prueba
Modelo auxiliar 𝑢̂ = 𝛿0 + 𝛿1 𝑥1 + 𝛿2 𝑥2 + ⋯ + 𝛿𝑘 𝑥𝑘 + 𝑣

𝐻0 : 𝛿1 = 0, 𝛿2 = 0, … , 𝛿𝑘 = 0 EL modelo para explicar el residual

NO es significativo.

Utilice el estadístico F de significancia general para este modelo auxiliar

Decisión en la prueba
El rechazo de la hipótesis nula indica que al menos una de las variables independientes
puede explicar el comportamiento del error.

Las variables y los residuales estarían correlacionados

 Regresión lineal múltiple – Verificación de supuestos

Supuesto 4 – Errores no correlacionados entre ellos

Prueba Durbin Watson (DW)

Parámetro es la correlación entre dos errores consecutivo 𝜌 = 𝐶𝑜𝑟𝑟(𝑢𝑖 , 𝑢𝑖−1 )

𝐻0 : 𝜌 = 0 No hay correlación entre 2 errores consecuivos

𝐻1 : 𝜌 ≠ 0 Sí hay correlación

∑(𝑢𝑖 −𝑢𝑖−1 )2
Estadístico de prueba 𝐷𝑊 = ∑ 𝑢𝑖 2

Buscar valores críticos en una tabla Durbin Watson

Se puede verificar que 𝐷𝑊~2(1 − 𝜌)

0 dL dU 2 4-dU 4-dL 4

Correlación + ¿? NO ¿? -

Interpretación

0 < 𝐷𝑊 < 𝑑𝐿 correlación positiva entre 𝑢𝑖 , 𝑢𝑖−1

𝑑𝐿 < 𝐷𝑊 < 𝑑𝑈 el criterio no decide

𝑑𝑈 < 𝐷𝑊 < 4 − 𝑑𝑈 no hay correlación entre 𝑢𝑖 , 𝑢𝑖−1

4 − 𝑑𝑈 < 𝐷𝑊 < 4 − 𝑑𝐿 el criterio no decide

4 − 𝑑𝐿 < 𝐷𝑊 < 4 correlación negativa entre 𝑢𝑖 , 𝑢𝑖−1