Regresión lineal múltiple

Regresión lineal

Modelo propuesto 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ + 𝛽𝑘 𝑥𝑘 + 𝑢
Muestra de datos: n observaciones,
cada observación consta de un valor para la variable dependiente “y”, además de
un valor para cada una de las variable independientes 𝑥1 , 𝑥2 , … 𝑥𝑘
Los valores que conforman la observacion i se identifican por:
𝑦𝑖 , 𝑥𝑖1 , 𝑥𝑖2 , … , 𝑥𝑖𝑘
X es una matriz con n filas y (k+1) columnas,
cada fila es una observación de las variables independientes
Y es una matriz con n filas y 1 columna,
cada entrada es una observación de la variable dependiente

̂0
𝛽
̂1
𝛽
𝛽̂ = = [𝑋 𝑇 𝑋]−1 [𝑋 𝑇 𝑌]
⋮
̂𝑘
𝛽
( )

STC suma total de cuadrados 𝑆𝑇𝐶 = ∑(𝑦𝑖 − 𝑦̅)2

𝑆𝑇𝐶 = (𝑛 − 1)𝑠𝑌2 𝑠𝑌2 es la varianza de la muestra 𝑦1 , 𝑦2 , … , 𝑦𝑛

SRC suma de residuales al cuadrado 𝑆𝑅𝐶 = ∑ 𝑢̂𝑖 2 = ∑(𝑦𝑖 − 𝑦̂𝑖 )2

̂ 𝑇 [𝑋𝑇 𝑌]
𝑆𝑅𝐶 = [𝑌 𝑇 𝑌] − 𝛽

SEC suma explicada de cuadrados 𝑆𝐸𝐶 = ∑(𝑦̂𝑖 − 𝑦̅)2

SEC = STC – SRC

𝑆𝑅𝐶
Coeficiente de determinación 𝑅2 = 1 −
𝑆𝑇𝐶
 Regresión lineal múltiple

Regresión lineal múltiple en Excel

Modelo propuesto 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ + 𝛽𝑘 𝑥𝑘 + 𝑢
Seleccione un rango de k+1 columnas y 5 renglones
Comando Excel: ESTIMACION.LINEAL(rango_y; rango_x; constante; estadísticas)
Constante: 1 si se calcula normalmente (recomendado)
0 si no se calcula 𝛽0 y se asigna 0 a la constante 𝛽0
Estadísticas: 1 si se calculan estadísticas adicionales (recomendado)
0 para no calcular estadísticas adicionales
Recuerde terminar con Ctrl+Mayús+Enter
Tabla de resultados
̂𝑘
𝛽 ̂
𝛽𝑘−1 … ̂1
𝛽 ̂0
𝛽
̂𝑘 )
𝑒𝑒(𝛽 ̂
𝑒𝑒(𝛽𝑘−1 ) … ̂1 )
𝑒𝑒(𝛽 ̂0 )
𝑒𝑒(𝛽
𝑅2 s
F gl
SEC SRC

𝛽̂𝑗 estimador del parámetro 𝛽𝑗 𝑗 = 0,1, … , 𝑘

𝑒𝑒(𝛽̂𝑗 ) error estándar del estimador 𝛽̂𝑗 𝑗 = 0,1, … , 𝑘

𝑅2 coeficiente de determinación
s estimación de la desviación de los errores
F estadístico de prueba, hipótesis de significancia conjunta
𝐻0 : 𝛽1 = 0, 𝛽2 = 0, … , 𝛽𝑘 = 0

Cola derecha siempre 𝑉𝑝 = 𝑃(𝐹 > |𝑡𝑒𝑝 |) 𝑉𝑝 < 𝛼 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝐻0

grados de libertad 𝑛𝑢𝑚𝑒𝑟𝑎𝑑𝑜𝑟 = 𝑘, 𝑑𝑒𝑛𝑜𝑚𝑖𝑛𝑎𝑑𝑜𝑟 = 𝑛 − (𝑘 + 1)

gl grados de libertad 𝑛 − (𝑘 + 1)
SEC suma explicada de cuadrados 𝑆𝐸𝐶 = ∑(𝑦̂𝑖 − 𝑦̅)2

SRC suma de residuales al cuadrado 𝑆𝑅𝐶 = ∑ 𝑢̂𝑖 2 = ∑(𝑦𝑖 − 𝑦̂𝑖 )2

 Regresión lineal múltiple

Linealización de modelos no lineales

𝑦 = 𝐴𝑒 𝑘𝑥 ln 𝑦 = ln 𝐴 + 𝑘𝑥 ln 𝑦 = 𝛽0 + 𝛽1 𝑥 log-nivel

𝑦 = 𝐴𝑥 𝐵 ln 𝑦 = ln 𝐴 + 𝐵 ln 𝑥 log-log

Interpretación de las estimaciones de los parámetros

dependiendo de la forma funcional del modelo

Modelo Dependiente Independiente Interpretación de 𝜷

nivel-nivel y x ∆𝒚 = 𝜷𝟏 ∆𝒙

nivel-log y ln(x) ∆𝒚 = (𝜷𝟏 /𝟏𝟎𝟎) %∆𝒙

log-nivel ln(y) x %∆𝒚 = (𝟏𝟎𝟎𝜷𝟏 ) ∆𝒙

log-log ln(y) ln(x) %∆𝒚 = 𝜷𝟏 %∆𝒙

∆𝑥 cambio absoluto en 𝑥
∆𝑦 cambio absoluto en 𝑦
%∆𝑥 cambio porcentual en 𝑥
%∆𝑦 cambio porcentual en 𝑦

nivel-nivel 𝑦 = 𝛽0 + 𝛽1 𝑥
nivel-log 𝑦 = 𝛽0 + 𝛽1 𝑙𝑛(𝑥)
log-nivel 𝑙𝑛(𝑦) = 𝛽0 + 𝛽1 𝑥
log-log 𝑙𝑛(𝑦) = 𝛽0 + 𝛽1 𝑙𝑛(𝑥)
 Regresión lineal múltiple

Prueba de significancia individual

𝐻0 : 𝛽𝑗 = 0 El término NO es significativo

𝐻1 : 𝛽𝑗 ≠ 0 El término SI es significativo

̂𝑗
𝛽
Estadístico de prueba 𝑡𝑒𝑝 = ̂𝑗 )
𝑒𝑒(𝛽

Valor p 𝑉𝑝 = 2 ∗ 𝑃(𝑇 > |𝑡𝑒𝑝 |) 𝑉𝑝 < 𝛼 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝐻0

Intervalo de confianza para 𝛽𝑗 : 𝛽̂𝑗 ± 𝑡𝛼⁄2 ∗ 𝑒𝑒(𝛽̂𝑗 )

Prueba de significancia general

𝐻0 : 𝛽1 = 0, 𝛽2 = 0, … , 𝛽𝑘 = 0 El modelo NO es significativo

𝐻1 : 𝑎𝑙𝑔ú𝑛 𝛽𝑗 ≠ 0, 𝑗 = 1,2, … , 𝑛 El modelo SÍ es significativo

𝑅 2 ⁄𝑘 𝑔𝑙1=𝑘
Estadístico de prueba 𝑓𝑒𝑝 = (1−𝑅 2 )/(𝑛−(𝑘+1))
~ 𝐹 𝑔𝑙2=𝑛−(𝑘+1)

Valor p 𝑉𝑝 = 𝑃(𝐹 > 𝑓𝑒𝑝 ) 𝑉𝑝 < 𝛼 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝐻0

 Regresión lineal múltiple

Prueba de significancia parcial

𝐻0 : 𝑎𝑙𝑔𝑢𝑛𝑜𝑠 𝛽𝑗 = 0 Los 𝛽𝑗 incluidos en la hipótesis nula

NO son significativos (hay q términos 𝛽𝑗 en 𝐻0 )

𝐻1 : 𝑎𝑙𝑔𝑢𝑛𝑜𝑠 𝑑𝑒 𝑙𝑜𝑠 𝛽𝑗 ≠ 0, Al menos uno los 𝛽𝑗 incluidos en la hipótesis nula

SÍ son significativos

nr modelo no restringido modelo original con todas las variables

r modelo restringido modelo sin las variables de los 𝛽𝑗 incluidos

en la hipótesis

2
𝑅𝑛𝑟 coeficiente de determinación del modelo no restringido

𝑅𝑟2 coeficiente de determinación del modelo restringido

𝑞 cantidad de 𝛽𝑗 incluidos en 𝐻0

(𝑅2𝑛𝑟 −𝑅2𝑟 )⁄𝑞 𝑔𝑙1=𝑞

Estadístico de prueba 𝑓𝑒𝑝 = (1−𝑅2𝑛𝑟 )/(𝑛−(𝑘+1))
~ 𝐹 𝑔𝑙2=𝑛−(𝑘+1)

Valor p 𝑉𝑝 = 𝑃(𝐹 > 𝑓𝑒𝑝 ) 𝑉𝑝 < 𝛼 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝐻0

 Regresión lineal múltiple

Prueba de hipótesis sobre el valor de un parámetro

𝐻0 : 𝛽𝑗 = 𝑏

̂𝑗 −𝑏
𝛽
Estadístico de prueba 𝑡𝑒𝑝 = ̂𝑗 )
𝑒𝑒(𝛽

𝐻1 : (𝑖) 𝛽𝑗 ≠ 0 𝑉𝑝 = 2 ∗ 𝑃(𝑇 > |𝑡𝑒𝑝 |)

(𝑖𝑖) 𝛽𝑗 > 0 𝑉𝑝 = 𝑃(𝑇 > 𝑡𝑒𝑝 )

(𝑖𝑖𝑖) 𝛽𝑗 < 0 𝑉𝑝 = 𝑃(𝑇 < 𝑡𝑒𝑝 )

𝑉𝑝 < 𝛼 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝐻0