Regresión Lineal Múltiple

Maritza Jiménez Zapata, PhD (c)

maritza.jimenez@upb.edu.co

Universidad Pontificia Bolivariana

Modelo de regresión lineal múltiple (MRLM)

Es un mecanismo de generación de información dónde interviene más de

una variable regresora, y que asume que la relación entre las variables de
interés está bien representada por una estructura lineal

El término múltiple indica que hay más de una variable regresora (x) en el
modelo

2
 El MRLM tiene la siguiente estructura:

Donde 𝑌 = 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎 𝑑𝑒 𝑖𝑛𝑡𝑒𝑟é𝑠

𝑋 = 𝑐𝑜𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒𝑠 𝑜 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒𝑠 𝑟𝑒𝑔𝑟𝑒𝑠𝑜𝑟𝑎𝑠

𝛽 , 𝛽 , … , 𝛽 = 𝑐𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒𝑠 𝑑𝑒 𝑟𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛 𝑑𝑒𝑙 𝑀𝑅𝐿𝑀

𝐸 = 𝑐𝑜𝑚𝑝𝑜𝑛𝑒𝑛𝑡𝑒 𝑑𝑒 𝑒𝑟𝑟𝑜𝑟 𝑎𝑙𝑒𝑎𝑡𝑜𝑟𝑖𝑜

¿Cómo interpretar los parámetros?

𝛽 = 𝑖𝑛𝑡𝑒𝑟𝑐𝑒𝑝𝑡𝑜 𝑢 𝑜𝑟𝑑𝑒𝑛𝑎𝑑𝑎 𝑎𝑙 𝑜𝑟𝑖𝑔𝑒𝑛 𝑑𝑒𝑙 𝑝𝑙𝑎𝑛𝑜 𝑑𝑒 𝑅𝐿𝑀

Si en el intervalo de los datos, se incluye el punto 𝑥 = 𝑥 = ⋯ = 𝑥 = 0 , entonces

𝛽 es la respuesta media de “y” cuando 𝑥 = 𝑥 = ⋯ = 𝑥 = 0 .

Si lo anterior no ocurre, entonces 𝛽 no tiene interpretación práctica, pero es una

constante que puede ayudar en el ajuste.

4
 ¿Cómo interpretar los parámetros?

𝛽 = 𝑐𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒𝑠 𝑑𝑒 𝑟𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛 𝑝𝑎𝑟𝑐𝑖𝑎𝑙

, ,…

Es el cambio esperado en Y, dado un cambio unitario en 𝒙𝒋 ,

cuando todas las demás covariables permanecen constantes.

¿Cómo interpretar los parámetros?

𝐸 = 𝑐𝑜𝑚𝑝𝑜𝑛𝑒𝑛𝑡𝑒 𝑑𝑒 𝑒𝑟𝑟𝑜𝑟

Es una variable aleatoria que explica por qué el MRLM no se ajusta

exactamente a los datos obtenidos muestralmente.

6
 ¿Cuál sería su forma gráfica?

MRLS

?
8
 ¿Cuál sería su forma gráfica?
MRLM

Y
Y

Fuente: https://www.palass.org/publications/newsletter/palaeomath-101/palaeomath-part-4-regression-iv

¿Cuál sería su forma gráfica?

MRLM de dos covariables

Fuente: https://datacadamia.com/data_mining/multiple_regression

10
 Comentarios sobre los MRLM

1) Un MRLM es una función lineal de los parámetros desconocidos 𝛽

2) Un MRLM describe un hiperplano en el espacio de las k dimensiones

generadas por las variables regresoras 𝑥

3) Todo modelo de regresión que es lineal en los parámetros (𝛽 𝑠) es un modelo

de regresión lineal, independientemente de la forma de la superficie que genere.

11

Modelo de regresión lineal múltiple (MRLM)

Es un mecanismo de generación de información dónde interviene más de
una variable regresora, y que asume que la relación entre las variables de
interés está bien representada por una estructura lineal

El término múltiple indica que hay más de una variable regresora (x) en el
modelo

12
 Forma matricial del MRLM
Suponga una muestra de tamaño n (n>k)

𝑦 = 𝑖 − é𝑠𝑖𝑚𝑎 𝑜𝑏𝑠𝑒𝑟𝑣𝑎𝑐𝑖ó𝑛 𝑑𝑒 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎

𝑥 = 𝑖 − é𝑠𝑖𝑚𝑎 𝑜𝑏𝑠𝑒𝑟𝑣𝑎𝑐𝑖ó𝑛 𝑑𝑒 𝑙𝑎 𝑗 − é𝑠𝑖𝑚𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑟𝑒𝑔𝑟𝑒𝑠𝑜𝑟𝑎

13

Note que para cada observación (i) sería posible expresarla de la

siguiente manera:
𝑦 = 𝛽 + 𝛽 𝑥 + 𝛽 𝑥 + ⋯+ 𝛽 𝑥 + 𝐸

Entonces se tendrían n ecuaciones, una por cada observación i.

𝑦 = 𝛽 + 𝛽𝑥 + 𝛽 𝑥 + ⋯+ 𝛽 𝑥 +𝐸

𝑦 = 𝛽 + 𝛽𝑥 + 𝛽 𝑥 + ⋯+ 𝛽 𝑥 +𝐸

𝑦 = 𝛽 + 𝛽𝑥 + 𝛽 𝑥 + ⋯+ 𝛽 𝑥 +𝐸

14
 Si definimos los siguientes vectores y matrices…

𝑦 𝛽 𝐸
𝑦 𝛽 𝐸
𝑌= ⋮ 𝛽= 𝐸=
⋮ ⋮
𝑦 𝛽 𝐸
𝑛∗1 𝑛∗𝑝 𝑝∗1 𝑛∗1
𝑐𝑜𝑛 𝑝 = 𝑘 + 1

Entonces esta información también puede presentarse de forma matricial, así:

15

Supuestos del MRLM

1. Muestra representativa.
2. Linealidad.
3. Independencia
4. Varianza constante
5. Media de los residuos igual a cero

6. Normalidad

16
 Estimación de coeficientes de regresión
por MCO
El procedimiento se establece igual que
Observación real (Yi) en RLS, es decir, se minimiza el cuadrado
Y
total del error (SSE), pero ahora, es una
Error(ei) función multivariada.

Y ajustado
Haciendo las operaciones correspondientes,
se obtiene que…
X2

X1

17

De forma que el modelo ajustado, expresado en forma matricial, sería:

Donde

Se denomina matriz sombrero, o matriz H

18
 Propiedades de los por M.C.O.

1. 𝛽 es un estimador insesgado de 𝛽 , es decir: 𝐸 𝛽 =𝛽

2. Para 𝛽 ∗ estimado por cualquier método diferente a MCO, 𝑉𝑎𝑟 𝛽 ≤ 𝑣𝑎𝑟 𝛽 ∗

3. La matriz de varianzas-covarianzas está dada por: 𝐶𝑜𝑣 𝛽 =𝜎 𝑋 𝑋 =𝜎 𝐶

Donde los 𝐶 son los elementos de 𝑋 𝑋

19

Regresión Lineal Múltiple

Maritza Jiménez Zapata, PhD (c)

maritza.jimenez@upb.edu.co

Universidad Pontificia Bolivariana

20
 Referencias

Montgomery, D. Peck, E. Vining, G. (2006). Introducción al análisis de regresión

lineal. CECSA. 3ª edición

Douglas C. Montgomery, Elizabeth A. Peck, G. Geoffrey Vining. (2012).

Introduction to Linear Regression Analysis,. John Wiley & Sons , Fifth Edition

21