INFERENCIA ESTADÍSTICA INVARIANTE

DEFINICIONES

REGRESIÓN LINEAL MÚLTIPLE

ESTADÍSTICA
Ing. Carlos Balseca
DEPARTAMENTO DE CIENCIAS EXACTAS - ESPE
 CLASE Nro. 14

CONTENIDO

Título REGRESIÓN LINEAL MÚLTIPLE.

Duración 270 minutos

Información general Principales características de la regresión lineal múltiple.

Objetivo Realizar regresiones lineales múltiples.

 CLASE Nro. 14

REGRESIÓN LINEAL MÚLTIPLE

Introducción: Es una generalización de la regresión lineal simple a una situación en la que hay más

de una variable independiente, predictora o regresora.

Es decir, cuando la variable de respuesta Y depende linealmente de dos o más variables entonces se

tratará de un modelo de regresión lineal múltiple.

En estos modelos se tendrán n observaciones y k variables regresoras. Estos modelos en general

describen un hiperplano k dimensional, formado por las variables 𝑥𝑗 , (j=1, 2, 3, …, k)

Siendo entonces el modelo de regresión lineal múltiple:

𝑌 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ + 𝛽𝑘 𝑥𝑘 + 𝜖 𝑀𝑜𝑑𝑒𝑙𝑜 𝑡𝑒ó𝑟𝑖𝑐𝑜

Donde:

𝛽0 es el intercepto con el plano

𝛽1 , 𝛽2 , ⋯ , 𝛽𝑘 son los coeficientes de regresión parciales,

𝛽1 representa el cambio esperado en Y por unidad de cambio en 𝑥1 , manteniendo constante los demás

valores de 𝑥2 , 𝑥3 , ⋯ , 𝑥𝑘 .

𝛽2 representa el cambio esperado en Y por unidad de cambio en 𝑥2 , manteniendo constante los demás

valores de 𝑥.

𝜖 término de error representa la variabilidad de Y que no puede explicarse por el efecto lineal de las k

variables independientes, considerando los supuestos de que el error sigue una distribución normal con

media 𝐸(𝜖) = 0 y varianza 𝑉(𝜖) = 𝜎 2 .

Se emplea el termino lineal puesto que Y será una función lineal de los parámetros 𝛽0 , 𝛽1 , 𝛽2 , ⋯ , 𝛽𝑘 .

Ecuación de regresión lineal múltiple

Por lo general los parámetros 𝛽0 , 𝛽1 , 𝛽2 , ⋯ , 𝛽𝑘 , suelen ser desconocidos por lo que es necesario poder

estimarlos a partir de datos muestrales (MAS).

̂0 + 𝛽
𝑌̂ = 𝛽 ̂1 𝑥1 + 𝛽
̂2 𝑥2 + ⋯ + 𝛽
̂𝑘 𝑥𝑘 𝑀𝑜𝑑𝑒𝑙𝑜 𝑒𝑠𝑡𝑖𝑚𝑎𝑑𝑜
 CLASE Nro. 14
Donde:

̂0 , 𝛽
𝛽 ̂1 , 𝛽̂ ̂
2, ⋯ , 𝛽𝑘 , son estimaciones puntuales de los parámetros 𝛽0 , 𝛽1 , 𝛽2 , ⋯ , 𝛽𝑘 , y 𝑌̂ es el valor

estimado de la variable dependiente.

Estimación de los parámetros por mínimos cuadrados

El método de mínimos cuadrados, permite obtener la ecuación de regresión lineal múltiple estimada,

que mejor aproxima la relación lineal entre las variables dependiente e independientes.

Suponer que se tienen n observaciones (filas) y sea 𝑥𝑖𝑗 la iésima observación de la variable 𝑥𝑗 las

observaciones serán:

𝑥𝑖1 , 𝑥𝑖2 , 𝑥𝑖3 , ⋯ , 𝑥𝑖𝑗 , 𝑦𝑖 , para 𝑖 = 1, 2, 3, ⋯ , 𝑛 (filas) y 𝑛>𝑘

𝑗 = 1, 2, 3, ⋯ , 𝑘 (columnas)

Si se toma por ejemplo la observación i, se tendrán los siguientes valores teóricos, estimados y residuos:

𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑘 𝑥𝑖𝑘 + 𝜖𝑖 ; 𝑝𝑎𝑟𝑎 𝑙𝑎 𝑜𝑏𝑠𝑒𝑟𝑣𝑎𝑐𝑖ó𝑛 𝑦𝑖

𝑦𝑖 = 𝛽0 + ∑ 𝛽𝑗 𝑥𝑖𝑗 + 𝜖𝑖 ; para 𝑖 = 1, 2, 3, ⋯ , 𝑛
𝑗=1

̂0 + 𝛽
𝑦̂𝑖 = 𝛽 ̂1 𝑥𝑖1 + 𝛽
̂2 𝑥𝑖2 + ⋯ + 𝛽
̂𝑘 𝑥𝑖𝑘 ; 𝑝𝑎𝑟𝑎 𝑦̂𝑖 𝑒𝑠𝑡𝑖𝑚𝑎𝑑𝑜

Entonces: ∈𝑖 = (𝑦𝑖 − 𝑦̂𝑖 ); error aleatorio i

Si se realiza el sumatorio de todos los errores ∈𝑖 al cuadrado se tendrá:

2
̂0 + 𝛽
𝐿 = ∑ ∈𝑖 2 = ∑ (𝑦𝑖 − (𝛽 ̂1 𝑥𝑖1 + 𝛽
̂2 𝑥𝑖2 + ⋯ + 𝛽
̂𝑘 𝑥𝑖𝑘 ))

2
̂0 − 𝛽
= ∑ ∈𝑖 2 = ∑(𝑦𝑖 − 𝛽 ̂1 𝑥𝑖1 − 𝛽
̂2 𝑥𝑖2 − ⋯ − 𝛽
̂𝑘 𝑥𝑖𝑘 )

𝑛
𝜕𝐿
| ̂0 − 𝛽
= −2 ∑(𝑦𝑖 − 𝛽 ̂1 𝑥𝑖1 − 𝛽
̂2 𝑥𝑖2 − ⋯ − 𝛽
̂𝑘 𝑥𝑖𝑘 ) = 0; 𝑦
𝜕𝛽0 𝛽̂ ,𝛽̂ ,⋯,𝛽̂
0 1 𝑘 𝑖=1

𝑛
𝜕𝐿
| ̂0 − 𝛽
= −2 ∑(𝑦𝑖 − 𝛽 ̂1 𝑥𝑖1 − 𝛽
̂2 𝑥𝑖2 − ⋯ − 𝛽
̂𝑘 𝑥𝑖𝑘 ) 𝑥𝑖𝑗 = 0; 𝑗 = 1, 2, 3, ⋯ , 𝑘
𝜕𝛽𝑗 ̂ ̂2 ,⋯,𝛽
̂𝑘
𝛽1 ,𝛽 𝑖=1
 CLASE Nro. 14
Simplificando las ecuaciones anteriores, se obtienen p ecuaciones normales de mínimos cuadrados,

donde 𝑝 = 𝑘 + 1, es decir se tendrá una ecuación por cada parámetro 𝛽 desconocido.

Tabla para datos de la regresión lineal múltiple

# observación 𝒚 𝒙𝟏 𝒙𝟐 ⋯ 𝒙𝒌

1 𝑦1 𝑥11 𝑥12 ⋯ 𝑥1𝑘

2 𝑦2 𝑥21 𝑥22 ⋯ 𝑥2𝑘

⋮ ⋮ ⋮ ⋮ ⋮ ⋮

n 𝑦𝑛 𝑥𝑛1 𝑥𝑛2 ⋯ 𝑥𝑛𝑘

∑ 𝑦𝑖 ∑ 𝑥𝑖1 ∑ 𝑥𝑖2 ⋯ ∑ 𝑥𝑖𝑘

Representación matricial del modelo

Los modelos de regresión lineal múltiple: 𝑦𝑖 = 𝛽0 + ∑𝑘𝑗=1 𝛽𝑗 𝑥𝑖𝑗 + 𝜖𝑖 , son sistemas de n ecuaciones

que pueden ser expresados en notación matricial:

𝒚 = 𝑿𝜷 + 𝝐

𝑦1 1 𝑥11 𝑥12 ⋯ 𝑥1𝑘 𝛽0 𝜖1

𝑦2 1 𝑥21 𝑥22 ⋯ 𝑥2𝑘 𝛽 𝜖2
𝒚=[⋮ ] 𝑿=[ ] 𝜷 = [ 1] 𝝐= [⋮]
⋮ ⋮ ⋮ ⋯ ⋮ ⋮
𝑦𝑛 1 𝑥𝑛1 𝑥𝑛2 ⋯ 𝑥𝑛𝑘 𝛽𝑘 𝜖𝑛

𝒚(𝒏×𝟏) = 𝑿(𝒏×𝒑) ∙ 𝜷(𝒑×𝟏) + 𝝐(𝒏×𝟏)

 CLASE Nro. 14
Donde:

𝒚(𝒏×𝟏) vector de observaciones

𝑿(𝒏×𝒑) matriz de variables independientes (asumiendo que el intercepto está siempre multiplicado por

una constante de valor unitario. La matriz 𝑿 generalmente es llamada matriz del modelo.

𝜷(𝒑×𝟏) vector formado por los coeficientes de regresión y

𝝐(𝒏×𝟏) vector de errores aleatorios.

Criterio de mínimos cuadrados matricial

𝒎𝒊𝒏(𝑺𝑺𝑬 ) = 𝒎𝒊𝒏 ∑ 𝝐𝒊 𝟐 = 𝒎𝒊𝒏[𝝐𝟏 𝟐 + 𝝐𝟐 𝟐 + ⋯ + 𝝐𝒏 𝟐 ]

𝝐𝟏
𝝐𝟐
𝑳 = 𝒎𝒊𝒏 ∑ 𝝐𝒊 𝟐 = [𝝐𝟏 + 𝝐𝟐 + ⋯ + 𝝐𝒏 ] ∙ [ ⋮ ] ≡ ( ∈𝑻 ∙∈)
𝝐𝒏

𝒚 = 𝑿𝜷 + 𝝐

𝝐 = 𝒚 − 𝑿𝜷

𝑳 = ( ∈𝑻 ∙∈)

𝑳 = (𝒚 − 𝑿𝜷)𝑻 ∙ (𝒚 − 𝑿𝜷)

̂ es la solución para 𝜷 de las ecuaciones resultantes de derivar

El estimador de mínimos cuadrados 𝜷

parcialmente L:

𝜕𝐿
|=0
𝜕𝛽

A partir de la ecuación 𝒚 = 𝑿 𝜷 + 𝝐, se pueden estimar los 𝑝 parámetros desconocidos, a través

del modelo matricial ajustado:

̂
̂=𝑿𝜷
𝒚

̂ . Es decir:
que al ser multiplicado por la matriz 𝑿𝑻 , permite despejar el vector de coeficientes 𝜷

𝑿𝑻 𝒚 ̂
̂ = 𝑿𝑻 𝑿 𝜷

−𝟏
Donde: 𝑿𝑻 𝑿, es una matriz cuadrada, por lo que se podrá multiplicar por su inversa (𝑿𝑻 𝑿) .

−𝟏 −𝟏
(𝑿𝑻 𝑿) (𝑿𝑻 𝒚
̂) = (𝑿𝑻 𝑿) ̂
(𝑿𝑻 𝑿) 𝜷
 CLASE Nro. 14
−𝟏
(𝑿𝑻 𝑿) (𝑿𝑻 𝒚 ̂
̂) = 𝑰 𝜷

̂ = (𝑿𝑻 𝑿)−𝟏 (𝑿𝑻 𝒚)

𝜷

Obteniéndose finalmente la forma matricial de las ecuaciones normales que son idénticas a las

ecuaciones de la forma escalar. En detalle se obtiene:

Si se realiza la multiplicación indicada, se obtendrá la forma escalar de las ecuaciones normales.

La matriz 𝑿𝑻 𝑿, es una matriz simétrica (𝑝 × 𝑝), su diagonal representa las sumas de los cuadrados de

los elementos de las columnas de 𝑿, y los elementos de están fuera de la diagonal son las sumas de los

productos cruzados de los elementos de las columnas de 𝑿. Además el vector 𝑿𝑻 𝒚 , es un vector columna

de (𝑝 × 1) y son las sumas de los productos cruzados de las columnas de 𝑿 y las observaciones 𝑦𝑖 .

REFERENCIAS BIBLIOGRÁFICAS

1. Anderson, D. Sweeney, D. y Williams, T. (2009). Estadística para Administración y

Economía. CENGAGE Learning Editores, SA. 10ma Ed.
2. Lind, D. Marchall, W. y Wathen, S. (2008). Estadística Aplicada a los Negocios y la
Economía. Mc Graw Hill. 13va Ed.
3. Montgomery, D. Runger, G. (2010). Probabilidad y Estadística aplicadas a la Ingeniería.
Mc Graw Hill. 5ta Ed.
4. Walpole, R. Myers, R. Myers, S. (2007). Probabilidad y Estadística para Ingeniería.
Pearson. 8va Ed.
5. Wackerly, D. Mendenhall, W. Scheaffer, R. (2010). Estadística matemática con
aplicaciones. CENGAGE. 7ma Ed.
6. Canovos, G. (1998). Probabilidad y Estadística Aplicaciones y Métodos. Mc Graw Hill.
1ra Ed.