23/11/2017

ESTADÍSTICA
EXPERIMENTAL

Análisis de Regresión Múltiple

Mg. María Esther Capilla. Noviembre/2017

Modelos de Regresión Lineal

Definición
El modelo de regresión lineal múltiple que relaciona a la variable
dependiente y con las k variables regresoras x1 , x2 ,..., xk es:

y = β 0 + β1 x1 + β 2 x2 + L + β k xk + ε
donde,
• El modelo representa un hiperplano en el espacio k-dimensional.
• Los parámetros β j , j = 0,1,2,..., k , se denominan coeficientes de
regresión.
• β j representa el cambio en la variable de respuesta y, ocasionado
por un cambio unitario en x j , cuando las variables restantes
xi , i ≠ j , se mantienen constantes.
• ε representa un error o perturbación aleatoria.

1
 23/11/2017

Modelos de Regresión Lineal

Casos particulares (1)
• Caso de k = 1 => y = β 0 + β1 x + ε denominado modelo de
regresión lineal simple.

• Caso de k = 2 => y = β 0 + β1 x1 + β 2 x2 + ε

• Caso de k = 2 en presencia de interacción:

y = β 0 + β1 x1 + β 2 x2 + β12 x1 x2 + ε

Reemplazando x3 = x1 x2 y β 3 = β12 , resulta el siguiente modelo

de regresión lineal:
y = β 0 + β1 x1 + β 2 x2 + β 3 x3 + ε

Modelos de Regresión Lineal

Casos particulares (2)
• Modelo de segundo orden:
y = β 0 + β1 x1 + β 2 x2 + β11 x12 + β 22 x22 + β12 x1 x2 + ε
Si indicamos con,
x3 = x12 , x4 = x22 , x5 = x1 x2 , β 3 = β11 , β 4 = β 22 , β 5 = β12
resulta el siguiente modelo de regresión lineal:
y = β 0 + β1 x1 + β 2 x2 + β 3 x3 + β 4 x4 + β 5 x5 + ε
• En general, cualquier modelo de regresión que es lineal en los
parámetros (beta’s) es un modelo de regresión lineal,
independientemente de la forma de la superficie de repuesta que
genere.

2
 23/11/2017

Modelos de Regresión Lineal

Estimación de los Parámetros (1)
• Suponemos en el modelo que la componente aleatoria tiene
esperanza cero y varianza constante, es decir:
E (ε ) = 0, V (ε ) = σ 2
• Escribimos el modelo en términos de las observaciones de la
muestra:
yi = β 0 + β1 xi1 + β 2 xi 2 + L + β k xik + ε i
= β 0 + ∑ j =1 β j xij + ε i
k
i = 1,2,..., n

• Consideramos que los errores {ε i } no están correlacionados.

Modelos de Regresión Lineal

Estimación de los Parámetros (2)
• Método de mínimos cuadrados. Consiste en hallar los valores de los coeficientes
de regresión que minimizan la suma de los cuadrados de los errores:

(
L = ∑i =1 ε ij2 = ∑i =1 yi − β 0 − ∑ j =1 β j xij
n n k
)
2

• Los estimadores βˆ0 , βˆ1 , βˆ2 ,..., βˆk deben satisfacer el siguiente sistema de
ecuaciones normales de mínimos cuadrados:

nβˆ0 + βˆ1 ∑i =1 xi1 + βˆ2 ∑i =1 xi 2 + L + βˆk ∑i =1 xik = ∑i =1 yi

n n n n

βˆ0 ∑i =1 xi1 + βˆ1 ∑i =1 xi21 + βˆ2 ∑i =1 xi1 xi 2 + L + βˆk ∑i =1 xi1 xik = ∑i =1 xi1 yi
n n n n n

M M M M M
βˆ0 ∑i =1 xik + βˆ1 ∑i =1 xi1 xik + βˆ2 ∑i =1 xi 2 xik + L + βˆk ∑i =1 xik2 = ∑i =1 xik yi
n n n n n

3
 23/11/2017

Modelos de Regresión Lineal

Estimación de los Parámetros (3)
• Es conveniente reemplazar la notación escalar por la matricial.

 y1  1 x11 x12 K x1k  β0  ε1 

y  1 x x22 
K x2 k   
β1  ε 
y=  2
X= 21
β=  ε =  2
M M M M K M  M M
       
 yn  1 xn1 xn 2 K xnk  β k  ε n 

• El modelo puede expresarse: y = Xβ + ε

Modelos de Regresión Lineal

Estimación de los Parámetros (4)
• La forma matricial de las ecuaciones normales es:

X′Xβˆ = X′y
• Siendo X′X definida positiva el estimador por mínimos cuadrados
de β es:
βˆ = (X′X ) X′y
−1

4
 23/11/2017

Modelos de Regresión Lineal

Estimación de los parámetros (5)
• Modelo de regresión ajustado,

yˆ i = βˆ0 + ∑i =1 βˆ j xij
k
i = 1,2,..., n

• Residual o residuo: Diferencia entre el valor estimado por el modelo y el valor

observado , ei = yi − yˆ i

2 SCERROR
• Estimador de σ : σˆ 2 = CM ERROR =
n − k −1

SC ERROR = ∑i =1 ei2 = ∑i =1 ( yi − yˆ i )
n n 2
donde ,

Modelos de Regresión Lineal

Prueba de la significancia del modelo (1)
Supuestos: ε ~ NID (0, σ ) ⇒ y ~ NID (β + ∑ β x , σ ) (*)
2 k 2
• i 0 j =1 j ij

(*) NID: normal e independientemente

• Partición de la Variación Total:

SCTOTAL = SCERROR + SCREG

donde,

SCTOTAL = ∑i =1 ( yi − y )
n 2

SCERROR = ∑i =1 ( yi − yˆ i )
n 2

SCREG = ∑i =1 ( yˆ i − y )
n 2

5
 23/11/2017

Modelos de Regresión Lineal

Prueba de la significancia del modelo (2)
• Cuadro de Análisis de la Varianza:
Fuente de Suma de Grados de Cuadrado
Variación Cuadrados Libertad Medio
Regresión SCREG k CMREG
Error SCERROR n-k-1 CMERROR
Total SCTOTAL n-1

• Prueba de hipótesis:
H 0 : β1 = β 2 = L = β k = 0
H1 : β j ≠ 0 para algún j
CM REG
Si H 0 es cierta ⇒ F = ~ F( k ,n − k −1)
CM ERROR
Luego, se rechaza H 0 si F > F(α , k , n − k −1)

Modelos de Regresión Lineal

Prueba de la significancia del modelo (3)
• Coeficiente de Determinación: Mide la reducción en la variación de y
obtenida por utilizar las variables regresoras x1 , x2 ,..., xk

SCREG SC
R2 = = 1 − ERROR
SCTOTAL SCTOTAL

• Coeficiente de determinación ajustado:

SC ERROR (n − 1 − k ) n −1
2
RAju = 1−
SCTOTAL (n − 1)
= 1−
n −1− k
1− R2 ( )

6
 23/11/2017

Modelos de Regresión Lineal

Inferencias respecto a los coeficientes de regresión
• Se trata de inferencias parciales por suponer que las variables regresoras
restantes están incluidas en el modelo.
• Supuestos: ε ~ NID 0, σ ( 2
)⇒ y i (
~ NID β 0 + ∑ j =1 β j xij , σ 2
k
)
• Prueba de Hipótesis:
H 0 : β j = 0 H1 : β j ≠ 0
βˆ j
Si H 0 es cierta ⇒ t = ~ t( n −k −1) donde σˆ βˆ = CM ERROR C jj
σˆ βˆ
j
j

Luego, se rechaza H 0 si t > t α 

 , n − k −1 
2 
• Estimación por intervalos de confianza:
Li , s = βˆ j m t α 
σˆ βˆ donde σˆ βˆ = CM ERROR C jj
 , n − k −1  j j
2 

Modelos de Regresión Lineal

Multicolinealidad
• Se verifica que σ βˆ = σ 2C jj con j = 1,2,..., k
j

1 1
• C jj = ,
∑ (x
n
i =1 ij − xj ) 2 (1 − R 2j )
donde R 2j es el coeficiente de determinación múltiple de la regresión
de xj en las restantes variables xh , con h ≠ j

(
2
)
• VIF = 1 1 − R j , se denomina factor inflacionario de varianza por su
efecto sobre la varianza del coeficiente de regresión. Un criterio
generalmente aceptado es que no debe superar el valor 5.

7
 23/11/2017

Modelos de Regresión Lineal

Análisis de los Residuos (1)
• Residuos: ei = yi − yˆ i i = 1,2,..., n

ei
• Residuos estándar: d i = i = 1,2,..., n σˆ = CM ERROR
σˆ
Los residuos estándar consideran la variación promedio de los errores.

Modelos de Regresión Lineal

Análisis de los Residuos (2)

• Deben analizarse:

- Gráficas de los residuos respecto a las variables explicativas.

- Gráficas de los residuos respecto a los valores predichos.

- Gráficas de los residuos considerando el orden en que se obtienen las

observaciones en el tiempo.

- Diagrama de probabilidad normal o diagrama cuantil-cuantil de los

residuos.