Temas Especializados 1

EXTRA SUMA DE CUADRADOS

PRUEBAS PARA LOS COEFICIENTES DE REGRESIÓN (RESUMEN)
COEFICIENTE DE DETERMINACIÓN PARCIAL
 Extra Suma de Cuadrados

 Mide la reducción marginal en la suma de cuadrados de los residuales cuando una

o más variables explicativas son agregadas al modelo, dado que las otras variables
explicativas se encuentran en el modelo de regresión.

 Mide el incremento marginal (contribución) de una o más variables explicativas, en

la suma de cuadrados de la regresión, cuando se incluyen en el modelo de
regresión.

Ejemplo
Un estudio sobre la relación de la cantidad de grasa corporal 𝑌 con respecto a diversas
variables explicativas posibles, basado en una muestra de 20 mujeres saludables de 25 a 34 años
de edad. Las variables explicativas posibles son grosor del pliegue cutáneo del tríceps 𝑋1 ,
circunferencia del muslo 𝑋2 y circunferencia del brazo 𝑋3 .
Act. MLSC
 Extra Suma de Cuadrados

o La suma de cuadrados de la regresión

cuando solamente 𝑋1 se encuentra en
el modelo es 𝑆𝑆𝑅 𝑋1 = 352.27.

o La suma de cuadrados de los residuales

para este modelo es 𝑆𝑆𝑅𝑒𝑠 𝑋1 = 143.12.

Act. MLSC
 Extra Suma de Cuadrados

o Cuando 𝑋1 y 𝑋2 se encuentran en el modelo

de regresión, la suma de cuadrados de la
regresión es 𝑆𝑆𝑅 𝑋1 , 𝑋2 = 385.44 y la suma de
cuadrados de los residuales es
𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2 = 109.95.

¿Qué puede notar al comparar 𝑆𝑆𝑅𝑒𝑠 𝑋1 y

𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2 ?

Act. MLSC
 Extra Suma de Cuadrados

 Extra Suma de Cuadrados

𝑆𝑆𝑅 𝑋2 |𝑋1 = 𝑆𝑆𝑅𝑒𝑠 𝑋1 − 𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2
= 𝑆𝑆𝑅 𝑋1 , 𝑋2 − 𝑆𝑆𝑅 𝑋1

Ejemplo
𝑆𝑆𝑅 𝑋2 |𝑋1 = 𝑆𝑆𝑅𝑒𝑠 𝑋1 − 𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2 = 143.12 − 109.95 = 33.17
= 𝑆𝑆𝑅 𝑋1 , 𝑋2 − 𝑆𝑆𝑅 𝑋1 = 385.44 − 352.27 = 33.17

Obtenga el valor de 𝑆𝑆𝑅 𝑋3 |𝑋1 , 𝑋2 y de 𝑆𝑆𝑅 𝑋2 , 𝑋3 |𝑋1 , utilizando las tablas anteriores.

Act. MLSC
 Extra Suma de Cuadrados

 Una extra suma de cuadrados siempre involucra la diferencia entre la suma de

cuadrados de los residuales correspondiente al modelo de regresión que contiene a
la(s) variable(s) explicativa(s) ya considerada(s) en el modelo, y la suma de
cuadrados de los residuales correspondiente al modelo que contienen a la(s)
variable(s) explicativa(s) original(es) y la(s) nueva(s) variable(s) explicativa(s).

 Descomposición de 𝑆𝑆𝑅 en Extra Sumas de Cuadrados

▪ Considerando el caso de dos variables explicativas

❖ Considerando la identidad básica del análisis de varianza para la variable 𝑋1

𝑆𝑆𝑇 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝑅𝑒𝑠 𝑋1 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝑅 𝑋2 |𝑋1 + 𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2

Act. MLSC
 Extra Suma de Cuadrados

❖ Considerando la identidad básica del análisis de varianza para la regresión múltiple

con dos variables explicativas como se realizó anteriormente

𝑆𝑆𝑇 = 𝑆𝑆𝑅 𝑋1 , 𝑋2 + 𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2

despejando
𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2 = 𝑆𝑆𝑇 − 𝑆𝑆𝑅 𝑋1 , 𝑋2

y sustituyendo en la ecuación anterior

𝑆𝑆𝑇 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝑅 𝑋2 |𝑋1 + 𝑆𝑆𝑇 − 𝑆𝑆𝑅 𝑋1 , 𝑋2

entonces
𝑆𝑆𝑅 𝑋1 , 𝑋2 = 𝑆𝑆𝑅 𝑋1 + 𝑆𝑆𝑅 𝑋2 |𝑋1
Act. MLSC
 Extra Suma de Cuadrados

❖ Debido a que el orden de las variables 𝑋 es arbitrario, se puede obtener también la

siguiente descomposición
𝑆𝑆𝑅 𝑋1 , 𝑋2 = 𝑆𝑆𝑅 𝑋2 + 𝑆𝑆𝑅 𝑋1 |𝑋2

Act. MLSC
 Extra Suma de Cuadrados

 Tabla ANOVA que contiene la descomposición de 𝑆𝑆𝑅

Act. MLSC
 Extra Suma de Cuadrados

 Usos de la Extra Suma de Cuadrados en Pruebas para los Coeficientes de Regresión

▪ Considere el modelo de regresión con 𝑘 variables explicativas

𝒀 = 𝑿𝜷 + 𝜺

▪ Se quiere determinar si un subconjunto 𝑟 < 𝑘 variables explicativas contribuyen

significativamente al modelo de regresión. Para ello, se particiona el vector de
coeficientes de regresión de la siguiente manera:

𝜷𝟏
𝜷=
𝜷𝟐

donde 𝜷𝟏 es un vector de 𝑝 − 𝑟 × 1 y 𝜷𝟐 es un vector de r × 1.

Act. MLSC
 Extra Suma de Cuadrados

▪ Hipótesis
𝐻0 : 𝜷𝟐 = 𝟎
𝐻1 : 𝜷𝟐 ≠ 𝟎

▪ Estadístico de prueba

El modelo se puede expresar de la siguiente manera (modelo completo)

𝒀 = 𝑿𝜷 + 𝜺
= 𝑿𝟏 𝜷 𝟏 + 𝑿𝟐 𝜷 𝟐 + 𝜺

donde 𝑿𝟏 es una matriz de 𝑛 × 𝑝 − 𝑟 formada por las columnas de 𝑿 asociadas con 𝜷𝟏 y 𝑿𝟐

es una matriz de 𝑛 × 𝑟 formada por las columnas de 𝑿 asociadas con 𝜷𝟐 .
Act. MLSC
 Extra Suma de Cuadrados

El estimador de mínimos cuadrados para 𝜷 en el modelo completo

෡ = 𝑿′ 𝑿
𝜷 −𝟏
𝑿′𝒀

La suma de cuadrados de la regresión para el modelo completo

1 ′
෡ ′ 𝑿′ 𝒀 −
𝑆𝑆𝑅 𝑿 = 𝜷 𝒀 𝑱𝒀
𝑛
con 𝑘 grados de libertad y

෡ ′ 𝑿′ 𝒀
𝒀′ 𝒀 − 𝜷
𝑀𝑆𝑅𝑒𝑠 =
𝑛−𝑝

Act. MLSC
 Extra Suma de Cuadrados

Para encontrar la contribución de los términos de 𝜷𝟐 al modelo, es necesario ajustar el

modelo asumiendo 𝐻0 : 𝜷𝟐 = 𝟎 verdadera (modelo reducido):

𝒀 = 𝑿𝟏 𝜷 𝟏 + 𝜺

El estimador de mínimos cuadrados de 𝜷𝟏 en el modelo reducido

෡ 𝟏 = 𝑿𝟏 ′𝑿𝟏
𝜷 −𝟏 𝑿′ 𝒀
𝟏

La suma de cuadrados del modelo de regresión reducido

1 ′
෡ ′ 𝑿′ 1 𝒀 −
𝑆𝑆𝑅 𝑿𝟏 = 𝜷 𝒀 𝑱𝒀
1 𝑛
con k − 𝑟 grados de libertad asociados.
Act. MLSC
 Extra Suma de Cuadrados

La suma de cuadrados de la regresión debido a 𝑿𝟐 dado que 𝑿𝟏 ya se encuentra en el

modelo

𝑆𝑆𝑅 𝑿𝟐 ห𝑿𝟏 = 𝑆𝑆𝑅 𝑿 − 𝑆𝑆𝑅 𝑿𝟏

con 𝑟 grados de libertad asociados.

¿Qué mide esta extra suma de cuadrados debido a 𝑿𝟐 ?

Entonces el estadístico de prueba (considerando 𝐻0 verdadera) es

𝑆𝑆𝑅𝑒𝑠 𝑅𝑒𝑑 − 𝑆𝑆𝑅𝑒𝑠 𝐹 𝑆𝑆𝑅𝑒𝑠 𝐹 𝑆𝑆𝑅𝑒𝑠 𝑿𝟏 − 𝑆𝑆𝑅𝑒𝑠 𝑿 𝑆𝑆𝑅 𝑿𝟐 ห𝑿𝟏

𝐹0 = ÷ = ÷ 𝑀𝑆𝑅𝑒𝑠 = ÷ 𝑀𝑆𝑅𝑒𝑠 ~ 𝐹𝑟,𝑛−𝑝
𝑑𝑓𝑅𝑒𝑑 − 𝑑𝑓𝐹 𝑑𝑓𝐹 𝑛−1−𝑘+𝑟 − 𝑛−𝑝 𝑟
Act. MLSC
 Extra Suma de Cuadrados

▪ Valor crítico
𝐹𝛼,𝑟 ,𝑛−𝑝
▪ Regla de decisión
Se rechaza 𝐻0 si
𝐹0 > 𝐹𝛼,𝑟,𝑛−𝑝
alternativamente
𝑝 − 𝑣𝑎𝑙𝑜𝑟 ≤ 𝛼

¿Qué se concluiría si se rechaza 𝐻0 ?

¿Por qué se le llama prueba parcial 𝐹?

Act. MLSC
 Extra Suma de Cuadrados

Ejemplo (Grasa Corporal)

Determine para el modelo que incluye las tres variables explicativas si la circunferencia del brazo
𝑋3 puede ser eliminada del modelo. Considere 𝛼 = 0.01.

Determine para el modelo que incluye las tres variables explicativas si tanto la variable
circunferencia del muslo 𝑋2 como la variable circunferencia del brazo 𝑋3 pueden ser
eliminadas del modelo. Considere 𝛼 = 0.05.

Presente las hipótesis, el estadístico de prueba,

el valor crítico, la regla de decisión y la
conclusión, para cada caso.

Act. MLSC
 Actividad

 Determine el número de grados de libertad asociados con cada una de las siguientes sumas de
cuadrados:
a) 𝑆𝑆𝑅 𝑋1 |𝑋2
b) 𝑆𝑆𝑅 𝑋2 |𝑋1 , 𝑋3

c) 𝑆𝑆𝑅 𝑋1 , 𝑋2 , 𝑋3 |𝑋4 , 𝑋5

 Para un modelo de regresión múltiple con cinco variables explicativas, ¿cuál es la extra suma de
cuadrados relevante para determinar si 𝛽5 = 0 ó 𝛽5 ≠ 0? ¿cuál para determinar si se cumple o no
𝛽2 = 𝛽4 = 0?

 Defina cada una de las siguientes extra sumas de cuadrados:

a) 𝑆𝑆𝑅 𝑋3 , 𝑋4 |𝑋1
b) 𝑆𝑆𝑅 𝑋4 |𝑋1 , 𝑋2 , 𝑋3
Act. MLSC
 Pruebas para los Coeficientes de Regresión
(Resumen)
 Prueba para determinar si todas las 𝛽𝑗 = 0 (prueba global)

▪ Hipótesis
𝐻0 : 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑘 = 0
𝐻1 : 𝛽𝑗 ≠ 0 𝑝𝑎𝑟𝑎 𝑎𝑙 𝑚𝑒𝑛𝑜𝑠 𝑢𝑛𝑎 𝑗 = 1, 2, … , 𝑘

▪ Estadístico de prueba
Si H0 es verdadero
𝑀𝑆𝑅
𝐹0 =
𝑀𝑆𝑅𝑒𝑠

Act. MLSC
 Pruebas para los Coeficientes de Regresión
(Resumen)
▪ Valor crítico
𝐹𝛼,𝑘,𝑛−𝑝

▪ Regla de decisión
Se rechaza H0 si
𝐹0 > 𝐹𝛼,𝑘,𝑛−𝑝
alternativamente
𝑝 − 𝑣𝑎𝑙𝑜𝑟 ≤ 𝛼

Act. MLSC
 Pruebas para los Coeficientes de Regresión
(Resumen)
 Prueba para determinar si alguna 𝛽𝑗 = 0 (prueba parcial 𝐹)
▪ Hipótesis
𝐻0 : 𝛽𝑗 = 0
𝐻1 : 𝛽𝑗 ≠ 0
▪ Estadístico de prueba
Si H0 es verdadero
𝑆𝑆𝑅 𝑋𝑗 ቚ𝑋1 , … , 𝑋𝑗−1 , 𝑋𝑗+1 , … , 𝑋𝑘
𝐹0 = ÷ 𝑀𝑆𝑅𝑒𝑠
1
equivalente a
𝛽መ𝑗
𝑡0 =
𝑀𝑆𝑅𝑒𝑠 𝐶𝑗𝑗
donde 𝐶𝑗𝑗 es el elemento diagonal de 𝑋 ′ 𝑋 −1 correspondiente a 𝛽መ𝑗 .
Act. MLSC
 Pruebas para los Coeficientes de Regresión
(Resumen)
▪ Valor critico
𝐹𝛼,1,𝑛−𝑝
equivalente a
𝑡𝛼ൗ2,𝑛−𝑝

▪ Regla de decisión
Se rechaza H0 si
𝑡0 > 𝑡𝛼ൗ2,𝑛−𝑝
𝐹0 > 𝐹𝛼,1,𝑛−𝑝
alternativamente
𝑝 − 𝑣𝑎𝑙𝑜𝑟 ≤ 𝛼

Act. MLSC
 Pruebas para los Coeficientes de Regresión
(Resumen)
 Prueba para determinar si 𝛽𝑗 = 0 para 𝑟 < 𝑘 variables explicativas (prueba parcial 𝐹)
▪ Hipótesis
𝐻0 : 𝜷𝟐 = 𝟎
𝐻1 : 𝜷𝟐 ≠ 𝟎

▪ Estadístico de prueba
Si H0 es verdadero
𝑆𝑆𝑅 𝜷𝟐 ห𝜷𝟏
𝐹0 = ÷ 𝑀𝑆𝑅𝑒𝑠
𝑟

Act. MLSC
 Pruebas para los Coeficientes de Regresión
(Resumen)
▪ Valor crítico
𝐹𝛼,𝑟,𝑛−𝑝

▪ Toma de decisión
Se rechaza H0 si
𝐹0 > 𝐹𝛼,𝑟,𝑛−𝑝

alternativamente
𝑝 − 𝑣𝑎𝑙𝑜𝑟 ≤ 𝛼

Act. MLSC
 Coeficiente de Determinación Parcial

 Mide la contribución marginal de una variable explicativa cuando todas las demás
ya han sido incluidas en el modelo.

 Dos variables explicativas

▪ Considere el modelo
𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖1 + 𝛽2 𝑋𝑖2 + 𝜀𝑖

▪ 𝑆𝑆𝑅𝑒𝑠 𝑋2 mide la variación en 𝑌 cuando 𝑋2 se encuentra incluida en el modelo.

▪ 𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2 mide la variación en 𝑌 cuando 𝑋1 y 𝑋2 se encuentran incluidas en el modelo.

Act. MLSC
 Coeficiente de Determinación Parcial

▪ La reducción marginal relativa en la variación en 𝑌 asociada con 𝑋1 cuando 𝑋2 ya se

encuentra en el modelo
𝑆𝑆𝑅𝑒𝑠 𝑋2 − 𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2 𝑆𝑆𝑅 𝑋1 ห𝑋2
𝑅𝑌2 𝑋1| 𝑋2 = =
𝑆𝑆𝑅𝑒𝑠 𝑋2 𝑆𝑆𝑅𝑒𝑠 𝑋2

 Caso general
𝑆𝑆𝑅 𝑋𝑗 ቚ𝑋1 , … , 𝑋𝑗−1 , 𝑋𝑗+1 , … , 𝑋𝑘
𝑅𝑌2 𝑋𝑗 |𝑋1, …,𝑋𝑗−1,𝑋𝑗+1,…,𝑋𝑘 =
𝑆𝑆𝑅𝑒𝑠 𝑋1 , … , 𝑋𝑗−1 , 𝑋𝑗+1 , … , 𝑋𝑘

Act. MLSC
 Coeficiente de Determinación Parcial

Ejemplo (grasa corporal)

Interprete cada uno de los siguientes coeficientes de determinación parcial, en el
contexto del problema.

𝑆𝑆𝑅 𝑋2 ห𝑋1 33.17

𝑅𝑌2 𝑋2| 𝑋1 = = = 0.232
𝑆𝑆𝑅𝑒𝑠 𝑋1 143.21

𝑆𝑆𝑅 𝑋3 ห𝑋1 , 𝑋2 11.54

𝑅𝑌2 𝑋3| 𝑋1,𝑋2 = = = 0.105
𝑆𝑆𝑅𝑒𝑠 𝑋1 , 𝑋2 109.95

𝑆𝑆𝑅 𝑋1 ห𝑋2 3.47

𝑅𝑌2 𝑋1| 𝑋2 = = = 0.031
𝑆𝑆𝑅𝑒𝑠 𝑋2 113.42

Act. MLSC
 Actividad Casa

 En un estudio experimental a pequeña escala de la relación entre el nivel de satisfacción de

una marca de cereal 𝑌 y la consistencia (𝑋1 ) y dulzura del producto (𝑋2 ), se obtuvieron los
resultados presentados en el Excel PrefMarca.
a) Obtenga la matriz de diagramas de dispersión y la matriz de correlación simple y parcial.
Escriba sus observaciones.
b) Ajuste un modelo de regresión. Presente la función de regresión estimada.
c) Obtenga la tabla ANOVA que descomponga la suma de cuadrados de la regresión en dos
extra sumas de cuadrados asociadas con 𝑋1 y con 𝑋2 dado 𝑋1 .
d) Evalúe si X2 puede ser eliminado del modelo de regresión dado que X1 permanece.
Considere un nivel del significancia del 0.01. Presente las hipótesis, el estadístico de prueba, el
p-valor, la regla de decisión y la conclusión.
e) Determine 𝑅𝑌2 𝑋1 , 𝑅𝑌2 𝑋2 , 𝑅𝑋21𝑋2 , 𝑅𝑌2 𝑋1|𝑋2 , 𝑅𝑌2 𝑋2|𝑋1 y 𝑅2 . Explique qué mide cada coeficiente e
interprete los resultados.
Act. MLSC