Análisis de Regresión

Lineal Simple
ANÁLISIS DE REGRESIÓN

Métodos Estadísticos MET. Alejandra Cerda

 Regresión Lineal Simple

Un modelo de regresión lineal simple es un modelo de regresión donde interviene

una variable regresora X, que tiene una relación con una respuesta Y, donde la
relación es una línea recta. Este modelo es:
𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑒
Donde la ordenada al origen 𝛽0 y la pendiente 𝛽1 son constantes desconocidas, y
e es un componente aleatorio de error. A los parámetros 𝛽0 𝑦 𝛽1 se les suele llamar
coeficientes de regresión.

La diferencia entre el valor observado 𝑦𝑖 y el valor ajustado correspondiente 𝑦ො𝑖 =

𝛽መ0 + 𝛽መ1 𝑥𝑖 se llama error o residual y se denota por 𝑒𝑖 . Se supone que los errores
tienen promedio cero y varianza 𝜎 2 desconocida. Además, se suele suponer que
los errores no están correlacionados.

Métodos Estadísticos MET. Alejandra Cerda

Datos para OBSERVACIÓN RESPUESTA REGRESOR

regresión i y x
lineal simple
1 𝑦1 𝑥1
Supongamos que se dispone de
n observaciones, con 𝑦𝑖 la i-ésima 2 𝑦2 𝑥2
respuesta observada, y 𝑥𝑖 la
i-ésima observación. 3 𝑦3 𝑥3

. . .

. . .

. . .

n 𝑦𝑛 𝑥𝑛

Métodos Estadísticos MET. Alejandra Cerda

 Estimación del
modelo
MÉTODO DE MÍNIMOS CUADRADOS

Métodos Estadísticos MET. Alejandra Cerda

 Estimación por mínimos
cuadrados

Los parámetros 𝛽0 y 𝛽1 se deben estimar con los datos de la muestra, buscando que la suma de los
cuadrados de las diferencias entre las observaciones 𝑦𝑖 y la línea recta sea mínima. Se puede escribir en la
siguiente forma el modelo de regresión:
𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖 + 𝑒𝑖

De tal manera que la función de mínimos𝑛 cuadrados

𝑛
es 𝑛
2
S 𝛽0 , 𝛽1 = ෍ 𝑒𝑖2 = ෍ 𝑦𝑖 − 𝑦ො𝑖 2
= ෍ 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥𝑖
𝑖=1 𝑖=1 𝑖=1

Se debe minimizar la función S respecto a 𝛽0 y 𝛽1 . Los estimadores de mínimos cuadrados deben satisfacer las
ecuaciones:
𝜕𝑆
= −2 σ𝑛𝑖=1 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥𝑖 =0
𝜕𝛽0
𝜕𝑆
= −2 σ𝑛𝑖=1 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥𝑖 𝑥𝑖 =0
𝜕𝛽1

Métodos Estadísticos MET. Alejandra Cerda

 Ecuaciones normales

Al simplificar las ecuaciones anteriores se obtienen las ecuaciones normales de mínimos cuadrados
𝑛𝛽መ0 + 𝛽መ1 σ𝑛𝑖=1 𝑥𝑖 = σ𝑛𝑖=1 𝑦𝑖
𝛽መ0 σ𝑛𝑖=1 𝑥𝑖 + 𝛽መ1 σ𝑛𝑖=1 𝑥𝑖2 =σ𝑛𝑖=1 𝑥𝑖 𝑦𝑖

y su solución es :
𝛽መ0 = 𝑦ത − 𝛽መ1 𝑥ҧ

σ𝑛𝑖=1 𝑥𝑖 σ𝑛𝑖=1 𝑦𝑖
σ𝑛𝑖=1 𝑥𝑖 𝑦𝑖−
𝛽መ1 = 𝑛
𝑛 2
σ 𝑥𝑖
σ𝑛𝑖=1 𝑥𝑖2 − 𝑖=1
𝑛

Métodos Estadísticos MET. Alejandra Cerda

 Prueba de
Hipótesis
REGRESIÓN LINEAL SIMPLE

Métodos Estadísticos MET. Alejandra Cerda

Prueba de
significancia TABLA ANOVA

Fuente Grados
Suma de Cuadrado
La prueba de significancia de la de de F0
regresión es para determinar si Cuadrados medio
hay una relación lineal entre la Variación libertad
respuesta y y la variable
regresora. Las hipótesis
correspondientes son:
Regresión 1 SSR=σ𝑛𝑖=1 𝑦ො𝑖 − 𝑦ത 2 MSR=SSR/1 MSR/MSE
𝐻0 : 𝛽1 = 0 (la regresión no es
significativa, las variables
involucradas no muestran
relación) SSE=σ𝑛𝑖=1 𝑦𝑖 − 𝑦ො𝑖 2
Residuales n-2 MSE=SSE/(n-2)
𝐻𝑎 : 𝛽1 ≠ 0 (la regresión es
significativa, las variables
involucradas muestran relación)
Total n-1 SST=σ𝑛𝑖=1 𝑦𝑖 − 𝑦ത 2
Rechazando 𝐻0 si 𝐸𝑃: 𝐹0 >
𝐹𝛼,1,𝑛−2 o bajo el criterio del p
valor rechazo 𝐻0 si 𝑝 𝑣𝑎𝑙𝑜𝑟 < 𝛼
donde 𝛼 es el nivel de
significancia de la prueba.

Métodos Estadísticos MET. Alejandra Cerda

 Intervalos de Confianza

Para construir intervalos de confianza de los coeficientes de regresión 𝛽0 y 𝛽1 , se considera que

los errores están distribuidos normal e independientemente, entonces las distribuciones de
muestreo tanto de
෡1 −𝛽1
𝛽 ෡1 −𝛽1
𝛽 ෡0 −𝛽0
𝛽 ෡0 −𝛽0
𝛽
෡1 = y ෡0 =
𝑠𝑒 𝛽 𝑀𝑆𝐸 𝑠𝑒 𝛽 ഥ2
൘σ 𝑥 −ഥ𝑥 2 𝑀𝑆𝐸
1
+
𝑥
𝑖 𝑛 σ 𝑥 −ഥ 2
𝑖 𝑥

Donde el denominador es el error estándar, es t con n-2 grados de libertad. Así el intervalo de
confianza de 100(1- 𝛼 )% para la pendiente 𝛽1 queda definido como:

𝛽෠1 − 𝑡𝛼Τ2,𝑛−2 𝑀𝑆𝐸

ൗσ 𝑥𝑖 −𝑥ҧ 2 < 𝛽1 < 𝛽෠1 + 𝑡𝛼Τ2,𝑛−2 𝑀𝑆𝐸
ൗσ 𝑥𝑖 −𝑥ҧ 2

Y un intervalo de confianza del 100 1 − 𝛼 % para la ordenada al origen 𝛽0 queda definido

como:
1 𝑥ҧ 2 1 𝑥ҧ 2
𝛽෠0 − 𝑡𝛼Τ2,𝑛−2 𝑀𝑆𝐸 +σ < 𝛽0 < 𝛽෠0 + 𝑡𝛼Τ2,𝑛−2 𝑀𝑆𝐸 +σ
𝑛 𝑥𝑖 −𝑥ҧ 2 𝑛 𝑥𝑖 −𝑥ҧ 2

Métodos Estadísticos MET. Alejandra Cerda

 Coeficiente de determinación

El coeficiente de determinación definido como la cantidad

𝑆𝑆𝑅 𝑆𝑆𝐸
𝑅2 = = 1−
𝑆𝑆𝑇 𝑆𝑆𝑇
se llama con frecuencia la proporción de variación explicada por el regresor x,
dado que SST es una medida de variabilidad de y sin considerar el efecto de la
variable regresora x y SSE es una medida de la variabilidad de y que queda
después de haber tenido en consideración a x.
Ya que 0 ≤ 𝑆𝑆𝐸 ≤ 𝑆𝑆𝑇 , entonces 0 ≤ 𝑅2 ≤ 1 . Los valores de 𝑅2 cercanos a 1
implican que la mayor parte de la variabilidad de y está explicada por el modelo
de regresión.
El cuadrado del coeficiente de correlación muestral da el valor del coeficiente de
determinación que resultaría de ajustar el modelo de regresión lineal simple.

Métodos Estadísticos MET. Alejandra Cerda

 Nivel de Coeficiente de
desempeño determinación
Nivel de MUY BUENO 0.9 < 𝑅 2 < 1
desempeño, BUENO 0.7 < 𝑅 2 < 0.9
según el valor
de 𝑅2
MODERADO 0.4 < 𝑅 2 < 0.7
BAJO 0.2 < 𝑅 2 < 0.4
NULO 0 ≤ 𝑅 2 < 0.2

Métodos Estadísticos MET. Alejandra Cerda