Regresión lineal

MÉTODOS NUMÉRICOS
Regresión por mínimos cuadrados

• Cuando los datos tienen errores sustanciales, la

interpolación polinomial es inapropiada y puede dar
resultados poco satisfactorios cuando se utiliza para
predecir valores intermedios.
• Por ejemplo, en la figura se muestran siete datos
obtenidos experimentalmente que presentan una
variabilidad significativa.
• Una inspección visual de esos datos sugiere una posible
relación entre y y x.
• Es decir, la tendencia general indica que valores altos de
y están asociados con valores altos de x.
Regresión por mínimos
cuadrados
• Ahora, si un polinomio de interpolación
de sexto grado se ajusta a estos datos,
pasará exactamente a través de todos
los puntos.
• Sin embargo, a causa de la variabilidad
en los datos, la curva oscila mucho en el
intervalo entre los puntos.
• En particular, los valores interpolados
para x = 1.5 y x = 6.5 parecen estar
bastante más allá del rango sugerido por
los datos.
Regresión por mínimos cuadrados

• Una manera para determinar la línea de la figura es

inspeccionar en forma visual los datos graficados y
después trazar una “mejor” línea a través de los
puntos.
• Aunque tales procedimientos “a ojo” apelan al sentido
común y son válidos para cálculos “superficiales”,
resultan deficientes por ser arbitrarios.
• Es decir, a menos que los puntos definan una línea
recta perfecta (en cuyo caso la interpolación
resultaría apropiada), diferentes analistas dibujarían
líneas distintas.
Regresión por mínimos cuadrados

• Para dejar a un lado dicha subjetividad se

debe encontrar algún criterio para
establecer una base para el ajuste.
• Una forma de hacerlo es obtener una curva
que minimice la discrepancia entre los
puntos y la curva.
• Una técnica para lograr tal objetivo,
llamada regresión por mínimos cuadrados.
REGRESIÓN LINEAL

• El ejemplo más simple de una aproximación por mínimos

cuadrados es ajustar una línea recta a un conjunto de
observaciones definidas por puntos: (x1, y1), (x2, y2),…, (xn,
yn).
• La expresión matemática para la línea recta es:
REGRESIÓN LINEAL

• Así, el error o residuo es la discrepancia entre el valor

verdadero de y y el valor aproximado, a0 + a1x, que
predijo la ecuación lineal.
Criterio para un “mejor” ajuste
• Una estrategia para ajustar una “mejor” línea a través
de los datos será minimizar la suma de los errores
residuales de todos los datos disponibles, como sigue:
REGRESIÓN LINEAL

• Así, el error o residuo es la discrepancia entre el valor verdadero de y y el

valor aproximado, a0 + a1x, que predijo la ecuación lineal.
Criterio para un “mejor” ajuste
• Una estrategia para ajustar una “mejor” línea a través de los datos será
minimizar la suma de los errores residuales de todos los datos disponibles,
como sigue:

donde n = número total de puntos

REGRESIÓN LINEAL. Ajuste de una línea
recta por mínimos cuadrados

• Éstas se llaman ecuaciones normales, y se resuelven

en forma simultánea:

• donde y son las medias de y y x, respectivamente.

REGRESIÓN LINEAL. Cuantificación del error
en la regresión lineal

• Recuerde que la suma de los cuadrados se define

como:

• En la ecuación, el cuadrado del residuo

representa el cuadrado de la distancia vertical
entre el dato y otra medida de tendencia central:
la línea recta.
REGRESIÓN LINEAL. Cuantificación del error
en la regresión lineal

• La analogía se puede extender aún más en casos donde

1. la dispersión de los puntos alrededor de la línea es de
magnitud similar en todo el rango de los datos, y 2. la
distribución de estos puntos cerca de la línea es normal.
• Es posible demostrar que si estos criterios se cumplen,
la regresión por mínimos cuadrados proporcionará la
mejor (es decir, la más adecuada) estimación de a0 y
a1.
REGRESIÓN LINEAL. Cuantificación del error
en la regresión lineal

• La medida de dispersión más común para una muestra es la

desviación estándar (sy) respecto de la media,

• donde St es la suma total de los cuadrados de las diferencias

entre los datos y la media,
REGRESIÓN LINEAL. Cuantificación del error
en la regresión lineal

• Esto se conoce en estadística como el principio de

máxima verosimilitud.

• donde a Sy/x se le llama error estándar del estimado.

REGRESIÓN LINEAL. Cuantificación del error
en la regresión lineal

• El subíndice “y/x” designa que el error es para un

valor predicho de y correspondiente a un valor
particular de x.
• También, observe que ahora dividimos entre n – 2
debido a que se usaron dos datos estimados (a0 y a1),
para calcular Sr; así, se han perdido dos grados de
libertad.
REGRESIÓN LINEAL. Cuantificación del error
en la regresión lineal

• La diferencia entre estas dos cantidades, St – Sr , cuantifica la

mejora o reducción del error por describir los datos en
términos de una línea recta en vez de un valor promedio.

• El Coeficiente de correlación es una medida que permite

conocer el grado de asociación lineal entre dos variables
cuantitativas (X, Y)
• r es el coeficiente de correlación:
REGRESIÓN LINEAL. Algoritmo
REGRESIÓN LINEAL. Ejemplo

Planteamiento del problema. Ajuste a una línea recta los

valores x y y en las dos primeras columnas de la tabla
REGRESIÓN LINEAL. Ejemplo

Solución:
Se calculan las siguientes cantidades:
REGRESIÓN LINEAL. Ejemplo

Solución:
Mediante las ecuaciones:
REGRESIÓN LINEAL. Ejemplo

Solución:
Por lo tanto, el ajuste por mínimos
cuadrados es:
y = 0.07142857 + 0.8392857x
La línea, junto con los datos, se muestran
en la figura
REGRESIÓN LINEAL. Ejemplo

Solución:
Por lo tanto, el ajuste por mínimos
cuadrados es:
y = 0.07142857 + 0.8392857x
La línea, junto con los datos, se muestran
en la figura
REGRESIÓN LINEAL. Ejemplo

Solución:
Calcule la desviación estándar total, el error
estándar del estimado y el coeficiente de
correlación.
Las sumatorias se realizan:
REGRESIÓN LINEAL. Ejemplo

Solución:

𝑺𝒚=
√
𝟐𝟐,𝟕𝟏𝟒𝟑
𝟕−𝟏
• Cuantificar el error:
=𝟏,𝟗𝟒𝟓𝟕

𝑺𝒓 =∑ ( 𝒚 𝒊 −0.07142857−0 8392857∗𝒙 𝒊 ) =𝟐,𝟗𝟗𝟏𝟏
𝟐
REGRESIÓN LINEAL. Ejemplo

Solución:
• El error estándar del estimado es:

𝑺 𝒚/ 𝒙 =
√𝟐,𝟗𝟗𝟏𝟏
𝟕−𝟐
=¿𝟎,𝟕𝟕𝟑𝟓¿
REGRESIÓN LINEAL. Ejemplo

Solución:
• Como < , el modelo de regresión lineal es adecuado.
• La mejora se puede cuantificar mediante:
REGRESIÓN LINEAL. Ejemplo

Solución:

• Los resultados indican que el modelo lineal explicó el 86.8% de

la incertidumbre original.
Regresión Lineal. Taller

• Emplee la regresión por mínimos cuadrados para ajustar una línea

recta a:

• Además de la pendiente y la intersección, calcule el error

estándar de la estimación y el coeficiente de correlación.
• Grafique los datos y la línea recta. Evalúe el ajuste.