Métodos numéricos

Clase 5 [parte 3]
Prof. José F. Roca R.
08.11.2022

Revisado:
1
 Regresión de mínimos cuadrados [Chapra & Canale, 2010]

• Regresión lineal. El ejemplo más

simple para la aproximación por
mínimos cuadrados es ajustar una
línea recta a un conjunto de datos.
[Chapra & Canale, 2010]

• Donde los coeficientes representan la

pendiente e intersección. e es el error,
o residuo.
[Chapra & Canale, 2010]
• Criterios para el mejor ajuste:
✔ Minimizar la siguiente suma:
Sin embargo, podría ocurrir una
cancelación de los errores.
✔ Minimizar la máxima distancia.
Aunque esto podría dar una gran
influencia a un único punto con gran
error. 2
 Regresión de mínimos cuadrados
✔ Una mejor opción sería minimizar la Igualando a 0 resulta en el mínimo Sr.
suma de los cuadrados de los residuos
entre y medido e y calculado

[Chapra & Canale, 2010]

[Chapra & Canale, 2010]
• También expresado como
• Para determinar los coeficientes a0 y
a1:

• Resolviendo para los coeficientes:

[Chapra & Canale, 2010]
• La suma desde i=1 hasta n.
[Chapra & Canale, 2010]
3
Regresión de mínimos cuadrados
• Cuantificación del error de una
regresión lineal. La línea encontrada
es única y en términos del criterio
[Chapra & Canale, 2010]
elegido, la mejor.
• El cuadrado de la distancia vertical
entre el dato y la línea recta.
• Si la dispersión de los puntos
alrededor de la línea es similar en
magnitud a lo largo del rango y si la
distribución de los puntos es normal.
Si ambos se cumplen, la regresión
provee la mejor estimación de a0 y a1.
• Entonces, la desviación std para la
regresión
Conocido como error std de la
estimación, que cuantifica la dispersión
de los datos alrededor de la línea.
• Para comparar regresiones:
• St: la suma de los cuadrados alrededor
de la media.
• Sr: la suma de los cuadrados
alrededor de la línea.
[Chapra & Canale, 2010]
4
Regresión de mínimos cuadrados
• Conocido como el coeficiente de
determinación.
• r es el coeficiente de correlación. r=0,
Sr=St, el ajuste no representa mejora.
r=1, la línea explica toda la
variabilidad de los datos.
[Chapra & Canale, 2010]
• Por ejemplo: Estimación r2.
[Chapra & Canale, 2010]
• [linear_regression.py].
• Linealización de relaciones no
lineales. Se sugiere siempre comenzar
con una visualización de datos. Tipos
de modelos:
a) Modelo exponencial. Se encuentra en
crecimiento poblacional, decaimiento
radiactivo.
b) Ecuación de potencia.
5
 Regresión de mínimos cuadrados
c) Ecuación de crecimiento-saturación. • Regresión polinomial. Ajustar
Crecimiento población en condiciones polinomios a los datos.
limitantes • Se desea ajustar un polinomio de 2da
orden. Se repite el procedimiento,
• Gracias a manipulaciones algebraicas minimizar Sr [Chapra & Canale, 2010]
podemos usar una regresión lineal y
después de hallar los coeficientes • Derivamos Sr con respecto ai’s:
regresar a su forma inicial.
• Para estos resultados algunas
consideraciones generales:
✔ x tiene un valor fijo, libre de error
✔ y tiene la misma varianza.
[Chapra & Canale, 2010] 6
✔ y para un dado x es normalmente dist.
Regresión de mínimos cuadrados
• Igualamos a 0 y resolvemos los ai’s
• Esta idea puede extenderse a otros
polinomios de orden m.
• El error std es
[Chapra & Canale, 2010]
donde (m+1) es el número de
coeficientes a0,…,am.
• [quadratic_regression.py].
• Del ejemplo, el 99.85% de la
incertidumbre original ha sido
explicada por el modelo.
• Algoritmo. Se requiere generar los
coeficientes de la ecuación, así como
resolver el sistema resultante.
• Para versiones de orden mayor, la
ecuación tiende a ser mal
condicionada. Por eso, los coeficientes
pueden ser susceptibles a error por
redondeo. Afortunadamente, muchos
problemas prácticos requieren bajo 7
orden.
Regresión de mínimos cuadrados
• Regresión lineal múltiple. Cuando y • En forma matricial:
[Chapra & Canale, 2010]
es función lineal de dos o más
variables. Para el caso más simple:

• Generalizando para m dimensiones

• Suma de los cuadrados de los residuos

• Error std
• Derivando e igualando a 0
• También se puede usar en este tipo de
expresiones:
[Chapra & Canale, 2010]
• Ya que podemos tomar el log en
[Chapra & Canale, 2010] ambos lados de la ecuación.
8
• GRACIAS!

9
Referencias
• Chapra, S.; Canale, R.. Numerical methods for engineers. McGraw-Hill,
6th edition, 2010.

10