PROYECTO DE INTEGRACIÓN DE ÁLGEBRA LINEAL

TEMA: Aproximación por mínimos cuadrados

1. INTRODUCCIÓN

El método de mínimos cuadrados se remonta a principios del siglo XIX. En Junio de 1801, el
astrónomo Zach publicaba las posiciones orbitales del cuerpo celeste “Ceres”, un nuevo
“pequeño planeta” descubierto por el italiano G. Piazzi en ese mismo año.
Desafortunadamente, Piazzi sólo había podido observar 9 grados de la órbita de “Ceres” antes
de que desapareciese tras del sol. Zach estudió y publicó algunas predicciones de su posición
incluyendo una de Gauss, que difería notablemente de las demás. Cuando Zach pudo observar
a “Ceres” en Diciembre de 1801, éste estaba casi exactamente en donde Gauss había
predicho.

Aunque todavía no había revelado su método, Gauss había descubierto el método de mínimos
cuadrados, donde logró calcular la órbita de “Ceres” a partir de un número reducido de
observaciones, de hecho, el método de Gauss requiere sólo de un mínimo de 3 observaciones
y todavía es, en esencia, el método más utilizado en la actualidad para calcular las órbitas de
los cuerpos celestes. (Creces Álvarez)

Ilustración 1. Friedrich gauss (1777-1855). Imagen tomada de (EcuRed, 2017)

Mínimos cuadrados es una técnica de análisis numérico dentro de la optimización matemática,

en la que se trabaja con un conjunto de pares (o ternas, etc) y se intenta encontrar la función
que mejor se aproxime a los datos, de acuerdo con el criterio de mínimo error cuadrático. En
su forma más simple, intenta minimizar la suma de cuadrados de las diferencias ordenadas,
llamadas residuos, entre los puntos generados por la función y los correspondientes en los
datos.

Se utiliza mínimos cuadrados promedio (LMS) cuando el número de datos medidos es 1 y se

usa el método de descenso por gradiente para minimizar el residuo cuadrado. Se puede
demostrar que LMS minimiza el residuo cuadrado esperado, con el mínimo de operaciones,
pero requiere un gran número de iteraciones para converger. Desde un punto de vista
estadístico, un requisito implícito para que funcione el método de mínimos cuadrados es que
los errores de cada medida estén distribuidos de forma aleatoria. El teorema de Gauss-Márkov
prueba que los estimadores mínimos cuadráticos carecen de sesgo y que el muestreo de datos
no tiene que ajustarse a una distribución en concreto. También es importante que los datos
PROYECTO DE INTEGRACIÓN DE ÁLGEBRA LINEAL

estén bien escogidos, para que permitan visibilidad en las variables que han de ser resueltas.
La técnica de mínimos cuadrados se usa comúnmente en el ajuste de curvas. Muchos otros
problemas de optimización pueden expresarse también en forma de mínimos cuadrados,
minimizando la energía o maximizando la entropía.

2. FUNDAMENTO TEÓRICO

El ajuste de curvas es un proceso mediante el cual, dado un conjunto de N pares de puntos,

siendo {xi, yi} (x la variable independiente e y la dependiente), se determina una función
matemática f(x) de tal manera que la suma de los cuadrados de la diferencia entre la imagen
real y la correspondiente obtenida mediante la función ajustada en cada punto sea mínima:
𝑛

𝜀 = min⁡(∑(𝑦𝑖 − 𝑓(𝑥𝑖 ))2

𝑖

De manera análoga al caso lineal, para determinar la ecuación de un polinomio de grado M y

minimizar el error cuadrático se tiene:
𝑛 𝑛
𝑐𝑎𝑙𝑐 2
𝜀 = min⁡(∑(𝑦𝑖 − 𝑦 𝑖) ) = 𝑚𝑖𝑛(∑(𝑦𝑖 − 𝑎0 − 𝑎1 𝑥𝑖 − 𝑎2 𝑥 2 𝑖 … 𝑎𝑚 𝑥 𝑀 𝑖 )2 )
𝑖 𝑖

Por lo general se escoge una función genérica f(x) en función de uno o más parámetros y se
ajusta el valor de estos parámetros de la manera que se minimice el error cuadrático, ε. La
forma más común de esta función ajustada es la de un polinomio de grado M; obteniendo para
M = 1 un ajuste lineal (o regresión lineal),

𝑓(𝑥) = 𝑎0 + 𝑎1 𝑥

Para M = 2, un ajuste parabólico, la condición de mínimo del error cuadrático lleva a las
ecuaciones siguientes:
𝑁 𝑁 𝑁 𝑁 𝑁
𝜕𝜀
= ∑ 2(𝑦𝑖 − 𝑎0 − 𝑎1 𝑥𝑖 − 𝑎2 𝑥 2 𝑖 ) = 2 ∑ 𝑦𝑖 − 2 ∑ 𝑎0 − 2𝑎1 ∑ 𝑥𝑖 − 2𝑎2 ∑ 𝑥𝑖2 = 0
𝜕𝑎
𝑖 𝑖 𝑖 𝐼 𝑖

𝑁
𝜕𝜀
= ∑ 2(𝑦𝑖 − 𝑎0 − 𝑎1 𝑥𝑖 − 𝑎2 𝑥 2 𝑖 )𝑥𝑖
𝜕𝑏
𝑖
𝑁 𝑁 𝑁 𝑁

= 2 ∑ 𝑥𝑖 𝑦𝑖 − 2𝑎0 ∑ 𝑥𝑖 − 2𝑎1 ∑ 𝑥𝑖2 − 2𝑎2 ∑ 𝑥𝑖3 = 0

𝑖 𝑖 𝐼 𝑖

𝑁
𝜕𝜀
= ∑ 2(𝑦𝑖 − 𝑎0 − 𝑎1 𝑥𝑖 − 𝑎2 𝑥 2 𝑖 )𝑥𝑖2
𝜕𝑐
𝑖
𝑁 𝑁 𝑁 𝑁

= 2 ∑ 𝑥𝑖2 𝑦𝑖 − 2𝑎0 ∑ 𝑥𝑖2 − 2𝑎1 ∑ 𝑥𝑖3 − 2𝑎2 ∑ 𝑥𝑖4 = 0

𝑖 𝑖 𝐼 𝑖
PROYECTO DE INTEGRACIÓN DE ÁLGEBRA LINEAL

3. PROBLEMAS
3.1. Se desea ajustar una curva cuadrática a los N datos. Recuerde que una curva
cuadrática en es cualquier expresión de la forma y = a + bx + cx2

SOLUCIÓN

Se supone que los N puntos pueden pasar exactamente por la curva que se busca. En este
caso, se plantea el siguiente sistema 3 de ecuaciones.

⁡⁡⁡⁡𝑎 + 𝑏𝑥1 + 𝑐𝑥 21 = 𝑦1

⁡⁡⁡𝑎 + 𝑏𝑥2 + ⁡ 𝑐𝑥 2 2 = 𝑦2

⁡⁡⁡𝑎 + 𝑏𝑥3 + ⁡ 𝑐𝑥 2 3 = 𝑦3

O bien, en forma matricial

1 𝑥1 𝑥 21 a 𝑦1

1 𝑥2 𝑥22 b = 𝑦2 𝐴∗𝑋 =𝐶

1 𝑥3 𝑥23 c 𝑦3

A X C

Una manera directa de resolver los sistemas de ecuaciones expresados en forma matricial es la
de multiplicar por la izquierda a ambos lados de la igualdad por la inversa de la matriz de
coeficientes. Una posible estrategia a seguir es multiplicar la ecuación matricial anterior por la
transpuesta de la matriz de coeficientes (el producto de una matriz por su transpuesta es
siempre una matriz cuadrada y simétrica) de manera que se tiene:

𝐴𝑇 ∗ 𝐴 ∗ 𝑋 = 𝐴𝑇 ∗ 𝐶 𝑆 = 𝐴𝑇 ∗ 𝐴 𝑍 = 𝐴𝑇 ∗ 𝐶

El sistema de ecuaciones se ha condensado en otro sistema de dos ecuaciones y dos incógnitas

dado por:

𝑍 =𝑆∗𝑋

Ahora bien, la matriz S es una matriz de dimensión 3×3 y simétrica por lo que es invertible así
que se puede expresar como:

𝑆 −1 ∗ 𝑆 ∗ 𝑋 = 𝑆 −1 ∗ 𝐴𝑇 ∗ 𝐶

El vector que se busca quedaría de la forma:

𝑋 = 𝑆 −1 ∗ 𝐴𝑇 ∗ 𝐶
PROYECTO DE INTEGRACIÓN DE ÁLGEBRA LINEAL

A partir de la estructura de la matriz A, el producto de su transpuesta por ella misma resulta en

⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡1 1 1 1 𝑥1 𝑥 21 N ∑𝑥 ∑ 𝑥2

𝐴𝑇 ∗ 𝐴 = 𝑥1 𝑥2 𝑥3 1 𝑥2 𝑥22 = ∑𝑥 ∑ 𝑥2 ∑ 𝑥3

𝑥 21 𝑥 2 2 ⁡⁡⁡⁡⁡𝑥 2 3 1 𝑥3 𝑥23 ∑ 𝑥2 ∑ 𝑥 3 ⁡⁡⁡⁡⁡⁡∑ 𝑥 4

Del mismo modo, el producto de AT por el vector de términos independientes queda:

1 1 1 𝑦1 ∑𝑦

𝑍 = 𝐴𝑇 ∗ 𝐶 = 𝑥1 𝑥2 𝑥3 𝑦2 = ∑𝑥𝑦

𝑥 21 𝑥 2 2 ⁡⁡⁡⁡⁡𝑥 2 3 𝑦3 ∑ 𝑥2 𝑦

Por lo que la ecuación matricial 3×3 anterior se la puede representar como:

N ∑𝑥 ∑ 𝑥2 a ∑𝑦

∑𝑥 ∑ 𝑥2 ∑ 𝑥3 b = ∑𝑥𝑦

∑ 𝑥2 ∑ 𝑥 3 ⁡⁡⁡⁡⁡⁡∑ 𝑥 4 c ∑ 𝑥2 𝑦

3.2. Usando el resultado del literal anterior, determine una curva de ajuste cuadrático para
el siguiente problema:

Un fabricante compra grandes cantidades de refacciones para cierta máquina. Él

encuentra que este costo depende del número de cajas compradas al mismo tiempo y que
el costo por unidad disminuye conforme el número de cajas aumenta. Se toman datos
específicos que generan la siguiente tabla.

Encontrar la función cuadrática de mejor ajuste para este grupo de datos y luego estime el
costo total de comprar 40 cajas.

SOLUCIÓN

Para formar el sistema de ecuaciones es necesario encontrar las sumatorias de las datos (x
e y) que se muestran en el ejercicio anterior.
PROYECTO DE INTEGRACIÓN DE ÁLGEBRA LINEAL

∑ 𝑥 = 365 ∑ 𝑥 2 = 44125 ∑ 𝑥 3 = 6512375⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡ ∑ 𝑥 4 = 1.045 ∗ 109

∑ 𝑦 = 1905 ∑ 𝑥 𝑦 = 192800 ∑ 𝑥 2 𝑦 = 26580250

Armando el sistema de ecuaciones se tiene:

5 365 44125 𝑎 1905

[ 365 44125 6512375 ] {𝑏 } = { 192800 }
44125 6512375 1.045 ∗ 109 𝑐 26580250

Para la resolución de las matrices de utilizará el programa MATLAB, ya que el procedimiento se

vuelve un poco complicado por los altos valores numéricos.

Ilustración 2.- Solución al sistema de ecuaciones planteado.

El resultado del sistema de ecuaciones da:

𝑦 = −0.0097𝑥 2 + 4.9064𝑥 + 108.71

Otra forma más sencilla en la que se puede resolver el problema es realizar el gráfico y sacar la
ecuación en Excel, se observa que el resultado de la ecuación es la misma.
PROYECTO DE INTEGRACIÓN DE ÁLGEBRA LINEAL

Ilustración 3.- Representación gráfica de los datos

Para estimar el costo total de comprar 40 cajas, solo se debe reemplazar el valor de 40 en lugar
de las X, teniendo asi:

𝑦 = −0.0097(40)2 + 4.9064(40) + 108.71

𝑦 = 289.446

4. CONCLUSIONES
 Una vez construida la matriz A de dimensión N × M + 1 y el vector de coeficientes y a
partir de los N pares de puntos {xi, yi}, simplemente aplicamos los siguientes pasos:
a) Construcción de la transpuesta de la matriz A: AT
b) Construcción de la matriz S mediante el producto matricial AT A
c) Construcción del vector Z mediante el producto matriz por vector AT
d) Inversión de matriz S: S-1
e) Producto matriz por vector S-1 Z para obtener el vector de soluciones final
 Un algoritmo general de ajuste de una función polinómica debería solicitar
únicamente:
a) El número de total de pares de puntos de que disponemos, N.
b) El grado del polinomio que se pretende ajustar, M.
 En el ejercicio dos se observa que el segundo punto no se ajusta tan precisamente a la
curva, con ayuda de la teoría se entiende que no es necesario que todo el conjunto de
N puntos se adapte a la curva para obtener una aproximación muy certera.
 Al comprar 40 cajas el costo total en dólares es de 289.446.

5. RECOMENDACIONES
 El procedimiento se puede extenderse a un conjunto tan grande de datos como sea
necesario. Aunque el cálculo se lo puede realizar de manera manual, el trabajo se
simplifica mucho empleando una hoja de cálculo o un software adecuado. Existen
programas de representación y análisis de datos experimentales que facilitan esta
tarea y que disponen de otros algoritmos de aproximación mucho más complejos y
sofisticados.