Está en la página 1de 22

Problemas de

Mnimos Cuadrados
Ajuste de curvas.
Sistemas rectangulares: Soluci on en el sentido de mnimos cuadrados. Ecuaciones
normales.
Ortogonalizaci on: Gram-Schmidt. Factorizaci on QR.
Problemas de cuadrados mnimos no lineales: Reducci on a problemas lineales.
521230 - 1- DIM Universidad de Concepci on
Considere un sistema rectangular de ecuaciones
Ax = b
donde A R
mn
, con n < m, es una matriz rectangular de m las y n columnas y
b R
m
.
Este problema, en general, no tiene soluci on: sistema sobredeterminado.
Una alternativa es buscar una soluci on en el sentido generalizado siguiente:
Hallar x R
n
tal que b Ax
2
sea mnima.
Denici on. El vector x que minimiza b Ax
2
es la soluci on en el sentido de mnimos
cuadrados del sistema rectangular.
Ojo! En general:
Ax = b.
521230 - 2- DIM Universidad de Concepci on
Ejemplo. Ajuste de polinomios.
Dado un conjunto de puntos
(x
1
, y
1
), . . . , (x
m
, y
m
),
nos proponemos encontrar el polinomio
p(x) = c
0
+ c
1
x + . . . + c
n1
x
n1
,
con n < m que est e m as cerca de estos puntos en el sentido que
m

i=1
|p(x
i
) y
i
|
2
,
sea mnima.
521230 - 3- DIM Universidad de Concepci on
Esta suma de cuadrados es el cuadrado de la norma del residuo del sistema rectangular:
_
_
_
_
_
_
_
_
_
_
1 x
1
. . . x
n1
1
1 x
2
. . . x
n1
2
1 x
3
. . . x
n1
3
.
.
.
.
.
.
.
.
.
1 x
m
. . . x
n1
m
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
c
0
c
1
.
.
.
c
n1
_
_
_
_
_
_
_
=
_
_
_
_
_
_
_
_
_
_
y
1
y
2
y
3
.
.
.
y
m
_
_
_
_
_
_
_
_
_
_
.
521230 - 4- DIM Universidad de Concepci on
Teorema. Sean A R
mn
(m n) y b R
m
. Un vector x R
n
minimiza la norma del
residuo r
2
= b Ax
2
si y s olo si el residuo r es ortogonal a la imagen de A; esto es
si
A
t
r = 0,
donde A
t
es la matriz transpuesta de A.
521230 - 5- DIM Universidad de Concepci on
Consecuencia: x debe satisfacer
A
t
r = 0 A
t
(b Ax) = 0 A
t
Ax = A
t
b.
Estas ultimas ecuaciones reciben el nombre de ecuaciones normales.
Observaci on: En el caso en que m = n y que la matriz Asea una matriz no singular,
entonces las ecuaciones normales entregan como soluci on la soluci on del sistema lineal
Ax = b.
521230 - 6- DIM Universidad de Concepci on
Las ecuaciones normales tienen soluci on unica si y s olo si todas las columnas de Ason l.i.;
es decir, si rango(A) = n.
En este caso, adem as, la matriz A
t
Aes sim etrica y denida positiva, de donde, las
ecuaciones normales tienen soluci on unica y se pueden utilizar los m etodos estudiados para
estas matrices, en particular, el m etodo de Cholesky.
521230 - 7- DIM Universidad de Concepci on
Para resolver las ecuaciones normales se puede proceder del siguiente modo:
1. Calcular la matriz A
t
Ay el vector A
t
b.
2. Obtener la matriz L de la factorizaci on de Cholesky: A
t
A = LL
t
.
3. Resolver el sistema triangular inferior Ly = A
t
b.
4. Resolver el sistema triangular superior L
t
x = y.
521230 - 8- DIM Universidad de Concepci on
Inconveniente: El condicionamiento de la matriz A
t
Aes en general malo, lo que genera
gran sensibilidad respecto a errores de redondeo.
Por ejemplo, si Aes cuadrada, entonces cond
2
(A
t
A) = cond
2
(A)
2
.
Soluci on: factorizaci on QR. Ortogonalizar las columnas de Amediante, por ejemplo,
Gram-Schmidt.
Para esto, escribamos:
A =
_
_
_
_
_
_
_
_
_
_
a
1
a
2
. . . a
n
_
_
_
_
_
_
_
_
_
_
R
mn
donde a
i
R
m
, i = 1, 2, . . . , n, son las columnas de la matriz A.
521230 - 9- DIM Universidad de Concepci on
La idea es construir una matriz
Q =
_
_
_
_
_
_
_
_
_
_
q
1
q
2
. . . q
n
_
_
_
_
_
_
_
_
_
_
R
mn
y una matriz triangular superior
R =
_
_
_
_
_
_
_
r
11
r
12
. . . r
1n
0 r
22
. . . r
2n
.
.
.
.
.
.
.
.
.
.
.
.
0 . . . 0 r
nn
_
_
_
_
_
_
_
R
nn
,
tales que
A = QR.
521230 - 10 - DIM Universidad de Concepci on
A = QR
_

_
a
1
= r
11
q
1
,
a
2
= r
12
q
1
+ r
22
q
2
,
.
.
.
a
n
= r
1n
q
1
+ r
2n
q
2
+ . . . + r
nn
q
n
.
Qy Rse pueden construir mediante el proceso de ortogonalizaci on de Gram-Schmidt:
Para j = 1, . . . , n :

para i = 1, . . . , j 1 :

r
ij
= q
t
i
a
j
,
r
jj
=
_
_
_
_
_
a
j

j1

i=1
r
ij
q
i
_
_
_
_
_
2
,
q
j
=
1
r
jj
_
a
j

j1

i=1
r
ij
q
i
_
.
521230 - 11 - DIM Universidad de Concepci on
Las columnas de Qson vectores ortonormales:
q
t
i
q
j
=
ij
=
_
_
_
1 si i = j,
0 si i = j,
de donde la matriz Qsatisface
Q
t
Q =
_
_
_
_
_
_
_
_
q
t
1
q
t
2
.
.
.
q
t
n
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
q
1
q
2
. . . q
n
_
_
_
_
_
_
_
_
_
_
= I.
Si rango(A) = n, entonces el proceso de ortogonalizaci on de Gram-Schmidt genera una
matriz Rno singular.
521230 - 12 - DIM Universidad de Concepci on
Aplicaci on a la resoluci on de las ecuaciones normales.
Para resolver el sistema de ecuaciones normales:
A
t
Ax = A
t
b,
como
_

_
A = QR,
Q
t
Q = I y
Res no singular,
entonces:
A
t
Ax = A
t
b R
t
Q
t
QRx = R
t
Q
t
b
R
t
Rx = R
t
Q
t
b
Rx = Q
t
b.
521230 - 13 - DIM Universidad de Concepci on
Cuando A R
mn
es una matriz rectangular y b R
m
, el comando MATLAB
x=A\b;
devuelve la soluci on del sistema rectangular en el sentido de mnimos cuadrados.
MATLAB obtiene esta soluci on mediante el m etodo QR, pero las matrices Qy Rno se
obtienen mediante Gram-Schmidt, sino mediante transformaciones de Householder que
propagan menos los errores de redondeo.
521230 - 14 - DIM Universidad de Concepci on
Ejemplo 1. Un problema de aproximaci on polinomial.
Considere la siguiente tabla de valores:
Se pide ajustar estos datos en el sentido de mnimos
cuadrados por un polinomio de grado 3.
x y
0.0 10.5000
0.5 5.4844
1.0 0.0000
1.5 -3.6094
2.0 -4.5000
2.5 -2.9531
3.0 0.0000
3.5 2.9531
4.0 4.5000
4.5 3.6094
5.0 0.0000
521230 - 15 - DIM Universidad de Concepci on
Soluci on.
Nuestro problema se reduce a encontrar constantes a, b, c y d para formar el polinomio
p(x) = ax
3
+ bx
2
+ cx + d.
Evaluamos el polinomio p en los diferentes valores x de la tabla, obteniendo as el sistema
lineal rectangular con inc ognitas a, b, c y d:
521230 - 16 - DIM Universidad de Concepci on
0
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
@
0.0000 0.0000 0.0000 1.0000
0.1250 0.2500 0.5000 1.0000
1.0000 1.0000 1.0000 1.0000
3.3750 2.2500 1.5000 1.0000
8.0000 4.0000 2.0000 1.0000
15.6250 6.2500 2.5000 1.0000
27.0000 9.0000 3.0000 1.0000
42.8750 12.2500 3.5000 1.0000
64.0000 16.0000 4.0000 1.0000
91.1250 20.2500 4.5000 1.0000
125.0000 25.0000 5.0000 1.0000
1
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
A
| {z }
A
0
B
B
B
B
B
@
a
b
c
d
1
C
C
C
C
C
A
| {z }
x
=
0
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
@
10.5000
5.4844
0.0000
3.6094
4.5000
2.9531
0.0000
2.9531
4.5000
3.6094
0.0000
1
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
C
A
| {z }
b
521230 - 17 - DIM Universidad de Concepci on
Resolviendo el sistema rectangular en el sentido de mnimos cuadrados se obtiene el
polinomio:
p(x) = 0.9583x
3
+ 8.5x
2
20.7917x + 12.
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
6
4
2
0
2
4
6
8
10
12
Mediciones
Minimos cuadrados
521230 - 18 - DIM Universidad de Concepci on
Ejemplo 2. Un problema no lineal reducible a lineal.
Considere la siguiente tabla de valores
x 0.0000 0.4000 0.8000 1.2000 1.6000 2.0000
y 3.1437 4.4169 6.0203 8.6512 11.0078 16.2161
Se quiere ajustar una funci on
f(x) = ae
bx
a estos datos en el sentido de mnimos cuadrados.
Soluci on.
Tomando logaritmos se transforma en un problema lineal de cuadrados mnimos:
z = ln(y) = ln(f(x)) = ln(a) + bx.
521230 - 19 - DIM Universidad de Concepci on
x 0.0000 0.4000 0.8000 1.2000 1.6000 2.0000
z = ln(y) 1.1454 1.4854 1.7951 2.1577 2.3986 2.7860
0
B
B
B
B
B
B
B
B
B
B
B
@
1 0.0000
1 0.4000
1 0.8000
1 1.2000
1 1.6000
1 2.0000
1
C
C
C
C
C
C
C
C
C
C
C
A
| {z }
A
0
@
ln(a)
b
1
A
| {z }
x
=
0
B
B
B
B
B
B
B
B
B
B
B
@
1.1454
1.4854
1.7951
2.1577
2.3986
2.7860
1
C
C
C
C
C
C
C
C
C
C
C
A
| {z }
b
521230 - 20 - DIM Universidad de Concepci on
Resolvemos el problema de cuadrados mnimos y obtenemos:
ln(a) = 1.1539 = a = e
1.1539
= 3.1705 y b = 0.8075.
Por lo tanto
f(x) = 3.1705e
0.8075x
.
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
2
4
6
8
10
12
14
16
18
Mediciones
Minimos cuadrados
521230 - 21 - DIM Universidad de Concepci on
Otros ejemplos de modelos no lineales reducibles a lineales
f(t) = ce
atbt
2
: en este caso, se aplica logaritmo.
f(t) =
a
b + t
: en este caso se toman los recprocos.
f(t) =
k
0
1 + ae
ct
, donde k
0
es una constante conocida: en este caso se toman
recprocos, se resta 1 y despu es se aplica logaritmo.
521230 - 22 - DIM Universidad de Concepci on