Problemas de

Mnimos Cuadrados
Ajuste de curvas.
en el sentido de mnimos cuadrados. Ecuaciones
Sistemas rectangulares: Solucion
normales.
QR.
Gram-Schmidt. Factorizacion
Ortogonalizacion:
a problemas lineales.
Problemas de cuadrados mnimos no lineales: Reduccion

521230

-1-

DIM Universidad de Concepcion

Considere un sistema rectangular de ecuaciones

Ax = b
donde A

Rmn , con n < m, es una matriz rectangular de m filas y n columnas y

b Rm .
sistema sobredeterminado.
Este problema, en general, no tiene solucion:

en el sentido generalizado siguiente:

Una alternativa es buscar una solucion
Hallar x

Rn tal que kb Axk2 sea mnima.

El vector x que minimiza kb Axk2 es la solucion

en el sentido de mnimos
Definicion.
cuadrados del sistema rectangular.

Ojo! En general:

Ax 6= b.

521230

-2-

DIM Universidad de Concepcion

Ejemplo. Ajuste de polinomios.

Dado un conjunto de puntos

(x1 , y1 ), . . . , (xm , ym ),
nos proponemos encontrar el polinomio

p(x) = c0 + c1 x + . . . + cn1 xn1 ,

con n

cerca de estos puntos en el sentido que

< m que este mas
m
X

|p(xi ) yi |2 ,

i=1

sea mnima.

521230

-3-

DIM Universidad de Concepcion

Esta suma de cuadrados es el cuadrado de la norma del residuo del sistema rectangular:

.
..

521230

x1n1

n1
x2

x3n1

x1

...

x2

...
y2

c1

...
.
= y3
.

. .
.. .
..
.

c
n1
n1
. . . xm
ym

x3
..
.

xm

-4-

c0

y1

DIM Universidad de Concepcion

 Rmn (m n) y b Rm . Un vector x Rn minimiza la norma del

si el residuo r es ortogonal a la imagen de A; esto es
residuo krk2 = kb Axk2 si y solo

Teorema. Sean A
si

At r = 0,
t

donde A es la matriz transpuesta de A.

521230

-5-

DIM Universidad de Concepcion

Consecuencia:

x debe satisfacer

At r = 0

At (b Ax) = 0

At Ax = At b.

Estas ultimas
ecuaciones reciben el nombre de ecuaciones normales.

En el caso en que m
Observacion:

= n y que la matriz A sea una matriz no singular,

la solucion
del sistema lineal
entonces las ecuaciones normales entregan como solucion

Ax = b.

521230

-6-

DIM Universidad de Concepcion

 unica
si todas las columnas de A son l.i.;
Las ecuaciones normales tienen solucion
si y solo

es decir, si rango(A)

= n.

la matriz A
En este caso, ademas,

A es simetrica
y definida positiva, de donde, las

unica

ecuaciones normales tienen solucion

y se pueden utilizar los metodos
estudiados para

de Cholesky.
estas matrices, en particular, el metodo

521230

-7-

DIM Universidad de Concepcion

Para resolver las ecuaciones normales se puede proceder del siguiente modo:
1. Calcular la matriz A

A y el vector At b.

de Cholesky:
2. Obtener la matriz L de la factorizacion
3. Resolver el sistema triangular inferior Ly
4. Resolver el sistema triangular superior L

521230

-8-

At A = LLt .

= At b.
x = y.

DIM Universidad de Concepcion

Inconveniente: El condicionamiento de la matriz A

A es en general malo, lo que genera

gran sensibilidad respecto a errores de redondeo.

Por ejemplo, si A es cuadrada, entonces cond2 (A

A) = cond2 (A)2 .

factorizacion
QR. Ortogonalizar las columnas de A mediante, por ejemplo,
Solucion:
Gram-Schmidt.
Para esto, escribamos:

donde ai

521230

A=
a 1

a2

mn

R
. . . an

Rm , i = 1, 2, . . . , n, son las columnas de la matriz A.

-9-

DIM Universidad de Concepcion

La idea es construir una matriz

Q=
q1

q2

y una matriz triangular superior

tales que

r11

R= .
..

mn

R
. . . qn

r12

...

r22

. . . r2n

nn
,

..
..
.
.
0 rnn

..

...

r1n

A = QR.
521230

- 10 -

DIM Universidad de Concepcion

A = QR

a1

a2

an

= r11 q 1 ,
= r12 q 1 + r22 q 2 ,
..
.

= r1n q 1 + r2n q 2 + . . . + rnn q n .

de Gram-Schmidt:
Q y R se pueden construir mediante el proceso de ortogonalizacion
Para j

521230

= 1, . . . , n :

para i

rjj

= 1, . . . , j 1 :

rij = q ti aj ,


j1


X


= a j
rij q i ,


i=1

qj =

1
rjj

- 11 -

aj

j1
X
i=1

rij q i

DIM Universidad de Concepcion

Las columnas de Q son vectores ortonormales:

1
q ti q j = ij =
0

si i = j,
si i 6= j,

de donde la matriz Q satisface

t
Q Q=

Si rango(A)

q t1
q t2
..
.

q tn

q
1

q2

. . . qn
= I.

de Gram-Schmidt genera una

= n, entonces el proceso de ortogonalizacion

matriz R no singular.

521230

- 12 -

DIM Universidad de Concepcion

 a la resolucion
de las ecuaciones normales.
Aplicacion
Para resolver el sistema de ecuaciones normales:

At Ax = At b,

como

A = QR,
Qt Q = I y

R es no singular,

entonces:

At Ax = At b

521230

- 13 -

Rt Qt QRx = Rt Qt b

Rt Rx = Rt Qt b

Rx = Qt b.

DIM Universidad de Concepcion

Cuando A

Rmn es una matriz rectangular y b Rm , el comando MATLAB

x=A\b;

del sistema rectangular en el sentido de mnimos cuadrados.

devuelve la solucion
mediante el metodo

MATLAB obtiene esta solucion

QR, pero las matrices Q y R no se
obtienen mediante Gram-Schmidt, sino mediante transformaciones de Householder que
propagan menos los errores de redondeo.

521230

- 14 -

DIM Universidad de Concepcion

 polinomial.
Ejemplo 1. Un problema de aproximacion

Considere la siguiente tabla de valores:

Se pide ajustar estos datos en el sentido de mnimos

0.0

10.5000

0.5

5.4844

1.0

0.0000

1.5

-3.6094

2.0

-4.5000

2.5

-2.9531

3.0

0.0000

3.5

2.9531

4.0

4.5000

4.5

3.6094

5.0

0.0000

cuadrados por un polinomio de grado 3.

521230

- 15 -

DIM Universidad de Concepcion


Solucion.
Nuestro problema se reduce a encontrar constantes a, b, c y d para formar el polinomio

p(x) = ax3 + bx2 + cx + d.

Evaluamos el polinomio p en los diferentes valores x de la tabla, obteniendo as el sistema

a, b, c y d:
lineal rectangular con incognitas

521230

- 16 -

DIM Universidad de Concepcion

0.0000

B
B 0.1250
B
B
B 1.0000
B
B
B 3.3750
B
B
B 8.0000
B
B
B 15.6250
B
B
B 27.0000
B
B
B 42.8750
B
B 64.0000
B
B
B 91.1250
@
125.0000
|

521230

0.0000

0.0000

0.2500

0.5000

1.0000

1.0000

2.2500

1.5000

4.0000

2.0000

6.2500

2.5000

9.0000

3.0000

12.2500

3.5000

16.0000

4.0000

20.2500

4.5000

25.0000 5.0000
{z

- 17 -

1.0000

C
1.0000C
C
C
1.0000C
C
C
0 1
1.0000C
C a
C
B C
1.0000C
C BbC
CB C
1.0000C B C
C BcC
C@ A
1.0000C
C d
C
1.0000C | {z }
C
1.0000C
C x
C
1.0000C
A
1.0000
}

10.5000

B
C
B 5.4844 C
B
C
B
C
B 0.0000 C
B
C
B
C
B3.6094C
B
C
B
C
B4.5000C
B
C
B
C
B2.9531C
B
C
B
C
B 0.0000 C
B
C
B
C
B 2.9531 C
B
C
B 4.5000 C
B
C
B
C
B 3.6094 C
@
A
0.0000
{z
}
|

DIM Universidad de Concepcion

Resolviendo el sistema rectangular en el sentido de mnimos cuadrados se obtiene el

polinomio:

p(x) = 0.9583x3 + 8.5x2 20.7917x + 12.

12
Mediciones
Minimos cuadrados
10

521230

0.5

1.5

- 18 -

2.5

3.5

4.5

DIM Universidad de Concepcion

Ejemplo 2. Un problema no lineal reducible a lineal.

Considere la siguiente tabla de valores

0.0000

0.4000

0.8000

1.2000

1.6000

2.0000

3.1437

4.4169

6.0203

8.6512

11.0078

16.2161

Se quiere ajustar una funcion

f (x) = aebx
a estos datos en el sentido de mnimos cuadrados.

Solucion.
Tomando logaritmos se transforma en un problema lineal de cuadrados mnimos:

z = ln(y) = ln(f (x)) = ln(a) + bx.

521230

- 19 -

DIM Universidad de Concepcion

0.0000

0.4000

0.8000

1.2000

1.6000

2.0000

z = ln(y)

1.1454

1.4854

1.7951

2.1577

2.3986

2.7860

1
B
B1
B
B
B1
B
B
B1
B
B
B1
@
1

521230

0.0000

C
0.4000C
C0
1
C
0.8000C
C @ln(a)A
C
1.2000C
b
C
C | {z }
1.6000C
A

2.0000
{z
}

- 20 -

1.1454
C
B
B1.4854C
C
B
C
B
B1.7951C
C
B
C
B
B2.1577C
C
B
C
B
B2.3986C
A
@

2.7860
| {z }

DIM Universidad de Concepcion

Resolvemos el problema de cuadrados mnimos y obtenemos:

ln(a) = 1.1539

a = e1.1539 = 3.1705

b = 0.8075.

Por lo tanto

f (x) = 3.1705e0.8075x .
18
Mediciones
Minimos cuadrados
16

14

12

10

521230

0.2

0.4

0.6

- 21 -

0.8

1.2

1.4

1.6

1.8

DIM Universidad de Concepcion

Otros ejemplos de modelos no lineales reducibles a lineales

f (t) = ce

atbt2

: en este caso, se aplica logaritmo.

a
f (t) =
: en este caso se toman los recprocos.
b+t
k0
f (t) =
, donde k0 es una constante conocida: en este caso se toman
1 + aect
se aplica logaritmo.
recprocos, se resta 1 y despues

521230

- 22 -

DIM Universidad de Concepcion