Cuadrados Mnimos

by gira
09/10/2009

Sean A 2 Rmxn ; b 2 Rm y x 2 Rn :
el sistema Ax = b entonces es compatible () b 2 Col(A)
Ahora, sea el sistema Ax = b tal que b 2
= Col(A) (uno incompatible) entonces queremos la
solucin de este sistema (un x
b) de forma tal de encontrar un bb que perteneza al col(A) y
sea lo ms "parecido" a b posible, o mejor dicho, de forma que el vector bb sea el que ms se
aproxime a b (y el "error" sea el mnimo); es decir de forma que bb = pCol(A) (b)

Ejemplo en R3

El error " es igual a b

bb :

Entonces el objetivo es encontrar la solucin a este sistema: Ab

x = bb = pCol(A) (b). La solucin
x
b recibe el nombre de "solucin por cuadrados mnimos" del sistema Ax = b:

Entonces veamos ahora como encontrar x

b sin necesidad de calcular la proyeccin de b sobre
Col(A) :
Ab
x = pCol(A) (b) ()

Ab
x 2 Col(A)
b Ab
x ? Col(A)

Recordemos que para matrices reales y con el prod. interno cannico se cumple que:
[Col(A)]? = N ul AT
=) b

Ab
x 2 N ul AT

=) AT (b

Ab
x) = 0 =) AT b
AT Ab
x = AT b

AT Ab
x = 0 ()
(1)

A este sistema se lo llama "Ecuaciones normales de cuadrados mnimos". La solucin de

este sistema es la solucin por cuadrados mnimos que buscabamos.
Sin embargo todo no termina aqu. Para este sistema tenemos dos casos: que sea compatible
determinado (SCD) o compatible indeterminado (SCI), y cada caso tiene sus propiedades;
veamos:
Caso 1: Si AT A es inversible, entonces no est nada mal que cambiemos el sistema a esta
1 T
A b; De esta forma podemos armar que el sistema es compatible
forma: x
b = AT A
1 T
determinado y la solucin es nica. La matriz A# = AT A
A es llamada "matriz
pseudoinversa de A".
Ahora, observen lo siguiente: Si AT A es inversible entonces como recordarn rg(AT A) = n;
pero adems existe una propiedad que dice que rg(AT A) = rg(A) (ver ej. 21 de la gua),
entonces este caso podra resumirse de la siguiente forma:
Ecs. normales son SCD () x
b es nico () AT A es inversible () rg(AT A) = rg(A) =
1 T
n () Las columnas de A son LI (o det(A) 6= 0, etc) () x
b = AT A
A b ()
x
b = A# b
Propiedades de la Pseudoinversa:
1. A# 2 Rnxm
2. A# A = I

(pues A# A = AT A

3. AA# = PCol(A) (b)

AA# )

AT A = I)

(pues x
b = A# b ! Ab
x = AA# b ! pCol(A) (b) = AA# b ! PCol(A) (b) =

b no es nico y las ecs. normales son un SCI.

Caso 2: Si AT A no es inversible, entonces x
Adems las columnas de A son LD y su determinante es 0 (pues rg(A) = rg(AT A)): Sin
embargo podemos encontrar una expresin de x
b de la siguiente forma:
x
b=x
bp + x
bh

La solucin x
b la podemos expresar como la suma de una particular (b
xp ) y una homognea
T
(b
xh ): La homognea sera la solucin de A Ab
x = 0; y la particular es simplemente una
solucin de las innitas que hay. Podemos observar entonces que x
bh 2 N ul(AT A); pero (ver
T
ej. 21 de la gua) N ul(A A) = N ul(A), entonces x
bh 2 N ul(A)!:
Algunas propiedades a tener en cuenta:

1. Sea x
b solucin por cuadrados mnimos del sistema Ax = b =) kAb
xk

kbk

2. x
b = 0 es solucin por cuadrados mnimos del sistema Ax = b () b ? Col(A)