Cuadrados Mnimos

by gira 09/10/2009

Sean A 2 Rmxn ; b 2 Rm y x 2 Rn : el sistema Ax = b entonces es compatible () b 2 Col(A) Ahora, sea el sistema Ax = b tal que b 2 = Col(A) (uno incompatible) entonces queremos la solucin de este sistema (un x b) de forma tal de encontrar un b b que perteneza al col(A) y sea lo ms "parecido" a b posible, o mejor dicho, de forma que el vector b b sea el que ms se aproxime a b (y el "error" sea el mnimo); es decir de forma que b b = pCol(A) (b)

Ejemplo en R3 b b :

El error " es igual a b

Entonces veamos ahora como encontrar x b sin necesidad de calcular la proyeccin de b sobre Col(A) : Ax b = pCol(A) (b) () Ax b 2 Col(A) b Ax b ? Col(A)

Entonces el objetivo es encontrar la solucin a este sistema: Ax b=b b = pCol(A) (b). La solucin x b recibe el nombre de "solucin por cuadrados mnimos" del sistema Ax = b:

Recordemos que para matrices reales y con el prod. interno cannico se cumple que: [Col(A)]? = N ul AT =) b Ax b 2 N ul AT =) AT (b Ax b) = 0 =) AT b AT A x b = 0 ()

A este sistema se lo llama "Ecuaciones normales de cuadrados mnimos". La solucin de este sistema es la solucin por cuadrados mnimos que buscabamos. Sin embargo todo no termina aqu. Para este sistema tenemos dos casos: que sea compatible determinado (SCD) o compatible indeterminado (SCI), y cada caso tiene sus propiedades; veamos: Caso 1: Si AT A es inversible, entonces no est nada mal que cambiemos el sistema a esta 1 T A b; De esta forma podemos armar que el sistema es compatible forma: x b = AT A 1 T determinado y la solucin es nica. La matriz A# = AT A A es llamada "matriz pseudoinversa de A". Ahora, observen lo siguiente: Si AT A es inversible entonces como recordarn rg (AT A) = n; pero adems existe una propiedad que dice que rg (AT A) = rg (A) (ver ej. 21 de la gua), entonces este caso podra resumirse de la siguiente forma: Ecs. normales son SCD () x b es nico () AT A es inversible () rg (AT A) = rg (A) = 1 T n () Las columnas de A son LI (o det(A) 6= 0, etc) () x b = AT A A b () x b = A# b Propiedades de la Pseudoinversa: 1. A# 2 Rnxm 2. A# A = I (pues A# A = AT A
1

AT Ax b = AT b

(1)

AT A = I )

3. AA# = PCol(A) (b) AA# )

(pues x b = A# b ! A x b = AA# b ! pCol(A) (b) = AA# b ! PCol(A) (b) =

b no es nico y las ecs. normales son un SCI. Caso 2: Si AT A no es inversible, entonces x Adems las columnas de A son LD y su determinante es 0 (pues rg (A) = rg (AT A)): Sin embargo podemos encontrar una expresin de x b de la siguiente forma: x b=x bp + x bh

La solucin x b la podemos expresar como la suma de una particular (x bp ) y una homognea T (x bh ): La homognea sera la solucin de A Ax b = 0; y la particular es simplemente una solucin de las innitas que hay. Podemos observar entonces que x bh 2 N ul(AT A); pero (ver T ej. 21 de la gua) N ul(A A) = N ul(A), entonces x bh 2 N ul(A)!: Algunas propiedades a tener en cuenta: 1. Sea x b solucin por cuadrados mnimos del sistema Ax = b =) kAx bk kbk

2. x b = 0 es solucin por cuadrados mnimos del sistema Ax = b () b ? Col(A)