Tarea 2 De Optimizacion

Profesor: Fabian Arenas

Presentado Por: Diego Molina
Ejercicio 2.7 Use las condiciones necesarias y suficientes para minimizacion sin restricciones para demostrar que la soluci
on (es) al problema de cuadrados mnimos lineales,

M inimizar kAx bk2

x Rn
con A Rmn , b Rm , es (son), x , tal (es) que AT Ax = AT b.
Soluci
on: Se dice que x Rn es soluci
on al problema de cuadrados mnimos lineales del sistema Ax = b,
si verifica que
kAx bk2 kAx bk2 para todo x Rn
M inimizar kAx bk2 para todo x Rn
o equvalentemente, si x es un mnimo local de la funcion f , definida como sigue:
f (x) = kAx bk22
Ahora,
f (x)

(Ax b) (Ax b)

xT AT Ax xT AT b bT Ax + bT b

= xT AT Ax 2xT AT b + bT b
si derivamos obtenemos
f (x)

2AT Ax 2AT b

2 AT Ax AT b

Como f : Rn R, adem
as f C 1 , si x es un minimo local de f , por la condicion necesaria de primer
orden f (x) = 0, asi que


f (x ) = 2 AT Ax AT b


2 AT Ax AT b = 0
AT Ax

= AT b

Ahora para satisfacer las condiciones de segundo orden para minimos locales, de f (x) = kAx bk22
donde f C 2 , se tendria que x Rn cumple
AT Ax = AT b f (x) = 0
AT A sea definido positivo.
Adem
as si r (A) = n, entonces la solucion de mnimos cuadrados es unica.