Método de Newton y quasi-Newton

Curso de Profundización – MACM

Análisis Funcional y Sistemas Dinámicos II
_____________________________________________________

GUSTAVO CAICEDO MEZA

Mayo 1 de 2020
Universidad del Atlántico https://slideplayer.es/slide/3220247/
 Introducción

El método de Newton multidimensional consiste

en aproximar funciones de clase C^2…
Para ser minimizadas en un punto, en este caso
es mucho mas cómodo trabajar con las
cuadráticas, ya que permite hallar el optimo
mucho mas como.
Mínimo local
 Proposición
Si f es una función cuadrática con una matriz
Hessiana G definida positiva, dado x0 ∈ IRn
arbitrario, la dirección d ∈ IRn dada
por:
(1)d = −G−1(G x0 + b).Verificar que
(2)x∗ ≡ x0 + d y el minimizador f en
IRn.
Prueba
Demostremos ∇f(x∗)=0, en efecto.
 ¿En que consiste? .
Sea ∇f(x∗) =G(x0 + d) + b. luego utilizando (1)
podemos decir ∇f(x∗) = G(x0−G−1 (Gx0+ b)) + b
=G(x0 - G−1 Gx0 - G−1 b)+b
=(G x0-Gx0-G G−1 b)+b
∇f(x∗) =G x0-Gx0- b+b
∇f(x∗)=0 LQM
Serie de Taylor
Tomemos
Luego
podemos calcular el minimizador global de
esta cuadrática a partir de . Entonces,
obtenemos
Luego
Algoritmo
 EJERCICIOS
Utiliza el método Newton para minimizar con
una toleración 0,01 la función f(x,y)=x^2+y^2-8x-
12y+26. Donde x°=(0,0)^t.
Solución
Calculemos el gradiente en el punto
∇f(x,y)^t=(fx , fy)^t
Fx=2x-8 , ∇f(x,y)=(2x-8,2y-12)^t
Fy=2y-12
Calculemos el hessiana
El Hessiana esta definido
Fxx=2 , fxy=0
Fyx=0 , fyy=2
Luego con estos dos resultados podemos ir
verificando las iteraciones.
Así
2 0
0 2 . Ahora calemos la inversa de
esta matriz .
 Algoritmo

½ 0
0 ½
Ahora remplazamos 2(0) -8 = -8
2(0)-12 -12

luego evaluando la etapa 2 del algoritmo

 Algoritmo
0 ½ 0 -8 4
0 0 ½ -12 6
Nosotros habíamos iniciado con el punto
SOP

En esta nueva iteración nos ha generado el

vector (4,6)^t que evaluado en el gradiente nos
daría . Aplicando el criterio de parada
En la etapa 1 del algoritmo.
Algoritmo
0
0

STP
Algoritmo

STP
EJEMPLO
 EJEMPLO
Utiliza el método de Newton para optimizar la
siguiente función f(x,y)=(x-2)^4+(x-2y)^2
Solución:
En este ejercicio vamos a analizar el proceso que
realiza el programa de octave.
 Métodos Cuasi-Newton
En cada iteración del método de Newton es
necesario calcular la inversa de la matriz
hessiana de f en xk de manera exacta, lo que es
costoso computacionalmente, O(n 3 )
operaciones aritméticas. Por esto razon, se
propone un método iterativo de la forma