Métodos De Optimización Sin Restricciones

Método De Newton - Raphson

Presentado por:
Luis Doria – Leyner Querales

Profesor:
Alfredo Roa

Fecha:
20-09-2022

Barranquilla – Atlántico
Métodos De Optimización Sin Restricciones

Introducción
El método de Newton Raphson es un procedimiento algorítmico que permite hallar
raíces de funciones, conociendo un valor numérico cercano a la raíz. Es un método
abierto e iterativo, en general de rápida convergencia, muy útil para el cálculo de raíces
cuadradas y de mayor grado, aunque para algunos casos el método presenta
inconvenientes, por ejemplo si existen raíces múltiples, en este caso se tendría que
aplicar diferentes soluciones para así lograr encontrar la raíz sin abandonar el método.

Teoría Del Método

(Método de Newton)
El método de Newton hace uso de la aproximación de segundo orden de la función
utilizando las derivadas segundas con respecto a cada una de las variables
independientes. De esta forma es posible tener en cuenta la curvatura de la función en
el punto e identificar las mejores direcciones de búsqueda.
Así, el mínimo de 𝒇(𝒙) se obtiene diferenciando la aproximación cuadrática de 𝒇(𝒙) con
respecto a cada una de las variables e igualando a cero.
Esto es:

𝛁𝒇(𝒙) = 𝛁𝒇(𝒙𝒌 ) + 𝑯(𝒙𝒌 ) ∆𝒙𝒌

O de otra forma:
−𝟏
𝒙𝒌+𝟏 − 𝒙𝒌 = ∆𝒙𝒌 = −[𝑯(𝒙𝒌 )] 𝛁𝒇(𝒙𝒌 )

Si f(x) es una función cuadrática, el mínimo se alcanza en una única iteración. Pero para
una función general no lineal el óptimo no se alcanza en una única iteración, por lo que
se puede modificar la ecuación anterior para introducir el parámetro de longitud de
paso, con lo que queda:
−𝟏
𝒙𝒌+𝟏 − 𝒙𝒌 = ∆𝒙𝒌 = − 𝝀𝒌 [𝑯(𝒙𝒌 )] 𝛁 𝑻 𝒇(𝒙𝒌 )

La dirección en este caso viene dada por:

−𝟏
𝒅𝒌 = −[𝑯(𝒙𝒌 )] 𝛁 𝑻 𝒇(𝒙𝒌 )
Métodos De Optimización Sin Restricciones
La longitud de paso se puede calcular por cualquier método de optimización numérica
o analíticamente, con lo cual tendríamos:

𝛁 𝑻 𝒇(𝒙𝒌 )𝒅𝒌
𝝀𝒌 = −
(𝒅𝒌 )𝑻 𝑯(𝒙𝒌 ) 𝒅𝒌

Observaciones:
 𝛁𝒇(𝒙) ≠ 𝟎 ; 𝑯(𝒙𝒌 ) debe ser simétrica y definida positiva.
 En caso de no ser así, se puede llevar a la matriz 𝑯(𝒙𝒌 ) a ser definida positiva
de la siguiente manera:
̅ (𝒙𝒌 ) = 𝑯(𝒙𝒌 ) + 𝛽 𝐼
𝑯
Donde 𝛽 es una constante positiva e 𝐼 es la matriz identidad.

 En caso de que nuestra matriz no esté bien condicionada entonces tomamos la

dirección 𝒅𝒌 = −𝛁 𝑻 𝒇(𝒙𝒌 ).

Teorema
Sea 𝒇: ℝ𝒏 → ℝ, 𝒇 ∈ 𝑪𝒏 , 𝛁 𝟐 𝒇 Lipschitz continua y 𝒙𝟎 ∈ ℝ𝒏 . 𝑺í 𝐱 ∗ es un minimizador
local de 𝒇 𝒄𝒐𝒏 𝛁 𝟐 𝒇(𝒙∗ ) > 𝟎, entonces existe 𝝐 > 𝟎 tal que si ‖ 𝒙𝟎 − 𝒙∗ ‖ ≤ 𝝐 𝒚 𝝀𝒌 ≤ 𝟏,
la sucesión {𝒙𝒌 } generada por el algoritmo de newton satisface lo siguiente:

1. La matriz 𝛁𝒇(𝒙𝒌 ) es definida positiva para todo (𝒌 = 𝟏: 𝒏)

2. 𝐥𝐢𝐦 𝒙𝒌 = 𝒙∗
𝒌→∞
𝟐
3. ∃𝒄 > 𝟎 ∶ ‖ 𝒙𝒌 − 𝒙∗ ‖ ≤ 𝒄 ‖ 𝒙𝒌+𝟏 − 𝒙∗ ‖
Métodos De Optimización Sin Restricciones

Gráfica del método Newton

Métodos De Optimización Sin Restricciones
Algoritmo del método Newton
(Minimización sin restricciones)

−𝟏
Escogemos 𝒅𝒌 = − (𝑯(𝒙𝒌 )) 𝛁 𝑻 𝒇(𝒙𝒌 ) como nuestra dirección de descenso
Así, si 𝛁𝒇(𝒙𝒌 ) ≠ 0 los pasos a seguir para determinar 𝒙𝒌+𝟏 son los siguientes:
1. Se toma un punto inicial 𝑥0 ∈ ℝ𝑛 , 𝑘 = 0
−𝟏
2. Se calcula 𝒅𝒌 = − (𝑯(𝒙𝒌 )) 𝛁 𝑻 𝒇(𝒙𝒌 )
3. Se realiza la búsqueda lineal tomando 𝜆𝑘 como en el algoritmo general
4. Se hace 𝒙𝒌+𝟏 = 𝒙𝒌 + 𝝀𝒌 𝒅𝒌 .
−𝟏 −𝟏
Note: 𝒅𝒌 = − (𝑯(𝒙𝒌 )) 𝛁 𝑻 𝒇(𝒙𝒌 ) = − (𝛁 𝟐 𝒇(𝒙𝒌 )) 𝛁 𝑻 𝒇(𝒙𝒌 )

Ventajas y desventajas del método de Newton

Ventajas:
 Es un método de rápida convergencia (Es el método de minimización más
rápido): Si 𝑓 es de clase 𝐶 2 y su hessiana es definida positiva en un entorno de 𝑥̅
entonces la convergencia del método de Newton es superlineal. Si además f es
de clase 𝐶 3 entonces la convergencia es cuadrática.

Desventajas:
 El método no encuentra necesariamente un óptimo global.
 Requiere la inversión de matrices o la resolución de un sistema de n ecuaciones
lineales. Además necesita de las derivadas primera y segunda, las cuales en la
práctica no son fáciles de obtener.
 El método puede llevar a un punto de silla si la matriz hessiana no es definida
positiva.
Métodos De Optimización Sin Restricciones

Implementación del método

1 1
Sea, 𝑓 (𝑥, 𝑦) = (𝑥 2 − 𝑦)2 + (1 − 𝑥)2
2 2

¿cuál es el minimizador? Utilice el método de newton para minimizar 𝑓 a partir de 𝑥0 = (2,2).

Calcule los valores de la función en cada iteración.

Algoritmo de Newton en Matlab para funciones de dos variables.

clc
clear all
syms x y f
format long
f=0.5*(x^2-y)^2 +0.5*(1-x)^2; % La función
f=sym(f);
x0= 2; % Punto inicial
y0= 2;
dfdx=diff(f,x); %
dfdy=diff(f,y); %
d2fdx2=diff(dfdx,x); % Primeras y segundas derivadas
parciales
d2fdy2=diff(dfdy,y); %
d2fdxdy=diff(dfdx,y); %
d2fdydx=diff(dfdy,x); %
gradf=[dfdx ; dfdy]; % Gradiente de la función
H=[d2fdx2 d2fdxdy; d2fdydx d2fdy2]; % Matriz hessiana
H1=inv(H); % Inversa de la matriz hessiana
c=0; % contador de iteraciones
e=1; % Tolerancia inicial
xi=x0;
yi=y0;
while e>=10^-5
x=xi;
y=yi;
gradf_ = eval(gradf);
H1_ = eval(H1);
M=[xi;yi]-H1_*gradf_;
xi1=M(1); yi1=M(2);
e=abs(sqrt((xi1-xi)^2+(yi1-yi)^2));
xi=xi1;
yi=yi1;
c=c+1;
syms x y
ve=subs(f, [x,y], [xi,yi]);
fe=double(ve);
if c>1000
fprintf('No se encontro solución, para %d de iteraciones',c)
end
Métodos De Optimización Sin Restricciones
vf(c)=fe;
vi(c)=c;
vx(c)=xi; % valores de x
vy(c)=yi;
end
vii=vi';
vxx=vx';
vyy=vy';
vef=vf';
A=[vii vxx vyy vef];
p=[xi yi]'
%Criterios para saber si el punto es un maximo, minimo o punto silla
x=xi;
y=yi;
detH = eval(det(H));
d2f = eval(d2fdx2);
if detH<0
disp('El punto p es un punto silla')
else
if d2f>0
disp('El punto p es un punto mínimo')
else
disp('El punto p es un punto Máximo')
end
end
disp('___________________________________________________________________
___________________')
disp(' Iteración valor en x valor en y f
evaluada en (x,y)')
disp('___________________________________________________________________
___________________')
disp(A)
disp('___________________________________________________________________
___________________')
fprintf('En %d iteraciones \n',c)
Métodos De Optimización Sin Restricciones

𝟏 𝟏
Grafica de la función 𝐟(𝐱, 𝐲) = (𝐱 𝟐 − 𝐲)𝟐 + (𝟏 − 𝐱)𝟐 y el punto
𝟐 𝟐
mínimo (𝟏, 𝟏 , 𝟎)
Métodos De Optimización Sin Restricciones

BIBLIOGRAFIA

Métodos_Optimización%20(1).pdf
chrome-
extension://efaidnbmnnnibpcajpcglclefindmkaj/https://rua.ua.es/dspace/bitstream/1
0045/19734/3/Optimizacion_Problemas_sin_restricciones.pdf
chrome-
extension://efaidnbmnnnibpcajpcglclefindmkaj/http://personal.cimat.mx:8181/~julio/
courses/progra01/clase18/MetododeNewtonRaphson.pdf
chrome-
extension://efaidnbmnnnibpcajpcglclefindmkaj/http://www.dma.uvigo.es/~aurea/tra
nsparencias2.pdf
https://es.calameo.com/cimatags/read/0065934029557e4dba991