UNIDAD III METODOS DE OPTIMIZACION SIN RESTRICCIONES

OPTIMIZACION NO LINEAL

PROF: JOSE ALEXIS LAGOS VIVAS

3.1 Métodos:

Método del gradiente, método de newton, Direcciones Conjugadas, Método del

gradiente Conjugado, Método de la métrica variable, Método de Davidon Fletcher-
Powell, Algoritmo de Cuasi-Newton.

Los métodos de optimización sin restricciones son un conjunto de procedimientos

en los que, para obtener el mínimo local se debe resolver un sistema de ecuaciones
no lineales, en general complejo. Surge de esta forma la necesidad de aplicar
métodos numéricos. Estos métodos numéricos llamados de descenso, pueden ser
clasificados en 3 grupos:

Método del gradiente o de Cauchy

Es un método para optimizar dos veces funciones continuamente diferenciables,

llamado método del ascenso más pronunciado (o de mayor pendiente). La idea es
generar puntos sucesivos en la dirección del gradiente de la función. La terminación
del método de gradiente se da en el punto donde el vector gradiente se vuelve nulo.
Ésta es la única condición necesaria para la optimalidad.

Nos interesa resolver el problema siguiente:

Dada ƒ: Rn → R, un campo escalar 2 veces diferenciable con continuidad encontrar

Ẋ ∈ Rn, solución de:

Min ƒ(Ẋ)
Ẋ ∈ Rn
 Encontrar una solución de este problema corresponde a encontrar un punto Ẋ que
satisface: ƒ (Ẋ) <= ƒ(X) ∀ X ∈ Rn este punto Ẋ se denomina mínimo global de ƒ
sobre Rn

Definición 1:

El mínimo global de ƒ será el mínimo local de menor valor de la función objetivo.

Desde un punto de vista teórico, las condiciones más generales para que Ẋ sea
mínimo: local de ƒ son las siguientes:

Sea ƒ: Rn → R, diferenciable, la derivada direccional de ƒ en la dirección d ∈ Rn

está dada por:

Para obtener la dirección de máximo descenso de la función f en un punto X ∈ R

n

tal que ∇ƒ (x) ≠ 0, se debe resolver el problema:

La solución de este problema es:

Y por lo tanto la dirección de máximo descenso de la función ƒ es: d = - ∇ ƒ (x)

Definición 2:

El vector d, X ∈ R es una dirección de descenso de ƒ, función diferenciable, en el

n

Punto X ∈ R si:
n

A través del método del gradiente, se busca definir una sucesión de puntos que
tenga la dirección de máximo descenso de la función ƒ.

Halla
Dem: Directa de las definiciones hechas para hx,d

Función unidimensional hx,d

De acuerdo a los resultados anteriores, se define la iteración canónica del Método

del Gradiente o Máximo Descenso, según:
Como puede apreciarse el método se desplaza en puntos sucesivos buscando el
óptimo.

Ejemplo:

El cálculo se detiene cuando este valor absoluto o modulo es muy

cercano a cero

Explicación de los cálculos por columnas de la primera fila de la tabla:

 k Xk ƒ (Xk) ∇ ƒ (x) ǁ∇ ƒ (x)ǁ αk
k=0
Primero se calcula d =-
(-44,24) = (44,-24),
Posteriormente

Primer conjunto de Se genera la función

números para iniciar unimodal o de una variable

el proceso puede ser α ƒ{(0,3)+α(44,-24)} –

cualquier numero a ƒ(0,3)= ƒ(0+α44,3-
Se
veces se escoge el
calcula
α24) –( ƒ(0,3)=52) =
(0,0,0….0) Se Se calcula
de la ƒ (44α,3-24α)
Es de libre sustitu el modulo
función
escogencia, para ye en del vector sustituyendo en la
Numer original
agilizar la búsqueda la gradiente función original
o de sus
se hacen pruebas función para ello se
iteracio deriva ƒ(X1,X2)= 4 X14-8 X13
para observar el original calcula la
nes das +25 X12 - 32 X1 - 4 X1
comportamiento de el raíz
inicia parcial X2 +16 +4 X2
la función --10<= primer cuadrada de
en es y se al reemplazar el punto de
X1,X2 ,…<= 10 , punto la suma de
k= 0 sustitu prueba y agrupando
También se puede selec componente
ye en
usar un software ciona s al la función de α queda
esta el
graficador como do cuadrado min h(x0,d0)(α)=444*α4
punto
Matlab y se aprecia
inicial
-681472α3 + 54928α2 -
cómo se comporta
2512α +52
en ese intervalo y así
Usando Excel solver
se inicia en un punto
introduciendo la función y
conveniente
buscando el mínimo
hallamos α vean la lamina
siguiente.

Calcule el nuevo
Increm
punto Xk+1= (0,3) + 0,34 (0.73 , 1,47 Repita el procedimiento
ente
0,062*(44,-24)= 1,28) anterior y da 0,24
Ka1
(2,728, 1,512)
 DEBEN
ACTIVAR
SOLVER
DE EXCEL

Observaciones:
Como habrán observado a veces es bien complejo resolver estos sistemas de
ecuaciones unimodales y como ya se evalúo los métodos de búsqueda les invito a
emplear este complemento que resuelve de forma satisfactoria estos problemas.

En mi caso la hp mini se pudo rescatar con office 2007 si tienen una versión más
reciente tiene más potencia de cálculo y más rapidez y capacidad.

Ejercicios propuestos

4 F(X1, X2) = X13-3 X1X22 + X24

5 F(X1, X2) = X1 X2+ X2 X3 + X1 X3
 Método de Newton Rapson

El método numérico de Newton es una

aplicación del cálculo diferencial que se
utiliza para hallar los ceros de una función
derivable de enésimo grado con la
precisión deseada.

Sea ƒ una función derivable y sea r una

raíz o cero reales de ƒ. Si Xn es una
aproximación a r , entonces la siguiente
aproximación Xn+1 está dada por:

Procedimiento

1. Si es el caso de una función de una variable y se cuenta con un programa

graficador como Matlab,excel o graph( es ligero solo pesa 40 mg) ver su pantalla de
inicio a continuación el calcula hasta la primera derivada y el valor de esta evaluada
en los puntos
generados muy útil para
evaluar funciones. De la
grafica se estima un
valor adecuado para la
primera aproximación.

2. Esta primera aproximación se sustituye en la ecuación de Xn+1 y se obtiene

una segunda aproximación X 2. Luego se calcula X3 sustituyendo la segunda
aproximación X2 ; y asi sucesivamente hasta que se llegue a la igualdad de :
Xn+1 = Xn es decir que dos números sucesivos sean iguales.

3. para obtener la precisión de m cifras decimales solo basta calcular cada X2,
X3…con el numero de decimales requerido.
 Ejemplo:

1 Para funciones de una variable ƒ (X) = X3 - 4X2 – 2

Sol : Observando la grafica de esta
función se recomienda iniciar el
proceso en el punto X1 = 4

Tenemos:

ƒ (X) = X3 - 4X2 – 2 y

ƒ’ (X) = 3X2 - 8X
Para la segunda aproximación

𝐗 𝟑 − 𝟒𝐗 𝟐 – 𝟐
X2 = X 1 -
𝟑𝐗 𝟐 − 𝟖𝐗

Calculando
ƒ (4) = 43 -4(4)2 – 2 = -2 ; ƒ’ (4) = 3(4)2 – 8(4) = 16
−𝟐
Ahora X2 = 4 - = 4,1250
𝟏𝟔

Para este nuevo valor calculamos

ƒ (4,1250) = 0,1269 ; ƒ’ (4,1250) = 18,0468

𝟎,𝟏𝟐𝟔𝟗
Ahora X3 = 4,1250 - = 4,1179
𝟏𝟖,𝟎𝟒𝟔𝟖

Para este nuevo valor calculamos

ƒ (4,1179) = - 0,0008 ; ƒ’ (4,1179) = 17,9281

−𝟎,𝟎𝟎𝟎𝟖
Ahora X4 = 4,1179 - = 4,1179
𝟏𝟕,𝟗𝟐𝟖𝟏

Comparando X3 y X4 se tiene que X3 = X4 = 4,1179 por lo tanto la raíz

de este polinomio es X= 4,1179.

Tabulando este resultado tenemos:

Xn Xn+1
4 4,1250
4,1250 4,1179
4,1179 4,1179
 Para la implementación de este método en una función de varias variables es
necesario calcular la primera y segunda derivada de la función como derivadas
direccionales,

El método de Newton utiliza la derivada de segundo orden para definir la dirección

de búsqueda. Esto permite que la velocidad de convergencia hacia el mínimo sea
aún más rápida. Por lo tanto la dirección de búsqueda va a estar expresada por la
siguiente ecuación:

Se debe mencionar que si la matriz (esto representa la

matriz inversa del Hessiana de la función) es positiva semi-definida, entonces la
dirección sk debe ser descendente, pero si ésta no es positiva semi-definida podría
o no ser una dirección descendente. Por lo tanto la dirección de búsqueda no
garantiza que el valor objetivo disminuya. De hecho el método de Newton funciona
mejor si el punto de inicio está cerca del óptimo.

Por otro lado, la condición de optimalidad de la derivada de segundo orden dice

que en la vecindad del valor mínimo siempre será una matriz positiva semi-definida,
por lo que se garantiza el descenso del valor de la función. Si bien el valor de la
función no siempre disminuiría, esto se puede resolver reiniciando el algoritmo
usando otros puntos de inicio.

El proceso del algoritmo es similar al visto en el método de Cauchy, solo cambia

el cálculo de la dirección, ahora considerando la segunda derivada, y al igual que
Cauchy este método requiere de un proceso de búsqueda unidireccional.

Ejemplo:

Sea la función ƒ(X1, X2) = - 2 X1X2 -2 X2 + X12 + 2 X22

Hallar el mínimo

Solución:

La matriz Hessiana y su inversa son:

El gradiente de la función es:

∇ ƒ (X1, X2) = - 2 X2 + 2 X1, - 2 X1 – 2 + 4 X2

La matriz Hessiana es:

∇ 2ƒ (X1, X2) = 2 -2
-2 4
 La inversa es:

∇ 2ƒ (X1, X2)-1 =; Antes de continuar veamos los procedimientos para

calcular la matriz inversa.

Para calcular la matriz inversa hay dos métodos uno es complementar la matriz
inicial agregando la matriz identidad y efectuar la reducción de Gauss dejando del
lado izquierdo unos en la diagonal mediante los siguientes pasos: veamos el
siguiente ejemplo:

Construir una matriz del tipo;

Utilizar el método Gauss para transformar la mitad izquierda, A, en la matriz

identidad, y la matriz que resulte en el lado derecho será la matriz inversa: A −1.

Efectuando: La matriz inversa es:

Cálculo de matriz inversa por determinantes

1 Hallar por determinantes la matriz inversa de:

Solución
Obtenemos el Determinante de A:

2 Obtenemos la matriz adjunta

Para obtener la adjunta aplicamos el procedimiento siguiente:

Lo que se tiene que hacer es reemplazar cada elemento de la matriz por su adjunto.
El adjunto de un elemento es el determinante que surge de tachar la fila y la
columna donde está dicho elemento además estos determinantes alternan signo
siendo el primero con signo +, veamos:
-
+

=1 x - 3 - (7 x – 4) = 25;

= - (1 x - 3 - (3 x – 4))= - 9;

+
-
=1 x 7 - (3 x 1) = 4;

- (0 x - 3 - (7 x 1)) = 7;

= 2 x - 3 - (3 x 1) = - 9; -
+

- (2 x 7 - (3 x 0)) = - 14;

= 0 x - 4 - (1 x 1) = - 1;
+ -

- (2 x -4 - (1 x 1)) = 9;
 = 2 x 1 - (1 x 0) = 2;

Resultando la adjunta de A;

Obtenemos la matriz traspuesta de

Dividimos la traspuesta de la adjunta entre la determinante:

Para así obtenemos la inversa

Continuando con el tema tenemos:

La matriz Hessiana y su inversa son:

 1
 1
 2 2  2
 
1
 f ( x1 , x2 )  
2
 2 f ( x1 , x2 )   
4 
;
 2  1 1

2 2
(1)
Etapa 1: (Punto inicial). Se toma x = (0, 0)T .
Etapa 2: (Generación de la dirección de búsqueda). Puesto que:
  
1
d (t )
   f (x )
2 (t )
f ( x(t ) )
En el punto (0,0) el gradiente queda:

∇ ƒ (X1, X2) = - 2 X2 + 2 X1, - 2 X1 – 2 + 4 X2 = - 2 (0) + 2 (0), -

2 (0) – 2 + 4 (0) = (0,-2)
(1)
Resolviendo para d :

 1
 1  
2  0   1
d (1)  [ 2 f ( x (1) )]1 f ( x (1) )       
1 2
  1      
1
 2 2

Etapa 3: (Comprobación de optimalidad). Como d(1)≠0 y f es estrictamente

convexa, se trata de una dirección de descenso.

Etapa 4: (Búsqueda lineal). El problema lineal es:

Minimizar
Z LS  f ( x (1)   d (1) );  0

Puesto que x(1)   d (1)  (0,0)T   (1,1)T  ( , )T

Se obtiene f ( , )  2   2 hallando el mínimo por los criterios vistos
en la unidad anterior (derivando respecto a α igualando a cero y después
comprobando con el criterio de la segunda derivada) el optimo se logra para 1  1
. Etapa 5: (Actualización).para hallar el siguiente punto, se hace
.
x (2)
x (1)
 1d
(1)
 (0,0)  (1,1)  (1,1)T
T T

Este nuevo punto se sustituye en el gradiente

∇ ƒ (X1, X2) = - 2 X2 + 2 X1, - 2 X1 – 2 + 4 X2 = - 2 (1) + 2 (1), -

2 (1) – 2 + 4 (1) = (0,0)
Etapa 6: (Comprobación de convergencia). Puesto que f ( x(2) )  0 hemos

Llegado al optimo en el punto (1,1)

Ejercicios propuestos:

Se recomiendan resolver los ejercicios propuestos en el gradiente por este método.

4 F(X1,X2)= X13-3 X1X22 + X24

5 F(X1,X2)= X1 X2+ X2 X3 + X1 X3

Fin de la unidad III.

 Tabla guía para los ejercicios del método del Gradiente

k Xk ƒ (Xk) ∇ ƒ (x) ǁ∇ ƒ (x)ǁ αk

 Tabla guía para los ejercicios del método de Newton Raphson

k Xk ƒ (Xk) ∇ ƒ (x) ǁ∇ ƒ (x)ǁ αk