10.

Optimizacin no lineal sin restricciones

10. Optimizacin no lineal

Conceptos bsicos
Principios y teoremas para la bsqueda de
ptimos globales
Optimizacin sin restricciones en dimensin 1
Optimizacin sin restricciones en dimensin >
1
Modelos con restricciones de igualdad
Condiciones de Kuhn-Tucker
Algoritmos numricos bsicos

Conceptos bsicos

Carmen M. Garca Lpez

Francisco R. Villatoro

Problema general de programacin no lineal (PNL):

maximizar o minimizar z=f(x1,x2,...,xn) (objetivo)
S.A.
g1(x1,x2,...,xn) /= / b1
g2(x1,x2,...,xn) /= / b2
...
(restricciones)
gm(x1,x2,...,xn) /= / bm
Problema de programacin no lineal no restringido: PNL sin
restricciones
Regin factible: conjunto de puntos que satisfacen las restricciones.
Solucin ptima de un PNL tipo minimizar: punto de la regin factible
x* que satisface f(x) f(x*) para todo x de la regin factible.

10. Optimizacin no lineal sin restricciones

Extremos locales
Para un PNL, un punto factible x= (x1,x2,...,xn) es un mximo
(mnimo) local si para un suficientemente pequeo, cualquier
punto factible x= (x1,x2,...,xn) verificando |xi-xi| < satisface
f(x) () f(x)
Un punto que es un mximo o mnimo local se llama extremo
local o relativo

Funciones cncavas y convexas (I)

Una funcin f (x1,x2,...,xn) es una funcin estrictamente
convexa (cncava) en un conjunto convexo S si para
cualesquiera x, x S distintos
f(cx+(1-c)x) < (>) cf(x)+(1-c)f(x)
para 0 < c < 1.
Teorema 1

Se considera un PNL con regin factible S convexa. Entonces si el

problema es de maximixacin (minimizacin) y la funcin f es
estrictamente cncava (convexa) en S, entonces cualquier mximo
(mnimo) local del PNL es una solucin ptima de este problema.

Carmen M. Garca Lpez

Francisco R. Villatoro

10. Optimizacin no lineal sin restricciones

Funciones cncavas y convexas(II)

Teorema 2
Si f(x) existe para cualquier x en un conjunto convexo S, entonces
f(x) es una funcin convexa (cncava) en S si y slo si f(x) () 0
para todo x de S

Teorema 3
Si f (x1,x2,...,xn) tiene derivadas parciales de segundo orden
continuas para cada punto x= (x1,x2,...,xn) de un conjunto convexo
S, entonces f(x) es una funcin estrictamente convexa (cncava)
en S si y slo si su matriz Hessiana es definida positiva (negativa)
en S

Funciones cncavas y convexas (III)

a11

a21
A = a31

M
a
n1

a12
a22
a32
M
an 2

a13 K a1n

a23 K a2 n
a33 K a3n

M
M
an3 K ann

a11

a21
H k = a31

M
a
k1

a12
a22
a32
M
ak 2

a13 K a1k

a23 K a2 k
a33 K a3k , k = 1,2K n

M
M
ak 3 K akk

Teorema
Supongamos A simtrica.
A es definida positiva si y slo si det(Hk)>0 para k=1,2,,n
A es semidefinida positiva si y slo si det(Hk)0 para k=1,2,,n
A es definida negativa si y slo si signo(det(Hk))=(-1)k para k=1,2,,n
A es semidefinida negativa si y slo si signo(det(Hk))=(-1)k 0 para
k=1,2,,n
A es indefinida si det(A)0 y A no cumple ninguna de las afirmaciones
anteriores

Carmen M. Garca Lpez

Francisco R. Villatoro

10. Optimizacin no lineal sin restricciones

Principios y teoremas para la

bsqueda de ptimos globales.

Teorema de Weierstrass (condicin suficiente de solucin)

Sea el problema general de programacin matemtica:
optimizar F(x) definida en DRn sujeto a xS,
si X=DS es compacto (cerrado y acotado) y no vaco, y la funcin
objetivo es continua, entonces dicha funcin posee un mximo y
un mnimo global en X.

Teorema local-global
Si F es continua y X convexo entonces:
Si F es cncava en X entonces todo mximo local es global
Si F es convexa en X entonces todo mnimo local es global
Adems si F es estricta, el ptimo es nico

Optimizacin sin restricciones en

dimensin 1
Maximizar o minimizar f(x) f continua en [a,b]
Para encontrar la solucin ptima de este problema buscamos
primero todos los mximos (o mnimos) locales. La solucin
ptima ser el mximo local (o mnimo) con el mayor (o menor)
valor de f(x). Si a=- b= el problema puede no tener
solucin.
Hay tres tipos de puntos que pueden ser mximo o mnimos
locales:

Puntos estacionarios de f: a<x<b y f(x)=0

Puntos donde no existe f(x)
Puntos extremos del intervalo [a,b]

Carmen M. Garca Lpez

Francisco R. Villatoro

10. Optimizacin no lineal sin restricciones

Optimizacin sin restricciones en

dimensin 1
Teorema
Si f(x0)=0 y f(x0)<(>)0 entonces x0 es un mximo (mnimo)
local.

Teorema
Si f(x0)=0 y
1. Si la primera derivada no nula en x0 de f es de orden impar
entoces x0 no es un extremo local
2. Si la primera derivada no nula de f en x0 es positiva y de orden par
entonces x0 es un mnimo local
3. Si la primera derivada no nula de f en x0 es negativa y de orden
par entonces x0 es un mximo local

Mtodos numricos para dimensin

1

Mtodo de bsqueda directa

Identificar el intervalo de incertidumbre que incluye el ptimo a
identificar

Reducir el tamao del intervalo de incertidumbre hasta encontrar el

ptimo

Mtodo de bsqueda de puntos crticos

Carmen M. Garca Lpez

Francisco R. Villatoro

Si la funcin objetivo es derivable, tratamos de localizar los puntos

en los que se anula la derivada utilizando por ejemplo el mtodo de
Newton

10. Optimizacin no lineal sin restricciones

Mtodos numricos para dimensin

1

Bsqueda dicotmica (para mximos)

Para funciones unimodales sobre un intervalo [a,b] (funciones para

las que existe un punto x* en [a,b] tal que f es creciente en [a,x*]
y decreciente en [x*,b])

Definir dos puntos x1, x2 simtricamente con respecto a a y b de modo

que los intervalos [a,x2] y [x1,b] se superpongan en un intervalo de
longitud .
Evaluar f(x1) y f(x2)

1. Si f(x1) > f(x2), x* debe estar entre a y x2

2. Si f(x1) < f(x2), x* debe estar entre x1 y b
3. Si f(x1)=f(x2), x* debe estar entre x1 y x2

Repetir el proceso en el intervalo en el que se encuentra x* hasta que

sea suficientemente pequeo

Mtodos numricos para dimensin

1

Mtodo de Newton

Para resolver la ecuacin g(x) = 0, g derivable

Elegir un valor inicial x(0)
Calcular para k=0,...

x (k + 1 ) = x (k )

Carmen M. Garca Lpez

Francisco R. Villatoro

(
(

)
)

g x (k )
g ' x (k )

Terminar cuando |x(k+1)-x(k)| <

Si g es continua el mtodo converge cuadrticamente
cuando x(0) est suficientemente prximo a una raz simple
de g.

10. Optimizacin no lineal sin restricciones

Optimizacin sin restricciones en

dimension>1
Maximizar o minimizar f (x1,x2,...,xn)
S. A. (x1,x2,...,xn)Rn
Suponemos que existen las derivadas parciales de primer y
segundo orden de f y que son continuas.
Teorema
Si x* es un extremo local del PNL entonces para i=1,...,n se
verifica
*

f ( x )
=0
xi

es decir, x* es un punto estacionario

Un punto estacionario que no es extremo local es un punto de
silla.

Optimizacin sin restricciones en

dimension>1
Teorema
Si x* es un punto estacionario de f y Hk(x*)>0, k=1,2,...,n
(menor principal de orden k de la matriz hessiana de f)
entonces x* es un mnimo local para el PNL.
Teorema
Si x* es un punto estacionario de f y Hk(x*) tiene el mismo
signo que (-1)k k=1,2,...,n entonces x* es un mximo local para
el PNL.
Teorema
Si x* es un punto estacionario de f, Hn(x*) 0 y no se satisfacen
las hiptesis de los teoremas anteriores, entonces x* es un
punto de silla para el PNL.

Carmen M. Garca Lpez

Francisco R. Villatoro

10. Optimizacin no lineal sin restricciones

Mtodo del gradiente

Vlido para optimizar funciones que son

diferenciables continuamente dos veces.
Idea: generar puntos sucesivos en la direccin del
gradiente de la funcin
Mtodos:

Mtodo de Newton
Mtodo del descenso ms rpido

Mtodo de Newton

Resolver utilizando el mtodo de Newton el sistema de

ecuaciones f X = 0

( )

Mtodo de Newton para sistemas

Carmen M. Garca Lpez

Francisco R. Villatoro

Para resolver la ecuacin F(X)=0, F con derivadas parciales de

primer orden
Elegir un valor inicial X0
Calcular
(k +1)
(k )
1
(k )
(k )

=X

( )F (X )

JF X

Repetir hasta que || X(k)-X(k-1) || <

10. Optimizacin no lineal sin restricciones

Mtodo del ascenso ms rpido

Para maximizar f(X)

Elegir X(0)
Calcular
X(k+1) =X(k)+t(k)f(X(k))
siendo t(k) la solucin del problema

maximizar f(X(k)+tf(X(k)))
S.A. t 0
Repetir hasta que || X(k+1)-X(k)|| <

Modelos con restricciones de igualdad

Optimizar f(x1,x2,...,xn) sujeto a gi(x1,...,xn)=bi, i=1,...,m (m<n)

Pueden utilizarse dos tcnicas:

Carmen M. Garca Lpez

Francisco R. Villatoro

Sustitucin: se despejan variables en las restricciones y se

sustituyen en la funcin objetivo. Este mtodo puede dar lugar a
errores si se consideran puntos en los que la funcin objetivo o las
restricciones no estn definidas
Mtodo de Lagrange: se construye una funcin sin restricciones de
modo que los ptimos de la funcin original se encuentran en los
puntos crticos de la funcin de Lagrange

10. Optimizacin no lineal sin restricciones

Multiplicadores de Lagrange.

Lagrangiano: incluye una nueva variable i (multiplicador

lagrangiano) por cada restriccin gi:
m

L ( x , ) = f ( x1 , K , x n ) i ( g i ( x1 , K , x n ) bi )
i =1

Condicin necesaria de optimizacin: encontrar los puntos

crticos del lagrangiano (x*, *)

L
f
=

x j
x j
L
= bj g
j

i =1

g i
= 0 , j = 1, K , n
x j

= 0 , j = 1, K , m

Multiplicadores de Lagrange.

Teorema (Cond. Necesaria)

Si el rango del jacobiano de las restricciones en x* es m (cond. de
regularidad) y x* es un ptimo local del problema, entonces existe un
* tal que (x*, *) es punto crtico de la funcin de Lagrange.

Teorema (Cond. Suficiente)

Sea (x*, *) un punto crtico de la funcin de Lagrange. Entonces
Si F es cncava en X y X es un conjunto convexo, entonces x* es
mximo global del problema original
Si F es convexa en X y X es un conjunto convexo, entonces x* es
mnimo global del problema original

Carmen M. Garca Lpez

Francisco R. Villatoro

10. Optimizacin no lineal sin restricciones

Condicin suficiente de optimizacin

2L

2
x1

Hess(L( x, )) =
M
2L

x x
n 1

2L
x1x n
M
2L
L
x n2
L

0
T
Construimos la matriz J g

g1

x1
, J g ( x1 ,K , x n ) = M

g m

g1

x n
M
g m
L

x n
L

Jg
H y las matrices que resultan de quitarle

a esa matriz las ltimas p filas y columnas p=0,1,...,n-m-1.

Para cada punto crtico obtenemos las matrices A0,A1,...,An-m-1:

Si el signo del determinante de Ap coincide con (-1)m para todo p,

el punto crtico es un mnimo local estricto del problema

Si el signo del determinante de Ap coincide con (-1)n-p para todo p,

el punto crtico es un mximo local estricto del problema

Bsqueda de mnimos

Si la funcin no es cncava ni convexa, los puntos ptimos pueden

estar en el interior o en el contorno de la regin factible.
Si la funcin es cncava, los mnimos slo pueden alcanzarse en el
contorno de la regin factible si sta es convexa y compacta.
Si la funcin es convexa, el mnimo puede estar en un punto interior o
en el contorno. Se puede utilizar el siguiente procedimiento aunque sin
garantas de alcanzar la solucin ptima:

Determinar el mnimo local sin restricciones:

Carmen M. Garca Lpez

Francisco R. Villatoro

si satisface las restricciones, ste es el mnimo global

En otro caso, consideramos una restriccin y resolvemos el problema
con el mtodo de sustitucin o de Lagrange. Si el mnimo calculado de
esta forma satisface las restricciones: ptimo global, si no, se aade
una nueva restriccin y se repite el proceso

10. Optimizacin no lineal sin restricciones

Condiciones de Kuhn-Tucker.
Maximizar f(x1,x2,...,xn)
S.A. g1(x1,x2,...,xn) b1
g2(x1,x2,...,xn) b2
...
gm(x1,x2,...,xn) bm
Slo son aplicables si las funciones gi satisfacen la condicin de
regularidad:

Restricciones linealmente independientes: continuas y los

gradientes en la solucin ptima forman un sistema de vectores
linealmente independiente

Condiciones de Kuhn-Tucker.

Para un problema de maximizacin, si x*=(x*1,...,x*n) es una

solucin ptima entonces x* debe satisfacer las resticciones del
problema y adems deben existir los multiplicadores 1,2,...,m
tales que

g ( x *)
f ( x *) m
i i
= 0, j = 1,2,K, n
x j
x j
i =1
i [bi g i ( x *)] = 0, i = 1,2,K, m
i 0, i = 1,2,K , m

Carmen M. Garca Lpez

Francisco R. Villatoro

10. Optimizacin no lineal sin restricciones

Condiciones de Kuhn-Tucker.

Para un problema de minimizacin, si x*=(x*1,...,x*n) es una

solucin ptima entonces x* debe satisfacer las resticciones del
problema y adems deben existir los multiplicadores 1,2,...,m
tales que

g (x *)
f (x *) m
+ i i
= 0, j = 1,2, K , n
x j
x j
i =1
i [bi g i ( x *)] = 0, i = 1,2,K, m
i 0, i = 1,2,K, m

Condiciones de Kuhn-Tucker.

Maximizar f(x1,x2,...,xn)
S.A. gi(x1,x2,...,xn) bi, i=1,...,m
xj 0, j=1,...,n
Si x*=(x*1,...,x*n) es una solucin ptima del problema anterior
entonces x* debe satisfacer las restricciones del problema y adems
deben existir los multiplicadores 1,2,...,m, 1,2,.n tales que
g ( x *)
f ( x *) m
i i
+ j = 0, j = 1,2,K , n
x j
x j
i =1
i [bi g i ( x *)] = 0, i = 1,2,K , m
f ( x *) m
g ( x *)
i i

x j * = 0, j = 1,2, K , n

x j
x
i =1
j

i 0, i = 1,2, K , m

j 0,

Carmen M. Garca Lpez

Francisco R. Villatoro

j = 1,2, K, n

10. Optimizacin no lineal sin restricciones

Condiciones de Kuhn-Tucker.

Minimizar f(x1,x2,...,xn)
S.A. gi(x1,x2,...,xn) bi, i=1,...,m
xj 0, j=1,...,n
Si x*=(x*1,...,x*n) es una solucin ptima del problema anterior
entonces x* debe satisfacer las restricciones del problema y adems
deben existir los multiplicadores 1,2,...,m, 1,2,.n tales que
g ( x *)
f ( x *) m
+ i i
j = 0, j = 1,2,K , n
x j
x j
i =1
i [bi g i ( x *)] = 0, i = 1,2,K , m
f ( x *) m
g ( x *)
+ i i

x j * = 0, j = 1,2, K , n
x j
i =1
x j
i 0, i = 1,2,K , m

j 0,

j = 1,2, K, n

Condiciones suficientes

Carmen M. Garca Lpez

Francisco R. Villatoro

Si f es una funcin cncava y gi son funciones convexas, los

puntos que satisfacen las condiciones de Kuhn-Tucker son
soluciones ptimas del problema de maximizacin.
Si f es una funcin convexa y gi son funciones convexas, los
puntos que satisfacen las condiciones de Kuhn-Tucker son
soluciones ptimas del problema de minimizacin.

10. Optimizacin no lineal sin restricciones

Algoritmos numricos bsicos.

Mtodos de penalizacin y barrera

Funciones de penalizacin: fuerzan la convergencia hacia la
regin factible (algoritmo de punto exterior)
Funciones de barrera: fuerzan a permanecer dentro de la
regin factible (algoritmo de punto interior)

Mtodo de penalizacin

Para aproximar la solucin de un problema de optimizacin no

lineal del tipo:
Optimizar f(x1,x2,...,xn) sujeto a gi(x1,...,xn)=bi, i=1,...,m
se considera la solucin del problema sin restricciones
Optimizar f(x)+P(p,x) donde
m

P ( p, x ) = p (g i ( x ) bi )

i =1

con p>0 si el problema es minimizar y p<0 si el problema es

maximizar

Carmen M. Garca Lpez

Francisco R. Villatoro

Al obtener el valor ptimo de la funcin de penalizacin se

cumplir que si |p| tiende a infinito entonces gi(x) tiende a bi.

10. Optimizacin no lineal sin restricciones

Algoritmo de penalizacin
Para el problema de minimizacin

Elegir una secuencia {pk } por ejemplo 1,10,102, 103,....

Para cada pk encontrar un mnimo local xk de f(x)+P(pk,x)

Terminar cuando P(pk,xk)/ pk sea suficientemente pequeo

Mtodo de las direcciones factibles.

Para resolver maximizar z=f(x) S.A. Ax b, x 0:

Carmen M. Garca Lpez

Francisco R. Villatoro

Elegir x0 solucin factible.

Sea d0 solucin de maximizar z= f(x0)d S.A. Ad b,
d0
Elegir x1=x0+t0(d0-x0) siendo t0 la solucin de maximizar
f(x0+t0(d0-x0)), 0 t0 1
Continuar generando puntos x2,x3,... hasta que xk y xk-1
estn suficientemente prximos.