Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Facultad de Ingeniera
Divisin de Estudios para Graduados
Instituto de Clculo Aplicado
Abril 2006
ndice General
1.
2.
Restricciones .....................................................................................................................2
1.2.
Plano Tangente..................................................................................................................3
1.3.
1.4.
1.5.
1.6.
2.2.
2.3.
2.4.
2.5.
1.1. Restricciones
El problema general de optimizacin con restricciones se puede plantear de la siguiente forma:
Minimizar f(x)
Sujeto a
h1(x) = 0
g1(x) 0
h2(x) = 0
g2(x) 0
hm(x) = 0
gp(x) 0
x En
donde m n y las funciones f, hi, i = 1, 2,, m y gj, j = 1, 2,, p son continuas, y usualmente se asume
que tienen segundas derivadas parciales continuas.
Las restricciones h(x) = 0, g(x) 0 son conocidas como restricciones funcionales, mientras que la
restriccin x es un conjunto restriccin. Un punto x que satisface las restricciones funcionales
se dice que es factible.
1.1.1. Restricciones activas
Se dice que una restriccin de desigualdad gi(x) 0 est activa en un punto factible x si gi(x) = 0, y est
inactiva en x si gi(x) < 0.
Por convencin, se refiere a cualquier restriccin de igualdad hi(x) = 0 como activa en cualquier punto
factible.
Las restricciones activas en un punto factible x restringen el dominio factible en la vecindad de x,
mientras las otras, restricciones inactivas, no tienen influencia en la vecindad del x. Por lo tanto, al
estudiar las propiedades de un mnimo local, es claro que solo se toman en cuenta las restricciones
activas.
define un subconjunto de E que puede ser visto como una hipersuperficie de dimensin n-m. Si las
restricciones tienen primeras derivadas continuas, se puede decir que la superficie definida por estas es
suave.
Asociado con un punto en una superficie suave se tiene un plano tangente a ese punto (ver figura 1).
Una curva sobre una superficie S es una familia de puntos x(t) S parametrizados continuamente por t
para a t b.
Ahora, consideremos todas las curvas diferenciables de S que pasan por un punto x*. El plano tangente
a x* est definido por la coleccin de las derivadas con respecto a x* de todas estas curvas. El plano
tangente es un subespacio de En. (Ver figura 2)
h(x*)
x*
Para superficies definidas por un conjunto de restricciones activas, el plano tangente se puede expresar
en trminos de las derivadas de las restricciones hi que definen una superficie. Pero primero hay que
definir un punto regular.
Definicin: Un punto x* que satisface las restricciones activas h(x*) = 0 se dice que es un punto
regular de las restricciones si los vectores gradientes h1(x*), h2(x*), , hm(x*) son linealmente
independientes.
Luego, en un punto regular es posible caracterizar el plano tangente en trminos de los gradientes de las
restricciones.
Teorema: En un punto regular x* de la superficie S definida por h(x*) = 0 el plano tangente es igual a
M = {y:h(x*)y = 0}
+
+
x2
+
+
x3
x3
+
+
+
= 0
= 0
= 0
Estas tres ecuaciones junto con la restriccin dan cuatro ecuaciones que se pueden resolver para
determinar las cuatro incognitas x1, x2, x3, . La solucin es x1 = x2 = x3 = 1; = -2.
g(x*) 0
y sea J el conjunto de ndices j para los cuales gj(x*) = 0. Luego, se dice que x* es un punto regular de
las restricciones si los vectores gradiente hi(x*), gj(x*), 1 i m, j J son linealmente
independientes.
Condiciones de Kunh-Tucker. Sea x* un punto mnimo relativo para el problema
Mimizar
f(x)
Sujeto a
h(x*) = 0 g(x*) 0
y suponiendo que x* es punto regular para las restricciones. Entonces existe un vector Em y un
vector Ep con 0 tal que
f(x*) + Th(x*) + Tg(x*) = 0
Tg(x*) = 0
1.5.1. Ejemplo 2
Considere el problema
Minimizar
Sujeto a
Las condiciones necesarias de primer orden junto con las restricciones son
4x1 + 2x2 - 10 + 21x1 + 32 = 0
2x1 + 2x2 10 + 21x2 + 2 = 0
1 0, 2 0
1(x12 + x22 5) = 0
2(3x1 + x2 6) = 0
Para encontrar la solucin se definen varias combinaciones de restricciones activas y se chequea el
signo de los multiplicadores de Lagrange resultantes. En este problema se puede probar fijando,
ninguna, una o dos restricciones activas. Asumiendo la primera restriccin activa y la segunda inactiva
se obtiene,
4x1 + 2x2 - 10 + 21x1 = 0
2x1 + 2x2 10 + 21x2 = 0
x12 + x22 = 5
se obtiene la solucin,
x1 = 1, x2 = 2, 1 = 1
Esta solucin satisface la segunda restriccin. Por lo tanto, debido a que 1 > 0, se concluye que esta
solucin satisface las condiciones necesarias de primer orden.
Problema de
Programacin No
Lineal con
restricciones
Problema sin
restricciones
se transforma
Secuencia de
problemas sin
restricciones
h( x ) = x1 + x 2 4 = 0
sujeto a
al sumarle el cuadrado de la restriccin a f(x) como una penalizacin. Durante la minimizacin de P(x)
el vector x es forzado por la penalizacin a satisfacer la restriccin.
Mtodos Paramtricos: son caracterizados por uno o ms parmetros ajustables que ponderan la
funcin de penalizacin formada por las restricciones. Estos a su vez se pueden dividir en:
o Mtodos de punto interior: Mantener lejos de los bordes de la regin factible mediante
la suma de la funcin de penalizacin.
o Mtodos de punto exterior: generar una secuencia de puntos no factibles que en el lmite
llegan a una solucin factible. La funcin de penalizacin previene de irse muy lejos de
la regin factible.
o Mtodos mixtos: requeridos especialmente con restricciones de igualdad. Algunas
restricciones son satisfechas y otras no, pero todas son satisfechas dentro de una
tolerancia cuando se alcanza una solucin.
Mtodos No paramtricos: tratan a la funcin objetivo como una restriccin adicional la cual es
sucesivamente apegada a partir de la informacin desarrollada en la solucin del problema.
En resumen:
El enfoque de funciones de penalizacin es transformar el problema no lineal con restricciones en
una secuencia de problemas sin restricciones sumando una ms funciones de restriccin a la funcin
objetivo y eliminando as tales restricciones.
r
x En
(k )
Minimizar P x ,
Donde
P x (k ) , (k )
(k )
( ( ))
H hi x
(k )
(k )
) = f (x ) +
(k )
i =1
(k )
i
( ( )) + ( )G (g (x ( ) ))
H hi x
(k )
i = m +1
( )
: funcional de hi x ( k )
( ( ))
G g i x (k )
k
( )
: funcional de g i x ( k )
: pasos de la bsqueda numrica
( ( ))
( ( )) + si g (x ) 0+
( ( )) 0
1. G1 g i x ( k )
2. G 2 g i x ( k )
si g i ( x ) 0-
( ( ))
( ( ))
( )G(g (x ( ) )) = 0
p
lim
i = m +1
m
(k )
( ( ))
lim i H hi x ( k ) = 0
k
i =1
) ( )
lim P x ( k ) , ( k ) f x ( k ) = 0
k
r
x En
A continuacin se enuncian las ventajas de los mtodos primarios que hacen que sean recomendados
para la solucin de los problemas de programacin no lineal con restricciones.
1. Ya que siempre trabajan dentro de la regin factible, si el proceso termina antes de alcanzar la
solucin (algo bastante probable), el punto terminal es factible y probablemente cercano al
ptimo, por lo que representa una solucin aceptable al problema prctico.
2. Frecuentemente, se puede garantizar que genera una secuencia convergente, es decir, el punto
lmite debe ser al menos un ptimo (mnimo) local que satisface las restricciones.
3. No depende de la estructura del problema (e.g., convexidad) por lo tanto aplican a problemas
generales.
2.2.2. Desventajas:
1. Requieren que el punto inicial sea factible
2. Estn plagados de dificultades computacionales derivadas de la necesidad de mantenerse dentro
de la regin factible a medida que el proceso progresa (en especial, con restricciones no
lineales).
Algunos mtodos pueden fallar si no se toman precauciones en problemas con restricciones de
desigualdad.
Debido a su balance entre su aplicabilidad general y simplicidad tienen un rol importante entre los
algoritmos de programacin no lineal.
d
i =1
=1
r
donde d =(d1, d2,, dn)
Existen dos problemas con los mtodos de direccin factible que requieren modificaciones en la
mayora de los casos, estos son:
1. En problemas generales puede no existir ninguna direccin factible, e.g., en problemas con
restricciones de igualdad no lineales se puede presentar que no existen segmentos de lnea recta
r
desde x k que sean factibles.
xk
Conjunto
factible
Para estos problemas es necesario relajar nuestro requerimiento de factibilidad permitiendo que
los puntos se desven ligeramente de la superficie de restriccin, o introducir el concepto de
movimiento a lo largo de curvas en lugar de lneas rectas.
2. En su forma ms simple la mayora de los mtodos de direccin factible no son globalmente
convergentes. Ellos estn sujetos a zig-zageo donde la secuencia de puntos puede converger a
un punto que no es un extremo local restringido.
Es posible desarrollar algoritmos de direcciones factibles que superen estas limitaciones, sin embargo
estos mtodos son complejos. Un enfoque ms simple es utilizar mtodos de conjuntos activos.
Restricciones inactivas
i 0 i A
r
= 0 iA
Activacin de multiplicadores
correspondientes a restricciones
activas
Es claro que si el conjunto de restricciones activas es conocido, el problema original puede ser
reemplazado por el problema correspondiente que tiene slo restricciones de igualdad.
Suponga que se tiene un conjunto activo y el problema correspondiente con restricciones de igualdad se
resuelve. Si las otras restricciones son satisfechas y los multiplicadores de Lagrange son positivos,
entonces la solucin es correcta.
La idea es definir en cada paso o fase del algoritmo un conjunto de restricciones (denominado conjunto
de trabajo) que son tratadas como activas. El conjunto de trabajo es seleccionado como un subconjunto
de las restricciones realmente activas para el punto actual, y as el punto es factible para el conjunto de
trabajo.
El algoritmo luego procede a moverse sobre la superficie definida por el conjunto de trabajo hacia un
mejor punto. En este nuevo punto el grupo de trabajo puede ser cambiado.
2.4.3. La Estrategia
Una estrategia completa de conjunto activo para eliminar y adicionar restricciones puede ser
desarrollada combinando las dos ideas anteriores.
1. Se inicia con un conjunto de trabajo dado y se comienza a minimizar sobre la superficie de
trabajo.
2. Si nuevas restricciones son encontradas, ellas se agregan al conjunto de trabajo, pero ninguna es
eliminada.
3. Finalmente, se obtiene un punto que minimiza f con respecto al conjunto de trabajo actual.
2.4.4. Dificultades
Algunos problemas con conjuntos activos incorrectos deben ser resueltos (problemas
intermedios)
La solucin de esos problemas intermedios, en general, deben ser puntos mnimos globales
exactos para determinar el signo correcto de los multiplicadores de Lagrange y para asegurar
que durante el siguiente proceso de descenso la superficie de trabajo anterior no se encuentre
otra vez.
Se eliminan restricciones utilizando varios criterios antes de que un mnimo exacto sea
encontrado en la superficie de trabajo.
La convergencia no puede ser garantizada para muchos de estos mtodos. Ellos estn sujetos al
zig-zageo. Sin embargo, esto ocurre con poca frecuencia.
1.
Aq ser q n (de rango q < n. Nmero mximo de filas o columnas linealmente independientes)
r
r
d debe yacer en el subespacio que satisfaga Aq d = 0
r
r
r
En la medida que incrementa desde cero, el punto x k +1 = x k + k d k se mantendr factible y la funcin
decrece.
1. Se encuentra la longitud del segmento factible emanando desde x y se minimiza f sobre este
segmento.
2. Si el mnimo ocurre en su punto final, una nueva restriccin se har activa y ser incluida en el
conjunto de trabajo.
Posteriormente, se considera la posibilidad de que la proyeccin del gradiente negativo es cero. En este
caso tenemos
T
f ( x ) + k Aq = 0
y xk satisface las condiciones necesarias para un mnimo en la superficie de trabajo,
1. Si k correspondientes a las restricciones activas son positivos, se satisfacen las condiciones
Kuhn-Tucker y el proceso termina.
2. Si uno de los componentes de k es negativo, es posible remover la restriccin correspondiente
para moverse en una nueva direccin hacia un punto mejor.
En resumen un paso del mtodo de proyeccin de gradiente para restricciones lineales es como sigue:
1. Determinar el subespacio de restricciones activas M, y formar la matriz Aq, W(x).
3. Si d 0, encontrar
1 tal que max{ : x + d es factible }
4. Si d = 0, encontrar = Aq Aq
T 1
T 1
Aq , y la direccin de descenso
(Figura 3)
Aq f ( x )
1 =
bnq Anq xk
Anq d k
2.5
1 1
Anq =
0 1
x1 + x2 2.5 0
xk
dk
1.5
2.5
bnq =
0
x1 + 8/3 x2 4 0
0.5
0.9363
dk =
0.3511
x1 0
0
x2 0
1.7088
1 =
4.272
-0.5
0.5
1.5
2.5
Pk = I h( x k ) h( x k )h( x k )
T
T 1
h( x k )