Pontificia Universidad Catlica

Escuela de Ingeniera
Departamento de Ingeniera Industrial y de Sistemas
Clase 13 Caso General con Restr. de Igualdad
ICS 1102 Optimizacion
Profesor : Claudio Seebach
11 de septiembre de 2006
Apuntes de Clases Optimizacion Claudio Seebach No Lineal 70
Teorema de Lagrange
Consideremos el siguiente problema:
P) min f(x) x = (x
1
, ..., x
n
)
s.a h
j
(x) = a
j
j = 1, ..., m con m n
Teorema 8 (Lagrange) Considere el problema P) en que todas las
funciones involucradas son diferenciables. La condicion necesaria
para que el punto factible regular x sea un mnimo local de P), es que
existan m escalares
j
(j = 1, ..., m), denominados multiplicadores de
Lagrange, tales que:
f( x) =
m

j=1

j
h
j
( x)
Apuntes de Clases Optimizaci on Claudio Seebach No Lineal 71
Teorema de Lagrange
El gradiente de la funcion objetivo evaluado en x, se puede expresar
como combinaci on lineal de los gradientes de las restricciones de P)
evaluados en x.
Las condiciones necesarias de primer orden para un optimo son las si-
guientes:
f(x)
x
i

j=1

j
h
j
(x)
x
i
= 0 i = 1, ..., n
a
j
h
j
(x) = 0 j = 1, ..., m
Si un punto cumple con satisfacer estas (n + m) restricciones, estamos
frente a un punto candidato a mnimo o a maximo local.
Este an alisis de primer orden es incapaz de distinguir entre un mnimo
y un maximo local.
Apuntes de Clases Optimizacion Claudio Seebach No Lineal 72
Teorema de Lagrange
Denamos una funcion:
L(x
1
, ..., x
n
,
1
, ...,
m
) = f(x
1
, ..., x
n
) +
m

j=1

j
[a
j
h
j
(x
1
, ..., x
n
)]
Las condiciones necesarias de 1
er
orden de P) corresponden a las condi-
ciones necesarias de primer orden del problema no-restringido:
min L(x
1
, ..., x
n
,
1
, ...,
m
)
Estas son:
L
x
i
=
f
x
i

j=1

j
h
j
x
i
= 0 i = 1, ..., n
L

j
= a
j
h
j
(x
1
, ..., x
n
) = 0 j = 1, ..., m
Apuntes de Clases Optimizaci on Claudio Seebach No Lineal 73
Puntos Regulares
Al igual que en el caso bidimensional, el metodo de Lagrange s olo iden-
tica puntos regulares.
Los puntos que no cumplan esta propiedad (singulares) deben ser ana-
lizados separadamente para determinar si son optimos al problema.
Denicion 1 (Punto regular) Un punto es regular cuando el Jaco-
biano de las restricciones, evaluado en el punto, es de rango m aximo
m, es decir, las m las deben ser linealmente independientes.
J(x) =
_

_
h
1
x
1
...
h
1
x
n
.
.
.
.
.
.
.
.
.
h
m
x
1
...
h
m
x
n
_

_
Apuntes de Clases Optimizaci on Claudio Seebach No Lineal 74
Ejemplo
Ejemplo 13 Consideremos el siguiente problema:
P) min x
s.a x
3
+ y
2
= 0
(x, y) R
2
Apuntes de Clases Optimizacion Claudio Seebach No Lineal 75
Ejemplo
Ejemplo 13 Consideremos el siguiente problema:
P) min x
s.a x
3
+ y
2
= 0
(x, y) R
2
Las condiciones de primer orden del Lagrangeano L(x, y, ) = x + (x
3
+ y
2
) son:
L
x
= 1 3x
2
= 0
L
y
= 2y = 0
L

= x
3
+ y
2
= 0
de donde se observa que este sistema no tiene soluci on. Sin embargo, es f acil ver que
la solucion optima es (0, 0). Pero, es x = (0, 0) un punto regular? Observando el
Jacobiano de la restricci on h(x) : h( x) =
_
3x
2
2y

(0,0)
=
_
0 0

vemos que este

es nulo, por lo tanto x es soluci on optima no regular, por esta razon las condiciones
necesarias de primer orden no lo detectan.
Apuntes de Clases Optimizaci on Claudio Seebach No Lineal 76
Condiciones de 2

Orden
La convexidad de la funcion objetivo no indica que un punto, aunque
satisfaga las condiciones necesarias de 1
er
orden, sea efectivamente un
mnimo local.
Para que x sea mnimo local debe suceder que: f( x + x) f( x),
pero, solo para ( x + x) factible (x peque no), que satisfaga todas
las restricciones: h
j
( x + x) = a
j
, j = 1, ..., m.
Interesa minimizar L(x, ) = f(x) + (a h(x)).
Para que x sea mnimo, buscamos x tal que para todo x+x factible,
L( x + x, ) L( x, ) = f( x + x) f( x) 0
Apuntes de Clases Optimizaci on Claudio Seebach No Lineal 77
Condiciones de 2

Orden
Las condiciones 2

Orden se obtienen expandiendo L en serie de Taylor

hasta el segundo grado en torno al punto ( x, ).
El punto satisface las condiciones de 1
er
orden, L( x, ) = 0:
L( x + x, ) L( x, ) =
L( x, )+( x+x x)L( x, )+
(x)D
2
L( x, )(x)
T
2!
+0(
2
)L( x, )
=
1
2

2
x

2
L( x, )
x
2
x
T
+ 0(
2
)
Dado que lim
0
0(
2
)

2
||x||
= 0, si x es un optimo local entonces debe
cumplirse que:
x

2
L( x,)
x
2
x
T
0.
Apuntes de Clases Optimizacion Claudio Seebach No Lineal 78
Condiciones de 2

Orden
Condicion suciente para mnimo local: Hessiano del Lagrangeano
semi-positivo denido (o positivo denido) en x para cumplir las condi-
ciones necesarias (sucientes) de segundo orden.
Pero: las direcciones factibles de movimiento x no son arbitrarias,
pues no pueden salirse de la restricci on.
Es posible que el punto x sea un optimo local sin la condicion anterior,
al restringir los x a direcciones factibles si se cumple la condicion
x

2
L( x,)
x
2
x
T
0
Interesa determinar cuales son esas direcciones x factibles para evaluar
la condicion de optimalidad de segundo grado.
Apuntes de Clases Optimizacion Claudio Seebach No Lineal 79
Condiciones de 2

Orden
Mediante un desarrollo identico al realizado anteriormente para una
restricci on, se obtienen las condiciones que:
n

i=1
h
j
( x)
x
i
x
i
= 0 h
j
( x) x = 0, j = 1, ..., m
La condicion necesaria de 2

orden es que el Hessiano del Lagrangeano

debe ser semi-positivo denido en el subespacio denido por las restric-
ciones.
La condicion suciente de 2

orden, es que el Hessiano del Lagrangeano

sea positivo denido en dicho subespacio. En este caso, el punto x ser a
un mnimo local estricto de P).
Apuntes de Clases Optimizacion Claudio Seebach No Lineal 80
Ejemplo
Ejemplo 14
min f(x) = x
2
1
+ x
2
2
+ x
2
3
s.a h
1
(x) = x
1
+ x
2
+ 3x
3
2 = 0
h
2
(x) = 5x
1
+ 2x
2
+ x
3
5 = 0
Apuntes de Clases Optimizaci on Claudio Seebach No Lineal 81
Solucion Ejemplo
min f(x) = x
2
1
+ x
2
2
+ x
2
3
s.a h
1
(x) = x
1
+ x
2
+ 3x
3
2 = 0
h
2
(x) = 5x
1
+ 2x
2
+ x
3
5 = 0
Lo primero que se debe hacer es demostrar la existencia de solucion para este pro-
blema. Este problema evidentemente satisface las condiciones del teorema de exis-
tencia por lo que tenemos garanta de que el problema tendra solucion.
L = x
2
1
+ x
2
2
+ x
2
3
+
1
(2 x
1
x
2
3x
3
) +
2
(5 5x
1
2x
2
x
3
)
L
x
1
= 2x
1

1
5
2
= 0
L
x
2
= 2x
2

1
2
2
= 0
_

_
2x
1
2x
2
3
2
= 0
L
x
3
= 2x
3
3
1

2
= 0 } 6x
2
2x
3
5
2
= 0
_

_
5x
1
14x
2
+ 3x
3
= 0
Apuntes de Clases Optimizacion Claudio Seebach No Lineal 82
Solucion Ejemplo
x
1
+ x
2
+ 3x
3
= 2
5x
1
+ 2x
2
+ x
3
= 5
_
3x
2
+ 14x
3
= 5
5x
1
14x
2
+ 3x
3
= 0 } 16x
2
2x
3
= 5
_
_
_
x

2
=
8
23
y x

3
=
13
46
x

1
=
37
46
y
1
=
2
23
,
2
=
7
23
Es el punto (
37
46
,
8
23
,
13
46
) un mnimo? Para esto basta observar el Hessiano del La-
grangeano, esto es
H =
_
_
2 0 0
0 2 0
0 0 2
_
_
.
Dado que el Hessiano del Lagrangeano (que en este caso coincide con el Hessiano
de la funci on objetivo pues todas las restricciones son lineales) es positivo denido
en todo el dominio y en particular en el punto (
37
46
,
8
23
,
13
46
), este punto es un mnimo
unico y global.
Apuntes de Clases Optimizacion Claudio Seebach No Lineal 83
Ejemplo
Ejemplo 15
min x
2
1
+ x
2
2
s.a. (x
1
1)
2
+ (x
2
2)
2
= 45
Apuntes de Clases Optimizaci on Claudio Seebach No Lineal 84
Solucion Ejemplo
min x
2
1
+ x
2
2
s.a. (x
1
1)
2
+ (x
2
2)
2
= 45
Lo primero que se debe hacer es demostrar la existencia de solucion para este prob-
lema. Este problema evidentemente satisface las condiciones del teorema de Bolzano-
Weierstrass por lo que tenemos garanta de que el problema tendra solucion.
El Lagrangeano queda:
L = x
2
1
+ x
2
2
+ (45 (x
1
1)
2
(x
2
2)
2
)
De las condiciones de primer orden podemos obtener:
L
x
1
= 2x
1
2(x
1
1) = 0 =
x
1
x
1
1
; x
1
= 1
L
x
2
= 2x
2
2(x
2
2) = 0 =
x
2
x
2
2
; x
2
= 2
Apuntes de Clases Optimizaci on Claudio Seebach No Lineal 85
Solucion Ejemplo
x
1
x
1
1
=
x
2
x
2
2
2x
1
= x
2
Utilizando esta condici on en conjunto con la restriccion tenemos que:
(x
1
1)
2
+ (2x
1
2)
2
= 45
x
2
1
2x
1
+ 1 + 4x
2
1
8x
1
+ 4 = 45
5x
2
1
10x
1
40 = 0
5(x
1
4)(x
1
+ 2) = 0
Por lo tanto las soluciones posibles son:
x
1
= 4 x
2
= 8 =
4
3
o x
1
= 2 x
2
= 4 =
2
3
Estos dos puntos son los unicos puntos que satisfacen las condiciones necesarias de
primer orden. Esto signica que, de no existir puntos singulares al problema, el
punto optimo al problema sera uno de ellos. A continuacion revisaremos las condi-
ciones de segundo orden.
Apuntes de Clases Optimizaci on Claudio Seebach No Lineal 86
Solucion Ejemplo
La matriz Hessiana es:
H =
_
2 2 0
0 2 2
_
Para caracterizar esta matriz debemos reemplazar los valores de :
H(4, 8,
4
3
) =
_
2
3
0
0
2
3
_
Denida Negativa, por lo tanto, x = (4, 8) es un m aximo
local estricto, con f( x) = 80.
H(2, 4,
2
3
) =
_
2
3
0
0
2
3
_
Denida Positiva, por lo tanto, x = (2, 4) es un
mnimo local estricto, con f( x) = 20.
Existen puntos singulares en el dominio?
J( x) =
_
h
x
1
h
x
2
_
=
_
2(x
1
1) 2(x
2
2)

El unico punto no regular (que

hace nulo el Jacobiano) es (1, 2) pero este punto no es factible. As, el punto iden-
ticado es mnimo global de P).
Apuntes de Clases Optimizacion Claudio Seebach No Lineal 87