Modelos de Programacion No Lineal: KKT

Eduardo Moreno, Gianpiero Canessa

May 30, 2014

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

1 / 22

Problemas con los Algoritmos vistos

Asuma un problema del formato:

minimize
x

f (x)

subject to gi (x) bi , i = 1, . . . , m
x 0
Los algoritmos de descenso que vimos se pueden enfrentar a los
siguientes problemas cuando traten de resolver (1), como vemos a
continuacion.

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

2 / 22

Problemas con los Algoritmos vistos

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

3 / 22

Problemas con los Algoritmos vistos

Estamos en el optimo?

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

4 / 22

Direccion Admisible

Supongamos que la regi

on de soluciones factibles es:
S = {x Rn : gi (x) 0, i = 1, . . . , m}
y que en el punto x la restricci
on gi es activa, es decir:
gi (x ) = 0
Hacia donde nos movemos para seguir disminuyendo? Facil, en la
direccion tal que:
d t gi (x ) 0
Donde d t es la direcci
on de descenso respecto a gi .

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

5 / 22

Direccion Admisible

Entonces, si tenemos varias restricciones activas, tenemos un

conjunto de direcciones admisibles (factibles) en x :
{d Rn |gi (x ) 0, i I (x )}
Donde I (x ) es el conjunto de direcciones activas en x .
I (x ) = {i = 1, . . . , m|gi (x ) = 0}

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

6 / 22

Condicion de Optimalidad

Si x es un mnimo local entonces:

d t f (x ) 0, d 6= 0 t.q. d t gi (x ) 0i I (x )
Si se cumple, aseguramos que para toda direcci
on admisible, el valor
de f (x) no disminuye.
Es facil de explicar y entender, pero no de verificar... Como
compruebo para todas las direcciones?

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

7 / 22

Condiciones de KKT
Si x es un mnimo local y es regular entonces existen
i 0, i = 1, . . . , m tal que:

f (x ) +

m
X

i gi (x ) = 0

i=1

i gi (x ) = 0, i = 1, . . . , m
La ecuacion hace referencia a la holgura complementaria.
Se puede observar entonces que esto es un sistema de ecuaciones que
hay que resolver para x .
Quienes trabajaron en estas condiciones son los se
nores: W. Karush
(1939), H.W. Kuhn y A.W. Tucker (1951).

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

8 / 22

Condiciones de KKT
Dado que i 0, podemos observar que:
i = 0 gi (x ) = 0
Entonces observemos que:
f (x ) =

i gi (x )

iI (x )

Luego, para toda direcci

on d admisible
d t f (x ) =

i (d t gi (x ))

iI (x )

Por tanto, dado los signos, para cualquier direcci

on d estando en x ,
f (x) aumenta.

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

9 / 22

Primera Actividad

Encuentre el rectangulo de mayor area inscrito en un crculo de radio

1.

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

10 / 22

Primera Actividad

Encuentre el rectangulo de mayor area inscrito en un crculo de radio

1.
max
x y
subject to x 2 + y 2 1,
x, y 0

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

11 / 22

Regularidad

x es regular si los gradientes de las restricciones activas en x son

linealmente independientes.

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

12 / 22

Regularidad

x no regular: Pueden ser mnimo y no existir multiplicadores de

Lagrange de la condici
on de KKT.

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

13 / 22

KKT condicion necesaria

Por otro lado, las condiciones de KKT son s

olo necesarias.

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

14 / 22

KKT condicion necesaria

Si x es mnimo local y regular, y tomando en cuenta las ecuaciones

de :
Si f (x) es convexa y gi (x) es convexa para todo i, entonces las
condiciones de KKT son tambien son suficientes para que x sea
mnimo global de f (x).

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

15 / 22

KKT completo
Sea el problema:
min f (x)
x

s.t.

gi (x) 0, i = 1, . . . , m

(1)

hj (x) = 0, j = 1, . . . , l
x 0
Si x es mnimo local y regular entonces i y i tal que:

f (x ) +

m
X

i gi (x ) +

i=1

l
X

i hj (x ) = 0

j=1

i gi (x ) = 0, i = 1, . . . , m
i 0, i = 1, . . . , m
Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

16 / 22

Tecnica del Langrangiano

Se define el Lagrangiano del problema (1) asociado a los
multiplicadores i y i como:

f (x ) +

m
X

i gi (x ) +

i=1

l
X

i hj (x ) = 0

j=1

L, (x) = f (x) +

m
X

i gi (x) +

i=1

l
X

j hj (x)

j=1

La condicion de optimalidad L, (x) = 0 da las condiciones de

KKT:
L, (x) = f (x ) +

m
X
i=1

Eduardo Moreno, Gianpiero Canessa

i gi (x ) +

l
X

i hj (x ) = 0

j=1

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

17 / 22

Propiedad del Langrangiano

Proposicion: Sea x un punto KKT con multiplicadores i y i entonces:

Para todo x factible del problema original se cumple que:
L , (x) f (x)
En particular, para x se cumple que:
L , (x ) f (x )

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

18 / 22

Actividades

Resuelva el siguiente problema, recuerde revisar las condiciones de

KKT y resuelva para x, y , i y i .
max x + y 2
s.t.

x 2 + 9y 2 36,
x y =5
x, y 0

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

19 / 22

Actividades

Resuelva el siguiente problema, recuerde revisar las condiciones de

KKT y resuelva para x, y , i y i .
min x12 + x22 + x32 + x42
s.t.

x4 A,
x1 + x2 + x3 + x4 = 1
xi 0, i

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

20 / 22

Actividades

Resuelva el siguiente problema, recuerde revisar las condiciones de

KKT y resuelva para x, y , i y i .
min 2x12 + 2x1 x2 + x22 10x1 10x2
s.t.

x12 + x22 5,
3x12 + x22 6
x1 , x2 0

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

21 / 22

Actividades

Resuelva el siguiente problema, recuerde revisar las condiciones de

KKT y resuelva para x, y , i y i .
min

e x1 + e x2

subject to x1 + x2 1,
x1 , x2 0

Eduardo Moreno, Gianpiero Canessa

Modelos de Programaci
on No Lineal: KKT

May 30, 2014

22 / 22