Está en la página 1de 14

Pontificia Universidad Catlica Escuela de Ingeniera Departamento de Ingeniera Industrial y de Sistemas

Clase 9 Programacin No Lineal o


ICS 1102 Optimizacin o Profesor : Claudio Seebach

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 1

Programacin No Lineal o

1. Optimizacin de una funcin sin restricciones o o (a) Condiciones Necesarias y Sucientes para extremos (b) Mtodos de bsqueda de soluciones e u i. Mtodo de Newton e ii. Mtodo del Gradiente o de Cauchy e 2. Optimizacin de una funcin con restricciones o o (a) Caso 1: Problema Unidimensional (b) Caso 2: Restricciones de igualdad i. Caso general con restricciones de igualdad ii. Interpretacin de los multiplicadores de Lagrange o 3. Restricciones de desigualdad

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 2

Optimizacin de una funcin sin restricciones o o

P) f (x) funcin diferenciable o

min f (x) x Rn

x = (x1, x2, ..., xn) es m nimo local si: f (x) f (x + h) h = (h1, h2, ..., hn) tal que |hj | es sucientemente pequeo para todo j. n x es un m nimo local si el valor de f (x) en cada punto del entorno o vecindad de x no es menor a f (x).

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 3

Condiciones Necesarias y sucientes para extremos


Teorema 1 (Condicin necesaria de 1er orden). Si x Rn es un o punto mnimo local de f (x), entonces debe cumplirse que f () = 0 , x es decir, f (1, x2, ..., xn) x =0 i = 1, ..., n. xi Esta condicin es necesaria, pero no suciente para un m o nimo Tambin la satisfacen otros puntos extremos: e Mximos a Puntos de inexin o

Para que x sea un punto m nimo, debe cumplirse una segunda condicin necesaria. o

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 4

Condiciones Necesarias para Extremos


Teorema 2 (Condicin necesaria de 2do orden) Si x Rn es un punto o m nimo local de f (x), y f (x) es dos veces diferenciable, entonces debe cumplirse que f () = 0 (1er orden) y que la matriz Hessiana D2f () x x do sea semidenida positiva (2 orden).

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 5

Condiciones Sucientes para Extremos

x Teorema 3 (Condicin suciente de 2do orden) Si x verica: f () = o 2 0 y D f () es denida positiva, entonces x es un punto mnimo local x estricto de f (). x

Mnimo local estricto

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 6

Derivacin Condiciones de Segundo Orden o

La expansin de Taylor de la funcin objetivo en torno al punto x es: o o f (x) = f () + (x x) f () + x x (x x)D2f ()(x x)T x + R2() x 2

qu condicin debe satisfacer x para ser punto m e o nimo local? En la vecindad de x, R2() es un orden de magnitud ms pequeo x a n do que el trmino de 2 orden podemos ignorarlo para un anlisis de e a optimalidad local. En un punto m nimo, el gradiente de la funcin en el punto debe ser o nulo.

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 7

Derivacin Condiciones de Segundo Orden o


Para que f () sea menor a la funcin objetivo evaluada en cualquier x x o en la vecindad de x, debe suceder que (x x)D2f ()(x x)T x f () f (x) = f () + x x + R2(x). 2 Es decir: (x x)D2f ()(x x)T x (x)D2f ()(x)T x = 0 2 2 Esto equivale a que la matriz D2f () sea semidenida positiva: x xD2f ()xT 0, x x xD2f ()xT > 0, x Si es denida positiva esto se cumple estrictamente: x

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 8

Ejemplo de Problema No Lineal Irrestricto

Ejemplo 1 Considere el problema P ) min 2x1x2 2x2 + x2 + 2x2 1 2 s.a. (x1, x2) R2
0 0.5 1 4 1.5 2

0.5

1.5

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 9

Ejemplo de Problema No Lineal Irrestricto


Las condiciones de primer orden son: f = 2x2 + 2x1 = 0 x1 f = 2x1 2 + 4x2 = 0 x2 El Hessiano de la funcin objetivo en (1, 1): o 2f 2f x2 x1x2 1 H= 2f 2f x2x1 x2 2 f (x) = 0 x1 = 1, x2 = 1.


(1,1)

2 2 . 2 4

H es denida positiva en todo D, y en particular en (1, 1)

El punto corresponde a un m nimo unico global estricto de P )

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 10

Ejemplo de Problema No Lineal Irrestricto

Ejemplo 2 Considere la funcin f (x, y) = x3 + y o


0 2 4

-4 10 0 -10 2

-2

1 0 -1 -2

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 11

Ejemplo de Problema No Lineal Irrestricto

La matriz Hessiana est dada por a D2f (x, y) =

6x 0 0 0

Observamos que 1 = 6x y que 2 = 0.

Existe alguna regin en que f (x, y) sea positiva denida? No. o Existe alguna regin en que f (x, y) sea semidenida positiva? S o , Existe alguna regin en que f (x, y) sea semidenida negativa? S o , x 0 x 0

No se puede garantizar la existencia de un m nimo o mximo loa cal.

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 12

Ejemplo de Problema No Lineal Irrestricto

Ejemplo 3 Considere el problema P) min x4

8 6 4 2 -3 -2 -1 1 2 3

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 13

Ejemplo de Problema No Lineal Irrestricto


Tenemos que: f (x) = 4x3 f (x) = 12x2 En x = 0, f (x) = 0 y f (x) = 0.

El punto cumple con la condicin necesaria de 2 orden. o

De esta informacin no se podr inferir nada ms, pero: o a a f (x) = 12x2 0 x f (x) es convexa f (x) f () + f ()(x x) x R, x x Adems es diferenciable, entonces x = 0 es un punto mnimo local de P ). a

x = 0 : f (x) f (0) + f (0)(x 0) f (0) f (x) x R.

As, x = 0 es un punto m nimo global de P ), unico, pues x = 0 x4 > 0.

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 14

Mtodos de Resolucin de Problemas No Lineales e o

Hay problemas donde resolver

f (x) = 0 es muy dif cil

Alternativa: mtodos numricos y/o iterativos e e Bsqueda unidireccional u Mtodo de Newton e Mtodo del Gradiente o de Cauchy e

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 15

Mtodo de Newton e

Mtodo para funciones dos veces diferenciables e

Puede usarse para funciones de mltiples variables u Sea xk un punto factible

P ) de una sola variable: min f (x) con f (x) y f (x) conocidas. Se puede aproximar f (x) entorno a xk , a travs de una expansin de e o do Taylor de 2 grado: 1 qk (x) = f (xk ) + f (xk )(x xk ) + f (xk )(x xk )2 2

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 16

Aproximacin de Segundo Orden o

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 17

Mtodo de Newton e

q(x) es una buena aproximacin de segundo grado para f (x) ya que: o 1. q(xk ) = f (xk ) 2. q (xk ) = f (xk ) 3. q (xk ) = f (xk )

Si f (xk ) > 0 q(x) es convexa, y si f (xk ) < 0 q(x) es cncava. o Resolvemos min q(x), en vez de min f (x). Condicin de 1er orden: o dqk = f (xk ) + f (xk )(x xk ) = 0 dx Despejando, y deniendo un nuevo xk+1 nos queda: f (xk ) xk+1 = xk . f (xk )

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 18

Esquema del Mtodo de Newton e

1. Comenzar con un x0 cualquiera 2. Minimizar qk (x) y obtener un nuevo xk+1 usando: xk+1 = xk Por ejemplo si (xk xk+1) 0 o si (f (xk ) f (xk+1)) 0. f (xk ) f (xk )

3. Vericar si las iteraciones convergen segn algn criterio: u u

o volver al punto 2. con xk+1

4. Finalizar con xk como solucin ptima y f (xk ) valor ptimo o o o

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 19

Interpretacin del Mtodo de Newton o e

Condicin de 1er orden para un extremos de f (x) o f (x) = 0 el mtodo de Newton busca ra def (x) e ces Grcamente, el mtodo consiste en que en el espacio de la derivada de a e f (x) se trace una recta que pase por el punto (xk , f (xk )) y que tenga pendiente f (xk ), es decir y f (xk ) = (x xk )f (xk ). Luego, el punto de interseccin de esta recta con el eje x determinar o a xk+1, es decir, igualando y = 0.

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 20

Interpretacin del Mtodo de Newton o e

f(x)

xk+2

xk+1

xk x

y = f (x)

y f (xk ) = (x xk )f (xk ).

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 21

Observaciones al Mtodo de Newton e

El mtodo busca puntos extremos sean estos m e nimos o mximos. a

Para distinguir hay que mirar el signo de la 2a derivada en cada punto: Deber ser positivo al buscar m a nimos y negativo al buscar mximos. a Este mtodo no garantiza convergencia: e

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 22

Ejemplo de Mtodo de Newton e

Ejemplo 4 Considere el problema min 2x3 21x2 + 60x 7.


60 50 40 30 20 10 -1 -10 1 2 3 4 5 6

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 23

Ejemplo de Mtodo de Newton e


Ejemplo 4 Considere el problema min 2x3 21x2 + 60x 7. Podemos ver que la primera y segunda derivada corresponden a f (x) = 6x2 42x + 60 f (x) = 12x 42

respectivamente. Por lo tanto, si x > 3, 5 f (x) > 0,luego, f (x) es estrictamente convexa. Y si x < 3, 5 f (x) < 0, por lo que f (x) es estrictamente cncava. o Por lo tanto, x = 3, 5 corresponde a un punto de inexin. Aplicando el mtodo de o e Newton, con x0 = 4 (cercano al punto cr tico x = 3, 5), sucede lo siguiente: xk+1 = xk 6x2 42xk + 60 k 12xk 42 12x2 42xk 6x2 + 42xk 60 k k = 6(2xk 7) 6x2 60 k = 6(2xk 7)

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 24

Ejemplo de Mtodo de Newton e


Por lo tanto,

x2 10 k (2xk 7) Iterando vemos que el mtodo converge a xk = 5, e xk+1 = k 0 1 2 3 4 5 xk 4 6 7, 2 5, 65 5, 099 5 que corresponde a un m nimo pues f (x) en el punto es positiva. Ahora, cambiando el punto inicial a x0 = 3 y volvemos a aplicar el mtodo, vemos que ste converge a e e xk = 2, k 0 1 2 3 4 5 xk 3 1 1, 8 1, 988 1, 999 2 que corresponde a un mximo pues f (x) en el punto es negativa. a

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 25

Ejemplo de Mtodo de Newton e


Ejemplo 5 Considere el problema min x 7x + ln x sujeto a x > 0. 4 8
3 2

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 26

Ejemplo de Mtodo de Newton e


Ejemplo 5 Considere el problema min x 7x + ln x sujeto a x > 0. 4 8 Derivando encontramos 3 7 1 f (x) = x2 x + 4 4 x 3 7 1 f (x) = x 2 2 4 x 7 1 ( 3 x2 4 x + x ) 7 1 3 2 xk+1 = xk 43 a 1 . Es fcil ver que 4 x 4 x + x = 0 puede escribirse ( 2 x 7 x2 ) 4 como (x 2)(x 1)(3x + 2) = 0, x = 0 expresin que muestra claramente las ra o ces de la funcin objetivo. Iterando con el mtodo desde dos puntos iniciales diferentes o e obtenemos los siguientes resultados: x0 = 0, 5 x0 = 3 0, 7625 2, 3052 0, 9401 2, 0512 0, 9954 2, 0021.
3 2

El primero de stos corresponde a un mximo local mientras el segundo a un mnimo e a local.

Apuntes de Clases Optimizacin Claudio Seebach o

No Lineal 27