2

Indice general
1. Optimizacin de funciones de varias variables o 2. Mtodos de Bsqueda Unidimensional e u 2.1. Mtodo de biseccin . . . . . . . . . . e o 2.2. Mtodo de la Seccin Aurea . . . . . . e o 2.3. Mtodo de Newton . . . . . . . . . . . e 2.4. Mtodo de la Secante . . . . . . . . . . e 5 13 14 17 23 27

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

INDICE GENERAL

Cap tulo 1

Optimizacin de funciones de varias o variables

Cuando abordamos problemas de optimizacin es usual presuponer que un punto cr o tico x existe y es unico, sin embargo esto no necesariamente es verdad. Por ejemplo puede ser que x no exista si f no est acotada inferiormente, es el caso de f = x3 , o quiz an cuando f est acotada a a u e inferiormente f = exp(x). Tambin puede suceder que x no sea unico f = cos (x). En general e podemos encontrar un minimizador/maximizador de una funcin y este puede ser o no un minimizao dor/maximizador global(ver gura 1). Recordemos que un maximizador de f (x) es simplemente un minimizador de f (x), as que, en esta seccin nos concentraremos slamete en los minimizadores. o o Supongamos que f (x) es una funcin denida en un conjunto Rn . Sabemos que un punto, o digamos x en es:

1. Un minimizador global para f (x) en si f (x ) f (x) para toda x en . 2. Un minimizador global estricto para f (x) en si f (x ) < f (x) para toda x en .

3. Un minimizador local para f (x) si existe un nmero positivo tal que f (x ) f (x) para u toda x en para la cual se cumpla x B(x , ). 4. Un minimizador local estricto para f (x) si existe un nmero positivo tal que f (x ) < f (x) u , ) y x=x . para toda x en para la cual se cumpla x B(x 5. Un punto crtico para f (x), si existen las derivadas parciales de f (x) en x y f (x ) = 0. 5

CAP ITULO 1. OPTIMIZACION DE FUNCIONES DE VARIAS VARIABLES

Figura 1.1: Ejemplos de m nimos en el caso de una funcin de una viariable. o El problema de optimizacin mas sencillo consiste en encontrar el m o nimo de una funcin de o una viariable sin restricciones: minimizarxR f (x), (1.1) en este caso f es nuestra funcin objetivo y el minimixador lo denotaremos x . Si f tiene segundas o derivadas continuas en todas partes y existe un minimizador local de f en un punto nito x , entonces deben cumplirse las siguientes condiciones en x f (x ) = 0 f (x ) 0. como ya mencionamos cada punto x tal quef (x ) es cero se conoce con el nombre de punto crtico o estacionario de f . Entonces cualquier m nimo local de una funcin suave es un punto o 1 Para garantizar que estacionario. La primera derivada debe ser cero en un m nimo local de f. realmente algn punto en un ptimo (m u o nimo/mximo local estricto) deben cumplirse las siguientes a condiciones: f (x ) = 0 f (x ) > 0. Ahora generalicemos estos resultados al caso de una funcin de varias variables. Consideremos o la funcin f (x), f : Rn R donde y x = (x1 , x2 , . . . , xn )T . El problema se expresa de la misma o manera que se hace en el caso de una variable minimizarxRn f (x). (1.2)

Tal como en el caso de una variable, para que x sea un m nimo/mximo local se requiere que a f (x ) = 0 i.e. x es un punto estacionario

Hf (x )
1

sea semipositiva/seminegativa denida,

Pero tambin la primera derivada se puede hacer cero en algn punto que no es ni mnimo ni mximo local, e u a a estos puntos son conocidos como puntos de inexin. Por ejemplo si f (x) = x3 , el origen no es ni un m o nimo ni un mximo local, pese a que f (0) = 0. a

7 en este caso Hf (x ) es la matriz Hessiana de la funcin f evaluada en el punto x . De manera o anloga a como sucede en el caso de una variable, el gradiente de f puede ser cero en algn punto a u que no es ni un m se conoce como punto silla (ver ejemplo x nimo ni un mximo, en ese caso x a 1). Para asegurar un m nimo/mximo local estricto de (1.2), es decir que x optimiza la funcin, a o debe satistacerse que Hf (x ) f (x ) = 0 sea positiva/negativa denida.

Siendo x un punto estacionario de una funcin f (x) con primera y segunda derivada continuas en o n y Hf (x) es el Hessiano de f (x), diremos que x es: R 1. Un minimizador/maximizador global de f (x) si Hf (x) es semipositiva/seminegativa denida en Rn ; 2. Un minimizador/maximizador global estricto de f (x) si Hf (x) es positiva/negativa denida en Rn . Cuando existe un punto interior que es un punto cr tico de f (x) y el Hessiano Hf (x ) est indenido a es un punto silla. entonces x

f(x,y) 1

-1

1 y 0 -1 -1 0 x 1

Figura 1.2: Grca de la funcin f (x, y) = xy. a o Ejemplos: 1. Notemos que la funcin f (x, y) = xy, tiene un punto silla en(0, 0) (ver Figura1). Esta crece o a lo largo de x = y y decrece a lo largo de la direccin x = y. Para determinar los puntos o estacionarios calculamos el gradiente de f e igualemos a cero: f (x , y ) = y x = 0 0 ,

CAP ITULO 1. OPTIMIZACION DE FUNCIONES DE VARIAS VARIABLES tambin observamos que (0, 0) es el unico punto cr e tico. Ahora calculamos el Hessiano de f Hf (x, y) = 0 1 1 0 ,

como H1 f (x, y) = 0 y H2 f (x, y) = 1 < 0, el Hessiano est indenido para toda x, y en a R. Concluimos que la funcin no es cncava ni convexa, lo cual verica lo que se observa en o o la gura. Lo anterior tambin puede concluirse notando que los valores propios de la matriz e Hessiana son = 1. 2. Si f (x1 , x2 ) = 100(x2 x2 )2 + (1 x1 )2 , determinamos los puntos estacionarios mediante el 1 gradiente de f f (x , x ) = 1 2 400x x x2 2 (1 x ) 1 1 2 1 200 x x2 1 2 = 0 0 ,

e que tiene la solucin (x , y1 ) = (1, 1), entonces ste es un punto estacionario. Calculamos el o 1 Hessiano de la funcin o

Hf (x1 , x2 ) =

1200x2 400x2 + 2 400x1 1 400x1 200

no sabemos si esta funcin es positiva (o semipositiva denida) para todo valor de x en Rn , o sin embargo, al evaluar en punto (1, 1): Hf (x , x ) = 1 2 802 400 400 200 ,

H1 = 802 > 0 y H2 = 400 > 0 por lo que la matriz Hessiana Hf (x , x ) es positiva denida, 1 2 eso nos indica el punto estacionario es un minimizador local estricto.

f(x,y) 600

400

200

0 1

-1 0 x 1 -1

0 y

Figura 1.3: Grca de f (x1 , x2 ) = 100(x2 x2 )2 + (1 x1 )2 . a 1

9 3. Si f (x, y, z) = x2 + y 2 + z 2 xy + yz xz, los puntos estacionarios del sistema son aquellos que satisfacen el sistema lineal 2x y x = 0,

x + 2y + z = 0,

x + y + 2z = 0,

como el determinante de la matriz de coecientes asociada a este sistema lineal es diferente de cero, el sistema tiene solucin unica y por ser homogneo tiene solamente la solucin trivial o e o (0, 0, 0). El Hessiano de la funcin en cuestin es la matriz constante o o 2 1 1 Hf (x, y, z) = 1 2 1 , 1 1 2 donde H1 = 2 > 0,H2 = 3 > 0 y H3 = 4 > 0, de manera que Hf (x, y, z) es positiva denida en R3 , lo que nos indica que tenemos un m nimo global estricto. 4. Encontrar el minimizador global de f (x, y, z) = exy + eyx + ex + z 2 . Calculamos el gradiente
2 exy eyx + 2xex f (x, y, z) = exy + eyx 2z 2

y el Hessiano exy + eyx + 4x2 ex + 2ex Hf (x) = exy eyx 0 claramente H1 (x) > 0 para toda x, y, z. Tambin e H2 (x) = = exy + eyx exy + eyx
2
2 2

exy eyx 0 exy + eyx 0 , 0 2

+ exy + eyx 4x2 ex + 2ex

2 2

4x2 ex + 2ex >0

exy + eyx

porque ambos factores son siempre positivos. Finalmente notemos que H3 (x) = 2H2 (x) > 0. De esta forma el Hessiano de la funcin es positivo denido en todos los puntos, entonces o tenemos un minimizador global estricto en algn punto cr u tico (x , y , z ). Para encontrar , y , z ) tenemos que resolver (x x y 2 ey x + 2x ex e = 0, f (x , y , z ) = ex y + ey x 2z esto conduce a z = 0, ex y = ey x , entonces 2x ex = 0. De acuerdo con lo anterior x y = y x , esto es x = y y x = 0. De modo que el punto (0, 0, 0) es el minimizador global de f (x, y, x).
2

10

CAP ITULO 1. OPTIMIZACION DE FUNCIONES DE VARIAS VARIABLES 5. Determine el m nimo de f (x, y) = exy + ex+y . En este caso f (x, y) = exy + ex+y exy + ex+y

Hf (x, y) =

exy ex+y exy + ex+y exy + ex+y exy + ex+y

como exy + ex+y > 0 para toda x y y y H2 (x) > 0 entonces Hf (x, y) es positiva denida y tendremos un m nimo en algn punto (x , y ). El posible punto cr u tico est dado por a ex
y

+ ex

+y

= 0 = 0

xy

+e

x+y

pero exy > 0 y ex+y > 0, de forma que la primera ecuacin no es posible, de esta forma o f (x, y) no tiene puntos crticos y por lo tanto tampoco minimizadores globales. 6. Buscar los m nimizadoes o maximizadores, si es que acaso existen, de la funcin f (x, y) = o 3 12xy + 8y 3 . x En este caso, los puntos cr ticos son las soluciones de 3x2 12y = 0

12x + 24y 2 = 0 resolviendo podemos identicar los puntos cr ticos (2, 1) y (0, 0). El Hessiano de la funcin es o Hf (x, y) = en el punto (2, 1) Hf (2, 1) = 12 12 12 48 6x 12 12 48y

como H1 (2, 1) = 12 > 0 y H2 (2, 1) = 432 > 0 se sigue que el punto (2, 1) es un minimizador local estricto (ntese que el Hessiano no es positivo denido para toda x y y). Ahora, o qu sucede con el punto (0, 0) e Hf (0, 0) = 0 12 12 0

el Hessiano en ese punto est indenido, entonces existe un punto silla en (0, 0). Examinando a f vemos que, por ejemplo f (x, 0) = x3 , es positiva para x > 0, cero para x = 0 y negativa para x < 0.

11

x -y 1 0.5 0 -0.5 -1

x -y 2 1.5 1 0.5 0 1 0.5

1 0.5 -1

-1 -0.5 0 x 0.5 1 -1 -0.5

0 y

-0.5 0 x 0.5 1 -1 -0.5

0 y

Figura 1.4: Grcas de las funciones f (x, y) = x4 y 4 (izquierda) yf (x, y) = x4 + y 4 (derecha). a Nota: Si x es un punto cr tico de f (x) y Hf (x ) es solamente semipositiva denida no se puede concluir nada en general. Por ejemplo, f (x, y) = x4 y 4 tiene un unico punto cr tico en (0, 0), y Hf (0, 0) = 0 0 0 0

por lo que la matriz Hessiano, evaluada en ese punto, es semipositiva denida, pero (0, 0) no es ni un m nimizador ni un maximizador local. Por otra parte, f (x, y) = x4 + y 4 tambin tiene un unico e punto cr tico (0, 0) y de nuevo 0 0 Hf (0, 0) = 0 0 que de nuevo es semipositiva denida, pero es este caso (0,0) es un minimizador global (ver gura 1.4). Ejercicios: 1. Usar el criterio del Herssiano para determinar la naturaleza de los puntos cr ticos de las siguientes funciones: a) f (x, y) = x3 + y 3 3x 12y + 20 b) f (x, y, z) = x2 + y 2 + z 2 4xy c) f (x, y) = 12x3 36xy 2y 3 + 9y 2 72x + 60y + 5

2. Mostrar que las funciones f (x, y) = x2 + y 3 y g(x, y) = x2 + y 4 , ambas tienen un punto cr tico en (0, 0), ambos tienen Hessianos semipositivos denidos en (0, 0), pero (0, 0) es un m nimizado local para g(x, y) pero no para f (x, y). 3. Encontrar los minimizadores/maximizadores globales, si existen, de las siguientes funciones a) f (x, y) = x2 4x + 2y 2 + 7 2 2 b) f (x, y) = e(x +y )

12

CAP ITULO 1. OPTIMIZACION DE FUNCIONES DE VARIAS VARIABLES

Cap tulo 2

Mtodos de Bsqueda Unidimensional e u

Los mtodos de bsqueda que se estudiarn permitirn determinar el minimizador de una e u a a funcin f : R R sobre un intervalo cerrado [a0 , b0 ]. La unica propiedad que se asumir sobre la o a funcin objetivo f es que sea unimodal, lo cual signica que f tiene un solo m o nimo (o mximo) a local (ver gura 2). En decir que f es unimodal en [a, b] si existe una unica x [a, b] tal que dado x1 , x2 [a, b], x1 < x2 si x2 < x entonces f (x1 ) > f (x2 ) si x1 > x entonces f (x1 ) < f (x2 ).

Los mtodos que estudiaremos en este cap e tulo se pueden clasicar en dos tipos, los mtodos e de reduccin de intervalo y los mtodos de ajuste de curva. Los mtodos de reduccin de intervalo o e e o se caracterizan por reducir el intervalo en que cae el valor optimo de x, de este tipo son: Mtodo de Biseccin e o Mtodo de la secccin Aurea e o y se clasican como del segundo tipo los mtodos donde la funcin objetivo (no lineal) se aproxima e o por una curva de menor grado en algn punto conocido, y entonces se resuelve la funcin objetivo u o aproximada para encontrar el siguiente punto de aproximacin: o Mtodo de Newton e Mtodo de la Secante. e Comenzaremos con los mtodos de reduccin de intervalo y en particular con el mtodo de biseccin. e o e o 13

14

CAP ITULO 2. METODOS DE BUSQUEDA UNIDIMENSIONAL

2.1.

Mtodo de biseccin e o

Los mtodos a discutir se basan en evaluar la funcin objetivo en diferentes puntos del intervalo e o [a0 , b0 ]. Elegimos estos puntos de forma tal que se pueda alcanzar el minimizador/maximizador de f (mejor dicho, una aproximacin a ste) con el menor nmero posible de evaluaciones. El o e u objetivo entonces, es estrechar progresivamente el intervalo hasta que el minimizador/maximizador sea encerrado con suciente precisin. o Consideremos el caso en que la funcin a maximizar es cncava (ya sabemos que lo mismo o o puede utilizarse para una funcin convexa, aunque no lo haremos para no confundir). En el caso de o funciones f : R R, sabemos que la condicin necesaria para que una solucin particular x = x o o sea ptima es: o df =0 en x = x . dx Si en la ecuacin anterior se puede despejar x de forma directa, el problema naliza, pero si f (x) o no es una funcin sencilla y su derivada no es una funcin lineal o cuadrtica, quiz sea imposible o o a a resolver la ecuacin anal o tica. En este caso deber usarse un procedimiento de bsqueda, como el a u mtodo de biseccin, para resolver el problema en forma numrica. e o e El procedimiento de biseccin siempre se puede aplicar cuando f (x) es cncava (esto es, cuando o o la segunda derivada es negativa o cero para toda x). En particular, para que x sea una solucin o o ptima se requiere que: df (x) >0 si x < x dx df (x) =0 si x = x dx df (x) <0 si x > x dx

Figura 2.1: Grca de la funcin f en el lado derecho y f a la izquierda. a o estas condicones se cumplen automticamente si f (x) es cncava (pero tambin se pueden a o e cumplir cuando la segunda derivada es negativa para algunos pero no todos los valores de x). El hecho de que la derivada (pendiente) sea positiva o negativa en una solucin de prueba x0 o indica de forma denitiva si la mejor respectiva cae inmediatamente a la derecha o a la izquierda. a De esta manera, si la derivada evaluada en un valor particular de x es positiva, entonces x debe ser mayor que este valor particular de x, como se observa en la gura 2.1, de manera que este valor de x

 2.1. METODO DE BISECCION

15

se convierte en una cota inferior para las soluciones de prueba que deben considerarse de este punto en adelante. De forma inversa, si la derivada es negativa, entonces x debe ser menor que esta x, por lo cual x se convertir en una cota superior. Por lo tanto, despus de que se han identicado ambos a e tipos de cotas, cada nueva solucin de prueba seleccionada entre las cotas actuales proporciona o un intervalo ms estrecho, de alguno de los dos tipos, con lo que se reduce la bsqueda de ah en a u adelante. Cuando se usa una regla razonable para seleccionar cada solucin de prueba de esta o forma, la secuencia resultante de soluciones de prueba debe converger a x . En la prctica, esto a signica continuar la secuencia hasta que la distancia entre las cotas, sea tan pequea como para n que la siguiente solucin de prueba est dentro de la tolerancia de error especicada para x con o e anterioridad.

Algoritmo
A continuacin se resume el algoritmo de biseccin en donde el criterio para seleccionar una o o nueva solucin de prueba es el del punto medio (llamada comnmente bsqueda de Bolzano), en o u u el cual se selecciona el punto medio entre las dos cotas actuales. Para el algoritmo, se considera la siguiente notacin. o xi : a: b: : solucin de prueba actual o cota inferior actual para x cota superior actual para x tolerancia del error para x

Paso inicial: Seleccionar . Encontrar a y b iniciales por inspeccin (o ubicando valores respectivos o de x en los cuales la derivada sea positiva y negativa). Seleccionar una solucin de prueba o inicial a+b . i=0 x0 = 2 Iteracin: Evaluar df (x)/dx = 0 en x = xi . Si df (x)/dx 0, redenir a = xi , si df (x)/dx 0, o redenir b = xi . Seleccionar un nuevo xi para lo cual hacemos i = i + 1, Criterio de paro: Si b a 2 el proceso se detiene, en caso contrario el proceso continua. Ejemplos: 1. Condere que la funcin a maximizar es o f (x) = 12x 3x4 2x6 sus primeras derivadas son df (x) dx 2 f (x) d dx2 = 12 1 x3 x5 = 12 3x2 5x4 .

Notemos que la segunda derivada es no positiva en todas partes, por tanto f (x) es una funcin o cncava, por lo que el mtodo de biseccin puede aplicarse con seguridad para encontrar un o e o mximo global (suponemos que ste existe). Un anlisis rpido de esta funcin indica que a e a a o (x) es positiva para valores positivos peque os de x, por ejemplo x = 0 pero es negativa f n

16

CAP ITULO 2. METODOS DE BUSQUEDA UNIDIMENSIONAL para x = 2, por lo tanto, podemos armar que el mximo de la funcin f est en el intervalo a o a [0, 2]. Entonces a = 0 y b = 2 se pueden usar como las cotas iniciales, con su punto medio x0 = 1 como la solucin de prueba inicial. Sea =0.01 la tolerancia de error para x en la o regla de deteccin, entonces (b a) nal es menor o igual a 0.02 con la xi en el punto medio. o As tenemos 0+2 =1 [a, b] = [0, 2] x0 = 2 df (1) df (x0 ) = = 12(1 13 15 ) = 12 < 0 dx dx b=1

entonces el nuevo intervalo a considerar [a, b] = [0, 1] y se vuelve a repetir el proceso, con lo cual se genera las siguiente tabla: Iteracin o 0 1 2 3 4 5 6 7 a 0.0 0.0 0.5 0.75 0.75 0.8125 0.8125 0.828125 xi 1.0 0.5 0.75 0.875 0.8125 0.84375 0.828125 0.8359375 b 2.0 1.0 1.0 1.0 0.875 0.875 0.84375 0.84375 df (xi )/dx -12.0 10.12 4.09 -2.19 1.31 -0.34 0.51 f (xi ) 7.0 5.7812 7.6948 7.8439 7.8672 7.8829 7.8811 7.8839 |b a| 2.0 1.0 0.5 0.25 0.125 0.0625 0.3125 0.015625

donde la conclusin es x 0,836, 0,828125 < x < 0,84375. o

f(x)=-2x6-3x4+12x 40 0 -40 -200 y -80 -120 -160 -1 -0.5 0 0.5 x 1 1.5 2 -400 y 200 df(x)/dx=12(1-x3-x5)

-600 -1 -0.5 0 0.5 x 1 1.5 2

Figura 2.2: Grcas de las funciones f (x) = 12x 3x4 2x6 y df (x)/dx = 12(1 x3 x5 ). a 2. Considere la funcin a optimizar es f (x) = x4 2x2 + 24x. Calculamos o df (x) = 4x3 4x + 24 dx d2 f (x) = 4 3x2 1 0, dx2 notemos que la segunda derivada es no positiva, es decir que la funcin es cncava. Tenemos o o que seleccionar un intervalo inicial y podemos darnos cuenta que la derivada de la funcin o

 2.2. METODO DE LA SECCION AUREA

17

cambia de signo en el intervalo [1, 2], por lo que tomaremos a este como el intervalo inicial. Entonces tenemos que 1+2 = 1,5 [a, b] = [1, 2] x0 = 2 df (x0 ) df (1,5) = = 4(1,5)3 4(1,5) + 24 = 4,5 > 0 a = 1,5 dx dx entonces el nuevo intervalo a considerar [a, b] = [5, 4] y se vuelve a repetir el proceso, con lo cual se genera las siguiente tabla: Iteracin o 0 1 2 3 4 5 6 a 1 1.5 1.5 1.625 1.625 1.625 1.625 xi 1.5 1.75 1.625 1.6875 1.65625 1.64063 1.63282 b 2 2 1.75 1.75 1.6875 1.65625 1.64063 df (xi )/dx 4.5 -4.4375 0.335938 -1.97168 -0.798462 -0.226456 0.0558468 f (xi ) 26.4375 26.4961 26.7458 26.6955 26.7387 26.7467 26.7474 |b a| 1.0 0.5 0.25 0.125 0.0625 0.03125 0.01563

donde la conclusin es x 1,63282 o 1,625 < x < 1,64063. o

f(x)=-x4-2x2+24x 40 0 -40 -80 -120 -160 -200 -3 -2 -1 0 x 1 2 3 y y 150 100 50 0 -50 -100 -150 -3 -2 -1 0 x 1 2 3 df(x)/dx=-4x3-4x2+24

Figura 2.3: Grcas de las funciones f (x) = x4 2x2 + 24 y df (x)/dx = 4x3 4x2 + 24. a

2.2.

Mtodo de la Seccin Aurea e o

Nuevamente, si f (x) es unimodal y cncava en [a, b], entonces f (x) tendr solo un mximo o a a global x en [a, b] y ese mximo ser solucin del problema a a o maximizar sujeto a: f (x) a x b. (2.1)

Sin ms informacin, lo que se puede decir es que la solucin ptima para el problema anterior es a o o o algn punto en el intervalo [a, b]. Evaluaremos es dos puntos, digamos x1 y x2 (donde supondremos u que x1 < x2 ), en lugar de un punto como en el mtodo de biseccin. De esta forma, se podr reducir e o a el tamao del intervalo en que debe estar la solucin de (2.1), de forma ms rpida. Cuando n o a a evaluemos f (x1 ) y f (x2 ) puede suceder una de las siguientes situaciones:

18

CAP ITULO 2. METODOS DE BUSQUEDA UNIDIMENSIONAL Si f (x1 ) < f (x2 ), como f (x) es creciente en una parte del intervalo[x1 , x2 ], el hecho de que f (x) sea unimodal indica que la solucin optima de (2.1) no est en [a, x1 ], sino que o a x (x1 , b].

Figura 2.4: Esquema que ilustra el caso 1.

Si f (x1 ) = f (x2 ), para alguna parte del intervalo[x1 , x2 ], f (x) debe ser decreciente, y la solucin ptima para (2.1) debe ocurrir para alguna x < x2 . Por lo tanto, en este caso, o o x [a, x2 ].

Figura 2.5: Esquema que ilustra el caso 2.

Si f (x1 ) > f (x2 ), en este caso f (x) comienza a disminuir antes que x llegue a x2 . As , x [a, x2 ).

 2.2. METODO DE LA SECCION AUREA

19

Figura 2.6: Esquema que ilustra el caso 3. El intervalo en el que debe quedar x , ya sea [a, x2 ) o (x1 , b], se llama intervalo de incertidumbre. En trminos generales, los pasos a seguir son: e 1. Establecer una regin de incertidumbre [a, b] para x. o 2. Evaluar f (x) en dos puntos x1 y x2 , elegidos de manera juiciosa y determinar en cul de las a situaciones antes descritas estamos. 3. Encontrar un intervalo reducido de incertidumbre, a partir de la informacin anterior. o 4. Evaluar f (x) en dos nuevos puntos (adelante especicaremos cmo se eligen los puntos ino termedios). Volver al paso 2 a menos que la longitud del intervalo de incertidumbre sea sucientemente pequea. n Para elegir los puntos intermedios, correspondientes al mtodo, se procede de forma que la e reduccin en el intervalo sea simtrica. Los puntos x1 y x2 se obtienen de la siguiente forma o e x1 = b r(b a) (2.2)

x2 = a + r(b a). donde r es un nmero real positivo (ver gura 2.7 ) y denotaremos l0 = (b a). u

Figura 2.7: Reduccin del intervalo simtricamente. o e

20

CAP ITULO 2. METODOS DE BUSQUEDA UNIDIMENSIONAL

A partir de las situaciones analizados anteriormente se tiene que si f (x1 ) < f (x2 ), entonces x (x1 , b], mientras que si f (x1 ) f (x2 ), entonces x [a, x2 ), de forma que en realidad tenemos dos casos. Si f (x1 ) < f (x2 ), entonces el intervalo reducido de incertidumbre tiene longitud (b x1 ) = r(ba) y si f (x1 ) f (x2 ), entonces el intervalo reducido de incertidumbre tiene longitud (x2 a) = r(ba). As despus de evaluar f (x1 ) y f (x2 ), se ha reducido el intervalo a una longitud , e r(b a). Siguiendo este procedimiento se generan dos nuevos puntos, x3 y x4 , en los que se debe evaluar f (x).

Caso 1: f (x1 ) < f (x2 ).

El nuevo intervalo de incertidumbre, (x1 , b], tiene longitud (b x1 ) = r(b a), entonces: x3 = x2 = b r(b x1 ) x4 = x1 + r(b x1 )

Figura 2.8: Eleccin de los puntos intermedios. o Como puede observarse, el nuevo punto izquierdo x3 se hace igual al anterior punto o derecho x2 ; esto es, se aprovecha que el punto x2 ya se conoce, por lo que en la nueva iteracin solo debemos encontrar el nuevo punto x4 , realmente. De esta manera se reduce tambin el nmero e u de clculos e iteraciones. Lo anterior tambin nos permite determinar r, a e x2 = x3 a + r (b a) = b r (b x1 ) ; r (b a) + r (b a) (b a) = 0 r 2 + r 1 (b a) = 0
2

a + r (b a) = b r [r (b a)]

donde b x1 = r(b a)

1 5 r1,2 = 2 pero como r > 0 entonces nos quedamos con la solucin positiva o 1 + 5 r= 0,618. 2

r 2 + r 1 tiene soluciones

r2 + r 1 = 0

 2.2. METODO DE LA SECCION AUREA

21

Caso 2: f (x1 ) f (x2 ).

El nuevo intervalo de incertidumbre, [a, x2 ), tiene longitud (x2 a) = r(b a), entonces: x1 = x4 = a + r(x2 a), x3 = x2 r(x2 a)

Figura 2.9: Eleccin de los puntos intermedios. o el nuevo punto derecho, x4 , se hace igual al anterior punto izquierdo x1 . De la ultima relacin se determinar r, o x1 = x4 b r (b a) = a + r [r (b a)] b r (b a) = a + r (x2 a) ; donde x2 a = r(b a)

r + r 1 (b a) = 0

de nuevo r 2 + r 1 = 0, que ya hemos visto que tiene soluciones r1,2 y 1 + r= 2 1 = 2 5 5

0,618.

En cualquiera de los dos casos que estemos (y al continuar este proceso de manera similar) r 0,618. Con esto, en el mtodo de la seccin urea, f (x) se debe evaluar en solo uno de los e o a nuevos puntos. Resulta fcil vericar que: a l0 = (b a)

l2 = r 2 (b a) . . . lk = r k (b a) .

l1 = r (b a)

22

CAP ITULO 2. METODOS DE BUSQUEDA UNIDIMENSIONAL

As si se quiere que el intervalo nal de incertidumbre tenga una longitud (< ), se deben llevar a , cabo k iteraciones de la bsqueda de la seccin urea, donde r k (b a) < . u o a Ejemplo: Utilice el mtodo de la seccin urea para encontrar e o a maxf (x) = x2 1 sujeto a:

1 x 0,75

con un intervalo de incertidumbre nal de longitud menor que 1/4. Solucin: Primero determinemos cuntas iteraciones tenemos que llevar a cabo, o a [a, b] = [1, 0,75] l0 = (b a) = 1,75 r k (b a) <

(0,618)k (1,75) < 0,25 0,25 1 (0,618)k < = 1,75 7 1 k ln (0,618) < ln 7 k (0,48) < 1,95 1,95 k > = 4,06, 0,48 se requieren entonces 5 iteraciones. Comenzamos a iterar: Iteracion 1: Elegimos x1 y x2 de acuerdo con (2.2) y evaluamos la funcin en esos puntos o x1 = 0,75 (0,618) (1,75) = 0,3315 f (x1 ) = 1,1099

x2 = 1 + (0,618) (1,75) = 0,0815

f (x2 ) = 1,0066

notamos que f (x1 ) < f (x2 ), estamos en el primero caso, de forma que el nuevo intervalo de incertidumbre ser I1 = (x1 , b] = (0,3315, 0,75] y en este caso el nuevo intervalo de a incertidumbre tiene longitud l1 = (b x1 ) = 1,0815. Se establece x3 = x2 (es decir que el nuevo punto ixquierdo x3 ser el anterior punto derecho, x2 ). a Iteracion 2: Ahora determinamos x3 y x4 (como ya mencionamos x3 = x2 ) y evaluamos la funcin o en estos nuevos puntos x3 = x2 = 0,0815 f (x3 ) = f (x2 ) = 1,0066

x4 = 0,3315 + (0,618) (1,0815) = 0,3369

f (x4 ) = 1,1135

dado que f (x3 ) > f (x4 ), estamos en el segundo caso, ahora I2 = (a, x4 ] = (0,3315, 0,3369] con longitud l2 = 0,6684. El nuevo punto derecho se igual al anterior punto izquierdo: a x6 = x3 . Como l2 an no es menor que continuamos el proceso de forma similar. a Iteracin 3: Determinamos x5 y x6 y evaluamos en f (x) o x5 = 0,3369 (0,618) (0,6684) = 0,0762 f (x5 ) = 1,0058

x6 = x3 = 0,0815

f (x6 ) = f (x3 ) = 1,0066

dado que f (x6 ) < f (x5 ) I3 = [b, x6 ) = [0,3315, 0,0815], l3 = 0,4139 > 0,25 y x8 = x5 .

 2.3. METODO DE NEWTON Iteracin 4: Continuamos de forma similar o x7 = 0,0815 (0,618) (0,413) = 0,1737 f (x7 ) = 1,0307

23

x8 = x5 = 0,0762

f (x8 ) = f (x5 ) = 1,0058

dado que f (x8 ) > f (x7 ) I4 = (x7 , 0,0815] = (0,1737, 0,0815], l4 = 0,2552 > 0,25 y x9 = x8 . Iteracin 5: Determinamos x9 y x1 0 y evaluamos nuevamente en f (x) o x9 = x8 = 0,076 f (x9 ) = f (x8 ) = 1,0058

x10 = 0,1737 + (0,618) (0,2552) = 0,016

f (x10 ) = 1,0003

dado que f (x9 ) < f (x10 ) I5 = (x9 , 0,0815] = (0,0762, 0,0815] y l5 = 0,1577 < 0,25 (esto indica que hemos de detenernos) entonces la solucin ptima se encuentra en (0,0762, 0,0815]. o o Un resumen de estos resultados puede verse en el cuadro 2.1. Iteracin (i) o x2i1 x2i f (x2i1 ) f (x2i ) Caso: li 1 -0.3315 0.0815 -1.1099 -1.0066 I 1.0815 2 0.0815 0.3369 -1.0066 -1.1135 II 0.6684 3 -0.0762 0.0815 -1.0058 -1.0066 I 0.4139 4 -0.1737 -0.0762 -1.0307 -1.0058 II 0.2552 5 -0.076 -0.016 -1.0058 -1.0003 I 0.1577

Cuadro 2.1: Tabla de iteraciones del ejemplo.

2.3.

Mtodo de Newton e

El mtodo de biseccin converge lentamente al valor ptimo de una funcin, esto se debe a que e o o o la unica informacin que se usa sobre f (x) es el valor de f (x) en los respectivos valores de prueba o de x. De forma similar, en el mtodo de la seccin urea nosotros elegimos el nuevo intervalo e o a de incertidumbre considerando solamente los ultimos valores evaluados de f . Sin embargo, si se considera tambin la segunda derivada f (x), se podr obtener informacin adicional util. Este e a o nuevo enfoque es el que se aplica en el mtodo de Newton. e La idea bsica de este mtodo es aproximar f (x), en la vecindad de la solucin de prueba a e o inicial, mediante una funcin cuadrtica y despus maximizar (o minimizar) la funcin aproximao a e o da exactamente para obtener la nueva solucin de prueba y as iniciar la siguiente iteracin. La o o idea de trabajar con una aproximacin cuadrtica de la funcin objetivo se ha convertido en una o a o caracter stica clave de muchos algoritmos para problems ms generales de programacin lineal. a a o Esta funcin cuadrtica de aproximacin se obtiene al truncar la serie de Taylor despus del o a o e trmino de la segunda derivada. En particular, se considera que xi+1 es la solucin de prueba e o generada en la iteracin i para iniciar la iretacin i + 1 (de manera que x0 es la solucin de prueba o o o proporcionada por el usuario para comenzar la iteracin 1 ), la serie de Taylor truncada para xi+1 o es: f (xi ) (xi+1 xi )2 (2.3) f (xi+1 ) f (xi ) + f (xi )(xi+1 xi ) + 2

24

CAP ITULO 2. METODOS DE BUSQUEDA UNIDIMENSIONAL

Es conveniente hacer notar que ya que xi es conocida al iniciar la iteracin i + 1, entonces f (xi ), o f (xi ) y f (xi ) tambin lo son y se mantienen constantes en esta iteracin. As la expresin dada e o , o por (2.3) es una funcin cuadrtica de xi+1 , y adems es una aproximacin tan buena de f (xi+1 ) o a a o en la vecindad de xi , que sus valores y los de su primera y segunda derivada son exactamentre los mismos cuando xi+1 = xi . La funcin cuadrtica dada por (2.3) se puede maximizar igualando a cero su primera derivada o a y resolviendo para xi+1 . No hay que perder de vista que si f (x) es unimodal y cncava, entonces o la funcin cuadrtica (2.3) es tambin unimodal y cncava, por ello al igualar a cero la primera o a e o derivada y resolver, encontramos un mximo global. As de (2.3) podemos derivar, respecto de a , xi+1 ; con lo que obtenemos f (xi+1 ) f (xi ) + f (xi )(xi+1 xi ) + ... ya que, como se mencion antes xi , f (xi ), f (xi ) y f (xi ) son constantes. o (x Haciendo f i+1 ) = 0 en (2.4) y si f (xi ) es diferente de cero se tiene que: 0 f (xi ) + f (xi )(xi+1 xi ) + ... lo cual conduce a que xi+1 = xi f (xi ) f (xi ) (2.6) (2.5) (2.4)

de esta manera, xi+1 converge al valor x , en el cual la funcin alcanza su valor mximo, siempre o a donde f (x) (unimodal y convexa) alcanza que |xi+1 xi | sea pequeo. Cuando se busca el valor x n su m nimo, el proceso anterior es exactamente el mismo, sin ningn cambio. u La forma de detener el proceso iterativo descrito anteriormente es con alguno de los criterios siguientes 1.
|xi+1 xi | |xi+1 |

< (error relativo entre operaciones)

2. |xi+1 xi | < (error absoluto entre operaciones) 3. |f (xi )| < 4. |f (xi+1 ) f (xi )| < 5. Nmero mximo de iteraciones u a donde en cada caso representa una tolerancia dada. Nota: El proceso iterativo del mtodo de Newton puede fallar si la primera apriximacin a la e o ra es tal que la razn f (x0 )/f (x0 ) no es lo sucientemente pequea (ver gura 2.10). De esta z o n forma, la eleccin de la primera aproximacin a la ra de f es muy importante. Tambin puede o o z e

 2.3. METODO DE NEWTON

25

Figura 2.10: Ejemplo donde falla el mtodo de Newton. e

Algoritmo:
En trminos generales, el algoritmo de Newton se describe de la forma siguiente: e Paso inicial: Se proporciona una solucin de prueba inicial x0 por inspeccin. Se proporciona o o y se establece i = 0. Proceso iterativo: iteracin i o 1. Calcular f (xi ) y f (xi ). 2. Obtener xi+1 = xi
f (xi ) f (xi )

Prueba de decisin: si |xi+1 xi | < el proceso se detiene y xi+1 es la solucin ptima. En caso o o o contrario, se redene i = i + 1 y se regresa al paso 1 del proceso iterativo. Ejemplos: 1. Encontrar la solucin del problema o maximizarf (x) = 12x 3x4 2x6 Esta funcin es unimodal y cncava en R, adems o o a f (x) = 12 12x3 12x5 = 12(1 x3 x5 ) f (x) = 36x2 60x4 = 12(3x2 + 5x4 ) A partir de lo anterior se elige x0 = 1 y = 104 . Los puntos de aproximacin al valor ptimo o o se obtienen como x xi+1 = xi f (xi ) f (xi ) 12(1 x3 x5 ) i i = xi 12(3x2 + 5x5 ) i i (1 x3 x5 ) i i (3x2 + 5x5 ) i i

= xi +

26 As para i=0 se tiene: ,

CAP ITULO 2. METODOS DE BUSQUEDA UNIDIMENSIONAL

x1 = x0

f (x0 ) f (x0 ) (1 x3 x5 ) 0 0 = 1+ 2 + 5x5 ) (3x0 0 1 = 1+ 8 = 0,875

Las iteraciones necesarias para alcanzar la tolerancia requerida se sintetizan en la siguiente tabla: i 0 1 2 3 4 xi 1 0.875 0.84003 0.83763 0.83762 f (xi ) 7 7.8439 7.8838 7.8839 f (xi ) -12 -2.194 -0.1325 -0.0006 f (xi ) -96 -62.733 -55.279 -54.790 Ei = |xi xi1 | 0.125 0.03497 0.0024 0.00001

Entonces el valor donde f (x) alcanza su valor mximo es aproximadamente x =0.83762 y a f (x )=7.88395. 2. Consideremos la siguiente funcin a maximizar o f (x) = 4x3 3x4 . Primero notamos que nuestra funcin tiene primera y segunda derivada dadas por o f (x)

(2.7)

f (x) = 12(2x

= 12x2 12x3

(2.8)

3x2 )

y nuestra funcin es cncava para x 0.667, comenzaremos con x0 =0.7 y =0.25. Los o o resultados los vemos en la siguiente tabla: i 0 1 2 3 4 5 xi 0.7 2.8 2.0125 1.50782 1.20439 1.05179 f (xi ) 0.6517 -96.5888 -16.6075 -1.79442 0.675821 f (xi ) 1.764 -169.344 -49.2094 -13.8544 -3.55764 f (xi ) -0.84 -215.04 -97.5056 -45.6589 -23.3143 Ei = |xi xi1 | 2.1 0.7875 0.504683 0.303432 0.152595

Entonces el valor donde f (x) alcanza su valor maximo es aproximadamente x =1.05179 y f (x )=0.982774.

 2.4. METODO DE LA SECANTE

27

2.4.

Mtodo de la Secante e

Para optimizar la funcin f con el mtodo de Newton es necesario conocer la segunda derivada o e de la funcin f , o f (xi ) xi+1 = xi . (2.9) f (x1 ) En ocasiones, no disponemos de informacin sobre la segunda derivada (puede ser que solamente o tengamos informacin en forma de una tabla de datos o que simplemente no sea fcil de calcular), o a en este caso, ser imposible utilizar el mtodo de Newton. Una alternativa al mtodo de Newton a e e es el mtodo de la secante, este mtodo consiste en aproximar la segunda derivada de f utilizando e e informacin sobre la primera derivada. En particular, la idea es aproximar f (xi ) por medio de o f (xi ) f (xi ) f (xi1 ) xi xi1 (2.10)

de forma que usando la anterior aproximiacin para la segunda derivada, se obtiene el siguiente o mtodo de aproximacin conocido como mtodo de la secante e o e xi+1 = xi f (x xi xi1 f (xi ). i ) f (xi1 ) (2.11)

Notemos que el algoritmo anterior requiere de dos puntos iniciales para comenzar, que podemos denotar x(1) y x0 . Tambin puede reescribirse de la siguiente manera e xi+1 = f (xi )xi1 f (xi1 )xi . f (xi ) f (xi1 ) (2.12)

Observemos que al igual que en el mtodo de Newton, el mtodo de la secante no involucra direce e tamente a f sino a su derivada y a diferencia del mtodo de Newton, que usa la recta tangente a f e para determinar el siguiente punto, el mtodo de la secante utiliza la recta secante entre los puntos e i 1 e i para determinar el punto i + 1. Ejemplos: 1. Use el mtodo de la secante para encontrar el minimizador de la funcin e o 1 f (x) = x2 sin x, 2 comencemos con x1 =2 y x0 =1.5 y notemos que f (x) = x cos x i 0 1 2 3 4 xi1 2 1.5 0.775871 0.743002 0.739116 xi 1.5 0.775871 0.743002 0.739116 0.739085 f (xi1 ) 0.459698 1.42926 0.0401258 f (xi ) 1.42926 0.0401258 Ei = |xi xi1 | 0.5 0.724129 0.0328694 0.003886 0.000031

28

CAP ITULO 2. METODOS DE BUSQUEDA UNIDIMENSIONAL 2. Supongamos que disponemos de la serie de mediciones del voltaje en una resistencia al tiempo t que se muestran en la tabla. Se propone el siguiente modelo para determinar el voltaje a travs de una resistencia en un circuito e V (t) = eRt , donde V (t) es el voltaje al tiempo t y R es el valor de la resistencia. Estimar la mejor valor para R en este problema. Por mejor estimacin lo que queremos decir es el valor de R que o minimiza la suma total de los errores al cuadrado, entre los voltajes medidos y las predicciones del modelo. Utilicemos el mtodo de la secante para encontrar la mejor estimacin de R. e o ti Vi 0 1.01 1 0.1290 2 0.0190 3 0.0020 4 0.0004 5 0.00004

Primero, tenemos que determinar la funcin objetivo, notemos que la cantidad a minimizar o es justamente el error total al cuadrado, dado por:
n

f (R) =
i

Vi eRti

entonces esta es justamente la funcin objetivo y tenemos que determinar el valor de R que o minimiza esta funcin, de forma que la variable de decisin es R. Necesitamos la primera o o derivada, pero afortunadamente en el mtodo de la secante no se necesita la segunda derivada e
n

f (R) = 2
i

Vi eRti eRti ti

El algoritmo del mtodo de la secante resulta e Rk+1 = Rk f (Rk ) (Rk Rk1 ) f (Rk ) f (Rk1 ) Rk Rk1 n Rk1 ti )eRk1 ti t i i i=1 (Vi e

Rk+1 = Rk
n

n i=1 (Vi

eRk ti ) eRk ti t

Ejercicios:

i=1

Vi eRk ti eRk ti ti .

1. Considere la funcin f (x) = x4 5x3 2x2 + 24x. Utilizando el mtodo de biseccin encuentre o e o el mximo de esta funcin en el intervalo x = [0, 2] con una tolerancia =0.01. a o 2. Encontrar el m nimo de la funcin f (x) = x2 6x + 1 en el intervalo [0, 6] con una precisin o o =0.25 (mtodo de biseccin) e o 3. Usando el mtodo de bisecci e on, encontrar el mximo de la funcin f (x) = 2x3 9x2 + 12x a o en el intervalo [0,1.5] con una precisin =0.15 o

 2.4. METODO DE LA SECANTE 4. Aplique el algoritmo de la seccin urea para encontrar el mximo de la funcin o a a o f (x) = x2 + 2x en el intervalo [3, 5] con una tolerancia de 0.05. 5. Aplique el mtodo de la seccin urea para encontrar el mximo de la funcin e o a a o f (x) = x ex en el intervalo [1, 3] con una tolerancia de 0.05.

29

6. Escribir un programa que realice el algoritmo de la seccin urea para una funcin e intervalo o a o dados. La bsqueda debe continuar hasta que se alcance una tolerancia dada, pero no realice u ms de cien pasos en ningn caso. a u 7. Encontrar el m nimo de la siguiente funcin (seccin urea): o o a f (x) = (x2 0,01)e10x considere = 104

8. Usar el mtodo de Newton para encontrar en minimizador de la funcin e o 1 f (x) = x2 sin(x) 2 iniciando con x0 =0.5, usando = 105 y la condicin de paro |xk+1 xk | < . o 9. Considere la funcin o cuando 0 x 10., usando el mtodo de Newton obtenga el minimizador de f . e f (x) = x2 6x + 1,

(2.13)

10. Usando el algoritmo de Newton obtener el minimizador de la funcin f (x) = 2x3 9x2 + 12x o sujeta a 0 x 1, 5. 11. Usar el mtodo de Newton para calcular el valor ptimo de la funcin f (x) = x2 + 2x e o o eligiendo adecuadamente x0 . 12. Usando el mtodo de Newton obtenga el maximizador de la funcin f (x) = x ex eligiendo e o adecuadamente x0 . 13. Considere f (x) = x2 + 4 cos(x). Deseamos encontrar el minimizador x de f en el intervalo [1, 2] a) Gracar f (x) en el intervalo [1, 2] b) Usar el mtodo de la seccin urea para localizar x con una tolerancia de 0.2. Hacer e o a una tabla con estos datos. c) Aplicar el mtodo de Newton con la misma tolerancia comenzando con x0 = 1. e 14. Considere la funcin f (x) = 8e1x + 7 ln(x), o a) Gracar f (x) en el intervalo [1, 2] y vericar que esta funcin es unimodal en ese intervalo. o b) Hacer un programa que utilice el algoritmo de la seccin urea para localizar el minimio a zador de f en [1, 2] con una precisin de 0.23. Poner todos los pasos intermedios en una o tabla. c) Repetir el inciso anterior con el mtodo de la secante. e

30

CAP ITULO 2. METODOS DE BUSQUEDA UNIDIMENSIONAL

 Indice de guras
1.1. 1.2. 1.3. 1.4. Ejemplos de m nimos en el caso de una funcin de una viariable. . . . . o Grca de la funcin f (x, y) = xy. . . . . . . . . . . . . . . . . . . . . . a o Grca de f (x1 , x2 ) = 100(x2 x2 )2 + (1 x1 )2 . . . . . . . . . . . . . . a 1 Grcas de las funciones f (x, y) = x4 y 4 (izquierda) yf (x, y) = x4 + y 4 a . . . . . . . 6 . . . . . . . 7 . . . . . . . 8 (derecha). . 11 . . . . . . . . . . . . . . . . . . . . 14 16 17 18 18 19 19 20 21 25

2.1. Grca de la funcin f en el lado derecho y f a la izquierda. . . . . . . . . . . . a o 2.2. Grcas de las funciones f (x) = 12x 3x4 2x6 y df (x)/dx = 12(1 x3 x5 ). . a 2.3. Grcas de las funciones f (x) = x4 2x2 + 24 y df (x)/dx = 4x3 4x2 + 24. . a 2.4. Esquema que ilustra el caso 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5. Esquema que ilustra el caso 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6. Esquema que ilustra el caso 3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.7. Reduccin del intervalo simtricamente. . . . . . . . . . . . . . . . . . . . . . . . o e 2.8. Eleccin de los puntos intermedios. . . . . . . . . . . . . . . . . . . . . . . . . . . o 2.9. Eleccin de los puntos intermedios. . . . . . . . . . . . . . . . . . . . . . . . . . . o 2.10. Ejemplo donde falla el mtodo de Newton. . . . . . . . . . . . . . . . . . . . . . . e

31

32

INDICE DE FIGURAS

Bibliograf a

33

34

BIBLIOGRAF IA