Está en la página 1de 26

Optimizacin y Simulacin de Procesos

Enrique Eduardo Tarifa Facultad de Ingeniera - Universidad Nacional de Jujuy

Mtodos Numricos
Introduccin
Los mtodos analticos imponen demasiadas restricciones a las funciones objetivos. Adems, no siempre es posible resolver el sistema de ecuaciones analticamente. Por este motivo se desarrollaron los mtodos numricos. Existen dos tipos de mtodos numricos, a saber: Mtodos directos: slo utilizan los valores de las funcin objetivo. Mtodos indirectos: utilizan las condiciones necesarias, las derivadas (analticas o numricas) y la funcin objetivo. Los mtodos indirectos requieren el clculo de las derivadas primeras y segundas. Sin embargo, muchas veces obtener las derivadas es una tarea difcil, y hasta es posible que ni siquiera se conozca la forma analtica de la funcin objetivo. Esto plantea la necesidad de contar con mtodos capaces de trabajar nicamente con los valores (experimentos) de la funcin objetivo. Estos son los mtodos de bsqueda directa. La obtencin de un valor de la funcin objetivo significar en algunos casos evaluar un modelo matemtico, mientras que en otros significar realizar un experimento. Sea como sea, siempre ser conveniente llegar al ptimo realizando la menor cantidad de evaluaciones. Esa es la misin de los mtodos de bsqueda directa, a partir de los resultados de las evaluaciones realizadas, sugerirn el siguiente experimento de forma tal de aumentar la velocidad de convergencia. Es decir, que estos mtodos disearn un adecuado plan de experiencias. El plan de experiencias puede ser secuencial o simultneo. Cuando disponemos de un equipo por un tiempo limitado, puede ser que nos veamos obligados a realizar una serie de experimentos simultneos. Estos experimentos son independientes, los experimentos realizados no influyen sobre la forma de realizar el siguiente. Un mejor enfoque es el plan de experiencias secuencial. Este mtodo analiza los resultados obtenidos en un experimento para sugerir la forma de realizar el prximo. Los mtodos numricos que veremos utilizan una combinacin de este tipo de plan de experiencias, pero tratan de enfatizar en el plan de experiencias secuenciales. En las siguientes secciones veremos mtodos indirectos y directos para una sola variable y mtodos para mltiples variables.

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

Mtodos para una sola variable


Acotacin de la solucin A fin de reducir el esfuerzo en la bsqueda, es conveniente limitar el espacio que el mtodo numrico deber explorar. En el caso de una sola variable, esto significa dar un intervalo inicial dentro del cual est el punto ptimo. Lo mejor es tener un conocimiento sobre el significado fsico de las variables a fin de acotar la bsqueda a un espacio lgico; por ejemplo, las fracciones molares estarn entre 0 y 1. En el caso de no ser posible una acotacin del tipo anterior, se puede emplear un mtodo de exploracin acelerada; por ejemplo, hacer variar el ln(x), o tambin una grilla variable como la dada por: xk
1

xk

2k 1

(1)

Ejemplo Min f(x) (x 100)2 (2) = 1 da como resultado el

El procedimiento de acotacin utilizando la grilla variable con intervalo [63, 255]. x f(x) 0 104 1 9801 3 9409 7 8649 15 7225 31 4761

63 1369

127 729

255 2325

Mtodos Indirectos Mtodo de Newton Encuentra la raz de la derivada de la funcin objetivo. Para ello, utiliza el mtodo numrico para encontrar races de Newton. En este caso en particular, la ecuacin de iteracin es: xk
1

xk

f (x k) f (x k)

(3)

se debe verificar continuamente si realmente el nuevo punto es mejor que el anterior. La desventaja de este mtodo es que converge lentamente cuando la derivada segunda tiende a cero. Adems, necesita conocer la derivada primera y la derivada segunda. Mtodos Quasi-Newton Estos mtodos imitan el mtodo de Newton pero calculan numricamente las derivadas, como por ejemplo: xk
1

xk

(f(xk (f(x k h)

h)

f(xk

h))/(2 h) f(x k h))/h 2 (4)

2 f(xk)

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

En este caso se utilizaron diferencias centrales para estimar las variables, pero tambin es posible utilizar diferencias hacia adelante ([f(x+h)-f(x)]/h) o hacia atrs ([f(x)-f(x-h)]/h). La nica desventaja de este mtodo es que requiere ms evaluaciones de la funcin objetivo que el anterior. Mtodo de la Secante En este caso se aplica el mtodo para encontrar races de la secante. Para este caso en particular la frmula de iteracin es: x a (f (b) f (a) f (a))/(b a) (5)

Inicialmente se elige a y b para que f(a) tenga distinto signo de f(b). Luego x* reemplazar a a o b segn corresponda para mantener la diferencia de signos entre los extremos, y as sucesivamente. Esta variante de la secante se denomina regula falsi.

Mtodos directos Funcin unimodal Se dice que una funcin es unimodal si la funcin siempre empeora cuando nos alejamos del punto ptimo. Ejemplos de funciones unimodales para el caso en que se maximiza (y*):

Figura 1: Unimodalidad en una dimensin. Criterio de eliminacin de regiones Si la funcin es unimodal, se puede definir un criterio para eliminar regiones donde seguro el ptimo no se encuentra. Para ello necesitamos evaluar la funcin en dos puntos y aplicar algo de lgica. En la Figura siguiente se sobre la regin eliminada para los tres casos posibles en la bsqueda de un mximo:

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

Figura 2: Criterio de eliminacin de regiones.

Intervalo de incertitud mximo El intervalo que permanece luego de la eliminacin se denomina intervalo de incertitud. Este intervalo depende de la ubicacin de los puntos (x) y de la forma de la funcin. Para independizarlo de esta ltima se define el intervalo de incertitud mximo ( Max), ste es el peor caso. Entonces, si se realizan dos experimentos x1 y x2 en el intervalo [a,b]:

1 2 Max

[a, x2] [x1, b] Max{ 1, 2}

Minimax Al ser el Max independiente de la funcin evaluada, sirve para establecer un criterio de comparacin entre los mtodos de una sola variable denominado Minmax. Este criterio establece que cuando se comparan dos mtodos, se debe determinar en cada paso el Max, al final se selecciona el mtodo que tiene el mnimo Max. Por otra parte, podemos utilizar este criterio para disear un buen mtodo. Si el criterio plantea que un buen mtodo debe tener un Max mnimo, entonces podemos planear los experimentos de tal forma que ello ocurra. En otras palabras, determinamos x1 y x2 resolviendo el siguiente problema de optimizacin:

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

Min
x1,x2

Max

En la siguiente Figura se muestra la solucin de este problema en forma grfica:

Figura 4: Criterio del Minimax. donde = x1-x2, la solucin ptima es


x

a b 2

En conclusin, el criterio de Minimax sugiere colocar los puntos en forma simtrica dando como resultado que los dos posibles intervalos de incertitud sean iguales al Mximo intervalo de incertitud.

Mtodo de la dicotoma Este mtodo plantea una secuencia de pares de experiencias simultneas. En la siguiente Figura se muestra el correspondiente diagrama de flujo. El valor de no puede ser muy pequeo porque puede verse afectado por los errores de redondeo de la computadora. En este trabajo se sugiere un valor igual a la mitad del intervalo final de incertitud deseado. Este procedimiento tiene una ventaja adicional y es que se puede estimar fcilmente el error de la solucin; esto es, se podr afirmar que la solucin es igual x* .

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

Mtodo del nmero de oro El mtodo del nmero del nmero de oro es una mejora del anterior en el sentido que se inicia con un par de experiencias simultneas pero luego contina nicamente con experiencias secuenciales. Esto se logra ubicando los puntos de tal forma que el punto que queda dentro del intervalo de incertitud producido por la eliminacin puede ser utilizado nuevamente. Para ello, los puntos deben cumplir con dos nuevas relaciones. La primera se obtiene de analizar la siguiente Figura:

Figura 6: Intervalos de incertidumbre.

j 2

j 1

(8)

La otra relacin es:


j 2 j 1 j 1 j

(9)

Resolviendo ambas ecuaciones se obtiene para  el valor nmero de oro.

1 2

1.618 que se denomina

Estas relaciones junto con el dato del intervalo inicial y la colocacin en forma simtrica de las variables determinan el mtodo por completo. En la siguiente Figura se muestra el diagrama de flujo correspondiente. Observe que esta vez el valor de es variable y no es controlable a diferencia del mtodo de la dicotoma. Ahora el error de la solucin deber calcularse como el Max{ *- *, *}.

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

Mtodo de la serie de Fibonacci Este mtodo, al igual que el anterior, tambin se inicia con dos experimentos simultneos y luego contina con experimentos secuenciales. La diferencia radica en que la relacin de proporcionalidad empleada por el nmero de oro es reemplazada por un dato adicional, el final. Se aconseja tomar este valor como igual a 0.4 / FN, donde FN es el valor N de la serie de Fibonacci definida como: Fk Fk 1 Fk 2 F0 1 F1 1 (10)

El problema del mtodo anterior es que debe darse como dato el valor de N que no dice mucho. Una mejora sera solicitar como dato el intervalo de incertitud final deseado y estimar a partir de all el N. Para ello debe elegirse el menor N que hace positivo calculado como: FN FN 2
1

(11)

para ello basta que se cumpla: FN  b a (12)

Nuevamente el error deber estimarse como Max{ *- *, *}. En la siguiente pgina se presenta el diagrama de flujo correspondiente.

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

10

Comparacin Desde el punto de vista de velocidad de reduccin del intervalo de incertitud, el mtodo de la dicotoma es el mejor. Esto es porque el se puede elegir tan pequeo que casi se elimina la mitad del intervalo por iteracin. Sin embargo, requiere mayor cantidad de clculos. El mtodo de Fibonacci supera ligeramente en velocidad de reduccin al mtodo del nmero de oro, pero tiene una programacin algo ms compleja. En general, se recomienda el mtodo el mtodo del nmero de oro. En frmulas, para N evaluaciones de la funcin objetivo, se tienen los siguientes intervalos de incertitud final:
dicotoma

b a

oro

Fibonacci

b a FN

2N/2 b a 1.618N 1 FN 2 b a  FN FN

(13)


Interpolacin cuadrtica Dado tres puntos y los correspondientes valores de la funcin objetivo, podemos ajustar una parbola del tipo: f(x) a x2 b x c (14)

Derivando e igualando a cero podemos encontrar el punto ptimo de la parbola que ser una aproximacin del punto ptimo buscado, la ecuacin que se obtiene para el punto aproximado es: f (x) 2 a x b 2 a b 0 (15)

(16)

1 (x2 x3 ) f1 2 (x2 x3) f1

(x3

x1 ) f 2 x1) f2

(x1 (x1

x2 ) f 3 x2) f3

(x3

(17)

Luego, x* sustituye a uno de los puntos de la terna original de acuerdo al siguiente criterio (para minimizar): 1. Si x* est entre x2 y x3: a. Si f* < f2 y f* < f3 entonces eliminar x1. b. Si f* > f2 y f* < f3 entonces eliminar x3. c. Si f* > f2 y f* > f3 entonces hay un error numrico.
Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

11

2.

Si x* est entre x1 y x2: a. Si f* < f2 y f* < f1 entonces eliminar x3. b. Si f* > f2 y f* < f1 entonces eliminar x1. c. Si f* > f2 y f* > f1 entonces hay un error numrico.

Funciones de dos o ms variables


Introduccin Ahora se vern los mtodos destinados a optimizar funciones con dos o ms variables. Nos concentraremos principalmente en los casos en que no existen restricciones. En tales caso slo deberemos revisar los puntos crticos para encontrar los puntos extremos. Es decir, que primero deberemos encontrar todos los puntos que anulan todas las derivadas parciales simultneamente. Luego estos puntos sern clasificados como mnimos o mximos de acuerdo al criterio del Hessiano. Para ello definiremos primero los Hessianos parciales de orden k como:
2f x 1
2

2f 2f ...  x 1 x 2 x1x k 2f x 2


2

Hk

2f x2x1

...

2f x2x k

...
2f x k x 1 2f ... x k x 2 2f x k
2

Si todos los Hessianos parciales tienen determinantes positivos en un punto crtico, entonces se trata de una matriz definida positiva y el punto analizado ser un mnimo. Si los determinantes tienen signos alternos, comenzando por H1 < 0, entonces el punto analizado es un mximo. Cuando algn determinante sea nulo, tenemos una matriz semidefinida y nada se puede afirmar. Por ejemplo, considere la funcin f(x) = x4 tiene una matriz semidefinida en el punto x=0; sin embargo, en ese punto hay un mnimo. Los problemas que enfrentaremos al tratar ms de una variable son: La propiedad de unimodalidad falla y su definicin es muy restringida. Problemas de aristas. Imposibilidad de establecer criterios de eficiencia independientes de la funcin optimizada. Definicin de unimodalidad Vamos a definir tres tipos de unimodalidad, ellos son: Unimodal: Una funcin es unimodal si por cualquier punto del dominio pasa una trayectoria que conduce al punto ptimo, y la funcin siempre mejora a medida que nos acercamos al ptimo por dicha trayectoria. Fuertemente unimodal: Si toda recta que pasa por el ptimo es unimodal.
Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

12

Linealmente unimodal: Si cualquier recta que pasa por el dominio es unimodal.

Figura 9: Unimodalidad. Un problema que surge de la gran cantidad de clculos que debe realizarse es que el ruido provocado por el error de redondeo crece en magnitud. Esto dar origen a falsos ptimos locales cuando el paso de bsqueda se reduce mucho. Problema de aristas El problema de aristas es un problema muy comn y surge cuando la funcin depende muy poco de alguna variable, pero la posicin del ptimo depende fuertemente de todas las variables. Los mtodos deben ser diseados para superar este problema o de lo contrario reportarn puntos ptimos falsos. En la siguiente Figura se ilustra cul es el problema.

Figura 10: Problema de arista. Criterio de eficiencia Un problema que tenemos que enfrentar ahora es la falta de un criterio de eficiencia general. Esto dificulta tanto la comparacin entre mtodos como el diseo de un mtodo eficiente. Se puede afirmar que la eficiencia de un mtodo depende de: El problema a optimizar. El punto de partida y los intervalos iniciales de prueba.
Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

13

La computadora y precisin utilizada.

Podemos decir que un buen mtodo debe surgir de resolver el siguiente problema de optimizacin (planteado para el caso de bsqueda de mximos):
N 1

Max
,dx,N

f(xk 1) f(x k)

k 1

xk 1

Clulos xk k dx k

donde

es el paso que dar en la direccin dx.

Restricciones Las restricciones pueden transformar un problema que era unimodal en bimodal (ver la Figura 11). Los mtodos que veremos son para problemas sin restricciones, sin embargo es posible aplicarlos si se sigue la siguiente secuencia de pasos: Si el problema tiene restricciones fuertes (de igualdad), elimine cada una de ella despejando una variable y reemplazando sta en el resto de las ecuaciones. Repita el procedimiento hasta haber eliminado todas las restricciones fuertes y sus correspondientes variables. Optimice sin considerar las restricciones dbiles (desigualdades). Si todas las restricciones se cumplen, entonces ya encontr el ptimo. Identifique las restricciones que no se cumplen. Tome de a una las que no se cumplen y transfrmelas en igualdad. Resuelva nuevamente el problema. Si an no encontr el ptimo, tome de a dos las restricciones que no se cumplen y resuelva el problema nuevamente, y as sucesivamente.

Figura 11: Regin bimodal. En la siguiente Figura se ilustra un caso en que tanto h1 como h2 no se cumplen, pero basta con tomar como igualdad a h2 para encontrar el ptimo.
Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

14

Figura 12: Optimo con restricciones. Mtodo de una variable a la vez Este mtodo es funciona bien cuando las curvas de nivel son circulares, siempre llega al ptimo en dos etapas; pero fracasa cuando se encuentra con curvas de nivel elpticas que originan aristas.

Figura 13: Mtodo de una variable a la vez. Mtodo del mximo gradiente Para interpretar grficamente este mtodo necesitamos determinar la relacin entre las curvas de nivel y el gradiente de una funcin. Sea la funcin f(x,y), entonces podemos definir una curva de nivel como f(x,y) = k. Diferenciando se tiene:
f dx x f dy y

Entonces, la direccin tangente a la curva es: dy dx fx fy

Es decir que el f es perpendicular a la curva de nivel porque su pendiente es igual a la inversa cambiada de signo de la pendiente de la lnea tangente a la curva de nivel. Otro resultado interesante de probar es que el gradiente es la direccin de mayor cambio. Para ello resolvemos el siguiente problema:
Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

15

Max df ds fx cos( )

df ds f y sin( )

derivando e igualando a cero: df s d f x ( sin( )) sin( ) cos( ) tan( ) fy cos( ) fy fx

Es decir, f es la direccin de mayor pendiente positiva. El mtodo del mximo gradiente utiliza la direccin f para realizar la bsqueda. Si las curvas de nivel son circulares, el mtodo llega al ptimo en un solo paso. En la Figura 14 se muestra esto junto con dos variantes del mtodo, en la primera se optimiza a lo largo de la direccin de f, en el otro se da un paso determinado de antemano que luego se va reduciendo. Esta ltima variante es la que se ilustra con el diagrama de flujo de la pgina siguiente.

Figura 14: Mtodo del gradiente.

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

16

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

17

Mtodos empricos Estn basados en la experiencia y son los ms aconsejables. No requieren el clculo de las derivadas parciales. En las pginas siguientes se dan los diagramas de flujo de dos mtodos. El primero es el Simplex y el otro es el Nelder y Mead, el segundo es el de Hooke y Jeeves. La siguiente Figura muestra los pasos elementales que emplea el mtodo de Nelder y Mead.

Figura 16: Pasos en el mtodo de Nelder y Mead. En la siguiente Figura se ilustra algunos pasos del mtodo de Hooke y Jeeves.

Figura 17: Pasos en el mtodo de Hooke y Jeeves.

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

18

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

19

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

20

Direcciones conjugadas La experiencia demostr que la bsqueda a travs de direcciones conjugadas es una buena alternativa. Dos direcciones p y q con respeto a la matriz cuadrada definida positiva Q son conjugadas si: pT Q q 0 (24)

En general, un conjunto de n direcciones linealmente independientes sern conjugadas con respecto a la matriz cuadrada definida positiva Q si: (s i)T Q (s j) 0 0  i C j  n 1 (25)

Si Q = I tenemos el caso especial de ortogonalidad. En optimizacin, Q = H (el Hessiano). Si la funcin objetivo de n variables es cuadrtica, Fletcher y Reeves (1964) demostraron que se puede alcanzar el ptimo en n etapas, si en cada etapa se optimiza en la correspondiente direccin conjugada. Las direcciones conjugadas no son nicas, se debe especificar una direccin inicial para que el resto queden determinadas. Si la funcin fuese cuadrtica, el desarrollo de Taylor sera: f(x) f(x k s k) f(x k)
T

f(x k)

sk

1 ( s k)T H(x k) ( s k) 2

(26)

para obtener el paso que optimiza en la direccin sk, derivamos e igualamos a cero: df(x k d s k) 0
T

f(x k) s k

(s k)T H(x k) ( s k)

(27)

despejando:
opt T

f(x k) s k

(s k)T H(x k) (s k)

(28)

Ejemplo Minimizar: f(x) 2 x1


2

x2

(29)

partiendo del punto (1,1) y la direccin inicial (-4,-2). Primero, calculamos el Hessiano y utilizamos la definicin de direcciones conjugadas para
Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

21

encontrar la otra direccin: [ 4 2] 4 0 s1


1

0 2 s1 2

(30)

Debido a que no hay una nica solucin, tomamos s11 = 1 y determinamos la componente restante: 1 [ 16 4] s2
1

(31)

por lo tanto, la direccin conjugada es (1,-4). Verifiquemos ahora si se alcanza el ptimo en dos etapas. Optimizando en la direccin (-4,-2), de la ec. 25, tenemos: [4 2]
0

4 2 4 2 20 72 (32)

[ 4 2]

4 0 0 2

Luego, el nuevo x es: x1 x0


0

s0

1 1

20 72

4 2

0.1111 0.4444

(33)

A continuacin se optimiza en la direccin (1, -4): [ 0.4444 0.8888]


1

1 4 1 4 0.111 (34)

[1 4]

4 0 0 2

damos el nuevo paso: x2 x1


1

s1

0.1111 0.4444

0.1111

1 4

0 0

(35)

que concuerda con el punto ptimo.


Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

22

Clculo de la direccin conjugada sin usar derivadas Partiendo del punto x0, localice el punto xa que minimice la funcin en la direccin s. Luego, parta de otro punto x1 distinto del primero y localice el punto xb que minimice la funcin en la misma direccin s. La direccin (xb - xa) es conjugada a s. La Figura 20 muestra esta situacin.

Figura 20: Determinacin de direcciones conjugadas.

Mtodos indirectos
Los mtodos directos fueron los primeros utilizados para problemas sin restricciones, y son frecuentemente utilizados en los procesos qumicos debido a que son fciles de entender y de implementar. Sin embargo, no son tan eficientes y robustos como los modernos mtodos indirectos. Mtodo del Gradiente Es el mtodo que vimos previamente, tambin conocido como el mtodo de Cauchy, se trata de un mtodo indirecto de primer orden porque utiliza el gradiente. Este mtodo tiene el inconveniente que a medida que nos acercamos al ptimo (o a un punto crtico) su velocidad de convergencia disminuye notoriamente (el gradiente tiende a anularse). Sin embargo, tiene una buena velocidad en las primeras etapas, cuando estamos lejos del ptimo. Siempre se debe verificar que el punto encontrado no sea un punto de ensilladura. Otra desventaja del mtodo es su elevada sensibilidad al escalado de la funcin objetivo provocando una baja velocidad de convergencia y fuertes oscilaciones. Gradiente conjugado Este mtodo fue diseado por Fletcher y Reeves (1964). Utiliza como direccin de bsqueda una combinacin lineal del gradiente actual con el gradiente de la iteracin anterior. Es una notable mejora con respecto al mtodo original, porque para funciones cuadrticas se puede demostrar que las sucesivas direcciones de bsqueda son conjugadas, por lo tanto el ptimo se encuentra en n pasos, donde n es el nmero de variables.
Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

23

En resumen, el mtodo sigue los siguientes pasos (para minimizar): s0 xk 1 xk f(x 0)


k

(36) sk f(x k 1) f(x k)

(37)

sk 1

f(x k 1)

sk

f(x k 1)
T

f(x k)

(38)

donde el paso

se hace minimizando en la direccin sk.

A medida que se acerca al ptimo, se parece cada vez ms al mtodo del Gradiente, y con los mismos inconvenientes. Mtodo de Newton Es un mtodo indirecto de segundo orden porque utiliza una aproximacin de Taylor de segundo orden: f(x) f(x k)
T

f(x k)

xk

1 ( x k)T H(x k) ( x k) 2

(39)

Derivando e igualando a cero, tenemos: f(x) f(x k) H(x k) xk 0 (40)

La ecuacin anterior representa un sistema de ecuaciones donde la incgnita es el vector: xk xk 1 xk [H(x k)] 1 f(x k) (41)

Note que el mtodo establece tanto la direccin como la magnitud del paso. Nos debemos asegurar que H permanece definida positiva para asegurar un mnimo. El mtodo tiene la gran ventaja de comportarse mejor a medida que ms cerca est del ptimo, al contrario del mtodo del Gradiente.

Forzando a la matriz H Como es importante que el Hessiano se mantenga definido positivo, Marquardt (1963), Levenberg (1944) sugirieron utilizar una matriz modificada que se mantuviera definida positiva: H (x) H(x)

 I

(42)

donde  se elige suficientemente grande como para que la nueva matriz sea definida positiva cuando el Hessiano no lo sea.
Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

24

Una alternativa es: [H (x)] 1 H 1(x)

 I

(43)

donde  tambin es un escalar suficientemente grande para mantener la caracterstica de definida positiva. Para estimar el valor de  se puede utilizar el valor del autovalor ms negativo, esto es:

 > min( i)

(44)

Note que si este factor es demasiado grande, entonces I predomina y el mtodo tiende al mtodo del Gradiente. Mtodo de la Secante Este mtodo slo utiliza los valores de la funcin y del gradiente; luego, la matriz Hessiana es aproximada por una combinacin de los otros dos. Estos mtodos tambin se conocen como mtodos quasi-Newton. Criterios de terminacin Los siguientes criterios se recomiendan para evitar problemas de escalado:

f(x k 1) f(x k) < f(x k)


(45)

o si la funcin tiende a cero: f(x k 1) f(x k) <


2

(46)

xi

k 1

xi
k

<

xi

(47)

o si xik tiende a cero:


xi

k 1

xi <

(48)

f(x k) <

(49)

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

25

sk 1 <

(50)

Normalizacin Para evitar problemas numricos es conveniente normalizar las variables. Para ello necesitamos establecer los valores mnimos y mximos posibles para cada una de ellas, luego la normalizacin se hace de la siguiente manera:

x nor

x x max

x min x min

(51)

Optimizacin y Simulacin de Procesos. Mtodos Numricos. Enrique Eduardo Tarifa - Universidad Nacional de Jujuy

26

También podría gustarte