Está en la página 1de 88

1 1.

1 Elementos del problema de Optimizacin Hemos establecido que la optimizacin consiste en la bsqueda de un grupo de variables manipulables con la finalidad de maximizar o minizar una caracterstica de un sistema. Desde un punto de vista de Ingeniera, la optimizacin es posible cuando hemos modelado la carcaterstica deseable del sistema, tambin denominada funcin objetivo. La mayora de los problemas de optimizacin tienen una estructura que es similar, lo que permite darles un tratamiento generalizado. Los elementos de un problema de optimizacin son:

1 Categora Una funcin objetivo a minimizar o maximizar. Esta funcin objetivo, dentro del problema de optimizacin, recibe el nombre de modelo econmico. 2 Categora Un conjunto de restricciones de igualdad (ecuaciones), que corresponden a identidades matemticas impuestas por el diseo, el equipo o el modelo matemtico del sistema. 3 Categora Un conjunto de restricciones de desiguladad (inecuaciones), que corresponden a limitaciones fsicas (o de operacin) impuestas por el diseo, el equipo o el modelo matemtico del sistema. Durante el curso utilizaremos la siguiente notacin:

minimizar: f ( x )

funcin objetivo vector de restricciones independientes de igualdad. vector de restricciones independientes de desigualdad.

sujeto a : h( x ) = 0 : g( x ) 0

en esta notacin: x = x1 x2 ... xn


T

es el vector de variables manipulables en un problema de optimizacin.

suficiente revisar el problema de minimizacin, pues m x ( x) mn - ( x) . Por n denotaremos el nmero de variables en optimizacin, por m1 denotaremos el nmero de restricciones de igualdad, y por m2 el nmero de restricciones de desigualdad.

en

general

es

Se tienen los siguientes casos:

Caso Interpretacin m1 < n nmero de incgnitas es mayor que el nmero de ecuaciones que las relaciona. El sistema es subdeterminado, o con infinitas soluciones. De ese conjunto de soluciones, slo una satisface el problema de optimizacin. m1 = n nmero de incgnitas es igual al nmero de ecuaciones que las relaciona. El sistema es determinado y slo se requiere resolver el sistema de restricciones de igualdad. Esta solucin es, por definicin, la solucin del problema de optimizacin. m1 > n nmero de incgnitas es menor que el nmero de ecuaciones que las relaciona. El sistema es sobredeterminado, ningn conjunto de soluciones satisface todas las retricciones de igualdad. Lo mismo suceder para el problema de optimizacin. Figura 1.1
Grfica de una funcin objetivo bidimensional

20 18 16 14
f (x1, x2)

12 10 8 6 4 2 0 4

3 2 1 3 2 1 0 -1 -2 -1 -2 -3 -3 -4 -4

x1

Las restricciones operan entre variables de optimizacin, de modo que ellas aparecen en el plano de nivel x1 , x2 . Las restricciones pueden ser funciones de constantes o simplemente funciones lineales o no lineales.

Figura 1.2
Restricciones en el plano de nivel x1-x2
4 g3(x) g4(x) 2 g2(x) g5(x) x2 0 Dominio factible h1(x)

g1(x) -2 Curva de soluciones satisfactorias

-4 -4 -3 -2 -1 0 x1 1 2 3 4

Ejemplo N 1:

Planteamiento de un problema de optimizacin:

Se dispone del siguiente equipo existente, para separar un componente valioso:

4 se necesitan determinar las condiciones de operacin que maximizarn la recuperacin del sistema.

Etapa N 1: se formula la funcin objetivo y el modelo que relaciona las variables.

R=

m1,out V2 y1,2 F1 2 y1,2 1 2 y1,2 = = = m1,in Fz1,1 Fz1,1 z1,1

deseamos obtener la mxima recuperacin, es decir, nuestra funcin objetivo puede escribirse:

minimizar: f ( x ) =

1 2 y1, 2
z1,1

recordamos ahora que, suponiendo que las corrientes alcanzan, las fracciones vaporizadas pueden escribirse en trminos de las constantes de vaporizacin como:
= z1 z2 K1 1 1 K2

y las composiciones de equilibrio pueden calcularse como:

xi , j =

(K

zi , j

i, j

1 +1

; yi , j =

(K

zi , j Ki , j 1 +1

i, j

suponiendo ahora solucin ideal, tenemos que:


sat P i Ki = Ki = Ki ( P, T ) P

de acuerdo con el modelo indicado, tenemos que:

f ( x ) = f y1, 2 , z1,1 , T1 , T2 , P 1, P 2

Etapa N 2: Establecer las restricciones de igualdad.

Puesto que el equipo existe, su geometra est completamente definida. Las caractersticas de su alimentacin estarn impuestas por la planta que precede a la separacin:

5
z1,1 = z1 h1 = z1,1 z1 ,1 ,1 = 0 P 1 = P P 1 h2 = P 1 P + P 1 = 0 P2 = P h3 = P2 P 1 P 2 1 + P 2 = 0

Obviamente tenemos ac ecuaciones y modelos para el clculo de la prdida de carga.


Etapa N 3: Establecer las restricciones de desigualdad.

al separar el producto, podemos necesitarlo con una pureza mnima:

y1,2 esp. g1 = y1,2 esp. 0


de igual forma, la flexibilidad del equipo (su diseo estructural, o su capacidad de intercambio de calor), podr soportar un rango determinado de temperaturas y presiones, lo que define rangos factibles para T y P.

Una vez que se ha definido completamente el problema se procede a seleccionar una tcnica de optimizacin, lo que dice estricta relacin con la naturaleza de las funciones involucradas. La funcin objetivo puede ser continua (o continua por secciones), para lo que nos podra servir una tcnica con derivadas. Si es lineal, existen tcnicas especiales para tratarla, como la programacin lineal. Tambin puede ser discreta, por ejemplo: el dimetro de una caera o el rea de intercambio de calor. En este caso podemos seleccionar un modelo que represente continuamente a la funcin objetivo, y seleccionar el valor ms prximo al dimetro o al rea. Existen casos discretos que no pueden resolverse con la tcnica anterior, por ejemplo, las piezas de una mquina son discretas. Si se quiere resolver el problema de dar la mayor durabilidad de operacin al mnimo costo, es necesario combinar calidades. Existe para este caso una tcnica especial de optimizacin, denominada programacin entera. En Ingeniera Qumica, muchos problemas clsicos pueden resolverse utilizando funciones continuas o continuas por tramos. Dedicaremos una parte abundante del programa al tratamiento de tales funciones.

1.2 Teora bsica de Funciones Continuidad Una funcin unidimensional es continua en un punto x si:

a. f ( x0 ) existe. b. lm f ( x ) existe, y es nico aproximndose direccionalmente a x c. lm f ( x ) = f ( x0 )


x x0
x x0

el concepto de continuidad tiene gran importancia en optimizacin, pues permite seleccionar una tcnica ad-hoc.

Funcin discontinua (a)


50 40 30 f(x) f(x) 20 10 0 Punto de discontinuidad 70 60 50 40 30 20 10 0 0 2 4 x 6 8 10 12 0

Funcin continua (b)

2 x

El caso (a) podra producirse por un cambio de tecnologa, por ejemplo, la eficiencia de dos compresores recomendados para ciertos rangos de flujo. Se observa la presencia de un mximo que podra ser alcanzado con tcnicas diferenciales, dependiendo del valor inicial. El caso (b), corresponde a un caso continuo, este tipo de funciones se obtienen comnmente al aplicar valor absoluto (por ejemplo, en ajuste de parmetros). Aunque la funcin es comtinua por definicin, no es diferenciable. Una tcnica de derivadas puede fallar.

Funciones uni y multimodales.

Otro aspecto de gran importancia cuando se buscan puntos candidatos al ptimo, dice relacin con la monotona de las funciones. En optimizacin, la monotona se denomina modalidad de una funcin. Una funcin se define unimodal en un dominio definido cuando presenta un solo punto estacionario (mximo o mnimo) en el dominio de estudio. Por otro lado, se dice que una funcin es multimodal en un dominio definido cuando presenta varios puntos estacionarios. El caso (a), por ejemplo, es unimodal, pues presenta un solo punto estacionario, que correponde a un mximo. El caso (b) presenta mnimos y mximos, dando origen a una funcin multimodal. Cuando las funciones son continuas y de clase C2 , la unimodalidad puede ser estudiada analizando la segunda derivada. La funcin ser unimodal cuando el signo de su segunda derivada no cambia. Desde el punto de vista de la optimizacin, el caso ms sencillo ocurre cuando las funciones objetivo son unimodales.

Funciones cncavas y convexas

Una funcin es matemticamente cncava en una regon R, si al tomar dos puntos de la regin, se cumple que:

f ( xa + ( 1 ) xb ) f ( xa ) + ( 1 ) f ( xb ) ; 0 1
desde un punto de vista grfico, esto signfica que el hiperplano que une dos puntos de la funcin evaluada se sita por debajo de la funcin. Una funcin convexa se define invirtiendo la desigualdad:

f ( xa + ( 1 ) xb ) f ( xa ) + ( 1 ) f ( xb ) ; 0 1
en funciones objetivo unidimensionales, la situacin grfica es la siguiente:

Funcin cncava
16 14 12 10 f(x) 8 6 4 2 0 0 1 2 3 x 4 5 6 7 f(x) xb xa 0 -2 -4 -6 -8 -10 -12 -14 -16 0

Funcin convexa

xb

xa

3 x

el concepto de concavidad y convexidad, permite clasificar el punto extremo (mximo o mnimo) como un extremo global. La tcnica ms poderosa para estudiar la concavidad o convexidad de una funcin de clase C2 , es el anlisis de la segunda derivada.

d 2 f 2 dx

> 0 funcin convexa : < 0 funcin cncava = 0 punto de silla (o de inflexin)

las funciones multidimensionales pueden ser aproximadas localmente por expansiones en serie de Taylor de funciones cuadrticas:

f ( x ) = f ( x 0 ) + T f ( x 0 )( x x 0 ) +

T 1 x x 0 ) H( x x 0 ) ( 2

Donde H es la matriz de segundas derivadas parciales, o Hessiana:

2f x 2 21 f ( ) H x = x2x1 M 2 f xnx1

2f x1x2 2f 2 x2 2f xnx2
M

O ...

2f ... x1xn 2f ... x2xn 2f 2 xn


M

9 recordamos que para funciones diferenciables, se cumple la identidad:


2 f 2 f xix j x jxi

de donde se deduce que la Hessiana es una matriz simtrica. El estudio de la concavidad o convexidad de una funcin multidimensional en un punto x0 , puede extenderse de lo que ya sabemos para las ecuaciones cuadrticas. La funcin es convexa cuando el Hessiano es definido positivo y cncava cuando es definido negativo.
Definiciones:

1. Una matriz es definida positiva ssi


2. Una matriz es definida negativa ssi 3. Una matriz es indefinida ssi 4. Una matriz es semidefinida positiva ssi 5. Una matriz es semidefinida negativa ssi

x Mx > 0 x 0
T T

x Mx < 0 x 0

> 0 para x a 0 x T M x < 0 para x b 0 ; x b x a


x Mx 0 x 0
T

x Mx 0 x 0
T

En base a lo anterior, y haciendo la analoga con funciones cuadrticas a partir de la expansin en serie de Taylor, la definicin del Hessiano permite averiguar la caracterstica cncava y convexa de una funcin.

Una funcin es cncava si H es semidefinido negativo. Una funcin es estrictamente cncava si H es definido negativo. Una funcin es convexa si H es semidefinido positivo. Una funcin es estrictamente convexa si H es definido positivo.

Teorema:

Una funcin es estricamente convexa en un punto x0 , cuando los valores propios de la Hessiana en ese punto son positivos.
Demostracin:

Puesto que una funcin es convexa cuando es definida positiva, se tiene: x0 H ( x0 ) x0 = > 0
T

10

donde es una constante escalar positiva, que tambin puede ser escrita como:
= x0 x 0
T

puesto que es positivo, tambin debe serlo, por aparecer como multiplicador de una norma de vectores. Notamos ahora que: x0 H ( x0 ) x0 = x0 x0 H ( x0 ) x0 = Ix0
T T

donde I es la matriz identidad de dimensin equivalente a la Hessiana. En esta ltima ecuacin, puesto que x0 es un vector no nulo, se deduce que:

H I = 0
Esta ltima ecuacin define el problema de los valores caractersticos de una matriz. Tomando determinante a ambos lados, se obtiene el polinomio caracterstico de la matriz H, cuyas races son precisamente los valores propios. Recordamos que el polinomio caracterstico tiene el mismo orden que su matriz asociada, por tanto el nmero de valores caractersticos corresponde a la dimensin de la matriz. Como la Hessiana es simtrica, todos sus valores propios son reales.
Corolarios del teorema:

Una funcin es convexa cuando todos los valores propios son mayores o iguales que cero (Hessiana semidefinida positiva). Una funcin es estrictamente cncava todos los valores propios son negativos. Una funcin es cncava cuando todos los valores propios son menores o iguales que cero. Cuando una funcin combina simultneamente valores propios negativos y positivos, o bien, cuando todos los valores propios son nulos, su geometra es silla de montar.

11

Grfica de una funcin indefinida

Ejemplo : Determine si la siguiente funcin es cncava o convexa


2 2 f ( x ) = 2 x1 + 2 x1 x2 + 1.5 x2 + 7 x1 + 8 x2 + 24

Tomando las primeras derivadas parciales, se tiene:

f = 4 x1 + 2 x2 + 7 x1 f = 2 x1 + 3x2 + 8 x2

12 De las segundas derivadas parciales:


2 f =4 2 x1 2 f =3 x2 2 2 f 2 f = =2 x1x2 x2x1 de esta forma, la Hessiana asociada a f (x) ser:

4 2 H = 2 3
es decir, una matriz de constantes para todos los reales. Calculamos ahora los valores propios de H:

2 2 4 = 7 + 8 = 0 det H I = det 3 2

los valores propios son: 1 = 5.5616 2 = 1. 4384 puesto que ambos son positivos, la funcin es estrictamente convexa en todo . En otras palabras, esta funcin tiene un solo mnimo, este mnimo es global y nico.

13

Grfica de una funcin objetivo bidimensional

140 120 100


f (x1, x2)

80 60 40 3 20 0 3 2 0 -1 -2 -1 -2 -3 -3 -4 -4 2 1 1
x
2

x1

Una segunda forma que permite determinar la caracterstica de la Hessiana, es el de los determinantes de los menores principales:

Cuando los elementos de la diagonal de la Hessiana son positivos, y los determinantes de todos los menores principales son positivos, la Hessiana es definida positiva.

Regiones cncavas y convexas

Cuando se optimiza una funcin objetivo sujeta a restricciones, existe un dominio factible en donde se encuentra la solucin. Se define un dominio convexo como aquel cuyo hiperplano que une dos elementos del dominio, tiene todos sus puntos contenidos en el dominio:

14

Dominio convexo

xa

xb

Notamos en la figura que:

x = x a + ( 1 ) x b ( con 0 1)
En el mismo caso anterior, cuando la regin factible de optimizacin es externa a la elipse, se tendr:
Ejemplo de regin cncava

xa

xb

en este caso, algunos de los puntos de la lnea (hiperplano) que une dos elementos del dominio, no estan contenidos en el dominio.
Teoremas (topologa matemtica):

1. La interseccin de dos regiones convexas siempre es convexa. 2. La unin de dos regiones convexas, no necesariamente define una regin convexa.

15

a U b

Las regiones cncavas y convexas adquieren relativa importancia cuando se combinan restricciones de desigualdad en un mismo problema de optimizacin.

16
2. Optimizacin de funciones continuas sin restricciones

El problema de minimizacin de funciones continuas sin restricciones se reduce a: minimizar: f ( x ) utilizando como dominio factible a todos los reales. En clases anteriores indicamos que las condiciones necesarias y suficientes para la existencia de mximos y mnimos es: a. la funcin es diferenciable en el mnimo, al menos dos veces. b. f ( x0 ) = 0

c. H ( x ) es definida en el punto candidato.

tambin hemos indicado que una funcin minimizable en el sentido de las condiciones expuestas, es aproximable por una expansin de Taylor cuadrtica (o de mayor orden) en las vecindades del mnimo:

1 f ( x) = f ( x 0 ) + T f ( x 0 ) x + x T H( x 0 ) x 2 x = x x0

(2.1)

La ecuacin (2.1) representa exactamente a la funcin cuando esta es cuadrtica, y puede ser utilizada para el clculo del mnimo. En particular, tenemos:

f ( x ) = f ( x 0 ) + H ( x 0 ) x = 0 H ( x 0 ) x = f ( x 0 )

(2.2)

cuando (2.2) representa exactamente a la funcin cuadrtica, la minimizacin es directa y no requiere iteraciones. Cuando la funcin no es cuadrtica, la Hessiana y el gradiente cambian con las coordenadas, (2.2) puede ser utilizada en forma iterativa para la localizacin del mnimo:

H x j x j +1 = f x j

( )

( )

x j +1 = x j + x j +1

(2.3)

La ecuacin (2.3) es muy eficiente cuando es "facil" obtener un conjunto de derivadas analticas de la funcin objetivo, pues en ella se reconoce el algoritmo clsico del mtodo de Newton, cuyas propiedades de convergencia nos son familiares: depende del punto inicial y de la funcionalidad de las derivadas en las variables. En un problema real de optimizacin, la tarea de obtener derivadas consume bastante tiempo, y no siempre la ecuacin (2.3) es una alternativa del todo adecuada. A modo de ejemplo, analicemos la funcin:

17
4 2 f ( x1 , x2 ) = 25 x1 + 18 x2 + 23 x1 x2 + 5 x1 + 3 x2 7

para este caso particular, se tiene:


3 f / x1 5 + 100 x1 + 23 x2 0 = f ( x ) = = f / x2 3 + 23 x1 + 36 x2 0

con la Hessiana respectiva:


2 300 x1 23 H( x) = 36 23

obviamente ahora la definicin de la Hessiana es variable y depende de x1 ; puesto que la funcin no es cuadrtica, la Hessiana tampoco es una matriz de elementos constantes. Figura 2.1: Grfica de la funcin

En la figura 2.2 se puede apreciar el desempeo del mtodo de Newton considerando dos puntos de iniciacin. El problema converge al mnimo rpidamente al T tomar x T 0 = ( 0.5 0.5) , pero una situacin diferente se tiene al tomar x 0 = ( 0 1) . En la misma figura es posible apreciar que el mtodo va generando direcciones secuenciales de bsqueda.

18

Figura 2.2 Minimizacin de una funcin utilizando la tcnica de Newton (Sensitividad al punto de partida)

Una opcin interesante al mtodo anterior, en el que la funcin es analtica, es definir direcciones de bsqueda, y minimizar a lo largo de esas direcciones. Analicemos la ventaja de esta alternativa: Dada s, una direccin de bsqueda, se obtiene la trayectoria de la lnea de bsqueda utilizando la ecuacin:
x = x0 + ts

(2.1)

en donde t es un parmetro de variacin. La ecuacin (2.1) es la ecuacin de la recta en el hiperespacio. Notemos ahora que, al tomar una direccin definida:

19

f ( x ) = f ( x 0 + t s) = f ( t )

(2.2)

la ecuacin (2.2) indica que al definir una direccin, y conocido un punto inicial de bsqueda, la funcin multivariable se transforma en una funcin de una sola variable. Esta situacin es claramente ventajosa, pues minimizar funciones de una dimensin es un problema ms sencillo. A modo de ejemplo, considrese la proyeccin de f (x) en dos direcciones distintas, a partir de x T 0 = ( 1 1)

88

sT = ( 1 -1 ) 66

fs(t) 44

22 sT = ( 1 1 )

-1

1 t

claramente se aprecia que una de las direcciones sT = ( 1 1) es ms conveniente, pues es estrictamente cncava, en la otra direccin se aprecia un cambio de concavidad, que es justamente la que est provocando problemas en el mtodo de Newton al tomar xT 0 = ( 0 1) . El segundo enfoque entrega informacin direccional de la funcin, lo que lo hace ms adecuado para objetivos generales. Desde el punto de vista de la optimizacin, la minimizacin por direcciones definidas es mucho ms cmoda. Estrategia de optimizacin de funciones continuas n-dimensionales
1. 2. 3. 4. Definir un punto inicial. Definir una direccin. Minimizar a lo largo de la direccin. Repetir los pasos 2. , 3. hasta obtener el mnimo

2.1 Tcnicas de minimizacin de funciones en una dimensin.

20

En la seccin anterior, hemos visto que independientemente de la dimensin de la funcin a optimizar, la minimizacin en una dimensin es una componente del problema general de optimizacin. Este captulo se dedica a la revisin de los mtodos de minimizacin unidireccionales. La tcnicas de minimizacin unidireccional pueden clasificarse en dos familias:

Mtodos directos: son aquellos que minimizan utilizando evaluaciones secuenciales de la funcin. Mtodos indirectos: cuando las funciones son de clase Cn , la bsqueda de puntos estacionarios es equivalente a resolver la nulidad del gradiente. Al ser este el caso, no se requiere directamente evaluar la funcin, sino ms bien, iterar sobre sus derivadas.

La seleccin de una u otra tcnica depende de la diferenciabilidad de la funcin en el dominio factible, que posibilitar el clculo y la evaluacin de las derivadas.
Mtodos Directos. a. Mtodos de Contraccin del Dominio. La base de estos mtodos consiste en acotar una regin unimodal del dominio, y muestrear la funcin en un grupo de puntos. Generalmente, estos mtodos proceden sobre un mximo de cuatro muestreos, para evitar las evaluaciones excesivas de la funcin:

Al cumplirse la condicin:
15 14 13 12 f (x) 11 10 9 f (x3) 8 7 -2 -1 0 1 x 2 3 4 f (x2) f (x4)

f x j < f x j +1 < f x j + 2 con x j < x j +1 <


f (x1)

( )

( )

( )

con j = 1; en el supuesto de que la funcin es unimodal, es posible eliminar la regin ( x1 , x 2 ) , para acotar el mnimo a la regin (x2 , x 4 ) y volver a producir una subdivisin de cuatro muestreos en el dominio. Cuando j = 2, es posible eliminar la regin ( x 3 , x 4 ) , y reducir el estudio a la regin ( x1 , x 3 ) . Esta tcnica puede ser interpretada como un acotamiento del mnimo, que proceder hasta que: x1 x 4

21 Si bien la subdivisin del dominio unimodal es completamente arbitraria, existen tcnicas que permiten seleccionarlo de modo de evaluar la funcin un mnimo de veces, pues obviamente el nmero de evaluaciones de la funcin incide sobre el tiempo requerido para la convergencia.
Tcnica de la seccin urea

Consideremos un trazo de longitud L, con subdivisiones internas como se indica:

la seccin urea corresponde a la siguiente ley de proporciones:


x+y y = y x con x+y= L cuya solucin para raices positivas es:

(2.3)

x=

3 5 5 1 L ; y= L 2 2

(2.4)

de esta forma, los puntos de muestreo para una funcin sern:

xa ; xb =

3 5 5 1 ( ( xd xa ) + xa ; xd xd xa ) + xa ; xc = 2 2

(2.5)

por cada etapa de reduccin de dominio, la seccin urea contrae el dominio de bsqueda al 50( 5 1) = 61. 8% . cuando f ( x a ) > f ( x b ) > f ( x c ) se elimina la regin x a x b , revisando los puntos ( xb , xc , xd ) , los que siguen en proporcin urea, bastando introducir un solo nuevo punto. De lo contrario se elimina la

22 regin x c x d , revisando los puntos ( xa , xb , xc ) , los que siguen en proporcin urea, bastando introducir un solo nuevo punto.

Ejemplo Consideremos la minimizacin de la funcin f ( x ) = x ; como se sabe, esta funcin no es diferenciable en cero, donde presenta un mnimo absoluto:

1. se busca una regin donde la funcin sea convexa, de modo de acotar el mnimo. En nuestro caso, el mnimo est acotado por -1 < x < 1. 2. se subdivide el dominio de acuerdo a la regla (2.5)

xa = 1; xd = 1; xb =

3 5 5 1 ( ( xd xa ) + xa = 0.2361 xd xa ) + xa = .2361; xc = 2 2
2.0

1.5 x 1.0 f (x) 0.5

0.0
regin eliminada

-0.5 xa -1.0 -1.5 -1.0 -0.5 0.0 x 0.5 1.0 1.5 xb xc xd

xa

xc

xd

como f ( x a ) > f ( x b ) > f ( x c ) no se cumple, entonces se elimina la regin x c x d , y se inicia un nuevo ciclo de eliminacin. Los puntos del dominio restante se encuentran en proporcin urea, de modo que para repetir la nomenclatura del ciclo se tiene:
1 0 xa = xa 1 0 f ( xa ) = f ( xa ) 1 0 xd = xc 1 0 f ( xd ) = f ( xc ) 1 0 xc = xb 1 0 f ( xc ) = f ( xb ) 1 xb =

3 5 1 ( xd xa1 ) + xa1 2 1 evaluar f ( xb )

23 si f ( x a ) > f ( x b ) > f ( x c ) se cumple, entonces se elimina la regin x a x b , los puntos vuelven a encontrarse en seccin urea de modo que:
1 0 = xb xa 1 0 ) = f ( xb ) f ( xa 1 0 = xd xd 1 0 ) = f ( xd ) f ( xd 1 0 = xc xb 1 0 ) = f ( xc ) f ( xb 1 = xc

5 1 1 ( xd xa1 ) + xa1 2 1 ) evaluar f ( xc

en cualquiera de los dos casos es posible observar que se requiere solo una nueva evaluacin por ciclo.
i 0 1 2 3 4 5 6 7 8 9 10

xa
-1.0000 -1.0000 -0.5279 -0.2361 -0.2361 -0.1246 -0.0557 -0.0557 -0.0294 -0.0132 -0.0132

xb
-0.2361 -0.5279 -0.2361 -0.0557 -0.1246 -0.0557 -0.0132 -0.0294 -0.0132 -0.0031 -0.0069

xc
0.2361 -0.2361 -0.0557 0.0557 -0.0557 -0.0132 0.0132 -0.0132 -0.0031 0.0031 -0.0031

1.0000 0.2361 0.2361 0.2361 0.0557 0.0557 0.0557 0.0132 0.0132 0.0132 0.0031

xd

f (xa )
1.0000 1.0000 0.5279 0.2361 0.2361 0.1246 0.0557 0.0557 0.0294 0.0132 0.0132

f (x b )
0.2361 0.5279 0.2361 0.0557 0.1246 0.0557 0.0132 0.0294 0.0132 0.0031 0.0069

f (xc )
0.2361 0.2361 0.0557 0.0557 0.0557 0.0132 0.0132 0.0132 0.0031 0.0031 0.0031

f (xd ) 1.0000
0.2361 0.2361 0.2361 0.0557 0.0557 0.0557 0.0132 0.0132 0.0132 0.0031

Propiedades de convergencia de la seccin urea

Por cada ciclo iterativo, la seccin urea contrae el dominio al 61.8%, entonces se tiene:
0 0 ) L1 = 0.618 L0 = 0.618( xd xa 2 L2 = 0.618 L1 = 0.618 L0 M Ln = 0.618 n L0

(2.6)

n n ) = , donde es un criterio de convergencia. Tomando en cuenta lo pero Ln = ( xd xa anterior, el nmero de ciclos para llegar a un error determinado es: 0 0 ) ln ln( xd xa n= ln 0.618

(2.7)

para contraer el dominio al 1% se requiere de unas 12 iteraciones, lo que corresponde a 15 evaluaciones de la funcin. El orden de convergencia del mtodo de la seccin urea es de 3/2, bastante comparable al mtodo de Newton, sumando adems la ventaja de que la

24 funcin no tiene porqu ser diferenciable, y que en algunos casos, ni siquiera se requiere una funcin continua. Es absolutamente necesario, en todo caso, que la funcin sea convexa en el dominio inicial, y unimodal (montona) antes y despus del mnimo.
b. Mtodos de interpolacin

Una sucesin de puntos no colineales de una funcin continua, puede ser aproximada por un polinomio de grado (n-1), donde n corresponde al nmero de puntos no colineales. En tales casos puede ser de utilidad la interpolacin cuadrtica a la cbica.

Interpolacin cuadrtica

cuando se conocen 3 puntos de tendencia convexa de una funcin objetivo uni-dimensional, segn se muestra en la figura:

f(x)

f(xa) f(xc) f(xb)

es posible ajustar una funcin cuadrtica, donde:


2 ax a + bx a + c = f ( x a )

ax 2 b + bx b + c = f ( x b ) 2 ax c + bx c + c = f ( x c ) cuya solucin parcial es:

( xb xa )( xc xa )( xc xb ) 2 ( f ( xb ) f ( xc )) + xb2 ( f ( xc ) f ( xa )) + xc2 ( f ( xa ) f ( xb )) xa b= ( xb xa )( xc xa )( xc xb )
una cuadrtica como la indicada, tiene punto extremo cuando:

a=

xa ( f ( xb ) f ( xc )) + xb ( f ( xc ) f ( xa )) + xc ( f ( xa ) f ( xb ))

25

2 ( f ( xb ) f ( xc )) + xb2 ( f ( xc ) f ( xa )) + xc2 ( f ( xa ) f ( xb )) 1 xa b = x = 2a 2 xa ( f ( xb ) f ( xc )) + xb ( f ( xc ) f ( xa )) + xc ( f ( xa ) f ( xb ))
*

(2.8)

la ecuacin anterior es exacta cuando el ajuste procede sobre la cuadrtica, pero puede proceder iterativamente cuando la ecuacin original no lo es:
* x* j +1 = x j +1 xa , j , xb , j , xc , j

(2.9)

Casos :

si f(x b ) > f ( x * ) y f(x* ) < f ( xc ) nuevo rango: x b x * xc xb < x < xc * * * si f(x b ) < f ( x ) y f(x ) < f ( xc ) nuevo rango: x a xb x
*

si f(x a ) > f ( x * ) y f(x* ) < f ( xb ) nuevo rango: xa x * xb xa < x < xb * * * si f(x a ) > f ( x ) y f(x ) > f ( xb ) nuevo rango: x xb xc
*

La velocidad de convergencia del mtodo es variable, depende fundamentalmente del grado cuadrtico de la funcin objetivo.

Interpolacin cbica

Al igual que en el caso anterior, la base del mtodo es minimizar el ajuste de una funcin, ahora se trata de un polinomio cbico:

f ( x) = a 3x3 + a 2 x2 + a1x + a 0

(2.10)

dada la evaluacin de 4 puntos de una regin convexa del dominio, los coeficientes polinmicos se calculan resolviendo el sistema:
3 2 xa xa x3 x2 b b 3 2 xc xc 3 2 xd xd

xa xb xc xd

1 a3 f a 1 a2 f b = 1 a1 f c 1 a0 f d

(2.11)

el punto estacionario en (2.10) puede obtenerse de:

2 a 2 4 a 2 df 2 * 2 12 a 3a1 = 3a 3x + 2a 2 x + a1 = 0 x = dx 6a 3

(2.12)

eligiendo x* de modo que:

26

d2f dx2

= 6a 3x* + 2a 2 > 0
x*

(2.13)

la ecuacin (2.13) es representativa de una regin convexa para la cbica de aproximacin. Cuando se dispone adems de informacin diferencial, bastan dos puntos para evaluar la cbica, y :

f b' + w z ( x xa ) x = xb ' f b f a' + 2w b


*

z=

3( f a f b )

( xb xa )

+ f b' + f a'
1/ 2

(2.14)

w = ( z 2 f b' f a' )

obviamente, los puntos a y b son representativos de una regin convexa para la que si xa < x b , entonces fa' < 0 y fb' > 0. El requisito de la funcin es la convexidad y la continuidad.
Mtodos indirectos

Los mtodos indirectos se caracterizan por no evaluar directamente la funcin a minimizar, sino ms bien, su informacin diferencial (primera y segunda derivada). Todos estn basados en el Mtodo de Newton y algunas modificaciones numricas.
Mtodo de Newton

El problema de la minimizacin es equivalente a la anulacin puntual de la primera derivada, con requisitos necesarios y suficientes para que el punto corresponda a un mnimo: f ' ( x) = 0 f '' ( x) 0 (2.15)

generalmente ocurre que en un modelo no lineal, la primera derivada es tambin no lineal, de manera que puede ser anulada utilizando el mtodo ordinario de iteracin NewtonRaphson. Consideremos una expansin de Taylor de segundo orden, en la vecindad de un punto x k

1 f ( x ) = f ( x k ) + f ' ( x k )( x x k ) + f '' ( x k )( x x k )2 2

(2.15)

27

el mnimo debe cumplir la condicin necesaria:


f ' ( x ) = 0 = f ' ( x k ) + f '' ( x k )( x x k ) x = xk f ' (xk ) f '' ( x k )

(2.16)

el mnimo en (2.16), corresponde al mnimo de la aproximacin afn de segundo orden. Si f(x) es cuadrtica, la solucin es exacta; pero si no lo es, se puede utilizar la frmula recursiva de iteracin: x k +1 = x k f ' (xk ) f '' ( x k )
Mtodo Quasi-Newton

(2.17)

El mtodo Quasi-Newton consiste en aproximar numricamente las derivadas en (2.17). Se sabe que: f ( x + h) f ( x h) h 0 2h + 2 f ( x) + f ( x h) f x h ( ) f '' ( x ) = lm h 0 h2 f ' ( x ) = lm reemplazando (2.18) en (2.17), con h suficientemente pequeo, se obtiene:
x k +1 = x k h f ( x k + h) f ( x k h) 2 f ( x k + h) 2 f ( x k ) + f ( x k h)

(2.18)

(2.19)

notamos que el mtodo requiere tres evaluciones de la funcin por iteracin. Si el costo de tiempo de evalucin de la funcin es elevado (por ejemplo, una funcin objetivo resultante de un clculo no lineal), el mtodo es poco recomendable. Otro aspecto que debe tenerse en cuenta, es que la frmula (2.19) es una aproximacin, por tanto, de ella no se obtiene el mnimo exacto, sino que solamente el punto que anula a la primera derivada numrica de la funcin.

28

Mtodo de la secante (variable mtrica unidimensional)

En este caso, la primera derivada de la funcin a minimizar es conocida y analtica, lo que no se conoce es su segunda derivada. Consideremos la redefinicin:
g( x) = f ' ( x) g '( x) = f '' ( x) x k +1 = x k g( x k ) g'( x k ) (2.20)

la derivada g'(x) puede ser aproximada por una recta que una dos puntos de la curva:
g' ( x k ) = g ( x k ) g ( x k 1 ) x k x k 1

(2.21)

de esta forma:
x k +1 = x k g( x k ) x k x k 1 g ( x k ) g ( x k 1 ) Interpretacin grfica del mtodo

(2.21)

g(x)

xk

xk+1

xk-1

La partida del mtodo requiere de la definicin de dos puntos iniciales, posteriormente la construccin de la secuencia es automtica. La ecuacin (2.21) se indefine numricamente en el mnimo exacto, lo que hace recomendable utilizarla como: x k +1 = x k g( x k ) x k x k 1 g ( x k ) g ( x k 1 ) +

(2.22)

29

puesto que el mtodo de Newton es el que define todas las bsquedas indirectas, es obvio esperar que estos mtodos conserven las mismas ventajas y desventajas de la metodologa materna.

2.2 Acotado de regiones funcionales convexas

Para todos los mtodos anteriores, fundamentalmente los directos, hemos discutido que es necesario acotar un dominio donde la funcin tiene caracterstica convexa. En general, esto no es sencillo cuando la funcin no tiene restricciones, y puede ser comparado a bajar un cerro en la oscuridad. Sintomticamente, la primera informacin la da la derivada local de un punto de partida, pues si: df > 0 : la funcin es minimizable en el sentido en que x decrece dx df < 0 : la funcin es minimizable en el sentido en que x crece dx

(2.23)

posteriormente, es necesario muestrear la funcin en el sentido de la minimizacin, hasta encontrar una condicin en la que: f ( x k +1 ) > f ( x k ) f ( x k ) < f ( x k 1 ) cuando x k+1 > x k > x k 1 x k +1 < x k < x k 1 (2.24)

Obviamente, 2.24 no garantiza que la funcin sea convexa:


40 30 20 10 f(x) 0

-10 -20 -30 xk-1 -40 -3 -2 -1 0 x 1 2 3 xk xk+1

en este caso, cualquier mtodo podra dar solucin sobre un mnimo falso de la funcin (o relativo). La metodologa que veremos aqu, permite solucionar el problema matemtico de

30 encontrar un punto estacionario, pero no garantiza si estamos acotando un mnimo relativo o uno absoluto. Generalmente es conveniente perturbar la solucin de un problema de minimizacin, para establecer la calidad del punto encontrado. Una tcnica que permite acotar el mnimo, consiste en utilizar el muestreo:

xk +1 = xk + sgn( f '( x0 )) 2k

(2.25)

donde es un factor de expansin que lleva el signo de la primera derivada en el punto inicial de bsqueda (o bracketting). Esta tcnica puede ser combinada con cualquiera de los mtodos que hemos visto, por ejemplo, la seccin urea entre muestreos sucesivos, o informacin sobre las derivadas superiores de f(x).

31
Captulo #3 Optimizacin de funciones N-Dimensionales

En el captulo anterior, se introdujeron algunas ideas bsicas relativas a la optimizacin de funciones de mltiples dimesiones, lo que en resumen corresponda a utilizar minimizaciones unidimensionales secuenciales a travs de mltiples direcciones estrategicamente seleccionadas. Estrategia de optimizacin de funciones continuas n-dimensionales
1. 2. 3. 4. Definir un punto inicial. Definir una direccin. Minimizar a lo largo de la direccin. Repetir los pasos 2. , 3. hasta obtener el mnimo

Los diferentes algoritmos de optimizacin para este tipo de funciones, difieren nicamente en la metodologa utilizada para ir generando direcciones secuenciales. Al igual que en el caso de la minimizacin 1-D, los algoritmos se clasifican como directos e indirectos.
3.1 Mtodos directos

Los mtodos directos se caracterizan por evaluar directamente una funcin para obtener informacin acerca del mnimo. Es necesario, entonces, definir una estrategia para que con el mnimo nmero de evaluciones de la funcin, sea posible obtener el punto ptimo.

3.1.a. Mtodos de Malla El mtodo de malla consiste en evaluar una funcin en los vrtices de una geometra predefinida. A modo de ejemplo, en dos dimensiones, esta geometra puede ser un cuadrado regular. Se busca el vrtice de menor valor para f (x), que constituir el centroide para la construccin de un nuevo cuadrado regular. La geometra cuadrada regular suele denominarse diseo factorial central, y es muy comn para definir una estrategia de experimentacin en dos variables. Ntese que por diseo, son necesarias 3n 1 evaluaciones de la funcin (n: nmero de variables de dependecia), situacin que en funciones de muchas variables hace prohibitivo el mtodo.

32

3.1.a. Mtodo Simplex Es Simplex es una variacin del mtodo de malla, en este caso, se utiliza una figura geomtrica cerrada de (n+1) vrtices y lados iguales, donde n es el nmero de variables independientes de la funcin. En el caso de dos dimensiones, esta figura es un tringulo equiltero. la funcin se evala en los (n+1) vtices, y se proyecta como imagen especular del de mayor valor:
x2

x1

f(x 3 ) < f(x 1 ) y f(x 2 ) < f(x 1 ) x3

33 En la medida que el mtodo avanza hacia el mnimo, generalmente ocurrir que la figura geomtrica pasar por los mismos puntos. Cuando este es el caso, se procede a la compactacin los lados, por ejemplo, biseccin, hasta una toleracia aceptable para la presicin del mnimo. Uno de los cdigos ms utilizados en paquetes comerciales de optimizacin, es el mtodo de Nelder-Mead (1965)1, que toma las ideas expuestas aqu, pero considera mtodos ms eficientes para la proyeccin del polgono equiltero, como para su compactacin.
3.2 Mtodos Direccionales

Los mtodos direccionales pueden ser calificados de directos o indirectos de acuerdo a la informacin que utilicen para avanzar hacia un mnimo. La base de estos mtodos consiste en minimizar unidimensionalmente una funcin, utilizando direcciones predefinidas. Se define la proyeccin de una funcin en una direccin s segn:

f s ( x) = f x s = f ( q)

x s = x 0 + qs

( )

(3.2.1)

en este caso, q corresponde al parmetro de la funcin, en tanto que los x s corresponden a la ecuacin de una recta en el espacio. Cuando una funcin N-Dimensional se proyecta en una direccin, se transforma en una funcin exclusiva del parmetro q, segn se observa en (3.2.1), una funcin unidimensional. El mnimo direccional de f (x) proyectado en s, debe cumplir la condicin de mnimo, es decir:

df ( q ) 0 dq

d 2 f ( q) 0 dq 2
Ejemplo

(3.2.2)

Considere la funcin:

2 2 f ( x1 , x2 ) = 2 x1 + x2 3

analice la proyeccin de la funcin en la direccin s T = 4 2 , considerando el punto T x0 = 1 1 , y obtenga tambin el mnimo direccional.
Solucin:

1Nelder,

J. and Mead, R., 1965. A Simplex Method for Function Minimization. The Computer Journal,7:308

34 El lugar geomtrico de las variables en la direccin, se calcula por:

1 4 x = x 0 + qs = + q 1 2

x1 = 1 4 q x2 = 1 2q

entonces la proyeccin de f en s ser:

f s ( x ) = 2( 1 4q ) + ( 1 2q ) 3
2 2

= 36q 2 20q
una parbola convexa. Minimizando f en funcin de q, es posible obtener el mnimo direccional: dfs 5 = 72 q 20 = 0 q = dq 18 y el mnimo direccional de f en s es:

1 5 4 1 / 9 x* = + = 1 18 2 4 / 9

Teorema:

El gradiente de una funcin n-dimensional evaluado en el mnimo direccional, es ortogonal a la direccin.


Demostracin:

El mnimo direccional se obtiene al resolver la ecuacin: dfs ( q ) =0 dq puesto que: dfs ( q ) df ( x( q )) = dq dq

35

utilizando la regla de la cadena para la derivacin, tenemos:

df ( x (q )) f dx1 f dx2 f dxn = + +L+ dq x1 dq x2 dq xn dq dx1 dq f f f dx2 = L dq xn x1 x2 M dx n dq dx = T f ( x) dq


dado que:
x = x 0 + qs

se deduce dx =s dq

df ( x (q )) dx = T f ( x (q )) = T f ( x (q )) s dq dq

en el mnimo direccional, se tiene:

df ( x (q )) = 0 = T f ( x * (qmn )) s dq
ecuacin que indica ortogonalidad. Veamos que esto se verifica para el ejemplo:
2 2 f ( x1 , x2 ) = 2 x1 + x2 3
T = 1 1 en la direccin s T = 4 2 es: el mnimo direccional encontrado a partir de x 0

1 / 9 x* = 4 / 9
por tanto:

36

4 x1 4 / 9 f ( x * ) = = 2 x2 8 / 9
y

4 T f ( x * ) s = [ 4 / 9 8 / 9] = 0 2
interpretacin geomtrica del teorema:

x0

x*

37

x0

38

1.0

0.5

Y Axis

0.0

-0.5

-1.0 -1.0 -0.5 0.0 X Axis 0.5 1.0

39

40

41 3.3 Mtodos direccionales directos: Tcnica de Powell Hemos demostrado que para funciones exactamente cuadrticas, es posible la construccin de un conjunto conveniente de direcciones, denominadas direcciones conjugadas, sin la participacin de derivadas superiores o gradientes. Recordamos en este punto que, cuando se seleccionan dos puntos de partida xa y x b , y una direccin comn de minimizacin s , la direccin generada por xa x b es exactamente conjugada a s si la funcin materna es cuadrtica.

Figura 3.3.1 Generacin de direcciones conjugadas

* a * b

x a

Si bien el mtodo puede generar direcciones conjugadas para funciones cuadrticas, es necesario recordar que, puntualmente, una funcin arbitraria admite ajustes cuadrticos. Por esta razn, una direccin conjugada sera una buena direccin en tanto la funcin original sea aproximable cuadrticamente en un determinado rango. En el mtodo de Powell se aplica una versin modificada de esta idea, que automticamente comenzar a generar direcciones conjugadas en la medida que el mtodo avanza. El mtodo parte considerando minimizaciones direccionales en los unitarios cartesianos. En funciones bidimensionales, la construccin de direcciones se aprecia en la figura 3.3.2. En una etapa inicial, se parte con minimizaciones en trminos de los unitarios cartesianos, de modo de generar una direccin s0 3 , que representa una direccin global de la etapa. Minimizando a lo largo de esa direccin, se obtiene el punto inicial de una nueva 1 etapa x0 . En esta nueva etapa, se reemplaza una de las direcciones (generalmente la de

42
j+ 1 mayor progreso) por la direccin global generada en la etapa anterior, de manera que s3 j conjugar a s3 .

Figura 3.3.2 Generacin de direcciones conjugadas para el mtodo de Powell


1 =x 2

x1 0

s1 3

x12
2

=s

x10
s0 =x
0 2

s11 = s01

x11

-x

x02 ( s02 )T = [ 0 1 ]

( s01 )T = [ 1 0 ] x00 x01

Todas las minimizaciones componentes de cada etapa, son unidimensionales, y pueden efecturase por una tcnica directa, como la seccin urea, dando origen a un mtodo directo de minimizacin. Algoritmo del mtodo de Powell Etapa 0 Dada una base ortogonal de "n" vectores, donde "n" corresponde al nmero de variables en optimizacin, y dado un punto de partida x0 0 , se procede a minimizar en todas las direcciones: punto inicial x0 0
0 x1

direccin s = 1 0 L 0 s = 0 1 L 0
0 1 0 2

mnimo direccional 0 x1
0 x2

M x0 n 1

M s = 0 0 L 1
0 n

M x0 n

la funcin se evala adems en el punto:


0 0 x0 n +1 = 2 x n x 0

43 que se sita en la recta de la direccin global. Ir a 2. Etapa k


k 1. Dado un vector inicial x0 , y un conjunto de "n" direcciones, minimizar en trminos de todas las direcciones utilizando una tcnica unidimensional directa:

punto inicial k x0 k x1
M k xn 1

direccin s = 1 0 L 0 s = 0 1 L 0
k 1 k 2

mnimo direccional k x1 k x2
M k xn

M s = 0 0 L 1
k n

2. La ilustracin grfica del mtodo de Powell, muestra que la secuencia de direcciones va cambiando por cada etapa de minimizacin, de manera de generar por cada etapa una nueva direccin conjugada. Si en alguna de las direcciones de una etapa el avance es poco significativo, numricamente es posible que las direcciones globales se hagan colineales entre dos etapas sucesivas. Cuando este es el caso, el mtodo converge exactamente al mismo mnimo de la etapa anterior, que no necesariamente es el mnimo funcional. Powell sugiere realizar el clculo de la funcin en el punto:
k k k f ( xn +1 ) = f ( 2 x n x 0 )

desde un punto de vista matemtico, esta evaluacin tiene por objetivo perturbar el mnimo de la etapa, de manera de testear su calidad de mnimo funcional. 3. Se define la variacin k segn:

k = m x f ( x ik 1 ) f ( x ik )

esta operacin representa la mayor evolucin en el decrecimiento de la funcin k objetivo, asociado a una de las direcciones de la etapa, la que denotaremos por sm . Se definen los siguientes puntos de referencia:
k f1k = f ( x0 ) k k f2 = f ( x n ) k k k f3k = f ( x n +1 ) = f ( 2 x n x 0 )

y los siguientes criterios:

1 = f3k f1k

2 = ( f 1k 2 f 2k + f 3k )( f 1k f 2k k ) k ( f 1k f 2k )
1 2

44 ambos criterios miden la posibilidad de minimizar la funcin en la direccin global generada por la etapa. 4.a Si 1 0 o 2 0 , la funcin no ser minimizable en la direccin global asociada a la k-sima etapa, lo que indica que probablemente la direcciones globales en dos etapas sucesivas se han hecho colineales. Si este es el caso, entonces para la nueva etapa se seleccionan:
k +1 k x0 = xn +1 sk = sk j j

en otras palabras, se eligen las mismas direcciones de la etapa anterior, para una nueva etapa que se construye sobre el ltimo mnimo direccional anterior. 4.b Si 1 < 0 y 2 < 0 , se procede como sigue: i ). definir la direccin
k k k s* = xn x0

k ii ). se minimiza la funcin desde xn utilizando la direccin definida en i ). El punto obtenido en esta minimizacin ser el punto de partida para la nueva etapa, es decir el mnimo k +1 direccional ser x0 k iii ). se reemplaza la direccin sm , representativa del mayor avance de minimimizacin en la etapa k. La secuencia de direcciones para la etapa k+1 ser: k +1 k +1 k +1 k k k s1 s2 L sn = s1 L sm sm L 1 +1 k s*

de acuerdo al procedimiento descrito aqu, las direcciones globales irn conjugando por etapa. 5. repetir la etapa "k" hasta que:
k k xn x0 <

Cuando las direcciones para el mtodo de Powell se obtienen por el procedimiento 4.b, la convergencia del mtodo es cuadrtica, pues se estn utilizando direcciones conjugadas, que son muy eficientes. En particular, puesto que cada etapa va generando direcciones conjugadas por 4.b, una funcin cuadrtica n-dimesional requiere exactamente de n etapas de Powell. En funciones generales, es posible esperar una convergencia menor que la cuadrtica, dependiendo de la definicin local de la Hessiana.

45 Brent (1973), propone una tcnica similar a la de Powell, pero ms eficiente y con mayor carga computacional. En el mtodo de Brent se hace un ajuste cuadrtico local de la funcin, y se utilizan los vectores principales del ajuste. La convergencia de este mtodo es cuadrtica, an en problemas pobremente condicionados.

Ventajas del mtodo de Powell

La aplicacin del mtodo es sencilla, y aconsejable para aquellos problemas en los que es muy difcil obtener informacin diferencial. La convergencia del mtodo es dominantemente cuadrtica en la mayora de las etapas, debido al uso de direcciones conjugadas.
Desventajas

La calidad de la tcnica de acotado del mnimo direccional, como el mtodo de minimizacin unidimensional, tienen un gran impacto en la eficiencia global. La minimizacin unidimensional puede llegar a requerir excesivas evaluaciones de la funcin objetivo. Si bien, la convergencia del mtodo es cuadrtica por etapas, el tiempo requerido en completar una etapa puede anular las ventajas de la convergencia. En funciones objetivo pobremente condicionadas, como aquellas que exhiben Hessianas locales indefinidas, la secuencia de direcciones globales por etapa no es conjugada, originando un avance tediosamente lento del mtodo.

Ejemplo

Una funcin Test para mtodos de optimizacin es la funcin de Rosenbrok, definida como:
2 ) + ( 1 x1 ) f ( x ) = 100( x2 x1 2 2

de apariencia inocente, la funcin combina puntos de indefinicin, y dos mnimos, uno de los cuales es local. El aspecto amenazante de su superficie se oberva en la figura 3.3.3. En este ejemplo se aplicar el mtodo de Powell a la minimizacin de esta superficie, partiendo del punto xT 0 = 1. 2 1 . El mnimo funcional absoluto se encuentra T en el punto x* = 1 1

46

2 ) + ( 1 x1 ) Figura 3.3.3: Superficie de la funcin f ( x ) = 100( x2 x1 2

En la tabla a continuacin, se muestran las iteraciones por etapa del mtodo de Powell. Es interesante notar que la optimizacin procede sobre un punto de silla, aunque pese a esto, el mtodo puede llegar al mnimo. En la figura 3.3.4 se muestra la trayectoria de minimizacin, la que procede bordeando la sima de la funcin. Es importante hacer notar que el proceso completo requiere de aproximadamente 1500 evaluaciones sobre la funcin objetivo, situacin que lo hace poco saludable para funciones objetivos iterables

47

Etapa 1

x1
-1.2000 -0.9950 -0.9950

x2
1.0000 1.0000 0.9900

sT
[1.0000 [0.0000 1 = 0.0000] 1.0000] -8.3275

f (x) 24.2000 3.9900 3.9799 2 = 3.9693 3.9587 3.9481 2 = 3.2570 3.1013 2.9858 2 = 2.5101 2.3962 2.3014 2 = 1.6102 1.5280 1.4597 2 = 0.9642 0.9055 0.8572 2 = 0.5127 0.4745 0.4434 2 = 0.2270 0.2051 0.1876 2 = 0.0709 0.0610 0.0535 2 =

20.2100 0.0101 -700.7541

-0.9897 -0.9897 -0.9843

0.9897 0.9794 0.9791

[0.0000 [0.9988 1 =

1.0000] -0.0488] -0.0426

0.0106 0.0107 0.0000

-0.7611 -0.7611 -0.7015

0.5397 0.5792 0.4621

[0.0000 [0.4529 1 =

1.0000] -0.8915] -0.4833

0.1557 0.1155 -0.0174

-0.5028 -0.5383 -0.4656

0.2027 0.2725 0.1776

[0.4529 [0.6082 1 =

-0.8915] -0.7938] -0.3740

0.1139 0.0948 -0.0076

-0.1959 -0.2276 -0.1617

-0.0041 0.0374 -0.0070

[0.6082 [0.8294 1 =

-0.7938] -0.5587] -0.2700

0.0823 0.0683 -0.0029

0.0850 0.0560 0.1164

-0.0284 -0.0089 -0.0141

[0.8294 [0.9963 1 =

-0.5587] -0.0863] -0.1910

0.0587 0.0483 -0.0010

0.3432 0.3177 0.3713

0.0893 0.0915 0.1159

[0.9963 [0.9099 1 =

-0.0863] 0.4148] -0.1231

0.0382 0.0310 -0.0003

0.5739 0.5524 0.5982

0.3081 0.2983 0.3417

[0.9099 [0.7257 1 =

0.4148] 0.6880] -0.0697

0.0219 0.0175 -0.0001

0.7733 0.7567 0.7929

0.5841 0.5684 0.6184

[0.7257 [0.5856 1 =

0.6880] 0.8106] -0.0303

0.0098 0.0076 0.0000

Contina..

48

Etapa 10

x1
0.9321 0.9225 0.9444

x2
0.8626 0.8493 0.8877

sT
[0.5856 [0.4952 1 = 0.8106] 0.8688] -0.0060

f (x) 0.0084 0.0063 0.0048 2 = 0.0001 0.0000 0.0000 2 = 0.0000 0.0000 0.0000 2 =

0.0022 0.0015 0.0000

11

0.9942 0.9989 1.0000

0.9895 0.9977 1.0000

[0.4952 [0.4396 1 =

0.8688] 0.8982] 0.0000

0.0001 0.0000 0.0000

12

1.0000 1.0000 1.0000

1.0000 1.0000 1.0000

[0.4952 [0.4396 1 =

0.8688] 0.8982] 0.0000

0.0000 0.0000 0.0000

49
2 ) + ( 1 x1 ) Figura 3.3.4 : Minimizacin de la funcin f ( x ) = 100( x2 x1 Trayectoria del mtodo de Powell (1965) 2 2

x2

x1

50
3.4 Tcnicas indirectas de primer orden

En algunos problemas de optimizacin de funciones continuas, es posible obtener, ya sea analtica o numricamente, alguna informacin sobre de carcter diferencial, en particular el gradiente. Como ya se ha explicado, el uso del gradiente negativo como direccin de optimizacin no es recomendable, pues el avance de esta direccin produce trayectorias escalonadas hacia el mnimo. A pesar de lo anterior, la minimizacin unidimensional se ve positivamente acelerada por el conocimiento del gradiente al principio de un proceso de minimizacin. En este punto, es conveniente recordar que las direcciones conjugadas son beneficiosas para llegar al mnimo de las funciones exactamente cuadrticas. De acuerdo con el mtodo del gradiente, la tcnica de minimizacin ser:

s k = f x k

( ) ( )

(3.4.1)

de modo que las ecuaciones de proyeccin direccional estn dadas por:

x k + 1 = x k + qs k = x k qf x k

(3.4.2)

la sucesin de direcciones generadas por (3.4.2) es mutuamente ortogonal, lo que genera el avance escalonado al mnimo. Este tipo de avance resulta inconveniente en las vecindades del mnimo en la generalidad de las funciones, pues el grado de avance es muy poco significativo, dando como resultado un nmero apreciable de evaluaciones de la funcin.
Procesos de bi-ortogonalizacin (Polak, 1971)1

El objetivo de este prembulo es mostrar cmo a partir de una sucesin de vectores direccionales mutuamente ortogonales, es tambin posible la construccin de un grupo de vectores conjugantes de un Hessiano. Recordamos que el mtodo del gradiente permite obtener una sucesin de vectores mutuamente ortogonales, a partir de los cuales queremos asociar un conjunto de direcciones conjugadas. Consideremos una matriz A de grado N y de caracterstica simtrica, y un par de vectores arbitrarios g1 y s1 , de modo que:
g1 = s1

(3.4.3)

Polack sugiere construir un conjunto de vectores asociados g, s de acuerdo a las ecuaciones:

1Polak,

E., 1971. Computational Methods in Optimization. New York: Academic Press.

51
gi +1 = gi i Asi si +1 = gi +1 + i si

1< i N

(3.4.4)

de modo que: g i +1 g i = 0
T

si +1 A si = 0
T

(3.4.5)

de acuerdo a la definicin (3.4.5) los vectores g resultan secuencialmente ortogonales, en tanto que los vectores s resultan secuencialmente conjugantes de la matriz A . Haciendo los clculos correspondientes, se encuentra:
gi gi +1 = 0 = gi gi i gi Asi i =
T T T T i T i T i i

gi gi gi Asi si Agi +1 si Asi


T T T

s Asi +1 = 0 = s Agi +1 + s Asi i =

(3.4.6)

Polack demuestra que el conjunto de N vectores g, s generados por (3.4.6) y (3.4.4), no solamente son secuencialmente ortogonales y conjugados respectivamente, sino que adems son mutuamente ortogonales y conjugados. Esta demostracin se puede lograr con mucha paciencia, utilizando induccin matemtica. El proceso de bi-ortogonalizacin es una extensin de mtodo de ortogonalizacin de Gramm-Smith.
Ilustracin: considere la matriz simtrica

2 1 1 A = 1 3 2 1 2 4
y el vector:
g1 = s1 = 1 1 1
T T

utilice el mtodo de Polack para obtener una secuencia de vectores g ortogonales, y un conjunto de vectores s conjugantes de A .

52 De (3.4.4) y (3.4.6), se deduce:


gi +1 = gi i Asi = gi gi g i gi Asi
T T T T

Asi si

si +1 = gi +1 + i si = gi +1

si Agi +1 si Asi

aplicando directamente las ecuaciones, tenemos:

1 1 1 1]1 [ 4 1 / 3 2 1 11 1 1 gT g 1 1 g = g T1 1 As1 = 1 1 3 2 1 = 1 2 = 1 / 3 2 1 3 2 1 11 g As1 1 1 2 4 1 1 3 0 1 1 3 2 1 [1 1 1] 1 2 4 1 2 1 1 1 / 3 1 1 1] 1 3 2 1 / 3 [ 1 7 / 27 1 / 3 T s1 Ag 0 1 2 4 2 s2 = g T s1 = 1 / 3 1 = 11 / 27 2 2 1 11 s1 As1 0 1 2 / 27 [1 1 1] 1 3 21 1 2 4 1


de igual forma, se calcula que:
g3 = g2 s3 = g3 g 2 g2 g2 As2 s2 Ag3 s As2
T 2 T T T

As2 = 7 / 23 7 / 23 14 / 23

s2 = 504 / 529 378 / 529 420 / 529

es fcil comprobar que los vectores g son mutuamente ortogonales, y los vectores h son mutuamente conjugantes de la matriz A .
Supongamos conocida una base de vectores g mutuamente ortogonales. Como veremos a continuacin, de acuerdo con el mtodo de Polack, si conocemos la base de vectores ortogonales, podramos encontrar el grupo de vectores asociados s mutuamente conjugantes.

53 gi +1 = gi i Asi con i = gT g i i gT Asi i sT i Ag i +1 sT i Asi


1< i N

si +1 = gi +1 + i si con i = notemos que:

i =
pero:

siT Ag
T i

i +1

s Asi

g T Asi s Asi
i +1 T i

gT g
i +1

s Asi

i +1 T i

g /i
i

gT g
i +1 T i i

s Asi

i +1

s Asi =
T i i

gT g
i T i

g Asi

s Asi =
T i

gT g
i i

( s s ) As
i i 1

siT Asi = g T g
i i

entonces:

si +1 = gi +1 + s1 = g1

gT g i +1 i +1 gT g i i

si

(3.4.7)

La ecuacin (3.4.7) establece que cuando conocemos completamente un conjunto de vectores ortogonales, sin necesidad de conocer la matriz A , podemos obtener un conjunto de direcciones asociadas que son mutuamente conjugantes de tal matriz.
Gradiente conjugado (Fletcher and Reeves, 19642 )

Al utilizar un mtodo de minimizacin direccional, se sabe que la primera direccin atractiva ser s0 = f ( x0 ) , esta direccin nos permitir obtener un mnimo direccional x1 de modo que: s0 f ( x1 ) = f ( x0 ) f ( x1 ) = 0 (3.4.8)

es decir, tenemos una secuencia de direcciones mutuamente ortogonales. La frmula de minimizacin de Fletcher and Reeves, deducida de la de Polack, en funcin a que las direcciones negativas del gradiente son mutuamente ortogonales, nos permitir construir una direccin conjugada, asociada al gradiente:

Fletcher, R. and Reeves, C., 1964. Function Minimization by Conjugate Gradients. Comput. J. , 7:149

54 s1 = f ( x1 ) + T f ( x1 )f ( x1 ) s0 T f ( x 0 ) f ( x 0 )

(3.4.9)

que para etapas superiores se generaliza como: T f ( x k +1 )f ( x k +1 ) sk +1 = f ( x k +1 ) + sk T f ( x k ) f ( x k )

(3.4.10)

De acuerdo con las frmulas, se aprecia que slo se necesita informacin de gradiente, pero no de la Hessiana. Si la funcin es exactamente cuadrtica y de orden n, la funcin ser minimizada exactamente en n etapas Fletcher-Reeves, puesto que la Hessiana en estos casos, es una matriz de elementos constantes. Cuando la funcin no es cuadrtica, se requieren ms iteraciones. A diferencia del mtodo de Powell, el mtodo de Reeves genera una etapa iterativa con una sola direccin, de modo que cabe esperar su llegada al mnimo con menos evaluaciones de la funcin objetivo. Esta afirmacin, sin embargo, es vlida para problemas bien condicionados, puesto que los mtodos basados en el gradiente resultan muy sensitivos a las caractersticas geomtricas de las funciones. Debido a que suponemos que ahora se cuenta con informacin del gradiente, la minimizacin direccional puede realizarse de otras maneras:
* * x* k +1 = x k + q k s k

x f df = i = sT f ( x ) = 0 dq q i q i xi
*

(3.4.11)

de acuerdo con esta, bastar encontrar un gradiente ortogonal a s, pero el gradiente ahora es explcito.
Ejemplo considrere la funcin de Rosenbrok en el punto xT 0 = 1. 2 1
2 ) + ( 1 x1 ) f ( x ) = 100( x2 x1 2 2

Desarrolle dos iteraciones del mtodo de Fletcher-Reeves. Vemos que:


2 400( x2 x1 ) x1 2( 1 x1 ) f ( x ) = ; f ( x 0 ) = 24.2 2 200( x2 x1 )

entonces,

55

215.6 s0 = f ( x 0 ) = 88.0
generalmente ocurrir que las direcciones son bastante variables en magnitud, de modo que una buena idea es producir una normalizacin de las direcciones:

0.925848 s'0 = 0.377897


as tenemos que:

1.03011 x* ; f ( x* 1 = 1 ) = 4.1281 1.06934


a partir de este mnimo direccional, podemos calcular el gradiente:

0.67167 f ( x * = ) 1 1.64475
y la direccin conjugada ser:

* )+ s1 = f ( x1

f ( x ) f ( x
T * 1

) 0.67167 s = + 1.64475 T f ( x0 ) f ( x0 ) 0
* 1

[ 0.67167

0.67167 1.64475] 1.64475 215.6 215.6 88 [ 215.6 88] 88

0.65912 = 1.64987

56

it
0 1 2 3 4 5 10 15 20 25 30 35 40 45 50 55 60 61 62 63

x1
-1.2000 -1.0301 -0.9295 -0.7850 -0.6795 -0.5941 -0.3012 -0.1028 0.0634 0.2249 0.4017 0.6146 0.8978 1.3645 1.4954 1.0128 1.0001 1.0001 1.0001 1.0000

x2
1.0000 1.0693 0.8282 0.5574 0.3895 0.2713 -0.0162 -0.1089 -0.1234 -0.0820 0.0263 0.2444 0.6841 1.7964 2.2397 1.0267 1.0002 1.0002 1.0001 1.0000

f ( x)
24.2000 4.1281 3.8514 3.5319 3.3421 3.2069 2.8367 2.6440 2.4998 2.3577 2.1830 1.9288 1.4982 0.5619 0.2466 0.0003 0.0000 0.0000 0.0000 0.0000 2.16E+02 6.84E-01 9.23E+01 1.88E+02 2.45E+02 2.81E+02 3.40E+02 3.53E+02 3.80E+02 4.37E+02 5.27E+02 6.37E+02 6.91E+02 2.71E+02 -2.16E+00 7.04E-02 -2.70E-04 -5.00E-05 -2.96E-02 3.00E-05

s
8.80E+01 -1.64E+00 -1.73E+02 -2.99E+02 -3.39E+02 -3.41E+02 -2.13E+02 -7.91E+01 4.58E+01 2.02E+02 4.43E+02 8.29E+02 1.34E+03 8.68E+02 -5.70E+00 -7.17E-01 1.00E-05 -1.10E-04 -5.65E-02 -4.00E-05 0.9258 0.3849 0.4709 0.5320 0.5858 0.6358 0.8468 0.9758 0.9928 0.9081 0.7658 0.6089 0.4591 0.2976 -0.3549 0.0977 -0.9993 -0.4138 -0.4641 0.6000

s/ s
0.3779 -0.9229 -0.8822 -0.8467 -0.8104 -0.7719 -0.5319 -0.2187 0.1196 0.4188 0.6431 0.7932 0.8884 0.9547 -0.9349 -0.9952 0.0370 -0.9104 -0.8858 -0.8000

Trayectorias de minimizacin

gradiente conjugado gradiente directo

x2

-1

x1

57

3.5 Tcnicas indirectas de segundo orden

En ciertas situaciones, existe la posibilidad de evaluar informacin diferencial de primer y segundo orden para la funcin objetivo en minimizacin. Si consideramos una aproximacin cuadrtica a una funcin, tendremos:

1 f ( x ) = f ( x 0 ) + T f ( x 0 ) x + x T H x 2
luego, tomando el gradiente de la aproximacin, obtenemos:

(3.5.1)

f ( x ) = f ( x 0 ) + H x = 0
puesto que la direccin x representa una direccin de minimizacin, ie:
x = x0 + qs x = q s

(3.5.2)

la forma recursiva de obtener una direccin de minimizacin ser:

s k +1 = H 1 ( x k ) f ( x k )

(3.5.3)

en funciones objetivo exactamente cuadrticas, la ecuacin (3.5.3) apunta directamente al centro del sistema coordenado que centra a las cnicas, siendo posible obtener el mnimo en una sola estapa de minimizacin. En formas no cuadrticas, (3.5.3) permite generar una secuencia de direcciones que otorga a la convergencia una caracterstica tipo Newton, o de segundo orden. Obviamente esta tcnica constituye el ideal de la minimizacin, pero es necesario tener en cuenta que la obtencin de la Hessiana analtica no siempre es posible. Al contar con toda la informacin diferencial posible, existe la alternativa de revisar la caracterstica de la Hessiana, de modo de evitar los puntos de silla asociados a Hessianas indefinidas.

58 3.5 Tcnicas indirectas de segundo orden En algunos problemas de optimizacin, existe la posibilidad de evaluar informacin diferencial de primer y segundo orden para la funcin objetivo. Si se considera una aproximacin cuadrtica a una funcin, tendremos:

1 f ( x ) = f ( x 0 ) + x T f ( x 0 ) + x T H ( x 0 ) x 2

(3.5.1)

luego, tomando el gradiente de la aproximacin, y anulndolo para conseguir una condicin necesaria de punto estacionario, obtenemos:

f ( x ) = f ( x 0 ) + H x = 0

(3.5.2)

en la ecuacin (3.5.2), el vector f ( x 0 ) es un vector de constantes. Si la Hessiana es una matriz de elementos constantes, como es el caso de las formas cuadrticas, entonces el problema tiene solucin inmediata, dada por:
x = x x 0 = H 1 f ( x 0 ) Ejemplo:

(3.5.3)

considere la cnica
2 2 f ( x1 , x2 ) = 6 x1 x1 x2 + 8 x2 3

en el punto xT 0 = 1 1 . Determine el mnimo global del sistema.

12 x1 x2 11 = f ( x 0 ) = x1 + 16 x2 15
luego:

12 1 1 = 11.76 H (x) = ; 1 16 2 = 16.24

12 1 x1 11 = 1 16 x2 15
como solucin del sistema, se obtiene:

1 1 0 x = = x x0 = x x = 1 1 0
como la Hessiana es estrictamente definida positiva en todo , el mnimo es absoluto. Notemos que el vector x es una direccin de minimizacin, a partir de un punto inicial.

59 Este simple problema, nos permite advertir todas las caractersticas de un mtodo de segundo orden:

al contar con la Hessiana, es posible hacer un anlisis geomtrico local de la funcin. en funciones cuadrticas, el mtodo converge en una sola etapa. recordando que en los mtodos direccionales:

x = x0 + qs x = s

mtodo cuadrtico

H 1f ( x0 ) (q = 1) (3.5.4)

este mtodo no solo entrega la mejor de todas las posibles direcciones, sino que tambin establece cunto debe avanzarse por esa direccin. En este sentido es posible, en principio, eliminar las minimizaciones unidimensionales en una direccin.
Tratamiento de funciones no cuadrticas

En funciones no cuadrticas, que corresponden a la generalidad de los problemas de optimizacin, la Hessiana deja de ser una matriz de elementos constantes, sin embargo, el problema de minimizacin puede resolverse en forma recursiva, utilizando la fmula generatriz (3.5.4): sk = x k = x k +1 x k = H 1 ( x k )f ( x k ) (3.5.5)

recordando que esta ltima frmula proviene de una aproximacin cuadrtica, su desempeo ser bueno cuando la funcin es aproximable cuadrticamente en k+1 y k. En rigor, x k +1 no necesariamente es el mnimo direccional en la direccin sk = H 1 ( x k )f ( x k ), a menos de que la funcin original sea cuadrtica. Esta situacin puede apreciarse en la figura (3.5.1). Obviamente el hecho de no ir minimizando exactamente puede provocar un dao a la convergencia cuadrtica, fundamentalmente en aquellos sectores cercanos a mnimos muy dependientes de las variables, donde la anulacin del gradiente provoca poco avance; o bien en aquellos casos en que la minimizacin por aproximacin cuadrtica entra en regiones indefinidas de la superficie. Las desventajas del mtodo de Newton en funciones no cuadrticas son las siguientes:

la determinacin de la Hessiana y el gradiente en forma anatica es compleja en la generalidad de los problemas de optimizacin. la convergencia se ve afectada cuando la aproximacin cuadrtica local no es adecuada. la determinacin de direcciones sucesivas requiere de la inversin de la Hessiana, o bien, la resolucin de un sistema lineal, lo que obliga a revisar la condicin del problema. el mtodo tendr problemas de convergencia en regiones indefinidas de la Hessiana, pudiendo conducir a indeterminacin o convergencia a puntos de silla.

60

f( x)

+1/ 2 +q t s

q 2s t

H(x )

0 0 +qs

f(q)

0.5

1.0 q

f(x) =f( x)

f (x

1.5

en todo caso, cabe mencionar que al disponer de informacin del gradiente, y al verificarse que la funcin objetivo es continua; hay una gran probabilidad de que un mtodo de segundo orden pueda adecuarse a las dificultades del problema, y constituirse en la mejor alternativa de optimizacin.
Evitado de regiones indefinidas de la superficie

Como ya sabemos, una Hessiana es representativa de un problema convexo (o cncavo) cuando todos sus valores propios tienen el mismo signo. En el problema de minimizacin, nos interesa que los valores propios sean positivos. Levenberg y Marquardt proponen el siguiente procedimiento:

61

s k = ( H ( x k ) + I ) f ( x k )
1

(3.5.6)

donde es una constante positiva y no nula cada vez que la Hessiana es indefinida. La forma de evitar la combinacin de valores propios, es elegir

( k ,0) + 1 = m x
k =1,n

(3.5.7)

cuando al menos un valor propio es negativo, deja de ser no nulo. Ahora bien, si el valor propio es demasiado negativo, entonces:

s k = ( I ) f ( x k ) = f ( x k )
1

(3.5.8)

es decir, el mtodo tiende a lograr una convergencia escalonada del mtodo del gradiente. An as, esta metodologa logra que el mtodo pueda avanzar hacia mnimos en regiones indefinidas, esperando una mejor definicin de la Hessiana en el avance del problema.
Ejemplo:
2 2 0. 4 ) + (1 x1 )2 partiendo de xT Minimizar : f ( x ) = 100( x2 x1 0 = 0. 3

Desarrollando los clculos correspondientes, se tiene:


3 2 + 2 x1 + 400 x1 400 x1 x2 38.6 f ( x ) = f ( x ) = 2 0 200 ( x2 x1 ) 62.0 2 50 120 2 + 1200 x1 400 x2 400 x1 ( ) H x = H (x ) = 0 120 200 200 400 x1

de acuerdo con la frmula direccional de segundo orden, podramos encontrar la primera direccin resolviendo:

11475 38.6 50 120 . 10 4 H0 s0 = f ( x 0 ) s = s0 = 0.3169 62.0 120 200 0


a continuacin, encontramos el prximo vector de:

0.2885 x 1 = x 0 + s0 = 0.0833
siguiendo este mismo esquema en las siguientes etapas, se obtendr:

62

it
0 1 2 3 4

x1
0.3000 0.2885 0.9817 0.9819 0.9999

x2
0.4000 0.0831 0.4832 0.9641 0.9999 -0.0115 0.6932 0.0002 0.0181 0.0001

sT
-0.3169 0.4001 0.4809 0.0355 0.0001

f (x)
10.1000 0.5062 23.0917 0.0003 0.0000

notar que la convergencia tiene un comportamiento oscilatorio e irregular. Haciendo un clculo de valores propios de la Hessiana asociada al punto de partida, se obtiene:
1 = 248. 3 2 = 98. 28

de donde se deduce un comportamineto tipo punto de silla en la superficie. Si seguimos el algoritmo de Marquardt, tendremos:

49.28 120 $ = H + m x $ = H { k ,0} + 1 H k k 0 120 299.28

los valores propios asociados a esta nueva matriz sern positivos. En el mtodo de Marquardt, la generatriz de direcciones es equivalente a la de Newton, pero con una Hessiana forzada convexa:

49.28 120 38.6 11.8 = = H0 s0 = f ( x 0 ) s s 0 120 299.28 0 62.0 4.52


esta direccin de partida debe ser tratada con una minimizacin direccional, pues no corresponde a una direccin original del Newton. Consideramos entonces una minimizacin de la funcin en la parametrizacin:

0.760621 x 1 = x 0 + qs0 x 1 = 0.576441


avanzando con el algoritmo, se obtiene:
it 0 1 2 3 4

x1
0.3000 0.7606 0.9291 0.9397 0.9987

x2
0.4000 0.5764 0.8349 0.8830 0.9939 11.8000 0.1685 0.0106 0.0589 0.0008

sT
4.5200 0.2584 0.0481 0.1109 0.0050

1
248.30 0.85 2.96 0.45 0.68

2
-98.28 664.82 901.10 908.07 1000.58

f (x)
10.1000 0.0577 0.0856 0.0036 0.0012

63 Comparando las dos tablas, vemos que el mtodo de Marquardt no reduce las iteraciones, pero si estabiliza la convergencia del mtodo, situacin deseable en problemas mal condicionados, con la finalidad de evitar oscilaciones. Las iteraciones 1 y siguientes corresponden a regiones bien definidas de la Hessiana. El cambio observado en los valores propios nos da adems una medida de la calidad de la aproximacin cuadrtica. Claramente el mtodo logra grandes progresos cuando estos valores no cambian mucho, lo que indica que la aproximacin cuadrtica es buena.
Evitado de grandes diferencias en mnimos por aproximacin cuadrtica y proyeccin funcional

De acuerdo a su frmula genrica, el mtodo de Newton adopta la direccin: sk = H 1 ( x k )f ( x k ) en rigor, debe minimizarse de forma que:
x k +1 = x k + q sk

(3.5.9)

(3.5.10)

para un mtodo de Newton convencional, q adquiere el valor unitario. De esta forma, es posible evaluar la funcin en dos puntos de la proyeccin:
q = 0 f (x) = f (xk ) q =1 f ( x ) = f ( x k + sk )

adems de esta informacin, se sabe que:


df df = T f ( x ) sk = T f ( x0 ) sk dq dq q = 0 con estos tres datos, es posible evaluar una funcin cuadrtica unidimensional en q: f ( q ) = a + bq + cq 2 y minimizar en trminos de q:
pt

T f ( x k ) sk b = = 2a 2 f ( x k + sk ) f ( x k ) T f ( x k ) sk

(3.5.11)

este procedimiento puede repetirse hasta alcanzar una precisin deseable en el mnimo direccional. Obviamente a travs de (3.5.11), q ser distinto al valor unitario si la funcin no es exactamente cuadrtica. Esta ltima tambin puede utilizarse para decidir si el paso de Newton es adecuado (q pt 1), pues su construccin es sencilla y depende de informacin secuencial generada en el proceso de optimizacin.

64

Estimando la Hessiana, a partir de informacin diferencial de primer orden: variable mtrica n-dimensional (o mtodo de la secante)

Captulo 4 Programacin Lineal (LP) Un nmero importante de problemas de optimizacin conduce a funciones objetivo y restricciones lineales. A modo de ejemplo:

La planificacin de produccin de una empresa que puede adquirir materias primas de diferente calidad y rendimiento, para dar origen a una variedad de productos de diferente costo, cuyo rendimiento depende de las materias primas, con la finalidad de aumentar el beneficio econmico (problema de mezclado). La asignacin diaria de actividades a un grupo de empleados, de manera de maximizar su eficiencia productiva. El manejo de la distribucin de productos o adquisicin de materias primas. etc.

Dentro de los rangos de flexibilidad de operacin de una planta qumica establecida, los balances de materia y energa comnmente pueden ser linealizados o linealizados por tramos, estableciendo rangos de operacin de funcionalidad lineal en las variables de optimizacin. El problema de optimizacin de funciones lineales, sometidas a restricciones tambin lineales, da origen al problema de programacin lineal. El trmino programacin lineal no est especficamente referido a los cdigos de programacin del problema, sino que a que pueden ser tratados con tcnicas de resolucin y reduccin de sistemas lineales ordinarios. De modo de ir conociendo las caractersticas y elementos de un problema LP, vamos a considerar en detalle el desarrollo de un problema especfico: Una refinera puede adquirir dos calidades de crudo para su operacin: crudo #1 y crudo #2. Sus productos de venta son la Gasolina, el Kerosene, el Fuel Oil y otros productos combustibles o asflticos denominados residuos:
Gasolina Crudo #1 US$24/bbl Kerosene Refinera Fuel Oil Crudo #2 US$15/bbl Residuos US$10/bbl US$21/bbl US$24/bbl US$36/bbl

por otro lado, se dispone del siguiente cuadro representativo de los rendimientos para cada crudo, la limitaciones operativas, y los costos de produccin: Tabla de datos para el problema Rendimiento volumtrico (%) Crudo #1 Crudo #2 80 44 5 10 10 36 5 10 0.50 1.00 capacidad de produccin (bbl/da) 24000 2000 6000

Gasolina Kerosene Fuel Oil Residuos Costo de procesamiento (US$/bbl)

Se requiere establecer el flujo de materias primas y la distribucin de productos, de modo de maximizar las utilidades. Formulacin del problema de Optimizacin. 1. Establecer la nomenclatura para las variables de optimizacin:

x1 : x2 : x3 : x4 : x5 : x6 :

bbl/da de Crudo #1 bbl/da de Crudo #2 bbl/da de Gasolina. bbl/da de Kerosene. bbl/da de Fuel Oil. bbl/da de residuos.

2. Establecer la funcin objetivo y su dependencia en las variables de optimizacin:

costo costo M xf ( x ) = M xUtilidad = ventas materia prima operativo


donde:
ventas = 36 x 3 + 24 x 4 + 21x5 + 10 x 6 costo = 24 x1 + 15x 2 materia prima costo = 0.5x1 + x 2 operativo

vemos que la funcin objetivo depende de 6 variables de optimizacin.

3. Determinar las restricciones de igualdad: del cuadro de rendimientos, se obtiene un balance en volumen para cada crudo: x3 = 0.80 x1 + 0. 44 x2 x4 = 0. 05x1 + 0.10 x2 x5 = 0.10 x1 + 0. 36 x2 x6 = 0. 05x1 + 0.10 x2 haciendo un anlisis de grados de libertad, tenemos aqu 4 restricciones de igualdad que relacionan 6 variables. Obviamente, la solucin satisfactoria, debe cumplir exactamente todas las relaciones de igualdad. Como habamos sealado, las restricciones de igualdad permiten reducir las dimensiones del problema de optimizacin.

6 variables 4 ecuaciones 2 grados de libertad


4. Determinamos ahora las restricciones de desigualdad. En la tabla se aprecia que hay capacidades productivas mximas:

x3 24000 x4 2000 x5 6000 por otro lado, puesto que cada variable representa fsicamente a un flujo, estos deben estar restringidos a ser positivos, es decir,

xi 0 i = 1,6
si adems hubieran restricciones en cuanto a la disponibilidad de materias primas, tambin sera necesario incluirlas como restricciones. Siguiendo este problema, vemos que un problema (LP) tiene una forma general:

Mn f (x) = ci xi = c x
T i =1

r: nmero de variables

sujeto a:

a
i =1 r i =1

ji i

x = b j Ax = b xi b 'k A ' x b '

a'

ki

j = 1,m m: nmero de restricciones de igualdad. k = 1,p p: nmero de restricciones de desigualdad

la dimensin del problema de optimizacin ser: r - m. Siempre es conveniente el reemplazo de las restricciones de igualdad, de modo de reducir las dimensiones del problema de optimizacin. En un caso general de funciones lineales el objetivo sealado es
3

siempre posible y sencillo, pero no lo es para funciones generales no lineales, como por ejemplo:

Mn: f ( x) = x 1 + x 2 Sa: 0 = x 1 exp( x 2 ) 4 x 2


donde x2 no puede despejarse en trminos de x1 de la restriccin de igualdad. En el caso que venimos siguiendo de la refinera, es posible reducir el problema a 2 variables. Anlogamente, es posible convertir un problema de maximizacin en uno equivalente de minimizacin siguiendo la transformacin:

M x U( x) Mn f ( x) = U( x)
al reemplazar las restricciones de igualdad en la funcin objetivo y en las restricciones de desigualdad, se obtiene:

Mx U( x) Mn f ( x) = U( x) = 8.1x1 10.8x2
restringido a: A. Produccin mxima de gasolina:

0.80x1 + 0. 44 x2 24000
B. Produccin mxima de Kerosene

0. 05x1 + 0.10x2 2000


C. Produccin mxima de fuel oil

0.10x1 + 0. 36x2 6000


D. Flujos positivos de crudo, o condicin de planta operativa x1 0 x2 0 y observando las restricciones de igualdad, es posibles constatar que al elegir flujos positivos de crudo, tambin se obtendrn flujos positivos de todos los productos. Consideremos ahora el problema en un plano de curvas de nivel. Notamos que la funcin objetivo es lineal:

Mn f ( x) = 8.1x1 10.8x2
por tanto:

. 81 f ( x) = 10.8

0 0 H ( x) = 0 0

claramente, la funcin por s misma no tiene solucin finita o acotada. El gradiente negativo indica que la funcin es minimizable cuando x1 y x2 crecen hasta el infinito. El problema LP no puede ser resuelto por tcnicas convencionales de optimizacin cuadrtica, y sin la presencia de restricciones, su solucin siempre ser infinita.

Figura #1
Curvas de nivel de una funcin objetivo lineal
6e+4

4e+4
f= f= -3 00 00 0 0

f(x)

x2 (bbl/da crudo #2)

-2

2e+4

f=

00 00 00 0

-1 00 0.0

f=

0e+0

f=

10

00

00

-2e+4 -2e+4 0e+0 2e+4 4e+4 6e+4

x1 (bbl/da crudo #1)

Obviamente, la situacin de que las variables de optimizacin deban cumplir con un conjunto de restricciones, genera un dominio factible de bsqueda de variables. Al incluir las restricciones en el problema anterior, se obtiene la figura #2, en la que se aprecia un dominio factible para solucionar el problema. En la Figura indicada aparecen los siguientes hechos notables:

la inclusin de un dominio restricto produce un problema de solucin finita. la solucin aparecer en algn vrtice del dominio factible. la posicin de la solucin en el dominio factible depende de la pendiente de las curvas de nivel los vrtices de la forma geomtrica correspondiente al dominio factible corresponden a intersecciones entre las restricciones.

Esta ltima observacin es la ms importante, pues define la estrategia de bsqueda de soluciones para el problema de la programacin lineal: basta analizar el monto funcional en las intersecciones entre restricciones. En el caso especfico que se est tratando, la solucin del problema ocurre en la interseccin de las restricciones A y B, que puede ser obtenida directamente solucionando el correspondiente problema lineal (A ): 0.80x 1 + 0.44 x 2 24000 x 1 = 26207 f mn = 286764 ( B): 0.05x 1 + 010 . x 2 2000 x 2 = 6897 La solucin grfica de un problema de programacin lineal es posible cuando el problema depende, globalmente, de dos variables de optimizacin. Sin embargo, la generalidad de los casos depende de un nmero considerable de variables, de modo que a continuacin presentaremos una una estrategia que permite resolver un problema de cualquier dimensin. Figura #2
Curvas de nivel de una funcin objetivo lineal
6e+4 A : 0.80 x1 + 0.44 x2 24000 B : 0.05 x1 + 0.10 x2 2000 C : 0.10 x1 + 0.36 x2 6000 (A) (B) 2e+4 (C) dominio factible

4e+4 x2 (bbl/da crudo #2)

0e+0

-2e+4 -2e+4 0e+0 2e+4 x1 (bbl/da crudo #1) 4e+4 6e+4

4.1 Clasificacin de las soluciones en trminos de las restricciones

Problemas de mltiple solucin en el LP

Dependiendo de las pendientes de las curvas de nivel de la funcin objetivo, el problema de programacin lineal podra llegar a tener mltiples soluciones. A modo de ejemplo, en el problema:

Mx: f (x) = 2 x1 + 0.5x2 Sujeto a: 6x1 + 5x2 30 (A) 4 x1 + x2 12 (B) x1 , x2 0 Notar que si el problema es de minimizacin, tendra solucin nica en el vrtice ( 0, 0) . Es posible, de este modo, sospechar de problemas de mltiple solucin, cuando la funcin objetivo es una combinacin lineal de una de sus restricciones, aunque siempre es necesario desarrollar un anlisis previo de la posicin de la solucin.

Problemas sin solucin acotada.

Estos problemas aparecen cuando las restricciones son insuficientes para producir el acotado de la solucin dentro de un dominio factible, por ejemplo: Mn: f ( x) = x1 x2 Sujeto a: 3x1 x2 0 (A) x2 3 (B) x1 , x2 0 Figura #3 Problema de mltiple solucin
6 6

Figura #4 Problema sin solucin acotada

(B)

5 (A)

4 f decreciente

x2

x2

3 f creciente 2

3 (B) 2

(A)

0 0 1 2 3 x1 4 5 6

0 0 1 2 3 x1 4 5 6

Grficamente se observa que x2 permanecer acotado en 3, pero x1 puede crecer sin restriccin hasta el infinito.

Restricciones incompatibles.

Dentro de la multiplicidad de problemas LP, tambin es posible encontrar aquellos que poseen restricciones incompatibles, no pudiendo generar regiones factibles de solucin.

Figura #5 Problema con restricciones incompatibles

x1

x2

..... Las dos ltimas categoras sealadas aqu, corresponden a problemas LP mal definidos. Cabe indicar que todo problema LP correctamente definido conduce a dominios factibles de tipo convexo, y a superficies definidas (no estrictamente cncavas o convexas, sino ms bien, cncavas y convexas). 4.2 Determinacin de restricciones de carcter lineal El objetivo de esta seccin es facilitar el planteamiento de restricciones de carcter lineal, en problemas productivos relacionados con la Ingeniera Qumica. Cada vez que se plantea un problema de optimizacin han de tenerse en cuenta:

que hay limitaciones productivas que se alcanzan por lmites fsicos de operacin de los equipos, por la capacidad de almacenamiento, o bien, por condiciones restrictivas del mercado. la disponibilidad de materias primas puede estar limitada, debido a problemas de distribucin y transporte, almacenamiento, o bien, porque la planta depende de bienes intermediarios producidos por otras plantas. existen restricciones de seguridad u operabilidad, por ejemplo, hay mezclas que son explosivas o contaminantes en determinados rangos de composicin, los materiales sufren fatigas trmicas de acuerdo a su calidad. De la misma forma, la resistencia fsica de un equipo puede estar limitada a ciertos rangos especficos de presin.

los balances de materia y energa, en general, no son lineales, pero pueden ser considerados lineales dentro de ciertos rangos, donde es posible plantear una proximacin afn del problema. Generalmente, el balance de materia puede escribirse en trminos de rendimiento, que da origen a expresiones lineales. algunas propiedades fsicas de mezclas, pueden escribirse como una contribucin ponderada linealmente en composicin de todos sus constituyentes. Muchos productos puestos en el mercado requieren de ciertas especificaciones mnimas de calidad. Por ejemplo, los hidrocarburos combustibles forman soluciones aproximadamente ideales, la presin de vapor de una gasolina podra ser escrita como: P = xi Pisat
v i =1 Nc

4.3 Algoritmo Simplex para problemas LP En 1947, Dantzig dise una estrategia para resolver problemas de optimizacin con funciones objetivo y restricciones de carcter lineal, que consiste simplemente en analizar el valor de la funcin objetivo en los vrtices del dominio factible. Suponemos que el problema de optimizacin est bien definido, es decir, no hay restricciones incompatibles o soluciones no acotadas, la metodologa para ubicar tales inconsistencias ser analizada ms adelante. De igual forma, la funcin objetivo y las restricciones de desigualdad, ya contienen las restricciones de igualdad: Mn:
r

f ( x ) = ci x i
i =1

Sujeto a: a ji xi b j 0 j = 1, p i =1 xi 0 i = 1, r

(4.1)

en esta ltima ecuacin, todos los b j deben ser positivos. El primer paso consiste en introducir tantas variables de holgura positivas como restricciones haya (p), observando lo siguiente: Caso 1

a jixi b j a jixi sj = b j
i =1 i =1

(4.2)

si se resta un nmero positivo en el miembro izquierdo de (7.2), podemos hacer que la suma iguale al valor lmite de la restriccin. Caso 2

a jixi b j a jixi + sj = b j
i =1 i =1

(4.3)

si se suma un nmero positivo en el miembro izquierdo de (7.3), podemos hacer que la suma iguale al valor lmite de la restriccin. Las variables s j se denominan variables de holgura, y son de carcter artificial. Cuando s j = 0 , estamos exactamente en el contorno de la restriccin. Si s j > 0 , estamos en un punto que cumple la restriccin, pero este punto no se encuentra en la lnea de la restriccin, sino que en otra parte del dominio factible. La sustitucin previamente indicada pone el problema en el cuadrante positivo del sistema coordenado. A modo de ejemplo, consideremos el problema: Mn: Sujeto a: f ( x) = x1 + x2 2 x1 x2 2 x1 + 3x2 2 x1 x2 4 x1 , x2 0

Etapa 0: Transformar todas las restricciones de desigualdad, de modo que los b j sean positivos.

En el ejemplo, se obtiene: Mn: f ( x) = x1 + x2 Sujeto a: 2 x1 + x2 2 (A) x1 3x2 2 (B) x1 + x2 4 (C) x1 , x2 0

Problema original

Etapa 1: Introducir las variables de holgura a cada ecuacin de restriccin, siguiendo la regla (4.2) y (4.3)

En el ejemplo, todas las restricciones de desigualdad p, conducen a relaciones de minorante, de modo que a cada ecuacin sumamos una variable de holgura: Mn: Sujeto a: f ( x ) = x1 + x2 2 x1 + x2 + x3 = 2 (A) x1 3x2 + x4 = 2 (B) x1 + x2 + x5 = 4 (C) x1 , x2 , x3 , x4 , x5 0

Problema aumentado

en este momento, las p restricciones de desigualdad originales, se han transformado en m = p restricciones de igualdad. El problema de optimizacin depende ahora de 5 variables, 10

relacionadas por 3 ecuaciones (el sistema lineal A, B, C), dando lugar a un problema de dos dimensiones, equivalente al original. Notar que este sistema de 3 ecuaciones en 5 variables, puede resolverse si se especifican dos variables positivas.

Etapa 2: Encontrar una solucin que se encuentre en uno de los vrtices del dominio factible.

Si consideramos un anlisis de los grados de libertad del nuevo problema de optimizacin, tenemos un nmero total de n = r + p variables, donde m = p son nuevas restricciones de igualdad, los grados de libertad del problema, son r. En el caso especfico que venimos tratando: n = r+p = 2+3=5 m= p=3 como los grados de libertad son dos, es claro que la especificacin de dos de las cinco variables resuelve el problema. En este sentido, tenemos dos variables independientes, que en programacin lineal reciben el nombre de variables no bsicas, y tres variables dependientes, denominadas variables bsicas. Cualquier especificacin de variables no bsicas capaz de resolver el sistema de restricciones de igualdad, genera una solucin bsica del problema. Del conjunto de soluciones bsicas, existe un subconjunto denominado de soluciones factibles, para las que tanto las variables bsicas como no bsicas son positivas, encontrndose dentro del dominio de optimizacin, especficamente en uno de los vrtices de la figura geomtrica del dominio. Retomando el problema original de optimizacin, podemos hacer el trazado mostrado en la figura #6. Son soluciones bsicas factibles la interseccin de (A) con (C), la interseccin de (B) con (C), la intersecciones de (A) con el eje x2 y (B) con el eje x1 . Es solucin bsica, pero no factible, la interseccin de (A) y (B). Notemos que una solucin factible inicial ocurre cuando x1 = x2 = 0 . En este caso f ( x) = 0 x3 = 2 (A) x4 = 2 (B) x5 = 4 (C)

ntese que las variables de holgura (x3, x4, x5) tambin son positivas y no nulas por tanto la solucin bsica y factible no se encuentra en ninguna de las restricciones de igualdad (las variables de holgura son no nulas). Ahora debemos avanzar por los vrtices del dominio factible, en busca del ptimo.

11

Figura #6
Funcin objetivo a minimizar y su dominio factible
6

(A)

x2 2

(C)

f decreciente

(B) 0 0 2 x1 4 6

Etapa 3: avanzar a una nueva solucin factible, de modo de minimizar la funcin.

a. La primera solucin factible, determinada en la etapa anterior es x1 = x2 = 0 2 x 1 + x 2 x 1 3x 2 x1 + x 2 f ( x) + x 1 + x3 + x4 + x5 x2 =2 =2 =4 =0 (A ) ( B) ( C) (*)

en el problema vemos que el aumento de x1 favorece la reduccin de la funcin objetivo, el aumento de x2, en cambio, produce un aumento de la funcin objetivo. La variable x1 es potencialmente atractiva para el objetivo de minimizacin. En esta etapa debemos encontrar un nuevo conjunto de variables no bsicas (o independientes), al elegir x2 = 0 como variable no bsica estamos seguros de que la funcin debe ser minimizada. La regla de seleccin establece que debe transformarse en bsica aquella variable no bsica con el mayor coeficiente positivo en (*), en este caso, x1 b. Cuando x1 crece deja de ser una variable no bsica, pues debe crecer conforme a las restricciones, de modo que es necesario reemplazarla otra. Con x2 = 0, vemos que en la restriccin (A) x1 puede crecer en forma ilimitada, sin hacer negativa a x3. Por la restriccin (B), x1 puede crecer hasta 2, por la restriccin (C) x1 puede crecer hasta 4. Como regla general, se incluye como nueva variable no bsica a aquella cuya operatoria de coeficientes satisface:

12

bj a (x 1 ) mn 0 l: variable transformada en no b sica en . a jl por este criterio se busca la restriccin ms desfavorable para el incremento de x1. Analizando las correspondientes, se concluye:

( A ) : 2 / 2 = 1 ( B) : 2 / 1 = 2 ( C) : 4 / 1 = 4
la menor positiva corresponde a la restriccin (B). Recordando que x2 = 0, la variable activa con crecimiento de x1 en (B) es x4, y x1 puede crecer con x2 = 0 hasta el valor 2, en el que x4 = 0. De esta forma, las nuevas variables no bsicas sern x2 = x4 = 0. Como la variable de holgura de (B) es nula, buscamos una solucin en la restriccin correspondiente. Luego, el criterio de bsqueda es: a. Escribir la funcin objetivo despejando el cero como sigue
f ( x ) ci x i = 0
i

eliminar como variable independiente o no bsica a aquella que presente el mayor coeficiente positivo -ci. Tal variable es la que reducir en mayor magnitud a la funcin objetivo. b. Introducir como nueva variable no bsica a aquella que presente el menor valor positivo de: bj j = 1, m a jl que es representativa de la restriccin ms desfavorable "o restrictiva" para el crecimiento de la variable mayoritariamente minimizante
Etapa 4: Transformar las ecuaciones de acuerdo a la seleccin de las nuevas variables no bsicas.

Como resultado de la etapa 3, hemos seleccionado como variables independientes o no bsicas a x2 = x4 = 0.

13

Recordando que el nmero de grados de libertad del problema de optimizacin es dos, la seleccin de dos variables no bsicas permite obtener la solucin del sistema de restricciones de igualdad. Ahora corresponde escribir las ecuaciones en trminos de las nuevas variables no bsicas: Variables bsicas: x1, x3, x5 Variables no bsicas: x2, x4 considerando las relaciones: 2 x 1 + x 2 x 1 3x 2 x1 + x 2 f ( x) + x 1 + x3 + x4 + x5 x2 =2 =2 =4 =0 (A ) ( B) ( C) (*)

podemos escribir cada una de las variables bsicas en trminos de variables no bsicas. De la restriccin ms desfavorable se deduce:

( B) : x1 = 2 + 3x2 x4
puesto que x1 deja de ser no bsica, se reemplaza en el resto de las restricciones: (A ): 2( 2 + 3x 2 x 4 ) + x 2 + x 3 = 2 x 3 5x 2 + 2 x 4 = 6 x 1 3x 2 + x 4 = 2 ( B): (C): ( 2 + 3x 2 x 4 ) + x 2 + x 5 = 4 x 5 + 4x 2 x 4 = 2 f + ( 2 + 3x 2 x 4 ) x 2 = 0 f + 2 x 2 x 4 = 2

notar que dado que las variables bsicas son x2 = x4 = 0, hemos logrado que la funcin objetivo adquiera valor -2. Mirando la lnea de la funcin objetivo, convendra incorporar x2 como una nueva variable bsica, dejando a x4 como no bsica e incorporando a x5 como la nueva variable no bsica. Ntese tambin que lo nico que hemos hecho aqu es eliminar las variables bsicas en trminos de variables no bsicas. El mismo procedimiento puede hacerse en utilizando transformaciones matrizales elementales, lo que introduce la representacin tabular del LP: sistema sobredeterminado original 2 x 1 + x 2 x 1 3x 2 x1 + x 2 f ( x) + x 1 + x3 + x4 + x5 x2 =2 =2 =4 =0 (A ) ( B) ( C) (*)

14

x1
x3 x4 x5
-2 [1] 1 1

x2
1 -3 1 -1

x3
1 0 0 0

x4
0 1 0 0

x5
0 0 1 0

f
0 0 0 1

b
2 2 4 0

fila pivote

columna pivote

la columna pivote se elige determinando la variable con mayor coeficiente positivo en la lnea de la funcin objetivo. La fila pivote se determina buscando la razn b/a positiva ms pequea. Necesitamos eliminar a x1 como variable no bsica. Multiplicando la fila (2) por 2 y sumndola a la (1), eliminamos x1 de la primera restriccin. Multiplicando la fila (2) por -1 y sumndola a la tercera fila, eliminamos x1 de la tercera restriccin. Procediendo tambin con operaciones elementales, es posible eliminar a x1 de la fila de la funcin: este es un simple proceso de eliminacin de Gauss:

x1 x3 x1 x5
0 1 0 0

x2
-5 -3 4 2

x3
1 0 0 0

x4
2 1 -1 -1

x5
0 0 1 0

f
0 0 0 1

b
6 2 2 -2

esta es la representacin matrizal de: ( A ): x3 5x2 + 2 x4 = 6 ( B): x1 3x2 + x4 = 2 ( C): x5 + 4 x2 x4 = 2 3x2 x4 + f = 2


Etapa 5: proceder iterativamente sobre la matriz, hasta que no se logre ms mejoramiento en los valores de la funcin objetivo.

x1 x3 x1 x5
0 1 0 0

x2
-5 -3 [4] 2

x3
1 0 0 0

x4
2 1 -1 -1

x5
0 0 1 0

f
0 0 0 1

b
6 2 2 -2

15

indicacin: siempre el punto pivote debe quedar como [1] despus de las transformaciones elementales:

x1 x3 x1 x2
0 1 0 0

x2
0 0 1 0

x3
1 0 0 0

x4
0.75 0.25 -0.25 -0.5

x5
1.25 0.75 0.25 -0.5

f
0 0 0 1

b
8.5 3.5 0.5 -3

Notar que en la lnea de la funcin objetivo los dos coeficientes alcanzan valores negativos, esto indica que no es posible obtener mejoramiento en la reduccin de la funcin objetivo, por lo que tenemos un mnimo. Quedan como variables no bsicas x4 = x5 = 0 . Como x4 es una variable de holgura asociada a la restriccin (B) y x5 es una variable de holgura asociada a la restriccin (C), la solucin est en la interseccin de las restricciones (B) y (C), tal como se aprecia en la figura. Adems, en el punto solucin:

x3 = 8.5 x1 = 3.5 x2 = 0.5


en otras palabras, la restriccin (A) representada por la variable de holgura x3 se cumple, pero la solucin est en el dominio factible, y no activando la restriccin correspondiente.. 4.4 Forma cannica del problema de programacin lineal. Segn hemos visto, todos los problemas de programacin lineal, una vez incluidas las variables de holgura para la aplicacin del mtodo Simplex, tienen la forma:
Mn: Sujeto a: f ( x ) = c1x1 + c2 x2 +.... + cn x n a11x1 + a12 x2 +.... + a1n x n = b1 a 21x1 + a 22 x2 +.... + a 2 n x n = b2 M a m1x1 + a m2 x2 +.... + a mn x n = b m xi 0 ; b j 0 (i = 1, n ; j = 1, m)

(4.4)

o en una forma ms compacta:

Mn: Sujeto a:

f =c x Ax = b
T

x0; b0
16

(4.5)

la dimensin del problema de optimizacin es n-m, que tambin es indicativa del nmero de variables independientes o no bsicas que deben especificarse para resolver el sistema de m restricciones de igualdad. Estas variables no bsicas toman el valor nulo para generar culaquier solucin bsica del LP, sometidas a la condicin de que el resto de las variables sean positivas. El nmero de soluciones bsicas (no necesariamente factibles) est dado por:

n n! = = m m!( n m) !

(4.6)

esta relacin es representativa del subconjunto de soluciones factibles. Obviamente, al crecer el nmero de variables, tambin crecer el nmero de soluciones bsicas y el nmero de soluciones factibles. Es posible demostrar que el algoritmo Simplex requiere de entre m a 3 m pruebas de soluciones factibles para llegar al mnimo. 4.5 Obtencin de soluciones bsicas factibles. Muchas veces ocurre que la obtencin de una primera solucin factible no es tan evidente, el problema Simplex siempre debe partir de una solucin bsica factible. Un ejemplo de esta situacin es el problema: Mn: f = x1 + 2 x2 Sujeto a: 3x1 + 4 x2 5 x1 + x2 4 Siguiendo los pasos del Simplex, es decir, la introduccin de variables de holgura, obtendremos: Mn: f = x1 + 2 x2 Sujeto a: 3x1 + 4 x2 x3 = 5 (A) x1 + x2 + x4 = 4 (B) xi 0 notamos que la seleccin de x1 y x2 como variables no bsicas (es decir, ambas nulas), viola en la restriccin (A) la condicin positiva para x3. Esta situacin se debe a que la solucin no bsica indicada no se encuentra en el dominio factible. En estos casos, es necesario agregar m nuevas variables de holgura, generando un procedimiento denominado Fase I - Fase II. En trminos simples, en la Fase I se encuentra una solucin factible para el problema en trminos de la positividad de sus variables bsicas, y en una segunda etapa, se parte de la solucin factible para obtener soluciones factibles minimizantes. El algoritmo es el siguiente:

17

1. Tomar el problema de optimizacin original, y transformar todas las restricciones de desigualdad de manera que los b j sean positivos. 2. Agregar las variables de holgura, de manera de transformar las restricciones de desigualdad en restricciones de igualdad de acuerdo a las reglas indicadas. 3. Aumentar el sistema de ecuaciones obtenido en (2), agregando m nuevas variables de holgura: a11x1 + a12 x2 +.. + a1n x n a 21x1 + a 22 x2 +.. + a 2 n xn M a m1x1 + a m2 x2 +.. + a mn x n + x n +1 + xn + 2 O = b1 = b2 M = bm

+ xn + m

las variables bsicas sern: xn + i = bi (i = 1, m) las variables no bsicas sern: xi = 0 (i = 1, n) Notamos que el problema satisface las restricciones positivas para todas las variables, pues las variables xn +1 a xn+m pueden acomodarse de manera que as sea. 4. Es claro que se recupera el sistema original cuando las variables bsicas xn +i = bi (i = 1, m) se anulan. De esta forma, se define la funcin objetivo correspondiente a la Fase I dada por:

w = xn +1 + xn + 2 +.... + xn +1
escribiendo estas variables no bsicas en trminos de variables bsicas, se obtiene:
m m m m w + ai1 x1 + ai 2 x 2 +....+ ain x n = bi i =1 i =1 i =1 i =1

en la Fase I se minimiza w utilizando la metodologa Simplex. w debe tener mnimo nulo, pues as se recupera el sistema aumentado original. Si w mnimo es no nulo, se tiene un problema mal definido de optimizacin, es decir, un conjunto de restricciones no compatibles. En el ejemplo, el problema aumentado es: Mn: f = x1 + 2 x2 Sujeto a: 3x1 + 4 x2 x3 = 5 (A) x1 + x2 + x4 = 4 (B) xi 0

18

puesto que las variables bsicas x1 = x2 = 0 conducen a una solucin bsica, pero no factible, el problema vuelve a aumentarse: Mn: f = x1 + 2 x2 Sujeto a: 3x1 + 4 x2 x3 + x5 = 5 (A) x1 + x2 + x4 + x6 = 4 (B) xi 0 en la Fase 1, se minimiza la funcin w:

w + 4 x1 + 5x2 x3 + x4 = 9
para la que tenemos la siguiente tabla inicial para la Fase I

x1
3 1 4

x2

x3
-1 0 -1

x4
0 1 1

x5
1 0 0

x6
0 1 0


x2
1 0 0

4 1 5

w 0 0 1

b 5 4 9

iteracin 1 x1
0.75 0.25 0.25

x3
-0.25 0.25 0.25

x4
0 1 1

x5
0.25 -0.25 -1.25

x6
0 1 0

w 0 0 1

b 1.25 2.75 2.75

notar que x4 es variable bsica, por tanto, pese a presentar el mayor coeficiente para w, no puede ser eliminada como variable no bsica.! iteracin 2

x1
1 1 0

x2
1 0 0

x3
0 1 0

x4
1 4 0

x5
0 -1 -1

x6
1 4 -1

w 0 0 1

b 4 11 0

en esta iteracin, w presenta un mnimo nulo, lo que sugiere seleccionar x1 = x4 = 0 en el problema aumentado:

19

Mn: f = x1 + 2 x2 Sujeto a: 3x1 + 4 x2 x3 = 5 (A) x1 + x2 + x4 = 4 (B) xi 0 para las variables no bsicas detectadas, se obtiene: x2 = 4 ; x3 = 11. Ambas variables bsicas son positivas, por lo que tenemos una solucin factible. En la Fase II se minimiza f.
f = x1 + 2( 4 x1 x 4 ) f + x1 + 2 x 4 = 8

la ltima iteracin de la Fase I ya contiene la tabla acomodada en trminos de las variables no bsicas para la minimizacin del problema:

x1
1 1 1

x2
1 0 0

x3
0 1 0

x4
1 4 2

f 0 0 1

b 4 11 8

Iteracin 1:

x1
0.75 0.25 1

x2
1 0 0

x3
-0.25 0.25 -0.5

x4
0 1 0

f 0 0 1

b 1.25 2.75 2.50

Iteracin 2:

x1 x1 x4
1 0 0

x2
1.33 -0.33 -0.67

x3
-0.33 0.33 -0.33

x4
0 1 0

f 0 0 1

b 1.67 2.33 1.67

Finalmente la solucin es:

x1 = 1. 67 ; x2 = 0 ; x3 = 0 ; x4 = 2. 33 ; f = 1. 67

20

Solucin grfica del ejemplo 4

x2

(B)

1 (A) f(x) 0 0 1 2 x1 3 4 5

4.6 Programacin lineal en problemas que pueden incluir soluciones negativas En toda la formulacin del problema de la Programacin lineal, hemos indicado que las varibles de optimizacin, como las de holgura, estn restrictas a ser positivas. De esta forma el problema pueda ser resuelto en el primer cuadrante del sisema coordenado cartesiano. Sin embargo, existen problemas especficos en los que una variable de optimizacin podra adquirir valores negativos, por ejemplo, una temperatura en escala relativa de un problema de refrigeracin. La variable no restricta puede ser escrita como una combinacin lineal de dos variables positivas, tcnica que nos permite obtener el problema LP original, con una variable extra. A modo de ejemplo, considrese el problema: Mn: f ( x) = x1 + 4 x2 Sujeto a: x1 + x2 3 (A) x1 + x2 1 (B) x2 0 en el caso indicado, no se ha puesto restriccin para x1 , de modo que puede tener valores positivos o negativos. En este caso:

21

x1 = x3 x4 x3 0 ; x 4 0 el problema aumentado ser: Mn: Sujeto a: f ( x ) = x3 x 4 + 4 x2 x3 x4 + x2 + x5 = 3 (A) x3 + x4 + x2 + x6 = 1 (B) x2 , x3 , x4 , x5 , x6 0

tenemos un total de 5 variables relacionadas por dos ecuaciones, por tanto, una solucin bsica factible se obtiene al seleccionar 3 variables no bsicas. Por ejemplo:

x2 = x3 = x4 = 0 x2
1 1 -4

x3
1 -1 -1

x4
-1 1 1

x5
1 0 0

x6
0 1 0

f
0 0 1

b
3 1 0

Iteracin 1

x2 x5 x4
2 1 -5

x3
0 -1 0

x4
0 1 0

x5
1 0 0

x6
1 1 -1

f
0 0 1

b
4 1 -1

luego:

x1 = x3 x4 = 0 1 = 1 x2 = 0 4.7 Sensitividad de la solucin del problema de Programacin lineal

Una de las grandes ventajas del problema de programacin lineal, es que la solucin ptima puede ser estudiada con gran facilidad, en la tabla de solucin, frente a pequeas perturbaciones en las restricciones. A modo de ejemplo, consideremos la tabla solucin para el problema de la refinera:

22

Mn: f ( x) = 8.1x1 10.8x2 Sujeto a: 0.80x1 + 0. 44 x2 24000 Produccin de Gasolina 0. 05x1 + 0.10x2 2000 Produccin de Kerosene 0.10x1 + 0. 36x2 6000 Produccin de FuelOil x1 , x2 > 0 cuyo problema aumentado ser: Mn: f ( x) = 8.1x1 10.8x2 Sujeto a: 0.80x1 + 0. 44 x2 + x3 = 24000 Produccin de Gasolina 0. 05x1 + 0.10x2 + x4 = 2000 Produccin de Kerosene 0.10x1 + 0. 36x2 + x5 = 6000 Produccin de FuelOil x0 la tabla de iteraciones convergente para este problema es:

x1 x5 x1 x2
0 1 0 0

x2
0 0 1 0

x3
0.14 1.72 -0.86 -4.66

x4
-4.21 -7.59 13.79 -87.52

x5
1 0 0 0

f 0 0 0 1

b 896.55 26206.90 6896.55 -286758.5

en trminos de las variables no bsicas solucin, el problema puede escribirse como:

f 4. 66x3 87.52 x4 = 286759


en la que claramente puede observarse que la funcin depende de dos variables de holgura, y por tanto est en las rectas de dos restricciones (produccin de Gasolina y produccin de Kerosene). Una pregunta razonable es qu sucedera si el lmite productivo de gasolina puede ser aumentado. Mirando la formulacin del problema, y recordando que las variables no bsicas en la solucin valen cero, un aumento en la restriccin, es compatible con una disminucin de la variable de holgura, por tanto la solucin decrece y se hace ms negativa. Por otro lado, vemos que:

f = 4. 66 x3 f = 87. 52 x4 de donde se deduce que la disminucin unitaria de x3 (aumento de la produccin de gasolina), disminuye el mnimo en -4.66, y la diminucin unitaria de x4 (aumento de la
23

produccin de Kerosene) disminuye el mnimo en -87.52 , es decir, el mnimo es sensitivo al aumento de la produccin de Kerosene fundamentalmente. Por otro lado, se aprecia que la funcin solucin no es sensitiva a la produccin de fuel oil.

24