Optimacin clsica

En la teora clsica de la optimizacin se usa el clculo diferencial para determinar puntos extremos, o de mximo o mnimo, para funciones sin restricciones y restringidas. Puede ser que los mtodos no sean adecuados para clculos numricos eficientes, la teora proporciona el fundamento de la mayor parte de los algoritmos de programacin no lineal.

Problemas sin restriccin

Un punto extremo de una funcin Matemticamente, un punto ( ( ) define un mximo o un mnimo de ella. ) ( ) ) es mximo si (

Para toda ( ) y | | es suficientemente pequea para toda j. en otras palabras, X0 es un valor mximo si el valor de f en cada punto de la proximidad de X0 no es mayor que ( )En forma parecida, es un mnimo si ( ) ( )

La siguiente figura. Ilustra los mximos y mnimos de una funcin f(X) de una sola variable dentro del intervalo [a, b]. Todos los puntos ,y son extremos de ( ) ,y son mximos y son mnimos. Ya que ( ) * ( ) ( ) ( )+

( ) Es un mximo global o absoluto, y ( ) y ( ) son mximos locales o relativos. De igual modo, ( ) es un mnimo local y ( ) es un mnimo global.

Aunque es un punto mximo en la figura, se diferencia de los otros mximos locales porque el valor de f correspondiente a al menos un punto en la proximidad de es

Igual a ( ). A este respecto, es un mximo dbil, mientras que mximos fuertes.

son

) ( ) , y es un mximo fuerte si En general X0 es un mximo dbil si ( ( ) ( ), donde h es como se defini arriba. En la figura la primera derivada o pendiente de f es igual a cero en todos los puntos extremos. Esta propiedad tambin se satisface en puntos de inflexin y de silla, como si un punto con pendiente (gradiente) cero no es un extremo (mximo o mnimo) , debe ser un punto de inflexin o un punto de silla.

Mximos y mnimos
( ) es un Para cualquier PNL (maximizacin), un punto factible mximo loca si para suficientemente pequea, cualquier punto factible ( ) con | | ( )satisface ( ) ( ) . ( ) ( ) .factibles que estn En resumen un punto x es mximo loca si cercanas a x. de manera anloga, para un problema de minimizacin, un punto x es un mnimo local si ( ) se cumple para las x factibles que estn cerca de x. un punto que es un mximo local o un mnimo local se llama extremo local o relativo.

Para un PL (problema de mx.,) cualquier mximo local es una solucin ptima para el PL (Por qu?) no obstante, para un PNL general, esto podra no ser cierto. Por ejemplo, considere el siguiente PNL: Max z = ( ) s. a 0 x 10 Donde f(x) esta dada en la figura siguiente. Los puntos A, B y C son los mximos locales, pero el punto x es la solucin ptima nica para el PNLA diferencia de un PL, un PNL podra no satisfacer las suposiciones de proporcionalidad y aditividad.

El PNL Max z = x1/3 + x1/3 s. a x + y = 1 x,y0 No satisface la suposicin de proporcionalidad, debido a que duplicar el valor de x no duplica la contribucin de x ala funcin objetivo.

Punto de inflexin
Condiciones necesarias y suficientes para que una funcin f(x) de n variables tengan puntos extremos. Se supone que las derivadas primera y segunda de f(x) son continuas en toda x. Teorema: una condicin necesaria para que x0 sea un punto extremo de f(x) es que: ( ) Demostracin. De acuerdo con el teorema de Taylor, para 0<0<1, ( ) ( ) ( ) | |

En donde h es lo que se defini antes. Para |hj| suficientemente pequea, el termino restante ( ) ( ) ( ) es el orden de y entonces ( ) ( )

( ) debe anularse en punto Se puede demostrar, por contradiccin, que minimo x0, si no lo hiciera, para una j especfica, la condicin siguiente ser valida:
( )

<0o

0 con el signo adecuado, siempre es posible tener , con el desarrollo de Taylor se obtiene

Si se selecciona
( )

< 0, Igualando a cero las dems ) ( ).

Este resultado contradice la hiptesis que x0 es un punto mnimo. En ( )debe ser igual a cero. Se puede hacer una demostracin consecuencia similar para el caso de la maximizacin. Como la condicin necesaria tambin queda satisfecha con los puntos de inflexin ( ) y de silla, los puntos obtenidos con la solucin de se llaman puntos estacionarios. El teorema que sigue establece las condiciones para x 0 sea un punto extremo. Teorema: una condicin suficiente para que un punto estacionario x 0 sea un punto extremo que la matriz hessiana H evaluada en satisfaga las siguientes condiciones: 1. Que H sea positiva definida si 2. Que H sea negativa definida si es un punto mnimo. es un punto mximo.

Demostracin. De acuerdo con el teorema de Taylor, para 0< 0<1 ( ) ( ) ( ) | |

Ya que

es un punto estacionario, entonces ( ) ( ) ( )

) |

(teorema). As, |

Si

es un punto mnimo, entonces ( )

Entonces, para que

sea un punto mnimo, se debe cumplir | | debe tener el

Ya que la segunda derivada parcial es continua, la expresin

| | define a una forma mismo signo tanto en como en . Como | | es positiva si, y solo si cuadrtica, esta expresin ( y en consecuencia | | es positiva definida. Eso quiere decir que una condicin suficiente para que el punto estacionario sea un mnimo es que la matriz hessiana H, evaluada en el mismo punto , sea positiva definida. Una demostracin similar para el caso de la maximizacin indicada que la matriz hessiana correspondiente debe ser negativa definida. Un punto de inflexin se encuentra cuando la evaluacin del gradiente da cero y no es un extremo, esto es, se debe de cumplir la condicin de la matriz Hessiana. Ejemplo Se tiene la funcin ( La condicin necesaria ( Da como resultado ) )

La solucin de estas ecuaciones simultneas es ( )

Para establecer la suficiencia se examina

| ( )

=(

Los determinantes menores de respectivamente. As como se indica representa un punto mximo.

| |

tienen los valores de -2, 4 y -6, es negativa definida y ( )

En general si | es indefinida, debe ser un punto de silla. Para casos inciertos, puede ser o no un punto extremo, y la condicin de superficie se vuele muy complicada, por que se deben considerar de orden superior en el desarrollo de Taylor. La condicin de suficiencia establecida por el teorema se aplica a funciones de una variable como se muestra. Si es un punto estacionario, entonces 1. 2. es un mximo si es un mnimo si ( ) ( )

( ) = 0, se deben investigar variables de orden Si en caso de una variable superior como se indica ahora, dado , un punto estacionario de ( ) si las ( ) ) derivadas son cero si ( ) primeras ( , entonces. 1. 2. 3. es un punto de inflexin si n es impar. es un punto mnimo si n es par y ( ) ( ) > 0 es un punto mximo si n es par y ( ) ( ) < 0

Mtodo de gradiente (matriz hessiana)

El Gradiente de una Funcin El gradiente es el caso particular del Jacobiano cuando la funcin tiene una sola componente. Definicin: Sea una funcin definida en un dominio Si las derivadas parciales de f existen en un punto interior x de D, el vector ( )

Gradiente de (

( ) note que el Es llamado el gradiente de en el punto x y es simbolizado por gradiente es un vector en ; no esta precisamente en , pero como los vectores son transladables, es posible transladarlo y visualizarlo en el punto x.

El hessiano
La matriz hessiana es la matriz de una funcin de una sola componente, es la matriz formada por las segundas parciales. Definicin: Sea una funcin definida en un dominio . Entonces . La matriz jacobiana de es llamada la matriz hessiana de y se simboliza por ( ) As ( ) = ( ) y

Ejemplo Si y ( )

Determine Como

( ) . Solucin

( )

El mtodo del gradiente se utiliza para la optimizacin de funciones que son dos Veces diferenciables. La idea general para generar puntos sucesivos, iniciando de un punto inicial dado, en la direccin del incremento ms rpido (maximizacin) de la funcin. La tcnica es conocida como mtodo de gradiente debido a que gradiente de la funcin en un punto es indicativo de la rapidez del incremento.

Mtodo Newton-Raphson
Uno de los mtodos de gradiente es el Newton-Raphson, este mtodo est basado en la resolucin de ecuaciones simultneas que representan la condicin ( ) necesaria para optimidad, llamada ( ) La desventaja de utilizar la condicin necesaria para determinar los puntos estacionarios es la dificultad para resolver las ecuaciones simultneas resultantes numricamente. El mtodo Newton-Raphson es un procedimiento iterativo para resolver ecuaciones simultneas no lineales. Considere las ecuaciones simultneas: ( ) Donde es un punto dado. Por expansin de Taylor ( ) ( ) ( )( )

As, la ecuacin original puede aproximarse a ( ) ( ) ( )( )

Estas ecuaciones pueden escribirse en notacin matricial como

) es

Tomando en cuenta la condicin de que toda ( ) es independiente, Necesariamente no singular. As, la ecuacin anterior resulta

La idea del mtodo es iniciar de un punto inicial . Utilizando la ecuacin anterior, un nuevo punto puede determinarse de . El procedimiento termina con como solucin cuando Una interpretacin geomtrica de mtodo se muestra con una funcin de una sola Variable en la figura 2. La relacin entre para una funcin de una sola Variable ( ) se reduce a ( ) ( ) ( ) ( )

Fig. 2. Representacin grafica de Newton Raphson. Analizando la figura 2 se puede ver que ( ) en , donde ( ). se determinan de la pendiente de

Un problema con este mtodo es que la convergencia no esta garantizada siempre a menos que la funcin se comporte bien. En la figura, si el punto inicial el mtodo divergir. No existe una manera fcil para localizar un buen punto inicial . Tal vez una solucin para este problema es usar prueba y error.

Menores conducentes (diagonales menores)

MENORES PRINCIPALES CONDUCENTES DE A (Matrices simtricas) Determinante de Orden 1: 1fila-1columna; A1=a11 Determinante de Orden 2: 2 primeras filas-2 primeras columnas a 11 a 12 A2 = a 21 a 22 Determinante de Orden 3: 3 primeras filas-3 primeras columnas
a 11 A3= a 21 a 31 a 12 a 22 a 32 a 13 a 23 a 33

Definidas, condicin necesaria y suficiente: Definida positiva A1>0,A2>0,A3>0,...An>0 Definida negativa A1<0,A2>0,A3<0,A4>0,...An>0 si n es par , An<0 si n es impar Semidefinidas, condicin necesaria A= 0 Semidefinida positiva A1>0,A2>0,A3>0,...Ar>0 , Ar+1= 0, ..., An=0 , con r = rango(A) Semidefinida negativa A1<0,A2>0,A3<0,A4>0,...Ar>0 si n es par, Ar<0 si n es impar, Ar+1=0, ..., An= 0 con r = rango(A) Nula, A= (matriz nula) MENORES PRINCIPALES DE A (Matrices simtricas) Determinantes construidos a partir de la diagonal principal:

De orden 1: Cualquier determinante de orden uno construido a partir de la diagonal principal de la matriz A. Resulta al tomar una fila cuyo orden (primero, segundo, tercero, etc.) coincida con el de la columna elegida. Por ejemplo: 1fila-1columna; A1=a11 (conducente) 2fila-2columna; a22 3fila-3columna; a33 4fila-4columna; a44

5fila-5columna; a55 6fila-6columna; a66 Orden2: Cualquier determinante de orden dos construido a partir de la diagonal principal de la matriz A. Resulta al tomar dos filas cuyo orden (primero, segundo, tercero, etc.) coincida con el de las dos columnas elegidas. Por ejemplo: a 11 a 12 1, 2 filas-1, 2 columnas (conducente): A2 = a 21 a 22 1,3 filas- 1,3 columnas: 3,7 filas- 3,7 columnas: 2,5 filas- 2,5 columnas:
a 11 a 31
a 33 a 73 a 22 a 52

a 13 a 33
a 37 a 77 a 25 a 55

De orden3: Cualquier determinante de orden tres construido a partir de la diagonal principal de la matriz A. Resulta al tomar tres filas cuyo orden (primero, segundo, tercero, etc.) coincida con el de las tres columnas elegidas. Por ejemplo:
a 11 3 primeras filas-3 primeras columnas (conducente): A3= a 21 a 31
a 11 1, 3, 4 filas y columnas: a 31 a 41 a 22 a 52 a 13 a 33 a 43 a 24 a 54 a 14 a 34 a 44 a 25 a 55

a 12 a 22 a 32

a 13 a 23 ; a 33

2, 4, 5 filas y columnas: a 42 a 44 a 45

De orden4: Cualquier determinante de orden cuatro construido a partir de la diagonal principal de la matriz A. Resulta al tomar cuatro filas cuyo orden (primero, segundo, tercero, etc.) coincida con el de las cuatro columnas elegidas. Por ejemplo: 4 primeras filas-4 primeras columnas (conducente): A4=
a 11 a 21 a 31 a 41 a 12 a 22 a 32 a 42 a 13 a 23 a 33 a 43 a 14 a 24 a 34 a 44

1,3, 5, 6 filas y columnas:

a 11 a 31 a 51 a 61

a 13 a 33 a 53 a 63

a 15 a 35 a 55 a 65

a 16 a 36 a 56 a 66

...