Optimizaci on Sin Restricciones

Departamento de Matem aticas, CSI/ITESM 1 de mayo de 2009

Indice
14.1. Introducci on . . . . . . . . . . . . . 14.2. Optimos de una Funci on . . . . . . 14.3. Punto Cr tico o Estacionario . . . 14.4. Teorema Clave . . . . . . . . . . . 14.5. Ejemplo 1: Clasicaci on de puntos 14.6. Ejemplo 2 . . . . . . . . . . . . . . 14.7. Algunos comandos en la TI . . . . 14.8. Resultados requeridos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 2 3 6 9 10

14.1.

Introducci on

En esta secci on se ver a un m etodo anal tico para optimizar una funci on real en el caso que no existan restricciones sobre el dominio de la funci on y cuando la funci on admite segundas derivadas continuas. Esta t ecnica generaliza la t ecnica de optimizaci on de funciones en una variable utilizando c alculo diferencial: primeramente se determina cu ales son los candidatos a o ptimos, y posteriormente se aplica un criterio basado en la segunda derivada para determinar si corresponden a un m aximo o m nimo relativo. Primeramente deniremos los puntos cr ticos, que son los u nicos puntos candidatos a o ptimos de la funci on. Seguido de esto, se formula el principal resultado que caracteriza los puntos m aximos y m nimos locales e ilustraremos el proceso de optimizaci on con un par de ejemplos detallados hechos a mano y usando la calculadora TI. En la u ltima secci on se listan los resultados te oricos que son los argumentos necesarios para el teorema que caracter za los o ptimos locales.

14.2.

Optimos de una Funci on

Denamos el optimo de una funci on. Denici on Sea f una funci on de valor real denida sobre un conjunto D Rn . Sea x0 un punto en D , x0 se dice un m nimo local de f si existe d > 0 tal que si x D y |xo x| < d entonces f (x) f (x0 ). Por otro lado, se dice m aximo local si se cumple f (x) f (x0 ). En general, el concepto o ptimo local se reere a m nimos o m aximos locales. El valor del optimo local x0 es f (x0 ).

14.3.

Punto Cr tico o Estacionario

La siguiente denici on nos da una condici on necesaria que deben cumplir lo o ptimos locales: Uno de nuestros resultados importantes asegura que los optimos locales deben ser puntos estacionarios. La denici on se ve como parte del proceso anal tico de obtenci on de los o ptimos de una funci on: la primera fase ser a determinar los

puntos cr ticos. Denici on Sea f una funci on de valor real denida sobre un conjunto D Rn . Un punto x0 D se llama punto estacionario o punto cr tico si todas las parciales de f se hacen cero cuando se evaluan en x0 . Es decir, si f (x0 ) = 0 (1)

14.4.

Teorema Clave

El resultado importante siguiente da las condiciones ncesarias y sucientes para los o ptimos locales.

Teorema 14.1 Sea f : D Rn R. Suponga que f tiene segundas derivadas parciales continuas en D. Si x0 es un punto estacionario de f entonces f tiene en x0 . . . un m nimo local si Hf (x0 ) es positiva denida. (Todos los valores propios de Hf (x0 ) son positivos) un m aximo local si Hf (x0 ) es negativa denida. (Todos los valores propios de Hf (x0 ) son negativos) un punto silla si Hf (x0 ) tiene valores propios negativos y tambi en positivos. Demostraci on Al aplicar la f ormula de Taylor de segundo orden a f (x) en el punto estacionario x = x0 (As se cumple f (x0 ) = 0) nos da: 1 f (x0 + x) f (x0 ) = Q(x) + x 2 E2 (x0 , x) 2 en donde E2 (x0 , x) 0 cuando x 0. 1 Supongamos que todos los valores propios 1 ,2 ,. . . ,n de Hf (x0 ) son positivos. Sea = 2 m n {i }. As todos los n umeros 1 h,2 h,. . . ,n h son positivos. Se prueba f acilmente que z es vector propio de Hf (x0 ) asociado al valor propio i si y s olo si z es vector propio de la matriz sim etrica [Hf (x0 ) h I] asociado al valor propio h. Por consiguiente y por el resultado anterior, x [Hf (x0 ) h I] x > 0 para todo x = 0. Y por consiguiente Q(x) = x Hf (x0 ) x > x (h I) x = h x 2 para todo x = 0. Puesto que E2 (x0 , x) 0 cuando x 0, existe un r positivo tal que |E2 (x0 , x)| < los vectores x que cumplen 0 < x < r. Entonces para tales vectores x tenemos 0 x De esto se tiene que
2 1 4

h para

|E2 (x0 , x)| < x 1 Q(x) x 2

1 h 4

1 h x 4

1 < Q(x) 2

|E2 (x0 , x)| > 0

Por otro lado E2 (x0 , x) |E2 (x0 , x)| implica que x 1 f (x0 + x) f (x0 ) = Q(x) + x 2
2

E2 (x0 , x) x

E2 (x0 , x). De donde obtenemos

2

1 E2 (x0 , x) Q(x) x 2

E2 (x0 , x) > 0

para los vectores x que cumplen 0 < x < r. As concluimos que x0 corresponde a un m nimo local de f (x)

14.5.

Ejemplo 1: Clasicaci on de puntos

f (x, y ) = 27 x 1 3 x 2 y2 + y4 9

Para la funci on: clasique los siguientes puntos: a) P (3, 1) b) Q (9, 1) c) R (9, 1) d) S (9, 0) e) T (9, 0) respecto a las opciones: 1) Punto cr tico: m nimo relativo

2) Punto cr tico sin informaci on por el criterio de la Hessiana 3) No punto cr tico 4) Punto cr tico: m aximo relativo 5) Punto cr tico: punto silla Soluci on La idea es sustituir cada uno de los puntos en el gradiente para determinar si el punto es punto cr tico. S olo en caso de serlo, debemos sustituir en la Hessiana para ver si es m aximo o m nimo local. En nuestro ejemplo
2 fx = 27 1 3x fy = 4 y + 4 y 3 1 2 f = < 27 3 x , 4 y + 4 y 3 >

En la gura 1 se ilustra: limpieza de las variables, la captura de f (x, y ) y la obtenci on de las parciales. En las pantallas de la gura 2 se registran la captura de los puntos en la variable p y el c alculo de la matriz hessiana. An alisis de P (3, 1) Como f (P ) =< 24, 0 >=< 0, 0 > P (3, 1) no es un punto cr tico y por tanto no puede ser ni m aximo ni m nimo relativo. En la gura 3 se ilustra la sustituci on del punto P (3, 1) y del Q(9, 1) en f . An alisis de Q (9, 1) Como f (Q) =< 0, 0 > 3

Figura 1: Registro de f (x, y ), fx y fy

Figura 2: Registro de puntos y C alculo de la hessiana

Figura 3: C alculo de f (P ) y de f (Q)

Figura 4: Criterio en Q(9, 1).

Figura 5: Criterio en R(9, 1). por tanto, Q(9, 1) es un punto cr tico. Revisemos el criterio de la segunda derivada: Hf (Q) = 6 0 0 8

y as los eigenvalores propios de Hf (Q) son -6 y 8. Por tanto, el punto Q(9, 1) es un punto silla. Los c alculos se ilustran en la gura 4. An alisis de R (9, 1) Como f (R) =< 0, 0 > por tanto, Q(9, 1) es un punto cr tico. Revisemos el criterio de la segunda derivada: Hf (R) = 6 0 0 8

y a s los eigenvalores propios de Hf (R) son 6 y 8. Por tanto, el punto R(9, 1) es un m nimo relativo. Los c alculos se ilustran en la gura 5. An alisis de S (9, 0) Como f (S ) =< 0, 0 > por tanto, S (9, 0) es un punto cr tico. Revisemos el criterio de la segunda derivada: Hf (S ) = 6 0 0 4

y as los eigenvalores propios de Hf (S ) son -6 y -4. Por tanto, el punto S (9, 0) es un m aximo relativo. Los c alculos se ilustran en la gura 6. An alisis de T (9, 0) Como f (S ) =< 0, 0 >

Figura 6: Criterio en S (9, 0).

Figura 7: Criterio en T (9, 0). por tanto, T (9, 0) es un punto cr tico. Revisemos el criterio de la segunda derivada: Hf (T ) = 6 0 0 8

y as los eigenvalores propios de Hf (T ) son 6 y 8. Por tanto, el punto T (9, 0) es un m nimo relativo. Los c alculos se ilustran en la gura 7. Notas Observe en las pantallas de la TI el uso de la variable i: este truco permite el reuso de las entradas anteriores evitando as el volver a escribir los comandos, para ello basta volver a localizar el comando utilizando el cursor. Observe tambi en el comando | utilizado para sustituir valores por variables en una expresi on sin necesidad de hacer una asignaci on.

14.6.

Ejemplo 2

Veamos ahora un ejemplo donde se ilustra el proceso de optimizaci on cuando no existen restricciones. El proceso consiste de dos fases. En la primera se determnan los puntos estacionarios resolviendo el sistema de ecuaciones f = 0. Los puntos buscados est an dentro de este conjunto. La fase siguiente consiste en aplicar el criterio para determinar si son m aximos o m nimos locales. Ejemplo Analice la funci on: f : R2 R denida por: f (x, y ) = x3 + y 3 3 x y Soluci on Determinemos primero los puntos cr ticos. Para ello determinemos el gradiente de la funci on: f (x) =< 3 x2 3 y, 3 y 2 3 x > Los puntos cr ticos satisfacen f (x) =< 0, 0 > , por tanto: 3 x2 3 y = 0 y 3 y 2 3 x = 0 6

De donde: x2 y = 0 y y 2 x = 0 Despejando y de la primera y sustituyendo en la segunda obtenemos: (x2 )2 x = x4 x = x (x3 1) = x (x 1) (x2 + x + 1) = 0 1 1 1 1 + i 3, x4 = i 3 2 2 2 2 Puesto que estamos s olo interesados en las ra ces reales, s olo consideraremos a x1 = 0 y x2 = 1. cr ticos quedan: (como y = x2 ): x1 = 0, x2 = 1, x3 = x = 0 , y = 0: P (0, 0) x = 1 , y = 1: Q(1, 1) El siguiente paso es determinar cu ales son m aximos o m nimos relativos y cu ales puntos silla. Para ello determinemos la matriz Hessiana de f : 6x 3 Hf (x) = 3 6y Para P (0, 0): Hf (P ) = 0 3 3 0 Valores propios: 3, 3 Las ra ces son

Los puntos

Da signos intercambiados: P (0, 0) es punto silla. Para Q(1, 1): Hf (Q) = 6 3 3 6 Valores propios: 9, 3

Todos positivos: Q(1, 1) es punto m nimo relativo. Para terminar de convencernos de que efectivamente el criterio es v alido tomemos el punto P (0, 0). La matriz Hessiana tuvo valores propios 1 = 3 y 2 = 3. Tomemos el valor propio 1 . Para este valor propio de Hessiana evaluada en P (0, 0) tiene como vector propio v1 =< 1, 1 >: esta direcci on dene en el punto P (0, 0) a la recta y = x. Si sobre esta recta consideramos a la funci on f (x, y ) tenemos: F (x) = f (x, y = x) = x3 + (x)3 3x(x) = 3 x2 Si analizamos esta funci on efectivamente descubriremos que en x = 0 la funci on tiene un m nimo. Resumiendo: en el punto P (0, 0) y en la direcci on v1 =< 1, 1 > la funci on f (x, y ) tiene un minimo. Por otro lado, para el valor propio 2 = 3 la Hessiana evaluada en P (0, 0) tiene como vector propio v2 =< 1, 1 >: esta direcci on dene en el punto P (x, y ) la recta y = x. Si sobre esta recta consideramos la funci on f (x, y ) tenemos G(x) = f (x, y = x) = x3 + (x)3 3x (x) = 2 x3 3 x2 Si analizamos esta funci on efectivamente descubriremos que en x = 0 la funci on tiene un m aximo en x = 0. Resumiendo: en el punto P (0, 0) y en la direcci on v2 =< 1, 1 > la funci on f (x, y ) tiene un m aximo. De estos dos an alisis concluimos que efectivamente la funci on f (x, y ) tiene un punto cr tico en P (0, 0). Repitamos los c alculos en la TI. En la gura 9 se ilustra: la limpieza de las variables x y y ; el registro de la funci on f ; el c alculo de las parciales de f ; y la determinaci on de los puntos cr ticos. En la gura 10 se ilustra la salida de la soluci on del sistema de ecuaciones que dene los puntos cr ticos. Por conveniencia, se recomienda utilizar el comando explist para convertir la soluci on dada por la calculadora en un formato 7

Figura 8: Gracas de F (x) y de G(x)

Figura 9: Preparaci on para el ejemplo 2.

Figura 10: Puntos cr ticos de f .

Figura 11: Salida de explist y c alculo de Hf .

Figura 12: An alisis de Q(1, 1) (p[1]) y de P (0, 0) (p[2]). m as f acil de manipular. En la gura 11 se ilustra la salida del comando explist el cual es una matriz donde las ra ces est an por renglones y el orden en las columnas est a relacionado con el orden del segundo argumento de explist. Tambi en se ilustra parcialmente el registro de la Hessiana de f en la variable h. En las pantallas de la gura 12 se muestran los resultados de sustituir los puntos en la matriz Hessiana de f y el c alculo de sus eigenvalores. Recuerde que el primer rengl on contiene las componentes del punto Q(1, 1), mientras que el segundo rengl on las de P (0, 0). Estos resultados conrman que Q(1, 1) es un m nimo relativo y que P (0, 0) es un punto silla.

14.7.

Algunos comandos en la TI

En esta lectura usamos ciertos comandos que quiz a merecen una explicaci on: DelVar explist | d DelVar var1, var2, var3, . . . Este comando se usa para limpiar variables y es u til cuando se desea construir una expresi on matem atica que involucra a ciertas variables. Previo a denir la expresi on se debe invocar este comando. Ud. puede teclear directamente la palaba delvar con min usculas y su calculadora reconocer a el comando DelVar. Este comando puede ser invocado con una o variables variables. En caso de ser varias, estas deben ir separadas por comas: los espacios no son necesarios. Este comando equivale entrar al var-link y limpiar la o las variables declaradas. explist(exp, {var1, var2, var3, . . .}) Este comando es u til para convertir las soluciones a un sistema de ecuaciones que proporciona la calculadora TI en una matriz cuyos renglones son cada una de las ra ces. Se asume que exp es una expresi on del tipo var1 = v11 and var2 = v12 and and varN = v1N or . . . or var1 = vM 1 and var2 = vM 2 and and varN = vM N la cual es precisamente la forma de la salida del comando solve. La invocaci on de este comando crea la matriz: v11 v12 v1N . . . .. . . . . . . . vM 1 v M 2 9 vM N

Hay dos maneras de conseguir el comando explist. Una manera es ingresar desde catalog ( 2nd 2 , en la TI voyage 200) y luego movi endose con las echas hasta localizar la funci on (se puede presionar la letra e para moverse al principio de las funciones que inician con e y despu es continuar con el movimiento del cursor). La otra consiste en teclear directamente el comando ubicando adecuadamente el caracter en el teclado ( 2nd Y , en la TI voyage 200). Otra cosa importante de notar es que el orden de los valores en la columna va acorde con el orden declarado en el segundo argumento (exp, {var1, var2, var3, . . .}) y no con el orden de aparici on de las variables en la soluci on. exp | var1 = v1 and var2 = v2 and Esta construcci on permite sustituir los valores vi de las variables vari en exp. Esto es muy conveniente pues no ocurre una asignaci on de las variables que puedan contaminar los siguientes c alculos. El caracter | se obtiene en la TI voyage 200 con la combinaci on 2nd K . d (exp, var) o d (exp, var, n) Este comando se usa para calcular derivadas de exp respecto a la variable var. El tercer argumento opcional n indica el n umero de veces consecutivas que se deriva exp. Note la diferencia entre escribir la letra d y y el comando d : El comando de derivaci on se obtiene en el men u de math en el submen u calculus, o con las teclas 2nd 8 en la TI voyage 200.

14.8.

Resultados requeridos

La teor a detr as de este m etodo de optimizaci on se basa en ciertos resultados sobre matrices y otros referentes a c alculo. El siguiente resultado es uno de los m as importantes del a lgebra lineal y es conocido como el teorema espectral. Una de las cosas soprendentes es que un concepto simple como el de simetr a de una matriz pueda tener repercusiones tan importantes. La demostraci on de este resultado viene en el teorema 8.8 del libro de A. Basilevsky (1983): Applied Matrix Algebra in Statistical Sciences (North-Holland, New York). Los resultados sobre c alculo se relacionan con el desarrollo de Taylor (series de potencias) de una funci on en variables. Teorema 14.2 Sea A una matriz n n sim etrica. Entonces todos los valores propios de A son reales y existe para Rn una base ortogonal formada por vectores propios de A. M as a un, si x1 , x2 ,. . . ,xn forman una base ortogonal de vectores propios asociados a los valores propios 1 ,2 ,. . . ,n respectivamente entonces si P es la matriz cuya columna i es el vector xi y D es la matriz diagonal cuyo elemento (i, i) es i , entonces A = P D P Bajo el supuesto de segundas derivadas parciales continuas de una funci on en varias variables f , el teorema de Clairaut arma que las derivadas parciales cruzadas son iguales y por tanto la matriz hessiana Hf es sim etrica. Y por tanto, evaluada en cualquier punto tendr a todos sus valores propios reales. El teorema espectral tiene un impacto inmediato sobre funciones llamadas formas cuadr aticas: Teorema 14.3 Sea A = [aij ] una matriz n n sim etrica. Si denimos la forma cuadr atica en la variable x =< x1 , x2 , . . . , xn >
n n

Q(x) = x Ax =
i=1 j =1

aij xi xj

entonces: 10

Q(x) > 0 para toda x = 0 si y s olo si todos los valores propios de A son positivos. Q(x) < 0 para toda x = 0 si y s olo si todos los valores propios de A son negativos. Demostraci on Por el teorema espectral existen C ortogonal y D diagonal n n tal que A = C D C por consiguiente Q(x) = x A x = x C D C x = (Cx) D (C x) Si denimos y = C x entonces lo anterior queda:
n

Q(x) = y D y =
i=1

i yi 2

Note que al ser C ortogonal, C es invertible y por lo tanto x = 0 si y s olo si y = 0. Si todos los valores propios son positivos, claramente se tiene que Q(x) > 0 para toda x = 0. Si todos los valores propios son negativos, claramente se tiene que Q(x) < 0 para toda x = 0. Por otro lado: Si suponemos que Q(x) > 0 para toda x = 0. Entonces tomamos x = C ei . As y = ei y por tanto
n

Q(x) =
i=1

i ei 2 = i > 0

Si suponemos que Q(x) < 0 para toda x = 0. Entonces tomamos x = C ei . As y = ei y por tanto
n

Q(x) =
i=1

i ei 2 = i < 0

Esto completa la demostraci on

Dado que calcular valores y vectores propios de una matriz es un proceso num erico complejo, el siguiente resultado cambia el proceso de la determinaci on de valores propios por el proceso directo de c alculo de determinantes. La demostraci on de este resultado vienen en la prueba del teorema 2.14.4 del libro de P. Lancaster (1969): Theory of Matrices (Academic Press, New York).

Teorema 14.4 Sea A una matriz sim etrica n n. A tiene todos sus valores propios positivos si y s olo si todos los determinantes de las matrices principales primeras son positivos, esto es a11 > 0, a11 a12 a21 a22 > 0, . . . , |A| > 0.

11

El teorema clave que da las condiciones sucientes que deben cumplir los o ptimos locales para ser m aximos relativos, m nimos relativos o puntos sillan se deduce de variantes del teorema de Taylor que da el desarrollo de potencias de una funci on. La prueba de este resultado aparece en la demostraci on del teorema 7.5.1 del libro de A. Khuri (1993): Advanced Calculus with Applications in Statistics (John Wiley and Sons, New York)

Teorema 14.5 Sea f : D Rn R y sea B (xo ) una vecindad de xo D tal que B (xo ) D. Si todas las parciales de f existen y son continuas hasta orden r en B (xo ), entonces para cualquier punto xo + x B (xo ) se cumple
r 1

f (xo + x) = f (xo ) +
i=1

1 r 1 i x f (xo ) + x f (zo ) i! r!

donde zo est a en la l nea que une xo con xo + x. Demostraci on de la versi on del teorema utilizada en la prueba de la suciencia de las condiciones para m aximos, m nimos y puntos silla y que se formula como sigue puede ser encontrada en la prueba del teorema 9.4 del libro de T. Apostol (1980): Calculus, Volumen 2 (Revert e, Barcelona). Teorema 14.6 Sea f (x) una funci on escalar denida en una n-bola B (x0 ) y con derivadas parciales de segundo orden continuas en B (x0 ). Entonces para todo x0 + x B (x0 ) se tiene 1 f (x0 + x) f (x0 ) = f (x0 ) x + x Hf (x0 ) x + x 2 E2 (x0 , x) 2 donde E2 (x0 , x) 0 cuando x 0. Del teorema anterior se deduce que en un punto cr tico x0 el signo de f (x0 + x) f (x0 ) es el signo de x Hf (x0 ) x.

12