Documentos de Académico
Documentos de Profesional
Documentos de Cultura
OPTIMIZACION CONTINUA
Agosto de 2011
CALLAO - PERU
Gracias por tu paciencia.
ii
Indice
1 Preliminares 3
1.1 Notaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Resultados de Analisis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 El Problema de Optimizacion 11
2.1 Problema General de Optimizacion . . . . . . . . . . . . . . . . . . . . . 12
2.2 Clasicacion de Problemas de Optimizacion . . . . . . . . . . . . . . . . 14
2.3 Ejemplos de Problemas de Optimizacion . . . . . . . . . . . . . . . . . . 16
iii
4.7 Ejercicios Propuestos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
iv
Introduccion
El material de la presente edicion trata del estudio formal del problema de encontrar
los puntos de maximos y/o mnimos de una funcion sin restricciones o sujeta a algunas
restricciones sobre su dominio. Esta funcion, llamada funcion objetivo, puede representar
diversos fenomenos en estudio dependiendo del campo de aplicacion, por ejemplo, puede
representar la temperatura, la energa, el benecio de una empresa, el costo de produccion
de terminados productos, etc, es por eso que el tema tiene gran interes en las diversas
lneas de investigacion en ciencias e ingenieras.
El area que estudia de manera rigurosa el problema de encontrar los puntos de
maximos y/o mnimos de una funcion es llamada optimizacion matematica y esta a su
vez, dependiendo cual sea la naturaleza del problema, se divide en optimizacion continua,
combinatoria, entera, dinamica, estocastica, entre otras.
El tema que presentare en esta edicion es la optimizacion continua en espacios eu-
clidianos que es la base para el estudio de las otras subareas de la optimizacion y que
en esencia estudia problemas de optimizacion cuando las variables que denen el prob-
lema no son discretas, esto es, pueden tomar cualquier valor dentro del conjunto de las
restricciones.
Despues de presentar algunos problemas de optimizacion encontrados en las aplica-
ciones, estudiaremos las condiciones sucientes para garantizar la existencia de soluciones
optimas, para luego estudiar las condiciones necesarias y sucientes para caracterizar
optimos de funciones sucientemente regulares. Finalizaremos el trabajo con el estudio
de la convexidad de conjuntos, funciones convexas y problemas de optimizacion convexa.
Debo aclarar que no existe un aporte innovador en la teora presentada pero lo que si
encontraremos, a diferencia de otros textos, es la variedad de ejemplos, contraejemplos y
1
ejercicios resueltos para que la teora quede bien sustentada y entendida.
El material esta motivado por las lecturas de algunos libros de optimizacion que
se encuentran en las referencias bibliogracas y que a lo largo de estos anos he leido
cuidadosamente, es por eso, que algunos de los ejercicios propuestos en esos libros fueron
aqu desarrollados. Tambien, algunos ejemplos de problemas de optimizacion fueron
tomados de recientes trabajos de investigacion que he tenido la oportunidad de revisar
en algunas revistas cientcas y otros como por ejemplo los problemas de optimizacion
semidenida de algunas investigaciones que he realizado con algunos co-autores.
Este trabajo esta dividido en 6 captulos: El primer captulo da algunos preliminares
matematicos usados a lo largo del texto. El segundo captulo presenta el problema general
de optimizacion y algunos ejemplos de problemas en diversos campos de las ciencias que
pueden ser modelados como problemas de optimizacion. El tercer captulo trata sobre la
existencia de soluciones optimas de problemas denidos en espacios euclidianos. El cuarto
captulo presenta las condiciones de optimalidad necesarias y sucientes de problemas de
optimizacion para funciones diferenciables. El quinto captulo trata de la convexidad de
conjuntos, los teoremas de separacion, as como tambien, de las principales propiedades
de las funciones convexas y el sexto captulo trata de problemas de optimizacion convexa.
Para nalizar debo resaltar que este material formo parte del curso de Seminario
de Tesis I, disciplina del noveno ciclo, realizado en la Facultad de Ciencias Naturales y
Matematica de la Universidad Nacional del Callao a nivel de Pre-Grado y por ende me
gustara agradecer a las autoridades de esta institucion por la invitacion para formar
parte de la plana docente, al profesor Runo Moya Calderon por la motivacion indirecta
para continuar este trabajo cuando las fuerzas se desvanecian, al personal Administrativo
que me ha dado toda la comodidad suciente para realizar un trabajo sin contratiempos,
a los colegas por la armoniosa y amigable convivencia en todo este tiempo y agradecer
especialmente a los alumnos que con sus preguntas y sugerencias hicieron nacer la idea
de preparar este texto. A cada uno de ustedes que colaboraron directa e indirectamente
con el presente trabajo un sincero agradecimiento.
2
Captulo 1
Preliminares
En este captulo presentamos las notaciones utilizadas a lo largo del texto como
tambien los resultados basicos de analisis real necesarios para el buen entendimiento
de la teora presentada.
1.1 Notaciones
En el decorrer de este libro, adoptaremos las siguientes notaciones:
3
f : el gradiente de f.
B(x, ) = {x Rn : kx xk < } : la bola abierta de centro x y radio .
Dado x = (x1 , x2 , . . . , xn ) Rn , x 0 signica que xi 0, para todo i = 1, . . . , n.
2 f (x) denota la matriz hessiana de f en el punto x.
Ker(h (x)) denota el nucleo de la matriz h (x).
Im h (x)T = {v Rn : v = h (x)T }.
Dado A Rnn , AT denota la transpuesta de A.
Dado A Rnn , A 0 signica que A es denida positiva.
Dado A Rnn , A 0 signica que A es semidenida positiva.
S n = {X Rnn : X = X T }: el espacio de las matrices simetricas.
Dado X S n , tr(X) denota la traza de la matriz X.
Dado X S n , X Y := tr(XY ): produto interno en S n .
Sea un abierto de Rn , C k () = {F : U Rm : f es k veces diferenciable en U }.
C () = {F : Rm : F es una funcion innitamente diferenciable en }.
lim inf k+ f (xk ) = supn inf kn {f (xk )}.
lim supk+ f (xk ) = inf n supkn {f (xk )}.
R
L2 () = f : C, medible en el sentido de Lebesgue y |f |2 < .
H01 () = {u L2 () : u L2 () u(x) = 0 , x Front()}.
Dado g : X Rn R, x argmax{g(y) : y X}, denota g(x) g(y), para todo
y X.
Dado g : X Rn R, z argmin{g(y) : y X}, denota g(z) g(y), para todo
y X.
ln z denota el logaritmo neperiano de z.
F c = Rn \F denota el complemento del conjunto F .
+ : Rn Rn Rn : +(x, y) := (x1 + y1 , . . . , xn + yn ),
4
: R Rn Rn : (, x) := (x1 , . . . , xn ).
5
Observacion 1.1 De las definiciones dadas obtenemos las siguientes igualdades:
p
d(x, y) = ||x y|| = (x y)T (x y).
Definicion 1.4 Un conjunto C Rn es llamado acotado si existe M > 0 tal que ||c||
M, para todo c C.
Teorema 1.2 Si {xk } Rn es una sucesion limitada, entonces existe una subsucesion
{xkj } de {xk } convergente.
6
Definicion 1.6 Dado una matriz A Rnn , A es llamada matriz semidefinida positiva,
denotado por A 0, si dT A d 0, para todo d Rn . A es definida positiva si dT A d > 0,
para todo d Rn \ {0} .
f f (x + tei ) f (x)
(x) = lim
xi t0 t
Definicion 1.9 Sea f : A R una funcion definida en el conjunto abierto A Rn y
x A. Decimos que la funcion f es diferenciable en x si existen las derivadas parciales
f f f
x1
(x), x 2
(x), ..., x n
(x) y ademas para todo vector v = (v1 , v2 , ..., vn ) tal que x + v A
se tiene:
Xn
f
f (x + v) = f (x) + (x)vi + o(v), (1.1)
i=1
xi
donde
o(v)
lim = 0.
v0 ||v||
7
Definicion 1.10 Sea f : A R una funcion definida en el conjunto abierto A Rn ,
con derivada direccional en el punto x A. La diferencial de f en el punto x es una
aplicacion df (x) : Rn R definida por df (x)(v) = f (x, v).
hf (x), vi = df (x)(v),
para todo v Rn .
f
hf (x), ei i = df (x)(ei ) = (x),
xi
es por eso que el gradiente queda expresado en las base canonica como
f
f (x) = (x), ..., f (x) .
x1 xn
donde
o(v)
lim = 0.
v0 ||v||
8
Definicion 1.13 Sea f : A R una funcion definida en el conjunto abierto A Rn y
x A. Decimos que la funcion f es dos veces diferenciable en x si existen las derivadas
2f
parciales de segundo orden xi xj
(x) para todo i, j = 1, ..., n, y ademas para todo vector
v Rn tal que x + v A se tiene:
1
f (x + v) = f (x) + hf (x), vi + hv, 2 f (x)vi + o(v 2 ), (1.2)
2
donde
o(v 2 )
lim = 0.
v0 ||v||2
9
es no singular. Entonces, existe una vecindad U 0 de (x0m+1 , x0m+2 , . . . , x0n ) Rnm
tal que para cada x = (xm+1 , xm+2 , . . . , xn ) U 0 existen funciones i : Ux
Rnm Rm , donde Ux es una vecindad de x tal que:
a) i C p (Ux )
10
Captulo 2
El Problema de Optimizacion
11
desarrollados como por ejemplo: Operational Research Society en Inglaterra, Oper-
ational Research American Society y The Institute of Management Sciences en los
Estados Unidos y La Societe Francaise de Recherche Operationelle en Francia, entre
otros. Paralelamente se crearon diversas Revistas Cientcas dedicadas a la publicacion
de los diversos trabajos de investigacion en Optimizacion y sus aplicaciones.
Actualmente la Optimizacion con ayuda del avance de la Computacion Cientca
conoce aplicaciones en diferentes areas, por ejemplo en Economia, Administracion, Fsica-
Matematica, Ingenieras: Qumica, Biologica, Civil, Ambiental, Electrica, Mecanica, etc,
y se ha convertido en una de las cuatro lneas de investigacion mas estudiadas en el
ambito de las ciencias e ingenieras.
Antes de denir que es un problema de optimizacion es necesario introducir los conceptos
de mnimo y maximo de una funcion.
f (x) f (x), x X.
f (x ) f (x), x X.
12
f (x )
f (x)
x x
Mnimo global
Maximo global
13
Puntos de maximo Puntos de mnimo global
global global
min{f (x) : x M }.
14
de minimizacion con restricciones o restricto. Un ejemplo tpico de X es
o tambien,
min f (x)
h(x) = 0
g(x) 0
donde h : M Rm y g : M Rp son funciones tales que h(x) = (h1 (x), ..., hm (x))
y g(x) = (g1 (x), ..., gp (x)).
b) Por la funcion objetivo y las propiedades de sus restricciones, los problemas pueden
ser lineales o no lineales.
Si f en (2.2) es lineal y X es un conjunto denido por funciones anes ( una funcion
f : Rn R es afn si para todo x, y Rn y R se tiene que f (x + (1 )y) =
f (x)+(1)f (y),), entonces el problema se llama problema de optimizacion lineal.
La forma padron de un problema de optimizacion lineal en el espacio euclidiano es:
min{cT x : Ax = b, x 0},
c) Por la naturaleza del problema, los problemas pueden ser discretos, continuos o
mixtos.
15
Si X es un conjunto nito o enumerable entonces el problema es denominado
problema de optimizacion discreta y las variables que denen las restricciones son
llamadas variables discretas. Un ejemplo particular es el siguiente problema:
aqu las variables xi son llamadas variables discretas. Mas ejemplos de estos prob-
lemas se pueden encontrar dentro de la optimizacion entera y optimizacion combi-
natoria.
16
Central Central
n nodo 1
Energa Energa
xn x1
Central Central
n1 2
Energa Energa
xn1 x2
Central Central
n2 3
Energa Energa
xn2 x3
tal manera que se minimice el costo de combustible utilizado para producir la cantidad de
energa requerida.
Designamos por: xi =la energa producida por la i-esima central, i = 1, 2, . . . , n. Para
cada i = 1, . . . , n, la energa xi varia entre i y i , lmites definidos para las cargas, esto
es,
i xi i .
17
Por otro lado, las perdidas de un sistema no son constantes, ellos son definidos por
la intensidad de energa transmitida y los parametros de las lneas de transmision. De
esta manera, para una aproximacion mas real del modelo se debe examinar el problema
cuando Ep es una funcion bilineal de xij , donde xij denota la energa transmitida de la
iesima central al jesimo nodo. As, obtenemos el siguiente problema de optimizacion:
X n
m X m X
X n
min Tij (xij ) : xij = Ec + Ep (xij ), ij xij ij , i = 1, . . . , n, j = 1, . . . , m .
j=1 i=1 j=1 i=1
En la practica, sin embargo, existio errores experimentales como muestra la figura 2.5.
Para establecer conclusiones sobre los datos deseamos encontrar la curva mas cercana a
y
los m puntos. Desde que la ecuacion general de la curva en estudio es dado por (2.3),
18
esto significa que debemos escoger x1 , x2 , x3 , x4 que minimice la discrepancia (error) entre
los datos y la curva. La discrepancia es dada por:
ri (x) := g(x1 , x2 , x3 , x4 , ti ) yi , i = 1, . . . , m.
Observemos que tambien pueden ser utilizados otros tipos de medida para la funcion
objetivo, por ejemplo
m
X
f1 (x) = |ri (x)| ,
j=1
1.5di di
= 0.5.
di
19
rendimiento esperado. Tambien puede existir algunas restricciones sobre la parte de la
cartera dedicada a acciones individuales en particular.
Para obtener el modelo de optimizacion definimos:
xi : la proporcion de la cartera invertida en la accion i.
i2 : la varianza de los rendimientos anuales de la accion i.
Ri : rendimiento anual esperado de la accion i.
G : lmite inferior sobre el rendimiento anual esperado de la inversion total.
Si : lmite superior sobre la inversion en la accivn i.
ij : la covarianza de los rendimientos anuales de las acciones i y j (es un numero que
describe el grado hasta donde los rendimientos de las dos acciones i y j ascienden o
descienden juntos).
Pn
El rendimiento anual de la cartera se define por i=1 xi Ri . La varianza del rendimiento
de la cartera (o riesgo de la cartera) que es obtenido por procedimientos estadsticos es
definido por:
n
X n1 X
X n
f (x) = f (x1 , . . . , xn ) = x2i i2 + 2 xi xj ij .
i=1 i=1 j=i+1
min f (x) = 0.09x21 + 0.06x22 + 0.04x23 + 2(0.02x1 x2 + 0.01x1 x3 + 0.02x2 x3 )
0.02x1 + 0.03x2 + 0.07x3 = 1
0 x1 0.75
0 x2 0.9
0 x3 0.8
20
Para resolver el modelo general los valores de i2 , ij , y Ri deben ser conocidos (como
mostramos en el ejemplo particular para n = 3), esto es, si en los datos del problema
estos no son dados entonces deben ser estimados con datos historicos.
Por ejemplo, si se cuenta con m periodos de datos (en anos) el activo i tendra
un rendimiento historico real Rit relacionado con cada periodo t {1, 2, . . . , m}. El
rendimiento esperado del activo i se estima con:
m
1 X t
Ri = R.
m t=1 i
Los rendimientos historicos periodicos tambien son utiles patra estimar las varianzas
y las covarianzas, dadas por:
m m
1 X t 1 X t
i2 = (Ri Ri ) y ij = (R Ri )(Rjt Rj ).
m t=1 m t=1 i
21
La longitud del viaje es:
n X
X n
f (x11 , x12 , . . . , xij , . . . , xnn ) = dij xij .
j=1 i=1
Por ejemplo, si n = 3, entonces usando el hecho que xii = 0 (no hay viaje de la ciudad i
a la ciudad i) y dii = 0 tenemos que el problema de optimizacion es:
min f (x) = d12 x12 + d13 x13 + d21 x21 + d23 x23 + d31 x31 + d32 x32
x12 + x13 = 1
x21 + x23 = 1
x +x =1
31 32
x21 + x31 = 1
x12 + x32 = 1
x13 + x23 = 1
x12 , x13 , x21 , x23 , x31 , x32 {0, 1}
n=3
2
d 21
d2
d 12 3
d3
2
d13
1 3
d31
Figura 2.6: (3-1)!= 2 viajes posibles: (d12 , d23 , d31 ) y (d13 , d32 , d21 )
22
n=4
2 d32
d 21
d2
d 12 d42 3
d13
1 d31 3
4
d3
d41
3
d4
d4
1
4
23
Ejemplo 2.7 (Problema de transporte). Considere el problema de transportar una
mercancia de m puntos de origen a n puntos de destino. Se considera que en los pun-
tos de origen 1, 2, . . . , m se tienen respectivamente las cantidades a1 , a2 , . . . , am de un
determinado bien. Sean los puntos de destino 1, 2, . . . , n a los que deben de llegar las
cantidades b1 , b2 , . . . , bn , ver Figura 2.8.
Supondremos que existe un equilibrio entre la oferta y la demanda, esto es,
DESTINOS
1 2 ... 3
O 1 x11 x12 ... x1n a1
R 2
x21 x22 ... x2n a2
... . .. .. ..
I
G .. . . .
E
N
E
S am
m xm1 xm2 xmn
b1 b2 ... bn
m
X n
X
ai = bj .
i=1 j=1
Sean
i. Para cada origen i se debe cumplir que la suma de las cantidades desde i hacia los
diferentes destinos deben coincidir con la cantidad ai que hay en el origen, esto es,
Xn
xij = ai .
j=1
24
ii. Para cada destino j, se debe verificar que la suma de las cantidades que llegan a j
es igual a la cantidad bj , esto es,
m
X
xij = bj ,
i=1
D E h(altura)
A x bx B
F
b
Ejemplo 2.9 ( Calculo de variaciones). Los problemas variacionales son una famlia
particular de problemas de optimizacion. Ellos se caracterizan por estar definidos en
25
espacios de funciones de dimension infinita y por el hecho que la funcion objetivo es un
operador integral. Los problemas variacionales clasicos pueden expresarse como
Z b
min I(u) := L(t, u(t), u (t))dt ; u X ,
a
26
A, tal que Ax = x. El problema de hallar los autovalores y autovectores de A pude ser
formulado como el problema de optimizacion:
27
El criterio de valorizacion, que estudia la manera en la que el agente evalua las
diferentes alternativas que se le ofrecen. Este criterio se define mediante una
relacion binaria reflexiva y transitiva -, interpretada economicamente como es
al menos tan preferible que refleja sus preferencias sobre el conjunto de eleccion.
En economa esta relacion es llamada preferencia.
Las preferencias - bajo ciertas condiciones sobre X pueden representarse por una funcion
de utilidad . As, elegir la mejor alternativa se convierte en encontrar una alternativa
que maximice la funcion . Por lo tanto concluimos que resolver el problema de decision
del agente es equivalente a resolver el problema de maximizacion:
Se puede probar que esta funcion esta ntimamente relacionada a la hipotesis de convexi-
dad de la preferencia. Recordemos que - es convexa si dados x, y X con x - y y x - z
en X y 0 1 entonces
x - y + (1 ) z.
28
tener un problema de optimizacion cuasi-concavo (problemas donde la funcion objetivo
es cuasi-concava y las funciones que definen las restricciones son cuasi-concavas).
Ejemplo 2.13 (El problema de la produccion). Considere que una empresa puede
producir n productos en cantidades x1 , x2 , . . . , xn , siendo sus costos de produccion (por
unidad) respectivamente igual a p1 , p2 , . . . ., pn , donde pi > 0, para todo i = 1, 2, . . . , n.
Si se tiene un capital de b soles para realizar la produccion y una funcion continua f
que representa la utilidad de produccion de los n productos, el problema de conocer una
utilidad mnima o maxima es expresado por
Ejemplo 2.14 (Teora de la decision proximal, ver [18]). Sea el estado X = Rn+ ,
interpretado economicamente como el conjunto de alternativas, ejecuciones, acciones,
decisiones, etc. El termino agente sera referido a una persona, empresa o institucion
encargada de la toma de decisiones. Un agente tiene una funcion objetivo g : X R,
que representa la ganancia por unidad de tiempo (utilidad, pago, ingreso, beneficio).
Consideremos x X algun estado inicial dado y supongamos que el supremo de este
objetivo es finito, esto es, g = sup {g(x), x X} < +. Supongamos que el agente
comienza de algun estado inicial x0 = x X, conoce el supremo de g y el valor inical
g(x) = g(x0 ). As, el conoce cuan lejos esta del supremo. Esta diferencia o llamada
tambien salto es definida por
n(x) = g g(x).
E(x, r(x)) X,
29
Fase Explotacion El agente debe beneficiarse al obtener un nuevo estado mejorado. El
escoge explotar su beneficio en un tiempo > 0.
30
Ejemplo 2.16 (Mnimo de la suma de los mayores autovalores, ver [15]). Con-
sideremos el problema de minimizar la suma de los primeros k mayores autovalores de
una matriz simetrica:
max{A0 X ; AX = b, 0 X I},
donde por simplicidad usamos la notacion i = i (A). Para cada suma parcial de auto-
valores del lado derecho de la igualdad podemos usar la formulacion del ejemplo anterior,
obteniendo
Observe que este problema puede ser expresado en la forma (2.4), donde f (X) = CX, con
X = diag(X1 , X2 , . . . , Xn ), C = diag((m1 m2 )A1 , . . . , , (mk1 mk )Ak ), A(X) = I X,
y b = (1, 2, . . . , k)T . As, (2.6) es un caso particular de (2.4).
31
Ejemplo 2.18 (El problema de particion de un grafo). Un importante caso del
problema de particion de un grafo, ver [1], es formulado como:
Podemos expresar (2.7) como (2.4) usando f (X) = CX, A1 = diag(1, 0, . . . , 0), A2 =
diag(0, 1, 0, . . . , 0), . . . , An = (0, 0, . . . , 0, 1) y b = (k/n, k/n, . . . , k/n) Rn .
32
Captulo 3
Observacion 3.1 La relacion inmediata de estas dos definiciones es que todo mnimo
global es un mnimo local, pero la viceversa, evidentemente, no es verdadera.
33
Definicion 3.2 (Maximo local y maximo global) Sea f : X Rn R una funcion
definida sobre X. Un punto x X es llamado un punto de maximo local de f sobre X
si existe > 0 tal que f (x) f (x), para todo x X B(x, ).
El punto x X es llamado punto de maximo global de f sobre X si f (x) f (x), para
todo x X.
Observacion 3.2 Desde que todo problema de maximizacion puede ser transformado
en uno de minimizacion, a partir de ahora consideraremos para el analisis solamente
problemas de minimizacion.
34
Una condicion necesaria para probar la existencia de un punto de mnimo global es que
la funcion f sea acotada inferiormente, esto es, inf{f (x) : x X} > . Observemos
que esta condicion no es suciente, considere por ejemplo la funcion exponecial f (x) = ex ,
donde x R. Esta funcion es acotada inferiormente por cero pero no existe un punto de
mnimo global como se muestra en la gura 3.2.
ex
donde lim inf k+ f (xk ) := supnN inf kn f (xk ). Si f es semicontinua inferior para todo
x X, entonces decimos que f es semicontinua inferior en X.
Resulta claro de la denicion que toda funcion continua es semicontinua inferior pero el
recproco no es verdad como muestra el siguiente ejemplo.
35
Ejemplo 3.1 La funcion f : [1, 2] R tal que
(x + 1)2 , si x (1, 2],
f (x) =
1, si x = 1,
36
Debido que f es semicontinua inferior tenemos:
Ya que {f (xkj )} es una subsucesion de {f (xk )} y por (3.1) obtenemos que f (x) ,
lo cual es una contradiccion. Por lo tanto, f es limitada inferiormente en X. As, existe
R tal que
= inf{f (x) : x X},
esto implica que existe una sucesion {xl } X tal que liml+ f (xl ) = . Por la
compacidad de X existe una subsucesion {xlj } y x X tal que limj+ xlj = x. Debido
a la semicontinuidad inferior
De esta ultima desigualdad obtenemos que f (x) = y por lo tanto f (x) f (x), para
todo x X, esto es, x es un mnimo global de f en X.
Ejemplo 3.2 Considere la funcion f definida en el Ejemplo 3.1, como esta es semicon-
tinua inferior y [1, 2] es compacto, entonces usando el teorema anterior concluimos que
para f existe un mnimo global en [1, 2].
min{x2 : x R} (3.2)
37
Figura 3.4: Graco del conjunto de nivel inferior.
ii). Si x
/ Lf (), entonces f (x) > f (x). As, f (x) < f (x).
38
Observacion 3.4 En el corolario anterior la condicion de cerradura de X es fundamen-
tal. En efecto, considere por ejemplo X = (1, 1] (conjunto no cerrado) y f (x) = (x+1)2 .
Aqu para todo R++ se tiene que Lf () = (1, 1] es no vacio, acotado y f es
continua pero no existe el mnimo global de f en X.
Para debilitar mas aun las condiciones de existencia de mnimos globales deniniremos
el concepto de funcion coerciva.
Definicion 3.4 Decimos que una sucesion {xk } en X es crtica (en relacion al conjunto
X) si: limk+ kxk k = + limk+ xk = x X\X, donde la notacion x X\X
significa que x X y x
/ X.
La funcion f : X Rn R es llamada coerciva en X si para toda sucesion crtica
{xk } se tiene:
lim sup f (xk ) = +,
k+
lim kxk k = +,
k+
luego {xk } es una sucesion crtica en Lf (). Como xk Lf (), se tiene f (xk ) ,
tomando lmite superior cuando k + y usando la coercividad de f tenemos que
lim supk+ f (xk ) = + , lo que es una contradiccion. Por lo tanto Lf () es
acotado.
39
Probaremos ahora que Lf () es cerrado. Sea {xk } Lf () una sucesion tal que xk x
y supongamos que x
/ Lf (), esto es, x
/ X o f (x) > .
/ X entonces {xk } es una sucesion crtica y por la coercividad de f se tiene que:
Si x
+ = lim supk+ f (xk ) , lo que es una contradiccion.
Si f (x) > , entonces por la semicontinuidad inferior se tiene que
Ejemplo 3.5 Dados p = (p1 , ..., pn ), con pi > 0, i = 1, ..., n, y b R++ . El problema de
la utilidad mnima y maxima del Ejemplo 2.13 consiste en resolver
opt{f (x) : pT x b, x 0}
40
donde recordamos que opt significa minimizar o maximizar f y x 0 significa que cada
componente xi 0, para todo i = 1, ..., n.
Estudiaremos si el problema dado tiene mnimo y maximo global. Definamos
X = x Rn : pT x b, x 0 .
p1 x1 + p2 x2 + .... + pn xn b.
b
Como los xi 0 y pi > 0, entonces xi pi
, para todo i = 1, ..., n.
Definamos M = min{pi , i = 1, ..., n} > 0. Elevando al cuadrado la desigualdad anterior
nb2
y tomando sumatoria tenemos: kxk2 M2
, esto es, kxk nb
M
.
Si f es semicontinua inferior, entonces el problema tiene un mnimo global y si f es semi-
continua superior el problema tiene maximo global. Ademas, si f es continua entonces
concluimos que el problema tiene mnimo y maximo global.
41
1 kT
para algun M R. Tenemos por lo tanto que: 2
x Axk bT xk + c M. Para k
suficientemente grande se tiene que xk 6= 0 y
T
! k
1 xk xk T x c M
A b 2 + 2 .
2 kx kk k
kx k kxk k kxk k kxk k2
Tomando una subsucesion si es necesario, existe z 6= 0 tal que
xk
zk = z.
kxk k
Pasando al lmite en la ultima desigualdad y multiplicando por 2 se obtiene z T Az 0, lo
que contradice la hipotesis de que A es definida positiva. As, f (x) = 21 xT Ax bT x + c es
continua y coerciva y por lo tanto, usando el Corolario 3.4, se tiene que existe un mnimo
global de f.
min {f (x) = kx yk : x X} .
42
Solucion. Consideremos el conjunto X = {(x, y) R2 : x + y > 0}, que no es cerrado
ni acotado, la idea entonces es probar que el conjunto de nivel
2 1
Lf (c) = (x, y) X : x + y + c
x+y
es compacto para algun c R.
Probemos que Lf (c) es acotado.
Supongamos que Lf (c) no es acotado, entonces existe (xk , y k ) Lf (c) tal que k(xk , y k )k
+, entonces:
(xk )2 + (y k )2 + (3.4)
Desde que (xk , y k ) Lf (c), tenemos tambien que:
2
k 1 1 1
x < (xk )2 + (y k ) < (xk )2 + (y k ) + k c (3.5)
2 4 x + yk
Entonces xk es acotado y por la ecuacion (3.4), (y k )2 +, cuando k +, luego
se tiene que y k +, cuando k + (si y k , de la condicion xk + y k > 0 y de
la limitacion de xk se tendra que 0).
De la ecuacion (3.5) se tiene que + c, lo que es una contradiccion, entonces Lf (c) es
acotado.
Probemos que Lf (c) es cerrado.
Por contradiccion, supongamos que Lf (c) no es cerrado, entonces existe
(xk , y k ) Lf (c) : (xk , y k ) (x, y) X\X.
1
As x + y = 0. Usando nuevamente la ecuacion (3.5) se tiene (xk )2 + (y k ) + xk +y k
c.
Tomando lmite tenemos que + c, lo que es una contradiccion.
De ambos resultados concluimos que Lf (c) es compacto y como f es continua en X
entonces existe un mnimo global.
Solucion. La funcion f puede ser expresada como f (x1 , x2 ) = x41 + (x22 16)2 162 .
Probaremos que f es coerciva. Para ello sea {(xk1 , xk2 )} una sucesion tal que
43
Si limk |xk1 | = + y como f (x1 , x2 ) x41 162 , se tiene que limk f (xk1 , xk2 ) = +
Si limk |xk2 | = + y como f (x1 , x2 ) (x22 16)2 162 , se tiene que limk f (xk1 , xk2 ) =
+.
Solucion.
44
Ejercicio 3.5 Supongamos que el problema de minimizacion irrestricta de una funcion
continua en Rn tiene un mnimo global. Responder si eso implica que f tiene un mini-
mizador global sobre cualquier conjunto cerrado de Rn . Si no lo fuera dar un contraejem-
plo.
Solucion.
Si x es un minimizador global de f entonces todo x tal que f (x) = f (x) es un minimizador
global y por lo tanto local.
Supongamos ahora que todo x Rn tal que f (x) = f (x) es un minimizador local.
Probaremos que x es un minimizador global. Por contradiccion, supongamos que existe
Rn tal que f () < f (x) y 0 < f (x) f () tomando = (f (x) f ())/2 y usando la
denicion de continuidad de f en , existe > 0 tal que, para todo x B(, ) se tiene:
f (x) f ()
|f (x) f ()| < .
2
f (x)f ()
Tomando x B(, ) tal que f (x) = f (x) entonces tenemos |f (x) f ()| < 2
, lo
que es una contradiccion.
Ejercicio 3.7 Sea f una funcion continua y limitada inferiormente. Seja u un min-
imizador de f , esto es, f (u) inf xRn f (x) + Dado > 0 considere g(x) := f (x) +
45
Solucion.
iii. Como f (v) + kv uk f (u) y por hipotesis f (u) infn f (x) + , se tiene que:
xR
f (v) + kv uk f (u) infn f (x) + f (v) + ,
xR
Ejercicio 3.8 Sea f : Rn R una funcion dada. Pruebe que f es semicontinua inferior
en Rn si y solo si, Lf () = {x Rn : f (x) } es cerrado para todo R.
46
Ya que xk Lf () entonces f (xk ) , luego tomando limite inferior tenemos
esto es,
lim inf f (xk ) . (3.7)
k
Ahora de (3.6) y (3.7) concluimos que f (x) y as, x Lf (). Por lo tanto, Lf () es
cerrado.
Reciprocamente, si Lf () = {x Rn : f (x) } es cerrado para todo R, probaremos
que f es semicontinua inferior en Rn .
Por contradiccion, supongamos que existe una sucesion {xk } que satisface xk x y
f (x) > lim inf k f (xk ), entonces existe R tal que:
De aqu se deduce que > lim inf k f (xk ) := supnIN inf kn f (xk ) , pero esto im-
plica que > inf kn f (xk ), para todo n IN , y en consecuencia > inf kn f (xk ), para
todo n IN .
As existe una subsucesion {xkl } de {xk } tal que f (xkl ) . De aqu,
xkl Lf () y xkl x.
ii) Si a 6= 0, entonces existe i0 {1, 2, ..., n} tal que ai0 6= 0. Sin perdida de generalidad,
supongamos que ai0 > 0, entonces podemos denir la sucesion {xk }, tal que xk =
47
(0, 0, ..., k, 0, ..., 0), donde el valor de k corresponde a la componente i0 , y obtener
que ||xk || +. Luego, se tiene que
3. Considere el problema:
opt xT Ax : kxk = 1 .
48
5. Una empresa produce dos bienes en competencia perfecta, siendo p1 y p2 sus precios
respectivamente. La funcion de costo de la empresa biene dado por:
As el problema de optimizacion es
6. Se quiere construir una cisterna metalica abierta para agua, con un triangulo
rectangulo como base y lados verticales. Si el volumen de la cisterna debe ser
de 2m3 , obtener el problema de optimizacion tal que la cisterna tenga la menor
area. El problema tiene solucion?
49
Captulo 4
Condiciones de Optimalidad de
Problemas Diferenciables
f (x ) = 0.
50
x(t) = x td. Ya que f es diferenciable en x se tiene que h es diferenciable en 0 y
o(t)
donde limt0 t
= 0. Como x es un mnimo local de f , entonces t = 0 es mnimo
local de h, as, existe > 0 tal que h(t) h(0) 0, para todo t (, ). Usando
o(t)
este resultado en la ecuacion anterior, obtenemos h (0) + t
0, para todo t (0, ).
Tomando lmite cuando t converge para cero se obtiene que h (0) 0. Usando la regla de
la cadena concluimos que, 0 > kf (x )k2 = f (x )T d 0, implicando que 0 > 0,
lo que es una contradiccion. Por lo tanto obtenemos el resultado deseado.
Ejemplo 4.1 Sea f : R2 R tal que f (x1 , x2 ) = x21 + x22 , el punto x = (0, 0) es un
mnimo global y cumple f (x ) = 0.
Observacion 4.2 Del Teorema 4.1 concluimos que los candidatos a mnimos del pro-
blema irrestricto se obtienen resolviendo el sistema f (x) = 0.
51
x3
f (x1 , x2 ) = x21 x21
x2
x1
Demostracion. Que f (x ) = 0 es consecuencia del Teorema 4.1, por eso solo probare-
mos que para todo d Rn :
dT 2 f (x )d 0.
52
semidefinida positiva, por lo tanto usando el Teorema 4.2 tenemos que x no es un punto
de mnimo local.
Para dar una condicion suciente de mnimo local necesitamos la siguiente denicion.
0 z T 2 f (x )z,
53
Ejemplo 4.3 Consideremos el problema
3
min{f (x1 , x2 ) = x21 + x1 x2 + x22 2x1 x2 + 2 : (x1 , x2 ) R2 }.
2
Para hallar los puntos de mnimo usaremos las condiciones de primer y segundo orden.
Usando la condicion de primer orden tenemos
2x1 + x2 = 2
x1 + 3x2 = 1.
Por otro lado, podemos garantizar tambien que x es un mnimo global (unico). En
efecto, la funcion objetivo f puede ser expresado como
1
f (x1 , x2 ) = xT Ax bT x + c,
2
donde
2 1 2
A= , b = , c = 2.
1 3 1
Visto que la matriz A es simetrica y definida positiva, usando el Ejemplo 3.7, obtenemos
que x es un mnimo global.
54
Luego los candidatos a solucion son (0, 0) y (1, 0). Usaremos ahora la condicion de
segundo orden. La matriz hessiana de f es
2x1 + 1 0
2 f (x1 , x2 ) = .
0 1
Observacion 4.4 El recproco del teorema anterior es falso. En efecto, considere por
ejemplo f (x) = x4 y x = 0. El punto x es un mnimo global estricto de f pero f (x) = 0.
max{f (x) : x Rn }.
min{f (x) : x Rn }.
Usando los resultados obtenidos para el problema de minimizacion tenemos que las condi-
ciones para el problema de maximizacion son:
55
4.2 Restricciones Arbitrarias
Consideremos el problema de optimizacion
Por la conexidad de la bola, existe 1 (0, ) tal que (t) B(x , ) X, para todo
t [0, 1 ]. As, de (4.4) tenemos que (0) (t), para todo t [0, 1 ). En particular,
(t)(0)
(0) (t), para todo t (0, 1 ). Luego, t
0, para todo t (0, 1 ). Como es
derivable en cero tomando lmite cuando t va para cero y usando la regla de la cadena
tenemos f (x )T (0) = (0) 0.
0 f (x )T f (x ) = kf (x )k2 < 0,
56
lo que es una contradiccion. Por lo tanto obtenemos el resultado deseado.
f (x )T (0) = (0) 0,
57
Definicion 4.4 Dado x X, diremos que es una curva en X de clase C k pasando
por x si : [, ] X, > 0, (0) = x y C k [, ].
f (x )T (0) = f (x )T 1 (0) 0,
f (x )T ( (0)) = f (x )T 2 (0) 0.
Observacion 4.8 El recproco del Corolario 4.2 es falso. En efecto, considere la funcion
f (x) = x3 y X = (1, 1), el punto x = 0 satisface f (0) = 0 y f (0) = 0 0, pero no
es un punto de mnimo local.
58
Teorema 4.6 (Condicion Suficiente de Segundo Orden) Si f : X R es una
funcion dos veces diferenciable en un punto interior x de X, tal que f (x ) = 0 y
2 f (x ) es definida positiva, entonces x es un minimizador local estricto del problema
(4.3).
min{f (x) : x U },
59
donde h : Rn Rm es una funcion tal que h(x) = (h1 (x), h2 (x), . . . , hm (x)), con hi :
Rn R. Poniendo en el formato general tenemos que X = {x Rn : h(x) = 0}.
Tx X
(0) = v
x = (0)
(t)
Podemos relacionar Tx X con el nucleo del Jacobiano de h, denotado por Ker(h (x)).
60
Observacion 4.11 El recproco del lema anterior no es verdadero. En efecto, consider-
emos por ejemplo h(x1 , x2 ) = x1 x2 , entonces X = {(x1 , x2 ) R2 : h(x1 , x2 ) = x1 x2 = 0}.
Tomando x = (0, 0) se tiene T(0,0) X = {(v1 , v2 ) R2 : v1 v2 = 0}. En efecto, sea v
T(0,0) X entonces existe : [, ] X tal que (0) = (0, 0) y (0) = v. De aqu se
tiene que 1 (t)2 (t) = 0, para todo [, ]. Lo anterior implica 1 (t) = 0 o 2 (t) = 0,
para todo t (, ).
Tomando en particular para t = 0 obtenemos 1 (0)2 (0) = v1 v2 = 0, es decir que
1 (0)2 (0) = 0. Recprocamente, sea v = (v1 , v2 ) R2 tal que v1 v2 = 0. Dado > 0 defi-
namos : [, ] R2 : (t) = (0, 0) + t(v1 , v2 ), entonces (0) = (0, 0), (0) = (v1 , v2 )
y 1 (t)2 (t) = (tv1 )(tv2 ) = 0. As, (t) X y por lo tanto v = (v1 , v2 ) T(0,0) X.
Por otro lado, Ker(h ((0, 0))) = {(v1 , v2 ) R2 : 0v1 + 0v2 = 0} = R2 . As obtenemos
que Ker(h ((0, 0))) 6 T(0,0) X.
Lema 4.3 Sea A Rmn , m < n, con rango m entonces, AAT es invertible.
61
Demostracion. La inclusion Tx X Ker(h (x)) (sin la hipotesis de punto regular)
fue probado en el lema 4.2. Probaremos ahora la otra inclusion. Sea v Ker(h (x)),
entonces
h (x)v = 0. (4.5)
ii) Tomando (t, u) = (0, ), donde denota el vector nulo, tenemos que
(0, ) = h(x) = 0
Luego por el teorema de la funcion implcita (ver Teorema 1.6), existe C k denido
en [, ] tal que (0) = , y (t) = (t, (t)) = h x + tv + h (x)T (t) = 0, para todo
t [, ].
Derivando y evaluando en t = 0, tenemos (0) = h (x)(v + h (x)T (0)) = 0. Usando
(4.5), la ecuacion anterior se reduce a h (0) = (h (x)h (x)T ) (0) = 0. Como h (x)h (x)T
es invertible se tiene que (0) = . Ahora denamos : [, ] Rn tal que (t) =
x + tv + h (x)T (t). De la denicion anterior tenemos que (0) = x, (t) X y (0) = v.
As, v Tx X y de esta manera Ker(h (x)) Tx X, por lo tanto se obtiene el resultado.
62
Demostracion. Sea v Ker(h (x )) (arbitrario). Como x es un punto regular, por
Teorema 4.7 tenemos que v Tx X y as existe : [, ] X tal que (0) =
x y (0) = v. Aplicando el Lema 4.1 tenemos f (x )T v = 0. As obtenemos que
f (x )Ker(h (x )).
Denotaremos
m
X
x L(x, ) = f (x) + i hi (x)
i=1
m
X
2xx L(x, ) 2
= f (x) + i 2 hi (x)
i=1
6= tal que
f (x ) = h (x )T . (4.7)
63
Pm
De (4.6) y (4.7) tenemos h (x )T ( ) = 0, esto es, i=1 (i i )hi (x ) = 0. Como
{hi (x )} son linealmente independientes obtenemos que i = i para todo i = 1, . . . , n,
lo que es una contradiccion. Por lo tanto es unico.
Observacion 4.12 Sin la hipotesis de regularidad del punto de mnimo local tambien es
posible probar la existencia de los multiplicadores de Lagrange para una clase especial de
problemas de optimizacion como veremos en el siguiente resultado.
Observacion 4.13 Los resultados de los teoremas 4.10 y 4.9, nos dice que para obtener
candidatos a solucion del problema de minimizacion con restricciones de igualdad debemos
resolver el siguiente sistema (m + n) (m + n)
P
m
x L(x, ) = f (x) + i hi (x) = 0
i=1
h(x) = 0.
Los puntos que resuelven esta ecuacion son llamados puntos crticos o estacionarios o
candidatos a solucion del problema (p).
Ejemplo 4.6 Considere el problema min{f (x1 , x2 ) = x21 + 21 x22 : x21 +x22 = 1}. La funcion
objetivo f es continua y el conjunto que define las restricciones del problema es compacto,
64
as el problema tiene un mnimo global. Usando la observacion anterior hallaremos los
candidatos a solucion. La funcion Lagrangeana es L(x1 , x2 , ) = (x21 + 12 x22 )+(x21 +x22 1)
y su gradiente con respecto a las variables (x1 , x2 ) es
2x1 + 2x1
x L(x1 , x2 , ) =
x2 + 2x2
As, para obtener los candidatos a solucion debemos resolver el siguiente sistema
x1 + x1 = 0
x2 + 2x2 = 0
x21 + x22 = 1.
donde los dos primeros puntos es con respecto al multiplicador = 12 y los dos ultimos
con respecto a = 1, ver Figura 4.3. Observemos tambien que estos puntos son regu-
lares, as el mnimo global es uno de estos puntos. Debido que los puntos candidatos
forman un conjunto finito podemos inmediatamente encontrar el mnimo global sim-
plemente evaluando la funcion objetivo f y comparando sus valores. En efecto, como
f (0, 1) = 21 , f (0, 1) = 21 , f (1, 0) = 1 y f (1, 0) = 1, se tiene que los puntos de mnimo
global son (0, 1) y (0, 1), ver Figura 4.4.
65
(0, 1)
(1, 0)
(1, 0)
(0, 1)
66
(0, 1)
(0, 1)
1
0 f (x )T (xk x ) + (xk x )T 2 f (x )(xk x ) + o(kxk x k2 ), (4.10)
2
o(kxk x k2 )
donde limxk x kxk x k2
= 0.
De forma analoga para cada hi , i = 1, ..., m, se tiene
1
0 = hi (xk ) hi (x ) = hi (x )T (xk x ) + (xk x )T 2 hi (x )(xk x ) + (kxk x k2 ),
2
67
(kxk x k2 )
donde limxk x kxk x k2
= 0. Multiplicando por i la igualdad anterior y sumando de
i = 1 hasta m la ecuacion anterior obtenemos
m
X m
X
T k 1
0= i hi (x ) (x x )+ (xk x )T i 2 hi (x )(xk x )+o(kxk x k2 ) (4.11)
i=1 i=1
2
Sumando (4.10) y (4.11), usando la hipotesis i del teorema y dividiendo por kxk x k2
tenemos
T
1 xk x xk x O(kxk x k2 )
0 2xx L(x , ) + . (4.12)
2 kxk x k kxk x k kxk x k2
Observemos que la sucesion
k xk x
{d } =
kxk x k
es acotada, de aqu existe una subsucesion {dkj } que converge a un punto d 6= 0. Tomando
en particular k = kj en (4.12) y haciendo tender j + tenemos
Ejemplo 4.7 Vimos en el Ejemplo 4.6 que los puntos candidatos a solucion del problema
dado eran {(0, 1), (0, 1), (1, 0), (1, 0)}, donde los dos primeros puntos es con respecto al
multiplicador = 21 y los dos ultimos con respecto a = 1. Como la unica restriccion
es h(x1 , x2 ) = x21 + x22 1 tenemos que h (x1 , x2 ) = 2(x1 x2 ). Entonces podemos verificar
que Ker(h (x1 , x2 )) = {(v1 , v2 ) R2 : x1 v1 + x2 v2 = 0} y la matriz hessiana de la funcion
de Lagrange esta dado por
2 + 2 0
2xx L(x1 , x2 , ) =
0 1 + 2
68
i. Para x = (0, 1) con multiplicador = 12 tenemos
Luego, para todo v = (v1 , v2 ) Ker(h (0, 1)), v 6= (0, 0), tenemos que v1 6= 0 y as
As, para todo v = (v1 , v2 ) Ker(h (1, 0)), v 6= (0, 0), tenemos que v2 6= 0 y se
tiene
v T 2xx L(0, 1, )v = v22 < 0,
luego aplicando el Teorema 4.11 y siendo (1, 0) un punto regular concluimos que
(1, 0) no es un mnimo local.
69
La funcion de Lagrange y sus derivadas son
70
es definida positiva sobre Ker(h (x))\{0}, luego aplicando el Teorema 4.12, tenemos
que x es un mnimo local estricto de f , lo que es equivalente a x es un maximo
local estricto de f en X.
Ejemplo 4.8 Como una aplicacion de los resultados previos, considere el problema
1
opt{f (x1 , x2 ) = x21 + x22 : x21 + x22 = 1}.
2
Por el Ejemplo 4.6 y la observacion anterior obtenemos que los candidatos a mnimo
y maximo son {(0, 1), (0, 1), (1, 0), (1, 0)}, donde los dos primeros puntos estan aso-
ciados al multiplicador = 12 y los dos ultimos a = 1. Ya vimos en el ejemplo
4.7 que (0, 1) y (0, 1) son los unicos mnimos locales estrictos y como tienen el mismo
valor entonces, estos son mnimos globales. Ademas podemos probar, usando las condi-
ciones suficientes de segundo orden para maximizacion, que los puntos (1, 0) y (1, 0)
son maximos locales estrictos y como tienen el mismo valor objetivo, entonces ellos son
maximos globales.
1 1
min{f (x1 , x2 , x3 ) = x21 + x22 + x23 : x21 + x22 + x23 = 1, x1 x2 = 0}
2 3
El problema tiene solucion pues f es continua y el conjunto que define las restricciones
es compacto. Hallaremos la solucion usando las condiciones de optimalidad de primer y
segundo orden. La funcion de Lagrange es
1 1
L(x1 , x2 , x3 , 1 , 2 ) = x21 + x22 + x23 + 1 (x21 + x22 + x23 1) + 2 x1 x2
2 3
71
Las ecuaciones de primer orden que debe satisfacer el punto de mnimo son
2x1 + 21 x1 + 2 x2 = 0
x2 + 21 x2 + 2 x1 = 0
(2/3)x3 + 21 x3 = 0
x21 + x22 + x23 = 1.
x1 x2 = 0.
72
Como segunda etapa, analizaremos la condicion de segundo orden. La matriz hessiana
de la funcion de Lagrange es
2 + 21 2 0
2
xx L(x1 , x2 , x3 , 1 , 2 ) = 2 1 + 21 0 y
2
0 0 3
+ 21
x1 v 1 + x2 v 2 + x3 v 3 = 0
Ker(h (x)) = (v1 , v2 , v3 ) :
x2 v 1 + x1 v 2 = 0
Analizaremos todos los puntos candidatos a solucion.
73
Ker(h (0, 0, 1)) = {(v1 , v2 , 0) : v1 , v2 R} = R2
1
Tomando en particular 2 = 3
tenemos que la matriz 2xx L(x , 1 , 2 ) es definida
positiva sobre R2 , por lo tanto por la condicion suficiente de segundo orden, Teorema
4.12, los puntos (0, 0, 1) y (0, 0, 1) son mnimos locales estrictos del problema
(observe que estos puntos no son puntos regulares es por eso que 2 no es unico).
donde f : Rn R es una funcion con valor real, g : Rn Rp es una funcion tal que
g(x) = (g1 (x), g2 (x), . . . , gp (x)), con gi : Rn R y la notacion g(x) 0 signica que
gi (x) 0, para todo i = 1, 2, . . . , p.
Dado x denotaremos
I(x) = {i {1, 2, . . . , p} : gi (x) = 0} .
74
6
(0, 4)
X
(2, 2)
Lema 4.5 Si x es un minimizador local regular de (pd) entonces para cada i I(x ),
P
existen unicos i R tal que f (x ) + iI(x ) i gi (x ) = 0.
Observacion 4.16 El Lema anterior nos dice que en un punto de mnimo local regular el
f (x ) es combinacion lineal de los gradientes de las restricciones activas. El siguiente
resultado muestra que la combinacion dada es una combinacion conica (combinacion
lineal donde los escalares son no negativos).
75
continuas en x , entonces existen unicos i R, para todo i I(x ), tal que
P
f (x ) +
iI(x ) i gi (x ) = 0
0, para todo i I(x ).
i
Probaremos que i 0, para todo i I(x ). Por contradiccion, supongamos que existe
k I(x ) tal que k < 0. Denamos XI(x ) = {x Rn : gi (x) = 0, i I(x )}, y
Xk = {x Rn : gi (x) = 0, i I(x ), i 6= k}
= k gk (x )T y.
76
g4
f (x)
g3
g3
g2
g1
g4
Ahora consideremos x = (0, 4), entonces resulta que los gradientes g2 (0, 4) = (1, 1),
g3 (0, 4) = (1, 0), f (0, 4) = (1, 2). Es facil probar, como se observa en la grafica
de la Figura 4.8, que el punto x = (0, 4) satisface las condiciones necesarias de KKT y
as este es un punto candidato para resolver el problema dado.
77
2 f (3, 0) = (1, 2)
1 g1 (3, 0) = (2, 1)
1 2
g4 (3, 4) = (0, 1)
Observacion 4.17 Las condiciones del Teorema 4.13 solo son necesarias y no sufi-
cientes, i.e, existen soluciones viables que verifican las condiciones de KKT pero, sin
embargo, no son soluciones optimas. Considere, por ejemplo, el problema
donde f (x1 , x2 ) = (x1 2)2 (x2 5)2 . El punto x = (2, 0) satisface las condiciones
de primer orden pero no es mnimo local. En efecto, dado > 0 y definiendo el punto
(x1 , x2 ) = (2 + , 0) donde (0, 6 2) (0, ) tenemos que (x1 , x2 ) B(x, ) y ademas
Corolario 4.3 Con las hipotesis del teorema anterior y si ademas gi son diferenciables
/ I(x ), entonces existen unicos i 0, para todo i = 1, 2, . . . , m tales que
i
p
P
f (x
) + i gi (x ) = 0
i=1
i gi (x ) = 0, i = 1, 2 . . . , p
0, i = 1, 2 . . . , p.
i
78
2 f( 0, 4) = (2, 1)
1 g2 (0, 4) = (1, 1)
g3 (0, 4) = (1, 0) 1
Observacion 4.18 El resultado anterior nos ofrece un metodo para obtener los can-
didatos a solucion mediante la solucion del sistema que denominaremos condiciones de
optimalidad de KKT (Karush-Kuhn-Tucker)
P
f (x) + pi=1 i gi (x) = 0
gi (x) 0, i = 1, 2 . . . , p
i gi (x) = 0, i = 1, 2 . . . , p
0, i = 1, 2 . . . , p.
i
x L(x1 , x2 , 1 , 2 , 3 , 4 ) = (1 + 21 + 2 3 , 2 + 1 + 2 4 )
79
X
4
3 (3, 3)
(0, 0) 3
2 3 = 1 (4.15)
2 4 = 2 (4.16)
80
f (3, 3)
g2 (3, 3) = (1, 3)
g1 (3, 3) = (6, 1)
81
Pp
donde L(x, ) = f (x) + i=1 i gi (x).
Deniendo = 0, i
/ I(x ) obtenemos que
82
Sumando (4.18) y (4.19), usando la hipotesis i del teorema y dividiendo por kxk x k2
tenemos
k
T X k
1 x x 2 2 x x O(kxk x k2 )
0 f (x ) + i g i (x ) + .
2 kxk x k kxk x k kxk x k2
iI(x )
(4.20)
Observemos que la sucesion
k xk x
{d } =
kxk x k
es acotada, de aqu existe una subsucesion {dkj } que converge a un punto d 6= 0. Tomando
en particular k = kj en (4.20) y haciendo tender j + tenemos
X
dT 2 f (x ) + i 2 gi (x ) d 0 (4.21)
iI(x )
gi (x )T d 0, i I(x ) (4.22)
0 f (x )T d.
de aqu
gi (x )T d 0, i I(x ) (4.23)
83
Ejemplo 4.14 Considere el problema
Vimos en el ejemplo 4.12 que el punto x = (3, 3) satisface la condicion i del Teorema
4.15. Como I(x ) = {1, 2}, entonces tenemos que
X 5+ 21 0
2 f (x ) + i 2 gi (x ) =
iI(x ) 0 5
donde 1 = 8/19, el cual es una matriz definida positiva en todo R2 en particular en el
conjunto {v R2 : v 6= 0, gi (x )T v = 0, i = 1, 2}. As se cumple tambien la condicion
ii del Teorema 4.15 y por lo tanto x = (3, 3) es un mnimo local estricto.
84
Corolario 4.4 Asuma las condiciones del teorema anterior y que gi son funciones difer-
enciables en x, i I(x), entonces existen unicos 1 , . . . , m R y i 0 para todo
i = 1, . . . , p tal que
m p
X X
f (x ) + i hi (x ) + i gi (x ) = 0.
i=1 i=1
Observacion 4.19 El corolario anterior nos da un metodo para encontrar los puntos
candidatos a solucion del problema (PNL). Un punto candidato a solucion es un punto
x tal que para algunos escalares (, ) se satisface
m p
X X
f (x) + i hi (x) + i gi (x) = 0 (4.24)
i=1 i=1
h(x) = 0 (4.25)
i gi (x) = 0, i = 1, . . . , m (4.26)
i 0, i = 1, . . . , m
gi (x) 0, j = 1, . . . , q
85
para todo y N (A), y 6= 0, donde A es la matriz cuyas filas son los gradientes de las
restricciones activas en x excluyendo los gradientes de aquellas restricciones de desigual-
dad cuyo multiplicador es cero, entonces x es minimizador local estricto del problema
(P N L).
1 1
min{f (x1 , x2 , x3 ) = x21 + x22 + x23 : x21 + x22 + x23 1, x1 + x2 + x3 = 1/2}
2 3
El problema tiene solucion pues f es continua y el conjunto que define las restricciones
es compacto. Hallaremos la solucion usando las condiciones de optimalidad de primer y
segundo orden. La funcion de Lagrange es
1 1
l(x1 , x2 , x3 , 1 , 2 ) = x21 + x22 + x23 + 1 (x1 + x2 + x3 1/2) + 1 (x21 + x22 + x23 1)
2 3
De las dos restricciones, tenemos que la unica restriccion activa para el punto crtico
es h(x) = x1 + x2 + x3 1/2 y por lo tanto A = h(x)T = (1 1 1). y as
N (A) = {v R3 : v1 + v2 + v3 = 0}
86
La matriz hessiana de la funcion de Lagrange es
2 + 21 0 0
2xx l(x1 , x2 , x3 , 1 , 1 ) = 0 1 + 21 0
2
0 0 3
+ 21
que es una matriz definida positiva en todo R3 y as en particular sobre N (A). Por lo
tanto x == (1/2, 1/6, 1/4) es un mnimo local estricto.
87
Resolviendo el sistema tenemos que el unico punto candidato a solucion es x =
(1/2, 1/2) con 1 = 4, 1 = 0 y 2 = 0. Analicemos la condicion de segundo orden. La
matriz hessiana de la funcion de Lagrange es
10 2
2xx l(x, 1 , 1 , 2 ) =
2 10
(xk2 )2 (xk3 )2 2
xk1 + k
+ k + k c. (4.27)
4x1 x2 x3
88
Entonces, {xk } es limitada (ya que cada 0 < xki c) y como {xk } es crtica, entonces
existe x FrontX tal que xk x = (x1 , x2 , x3 ). Luego, existe i {1, 2, 3} tal que
xi = 0, lo que implica, xki 0, y de (4.27) tenemos que + c, que contradice la
suposicion, por lo tanto f es coerciva en X.
Como f es coerciva y continua en X entonces por Corolario 3.4 existe un mnimo global.
Hallemos los puntos candidatos a solucion (f (x) = 0). Derivando con respecto a las
variables x1 , x2 , x3 tenemos
f x2
= 1 22 = 0,
x1 4x1
f x2 x3
= = 0,
x2 2x1 x2
f 2x3 2
= 2 = 0.
x3 x2 x3
x2
=2 (4.31)
x1
2
x3
Sustituyendo la ecuacion (4.31) en (4.29) da 1 = x2
, lo que implica que
x3 = x2 . (4.32)
Ejercicio 4.2 Demostrar que la funcion f (x1 , x2 ) = (x2 x21 )2 + x51 tiene un unico punto
estacionario que no es maximizador ni minimizador de f en Rn .
89
Solucion.
f
i) Hallemos los puntos estacionarios. Las derivadas parciales son x1
= 2(x2
f
x21 )(2x1 ) + 4x41 = 4x1 (x2 x21 ) + 4x41 y x2
= 2(x2 x21 )(1) = 2(x2 x21 ).
Para hallar los puntos crticos formamos la ecuacion
4x (x x2 ) + 4x4 = 0
1 2 1 1
(x x2 ) = 0
2 1
Se verica facilmente que el unico punto que resuelve las ecuaciones es x = (0, 0).
As, la funcion f (x1 , x2 ) = (x2 x21 )2 + x51 tiene un unico punto estacionario.
opt f (x1 , x2 ) = x21 x22 : (x1 , x2 ) R2
Solucion. Es facil ver que el punto crtico es x = (0, 0). Ademas, en cualquier vecindad
de x podemos tomar x1 = 0 y x2 6= 0 obteniendo f (0, x2 ) < 0, as como tambien, x1 6= 0
y x2 = 0 obteniendo f (x1 , 0) > 0. Por lo tanto x = (0, 0) no tiene mnimo ni maximo.
90
Ejercicio 4.4 Encontrar todos los valores del parametro R para los cuales el problema
de minimizacion irrestricta de la funcion f (x1 , x2 ) = x21 + 4x1 x2 + 4x22 + x1 + x2 , tiene
solucion local.
Solucion.
1 1
Sumando las dos ecuaciones tenemos (2 2)x1 + 2
= 0 y de aqu, x1 = 4(1) .
2
Sustituyendo en la primera ecuacion tenemos que x2 = 8
. Luego los puntos
1
crticos son (x1 , x2 ) = 4(1) , 2
8
, 6= 1.
2f 2
ii) Calculemos la hessiana de f . Derivando parcialmente obtenemos x21
= 2, x1 x
f
2
=
2 2
4, x2 x
f
1
= 4, xf2 = 8. Luego
2
2 4
2 f (x) =
4 8
>01>0
Luego, los valores para los cuales el parametro hace que la funcion tenga un
mnimo es (1, +).
P
n1
Ejercicio 4.6 Sea n 2 y f (x1 , x2 ) = (1 + xn )3 x2i + x2n . Muestre que
i=1
91
ii) x = 0 es un mnimo local estricto pero no es mnimo global.
Solucion.
tenemos que
2 0 0 0
0 2 0 0
2 f (x) =
...
0.
0 0 0 2
Usando la condicion suciente de segundo orden dado por el Teorema 4.2 tenemos
que x = 0 es mnimo local estricto con valor objetivo f (0) = 0. Ahora probemos que
x no es mnimo global. Consideremos el caso n = 2, entonces tenemos f (x1 , x2 ) =
(1 + x2 )3 x21 + x22 , aqu tomamos los puntos x1 = 4, y x2 = 2, as tenemos que
f (4, 2) = 16 + 4 = 12 < 0 = f (0), as x = 0 no es mnimo global.
92
Pruebe que:
f (x ) = A x b = 0
1
f (x) = hAx, xi hb, xi + c
2
1
= hA(x x ), x x i + f (x )
2
1
f (x) = f (x ) + hA (x x ), x x i
2
Solucion. Solo usar las condiciones de optimalidad dado por los teoremas 4.1 y 4.2.
Ejercicio 4.10 Demostrar que la funcion f (x, y) = (1+ex ) cos xyey tiene una infinidad
de maximos pero no tiene mnimos.
93
Solucion. Hallemos los puntos estacionarios de f
f
= (1 + ey )senx = 0 (4.35)
x
f
= ey cosx ey yey = ey (cosx 1 y) = 0 (4.36)
y
De (4.35) tenemos que sin x = 0, y del resultado anterior cumple para todos los x tal
que x = k, para todo k ZZ (conjunto de numeros enteros). Reemplazando en (4.36)
tenemos que para todo k ZZ : y = cosk 1, esto implica que
0, si k es par o k = 0
y=
2, si k es impar
Hallemos la matriz 2 f
2f 2f
a). x2
= (1 + ey )cosx c). yx
= sin xey
2f 2f
b). xy
= sin xey d). y 2
= ey (cosx 2 y)
2f
x2
(k, 0) = (1 + e0 ) = 2
2f
yx
(k, 0) = senke0 = 0
2f
xy
(k, 0) = senke0 = 0
2f
y 2
(k, 0) = e0 (cosk 2 0) = 1
94
Si k es impar
2f 1
x2
(k, 2) = (1 + e2 )cosk = (1 + e2 ) = 1 + e2
2f
yx
(k, 2) = senke2 = 0
2f
xy
(k, 2) = senke2 = 0
2f 3 y
y 2
(k, 2) = e2 (cosk 2 y) = e2 (3 y) = e2
e2
.
En ambos casos para k tenemos que la matriz obtenida es denida negativa (pues sus
autovalores que son las diagonales son negativas), por lo tanto todos los puntos crticos
(k, 0), si k = 0 o k es par
(x, y) =
(k, 2), si k es impar
son puntos de maximo y como k puede tomar cualquier numero entero entonces tenemos
una innidad de puntos de maximo. Ahora supongamos que existe un punto (x0 , y0 ) de
mnimo local o global, entonces por la condicion de segundo orden, Teorema 4.2, se debe
tener que la matriz hessiana en este punto es semidenida positiva, lo que es imposible
ya que todas las matrices Hesianas en los puntos crticos son denidas negativas.
Solucion.
x31
i) Probemos la existencia, f (x1 , x2 ) = 3
+ x2 es continua en Rn , en particular en X,
y X es compacto entonces, existe puntos de mnimo y maximo global.
95
ii) f, h C (Rn ), donde h(x1 , x2 ) = x21 + x22 2; ademas
2x
1
h(x1 , x2 ) =
2x
2
es l.i para todo (x1 , x2 ) X. Por tanto todo punto de mnimo o maximo es un
punto crtico.
iii) Hallemos los puntos crticos. Siguiendo la observacion 4.13 formamos el siguiente
sistema
x L(x1 , x2 , ) = 0
x2 + x2 2 = 0.
1 2
x31
donde L(x1 , x2 , ) = 3
+ x2 + (x21 + x22 2). Hallando el gradiente de L tenemos
que el sistema anterior queda establecido por
1 + 2x2 = 0 (4.38)
e = , x
1 e e
e = . As tenemos que los
1
tenemos, x e = (1, 1), con 2
e = (1, 1) y 2
96
e e
e = (1, 1) con e
e = 1 , entonces f (x 1 4
(d) 2
e) = 3
+1= 3
= 1.333 . . ..
Comparando los valores objetivos, y sabiendo por i) que los valores optimos globales
existen, tenemos que x = (0, 2) es un maximo global y x = (0, 2) es un mnimo
global.
iv) Evaluaremos las condiciones de 2do orden para saber si los demas puntos son
optimos locales.
2x1 + 2 0
2xx L(x, ) =
0 2
Ker(h (x)) = {(d1 , d2 )/h (x)d = 0}
d1
= (d1 , d2 ) : 2(x 1, x2 ) =0
d2
= {(d1 , d2 ) : x1 d1 + x2 d2 = 0}
Para x
e = (1, 1) tenemos
e
Luego x
e solo satisface la condicion necesaria de segun orden, por lo tanto el
criterio no nos da mas informacion.
97
Ejercicio 4.12 Sea p = (p1 , p2 , p3 ) R3 y L = {a + td/ t R} una recta en R3 donde
a = (a1 , a2 , a3 ), (d1 , d2 , d3 ) R3 . Si p 6 L, entonces el problema de la mnima distancia
de p a L puede ser formulado con
min kx pk2
s.a.
x L
Sustituyendo el valor de x
min (a1 + td1 p1 )2 + (a2 + td2 p2 )2 + (a3 + td3 p3 )2
s.a.
tR
98
As obtenemos un problema irrestricto de una sola variable, donde
f (t) = 2(a1 + td1 p1 )d1 + 2(a2 + td2 p2 )d2 + 2(a3 + td3 p3 )d3 = 0
tkdk2 + ha p, di = 0
ha p, di
t=
kdk2
Luego el unico punto de mnimo del problema es
hp a, di
x = a + d
kdk2
Ejercicio 4.13 Sea A Rnn una matriz simetrica. Pruebe que los puntos crticos del
problema
opt 12 hAx, xi
s.a :
kxk = 1
Solucion.
99
iii) Hallemos los puntos crticos, L(x, ) = hAx, xi + (kxk 1). Los puntos crticos
son obtenidos resolviendo
x L(x, ) = 0
h(x) = 0
b) Resolver el problema.
Solucion.
100
El sistema queda establecido como
x1 + 2s p = 0,
2x2 + 3s q = 0,
2x1 + 3x2 = 12,
x1 > 0,
x2 > 0,
px1 = 0,
qx2 = 0,
p, q 0
101
Ejercicio 4.15 Si f (x) = 12 xT Ax bT x + c, donde A Rnn , A = AT y A 0. Pruebe
o de un contraejemplo de la siguiente proposicion f tiene un mnimo globbal sobre Rn
min{|| Ax b ||2 : x Rn }
Solucion.
102
As f puede ser expresada como f (x) = xT (AT A)x 2(AT b)T x + ||b||2 .
Sea B = AT A y b = AT b entonces, f (x) = xT Bx 2(b )T x + ||b||2 . Como
B T = (AT A)T = AT A = B (B es simetrica) y para todo z 6= 0 z T Bz = z T (AT A)z
= z T (AT A)1/2 (AT A)1/2 z = ((AT A)1/2 z)((AT A)1/2 z) > 0 (B es denida positiva),
concluimos que este problema es un caso particular del Ejemplo 3.7. Por lo tanto,
f es coerciva y as el problema tiene solucion global.
1
max{18 x2 y 2 : 2x + 3y 12, x 0, y 0}
2
Solucion.
i) El problema es equivalente a
1
min{ x2 + y 2 18 : 2x + 3y 12, x 0, y 0}
2
X = {(x, y) : 2x + 3y 12, x 0, y 0}
103
Las condiciones de KKT son
x + 2s1 s2 = 0,
2y + 3s1 s3 = 0,
2x + 3y 12,
L(x, s) = 0
x 0,
x
viabilidad y0
s0
s1 (2x + 3y 12) = 0,
s2 x = 0,
s3 y = 0,
s1 , s2 , s3 0.
de donde, s2 x = 0 si y solo si s2 = 0 x = 0.
x = 0 s1 = 0.
2y = s3 .
y4
2y.y = 0
y=0
Si x = 0 entonces 2s1 = s2
s3 y = 0 s3 = 0 y = 0
104
Si y = 0 3s1 = s3
s1 = 0
Si s3 = 0 2y + 3s1 = 0
y = 0 s1 = 0
s1 = 0
Luego, el unico punto que satisface las condiciones de KKT es (0, 0), y usando el
tem i, concluimos que (0, 0) es el optimo del problema.
1
min{cT x + xT Bx : Ax = b},
2
Solucion.
de donde se deduce
AT Bx = c (4.40)
Ax = b, (4.41)
105
Multiplicando (4.40) por B 1 y por A, usando (4.41) resulta AB 1 AT b = AB 1 c.
Como A es de rango m entonces AB 1 AT es invertible, as se tiene
Ejercicio 4.19 hallar las condiciones de optimalidad de KKT del siguiente problema
m
X
min{f (x) ln(gi (x)) : gi (x) 0, hj (x) = 0}
i=1
As,
m
! m
X g1 (x) g2 (x) gm (x) X gi (x)
x ln gi (x) = (x) = + + ... + =
i=1
g1 (x) g2 (x) gm (x) i=1
gi (x)
106
ii) Luego, las condiciones de KKT son
P
x L(x, ) = 0
f (x) mi=1
gi (x)
T h(x) = 0
gi (x)
h(x) = 0 h(x) = 0
gi (x) > 0
gi (x) > 0.
1
min{(x1 )2 + (x2 5)2 : 2x1 + x2 6; x1 + x2 4; x1 0; x2 0}
2
107
Captulo 5
Elementos de Convexidad
En este captulo presentaremos los elementos basicos de convexidad que nos permitiran
abordar posteriormente los problemas de optimizacion convexa que tienen un gran campo
de aplicaciones en diferentes areas de las ciencias e ingenieras.
y
x
108
C
x
El espacio euclidiano Rn .
Rn \{0}.
Prueba.
109
R2+
110
Pn+1 Pn Pn i
Como i=1 i = 1, se tiene, i=1 i = 1 n+1 , esto es, i=1 1n+1
= 1, donde
i
la relacion 1n+1
0, para todo i = 1, 2, . . . , n.
Pn i
Como x1 , x2 , . . . , xn C y i=1 1n+1 = 1. Aplicando hipotesis inductiva,
Pn
i i
i=1 1n+1 x C. Usando este resultado en la ecuacion (5.1) y por la hipotesis
Pn+1 i
general (convexidad de C) tenemos que i=1 i x C. El recproco es inmediato
tomando en particular p = 2.
Pp1 Pp
Sea p = i=1 i , entonces i=1 i = 0. Ademas,
p p1
X X
i
i x = i (xi xp ) = 0. (5.2)
i=1 i=1
o n
j0 k
Sea j0 {1, 2, . . . , p} tal que = max1kp
j0
. Como existe i 6= 0 entonces,
k
j0 Pn
si i > 0, tenemos j > 0, caso contrario, si i < 0, de la igualdad i=1 i = 0, existe
0
j0
j > 0 y as j0
> 0. De ambos casos tenemos
j0
> 0.
j0
111
j0
Denamos qi = i ,
j0 i
para todo i = 1, . . . , p. De aqu tenemos que qi 0 y
qj0 = 0, ademas,
p p p
X X j0 X
qi = i i = 1.
i=1 i=1
j0 i=1
Luego,
p p p p
X X j0 X X
i i i0
x= i x = qi x + i x = qi xi ,
i=1 i=1
j0 i=1 i=1
donde la ultima igualdad se obtiene de (5.2). Como qj0 = 0, entonces concluimos que
Pp i
x = i=1 qi x . As, x es una combinacion convexa de p 1 puntos. Repitiendo el
i6=j0
proceso p (n + 1) veces obtenemos la combinacion convexa de n + 1 puntos.
Observacion 5.1 Puede probarse que la envoltura convexa Conv(X) es un conjunto con-
vexo y que si X es convexo, entonces Conv(X) = X.
Prueba. Sea
p p
X X
i i
C = {x = i x donde x X, i 0, i = 1, . . . , p y i = 1, p IN }.
i=1 i=1
112
Conv(X) es convexo, entonces por el Teorema 5.1, contiene todas las combinaciones
convexas de puntos de Conv(X) y en particular de X, esto es, C Conv(X).
Por otro lado, si X C entonces Conv(X) Conv(C). Si probamos que C es convexo
entonces Conv(C) = C y por tanto tendramos Conv(X) C. Sean x, y C, entonces
p1
! p2
!
X X
x + (1 )y = i xi + (1 ) j y j
i=1 j=1
p1 p2
X X
i
= (i )x + [(1 )j ] y j .
i=1 j=1
Como
p1 p2 p1 p2
X X X X
i + (1 )j = i + (1 ) j
i=1 j=1 i=1 j=1
= (1) + (1 )(1) = 1,
se tiene que, x + (1 )y es una combinacion convexa de puntos {xi }pi=1
1
{xj }pj=1
2
.
Por lo tanto, C es convexo.
113
y
PC (y)
PC (y)
90
entonces
2hy PC (y), x PC (y)i 2 ||PC (y) x||2
114
Tomando el nmo para los valores de , tenemos
hy PC (y), x PC (y)i inf ||PC (y) x||2
(0,1]
entonces,
hy P (y), x P (y)i 0.
De aqu obtenemos que ||y x|| ||y PC (y)|| y as PC (y) es la proyeccion de y sobre
C.
y
C
x
115
hPC (y) y, PC (y) PC (y)i 0. (5.4)
esto es, ||PC (y) PC (y)||2 0. Por propiedad de norma concluimos que PC (y) = PC (y).
H = {x Rn : hp, xi = } ,
H + = {x Rn ; hp, xi } y H = {x Rn : hp, xi }.
2. Se dice que H separa X1 y X2 estrictamente si hp, x1 i < < hp, x2 i, para todo
x1 X1 y todo x2 X2 .
116
3. Se dice que H separa X1 y X2 fuertemente si existe > 0 tal que hp, x1 i <
+ hp, x2 i, para todo x1 X1 y todo x2 X2 .
hx PC (y), y PC (y)i 0,
Ademas,
hp, yi = hp, p + PC (y)i = ||p||2 + .
Prueba.
T
i) La inclusion C H , es inmediata.
CH
117
T T
ii) Probaremos que H C. Sea y H y supongamos que y
/ C. Como
CH CH
/ C, entonces por el Teorema 5.5, existe p 6= 0, R
C es convexo, cerrado e y
tal que
hp, xi < hp, yi, para todo x C, (5.7)
De aqu se tiene:
+ < hp, yi (5.9)
De (5.8) tenemos en particular hp, xi bar < hp, yi, para todo x X. De (5.9),
< + < hp, yi. As, obtenemos hp, xi < + hp, yi, para todo x X.
Lema 5.1 (Lema de Farkas) Sea A Rmn y c Rn entonces solamente uno de los
dos sistemas tiene solucion:
118
Prueba. Supongamos que el Sistema 2 tiene solucion, entonces existe y Rm tal que
At y = c, y y 0. Sea x Rn arbitrario, tal que Ax 0, entonces
cT x = (AT y)T x = y T Ax 0,
S = {x Rn /x = At y, y 0}.
En efecto, si no se cumple entonces existe i0 {1, 2, ..., m} tal que (Ap)i0 > 0. Tomando
y = t(Ap)i0 ei0 , donde t > 0 y ei0 es el vector canonico de todos los elementos iguales a
cero excepto la componente i0 , en (5.12) obtenemos que t(Ap)i0 y tomando t
llegamos a +, lo que es una contradiccion. Por lo tanto, Ap 0. Finalmente de
(5.11) y (5.13) se concluye que el sistema 1 tiene solucion.
H = {z Rn : hp, z yi = 0}
119
X {z Rn : hp, z yi 0}.
X {z Rn : hp, z yi 0}.
D E D E
pkj pkj
Considerando k = kj en la desigualdad anterior, tenemos ||pkj ||
,x < ||pkj ||
, y , para
todo x Cl(C). Tomando j +, obtenemos hp, xi hp, yi, esto es, hp, x yi 0,
para todo x Cl(C).
Prueba. Como y
/ int(C), puede suceder 2 casos:
120
ii) Si y Cl(C) entonces y Front(C), ya que y
/ int(C), de donde, por el Teorema
5.6, existe p Rn , p 6= 0, tal que hp, x yi 0, para todo x Cl(C).
Prueba. Inmediato.
121
f
f (y)
y)
f(
)
1 )
) +( )
y
(x
f (1
+
x
f(
f (x)
x x +(1 )y y
122
f (a) + (1 z)f (b)
a b
esto implica que (x + (1 )y, + (1 )) Epi(f ), para todo [0, 1], esto es
123
f (a) + (1 z)f (b)
a b
As Epi(f ) es convexo.
Recprocamente, probaremos que si Epi(f ) es convexo, entonces f es convexa en C. Sea
x, y C, esto implica que (x, f (x)), (y, f (y)) Epi(f ). Como Epi(f ) es convexo, se tiene
que (x, f (x)) + (1 )(y, f (y)) Epi(f ), para todo [0, 1], esto es,
para todo [0, 1]. Esto implica que x + (1 )y Lf (), para todo [0, 1]. De
aqu, Lf () es convexo para todo R.
Observacion 5.5 El recproco del Teorema 5.9 no es verdadero, considere por ejemplo
la funcion f (x) = ln x, la cual no es convexa pero el conjunto de nivel Lf () es convexo
para todo R.
124
b)
)f (
1 z
+(
(a)
f
a b
Proposicion 5.3 Sea f : Rn R. Entonces f es convexa si, y solamente si, para todo
x Rn , d 6= 0, g(t) = f (x + td) es convexa en R.
f (x + t1 d) + (1 )f (x + t2 d)
= g(t1 ) + (1 )g(t2 ),
125
a
b
= g()
= g(.1 + (1 )0)
g(1) + (1 )g(0)
= f (x) + (1 )f (y),
Lema 5.2 (Desigualdad de Jensen) Sea f : C R una funcion convexa. Para cada
P
x1 , x2 , . . . , xm C y 1 , 2 , . . . , m , numeros no negativos tal que m
i=1 i = 1, se tiene
m
! m
X X
i
f i x i f (xi ).
i=1 i=1
126
f
Epi(f )
Pn+1 i n+1
Si n+1 = 1 entonces 1 = 2 = = n = 0, esto es, i=1 i x = x . As,
m
! m
X X
i n+1 1 2 n+1
f i x = f (x ) = 0f (x ) + 0f (x ) + . . . + n+1 f (x ) = i f (xi ).
i=1 i=1
f es convexa luego
n+1
! n !
X X i
i i
f i x (1 n+1 )f x + n+1 f (xn+1 ).
i=1 i=1
1 n+1
Como
n
X Xn
i 1 1 n+1
= i = = 1;
i=1
(1 n+1 ) 1 n+1 i=1 1 n+1
y usando la hipotesis inductiva tenemos de la desigualdad anterior
n+1
! n
X X i
i
f i x (1 n+1 ) f (xi ) + n+1 f (xn+1 )
i=1 i=1
1 n+1
n+1
X
= i f (xi ).
i=1
127
Corolario 5.7 Sea f : C R una funcion convexa y sea x C una combinacion
convexa de puntos x1 , x2 , . . . , xm C entonces f (x) maxi=1,...,m {f (xi )}.
Pm i
Prueba. Como x es una combinacion convexa de m puntos entonces, x = i=1 i x , y
P
i 0 mi=1 i = 1. Tomando f y usando el Lema 5.2 tenemos
m
! m m
X X X
i i
f (x) = f i x i f (x ) i max f (xi ) = max f (xi )
1xm 1xm
i=1 i=1 i=1
entonces
f (z) (1 + )f (y) f (x)
128
Sea x, y C y (0, 1]. Denamos
1
= 0 y = x + (1 )y
de donde,
1
x= ( (1 )y) = + ( y).
De la hipotesis tenemos f (x) = f ( (y )) f () (f (y) f ()). Usando la
denicion dada para , f (x) (1 + )f () f (y) = 1 f () 1
f (y). Multiplicando
por se tiene,
f (x) f () (1 )f (y).
De aqu,
f () f (x) + (1 )f (y),
esto es,
f (x + (1 )y) f (x) + (1 )f (y).
X = conv{x0 ei , i = 1, . . . , n}.
0
Probaremos que B x0 , n X. Sea x B x , , entonces
n
y = x x0 B 0, .
n
De aqu,
x = x0 + y, y B 0, ,
n
129
y por tanto, v
n u n
X uX
x = x0 + yi ei , t yi2 < . (5.14)
i=1 i=1
n
Podemos asumir que yi 0, para i = 1, . . . , n. Si yi0 < 0, para algun i0 , entonces
podemos elegir ei0 como ei0 en (5.14).
1
Como x0 = 2
+ ei ) + 21 (x0 ei ), para todo i = 1, . . . , n, tenemos que x0 X.
(x0
Pn Pn
Denamos ahora, = i=1 yi 0. As tenemos, = i=1 yi = ||y||1 n||y||2 <
P
n
n n = , de donde < 1. Ademas, de la denicion de , la i=1 yi = 1. Denamos,
P
yi = yi entonces, ni=1 yi = 1De aqu,
n
X
x = x0 + yi ei
i=1
X n
0 0 0
= x x + x + yi ei
i=1
n n
0 X 0 X
= 1 x + yi x + yi ei ,
i=1 i=1
n
!
0 X 0 i
= 1 x + (yi )(x + e ) .
i=1
Pn
Como x0 X y i=1 yi (x0 + ei ) X, por ser combinacion convexa de {x0 +ei }, se
garantiza que x X.
Por lo tanto, al ser x combinacion convexa de {x0 +ei }, se tiene
2n
X 2n
X
0 i
x= i (x +e ) : i = 1 , i 0,
i=1 i=1
aplicabdo f !
2n
X
f (x) = f i (x0 +ei ) ,
i=1
y por la convexidad de f ,
2n
X
f (x) i f (x0 +ei )
i=1
X2n
= i maxi=1,...,2n {f (x0 +ei )}
i=1
= maxi=1,...,2n {f (x0 +ei )},
130
es decir, existe M = maxi=1,...,2n {f (x0 +ei )} tal que f (x) M, para todo x
B x0 , n .
Observacion 5.6 Es facil ver que una funcion convexa puede ser discontinua en la
frontera de un conjunto cerrado. Por ejemplo, considere la funcion f : R+ R definida
por
x2 , si x > 0
f (x) =
1, si x = 0
Se puede verificar facilmente que f es una funcion convexa en R+ pero no es continua
en x = 0.
El siguiente teorema nos permitira armar luego que toda funcion convexa es continua
en el interior de su dominio.
Demostracion. Por el Lema 5.3, existe > 0 tal que f (x) M , para todo x B(x0 , ).
Considere x B(x0 , 2 ) tal que x 6= x0 . Sean:
2
= ||x x0 || > 0 (As, 0 < < 1)
1
z = x0 + (x x0 ),
1
entonces, x = z + (1 )x0 . Es claro que ||z x0 || =
||x x0 || = 2
< luego,
z B(x0 , ).
Por la convexidad de f se tiene,
f (x0 ) + (M f (x0 ))
2
= f (x0 ) + (M f (x0 ))||x x0 ||
2
entonces, f (x) f (x0 ) 2 (M f (x0 ))||x x0 ||. Deniendo k(x0 , ) = (M f (x0 )).
tenemos
f (x) f (x0 ) K
x x0
.
131
1 0
Por otro lado, sea u = x0 + 1 (x0 x). de donde, ||u x0 || = ||x x|| < , entonces
u B(x0 , ). Tambien , x = x0 + (x0 u), luego aplicando el Teorema 5.10 tenemos,
f (x0 ) + (f (x0 ) M )
2
entonces, f (x) f (x0 )
(M f (x0 ))||x x0 ||. Por lo tanto se tiene, |f (x) f (x0 )|
k(, x0 )||x x0 ||, para todo x B(x0 , /2).
f (x + d) f (x)
f (x, d) = lim ,
0
>0
f (x + d) f (x)
() = .
132
Teorema 5.12 Sean C un conjunto convexo con int(C) 6= y f : C R una funcion
convexa, entonces para x int(C) y d Rn , d 6= 0, se tiene que:
i. La funcion es no decresciente
Demostracion.
i. Sea dom tal que , luego existe t (0, 1] tal que = (1 t)0 + t = t.
h
Denamos la funcion : 0, ||d|| R tal que () = f (x + d). Por la convexidad de
f se tiene que es convexa, as
() = ((1 t)0 + t)
(1 t)(0) + t().
|f (x + d) f (x)| K||d||
f (x+d)f (x)
entonces, K||d|| <
, y as K||d|| < () Luego, es acotada inferiormente
para sucientemente pequeno.
133
Como es acotada inferiormente para sucientemente pequeno y no decreciente, ver
tem i., entonces existe,
f (x + d) f (x)
lim = f (x, d)
0
>0
Observacion 5.7 Como decresce a medida que toma valores pequenos tenemos que:
f (x + d) f (x)
f (x, d) = inf .
>0
Lema 5.4 Sean C un conjunto convexo, f : C R una funcion convexa y x int(C),
entonces f (x, .) : Rn R es homogenea de grado 1, convexa y para todo y C:
f (y) f (x) + f (x, y x).
luego
f (x + (y x)) f (x)
f (y) f (x),
tomando lmite cuando 0 y de la existencia de la derivada direccional tenemos que
f (x, y x) f (y) f (x).
5.7 Subdiferenciabilidad
Definicion 5.15 Sea C un conjunto convexo de Rn y f : C R una funcion. El punto
s Rn es un subgradiente de f en x C si
134
El conjunto de todos los subgradientes de f en x es llamado el subdiferencial de f en x
y es denotado por f (x), esto es,
Ejemplo 5.7 Sea f : R R definida por f (x) = |x| (ver Figura 5.11) entonces
[1, 1] , si x = 0,
f (x) = +1, si x > 0,
1, si x < 0.
i) Sea x = 0, entonces
Observamos que:
Si y = 0 entonces s puede tomar cualquier valor real, esto es s R.
135
Si y > 0 entonces y s.y, implicando que s (, 1]
Si y < 0 entonces y .y, se tiene s [1, +).
Interceptando los conjuntos tenemos que s [1, 1] y por lo tanto
f (0) = [1, 1] .
f (x) = {s R : |y| x + s. (y x) , y R} .
iii) Para x < 0, se procede de manera similar al caso del item anterior, obteniendo
136
Figura 5.12: Graca de la funcion del Ejemplo 5.8.
137
i.2) Si y = 1, entonces f (y) = 0, reemplazando en la desigualdad de la denicion
del subdiferencial se tiene que 0 1 x + s(1 x), lo que es equivalente a
s(1 x) (1 x). Observemos que esta ultima desigualdad se cumple para
s = 1.
y 2 1 x2 1 + 2xy 2x2 ,
y 2 1 x2 1 + 2x(y x).
138
iii.2 Si y < 1 entonces f (y) = 1 y, veriquemos que la siguiente desigualdad
es verdadera.
La desigualdad anterior es equivalente a:
1 y x2 1 + 2xy
Si y 0 la desigualdad () es verdadera.
para todo y C, esto implica que s1 + (1 )s2 f (x), para todo [0, 1].
Ahora probemos la cerradura.
Sea sk una sucesion en f (x) tal que limk sk = s. Como sk f (x) entonces
f (y) f (x) + hsk , y xi, para todo y C. Tomando lmite cuando k va para el innito
y usando la continuidad del producto interno h, i tenemos f (y) f (x) + hs, y xi, para
todo y C. As, s f (x). De ambos resultados obtenemos que f (x) es convexo y
cerrado.
139
Lema 5.6 Sea C un conjunto convexo y f : C R una funcion. Si para todo x C se
tiene f (x) 6= , entonces f es convexa.
Observacion 5.8 La funcion puede ser convexa y tener su subdiferencial igual al vacio
en algun punto. En efecto, considere por ejemplo la funcion f : [1, 1] R tal que
f (x) = 1 x2 .
i) Convexidad de f .
La funcion g(x) = 1 x2 es concava en R y h(z) = z es creciente y concava en
R+ , entonces la funcion (h o g)(x) = 1 x2 es concava en [1, 1]. As la funcion
f (x) = 1 x2 = (h o g)(x) es convexa en [1, 1].
140
Ahora consideremos el punto x = 1 y supongamos que existe s f (1), entonces
p p
1 y 2 s(y + 1), esto es, 1 y 2 (s)(y + 1), lo que es equivalente a
Demostracion.
Probemos inicialmente que f (x) es no vacio.
Note que (x, f (x)) Front(Epi(f )) entonces por el Teorema 5.6 (teorema del plano
soporte), existe p := (p, ) Rn R tal que h(p, ), (x, ) (x, f (x))i 0, para todo
(x, ) Epi(f ), esto es,
y de aqu,
hp, xi f (x) + hp, xi, (x, ) Epi(f ), (5.17)
||p||2 M ||p||.
141
De esta ultima desigualdad se concluye que > 0 y usando este hecho en (5.16) obten-
emos que
1
h p, x xi f (x), (x, ) Epi(f ).
Deniendo s := 1 p y tomando (x, f (x)) Epi(f ) se tiene que f (x) f (x) + hs, x xi,
para todo x C, esto es s f (x) y de aqu f (x) 6= .
Ahora probemos que f (x) es acotado.
s
Sea s 6= 0y considere x = x + 2 ||s||
y as x B(x, ). Aplicando este punto en (5.18)
tenemos que ||s|| M.
Prueba. Por el Corolario anterior, f (x) 6= . Sea s f (x) y supongamos que f (x)
s 6= 0, entonces por denicion de subgradiente se tiene que
o(t)
hf (x) s, f (x) si + 0.
t
142
5.8 Funciones Convexas Diferenciables
Teorema 5.14 Sea C un conjunto convexo y abierto de Rn y f : C R una funcion
diferenciable en C. Entonces, f es convexa si, y solo si, f (x) f (y) + hf (y), x yi,
para todo x, y C.
= f (x + (y x)),
143
f
)
T (y
x
)
f (x
)+
f (x
144
ii) f (x) = ln(ex1 + ex2 + ex3 ).
Solucion.
Pn
i) Como f (x) = i=1 fi (xi ), donde fi (xi ) = (2xi 1)(ln xi ln(1 xi )). As, la
funcion f es separable con terminos de la misma forma, por tanto, para hallar la
Hessiana de f es suciente analizar la funcion
1 1
g (t) = 2(ln t ln(1 t)) + (2t 1)( + )
t 1t
1
g (t) = >0
t2 (1 t)2
luego
1
x21 (1x1 )2
0 0
1
0 x22 (1x2 )2
0
f (x) =
2
.. .. ... ..
,
. . .
1
0 0 x2n (1xn )2
ii) f (x1 , x2 , x3 ) = ln(ex1 + ex2 + ex3 ). Las derivadas de primer y segundo orden de f
son
f exi
= x1 , para todo i = 1, 2, 3.
xi e + ex2 + ex3
2f exi (ex1 + ex2 + ex3 ) exi exi
= , para todo i = 1, 2, 3
x2i (ex1 + ex2 + ex3 )2
2f ex1 ex2
= x1 ,
x1 x2 (e + ex2 + ex3 )2
2f ex1 ex3
= x1 ,
x1 x3 (e + ex2 + ex3 )2
2f ex2 ex3
= x1 .
x2 x3 (e + ex2 + ex3 )2
145
Luego, la matriz hessiana es
1 ex1 ex2 ex1 ex3
2 f (x) = ex1 ex2 2 ex2 ex3 ,
ex1 ex3 ex2 ex3 3
1
donde = (ex1 +ex2 +ex3 )2
y i = exi (ex1 + ex2 + ex3 ) exi exi ,, i = 1, 2, 3. Sea z = (ex1 ,
ex2 , ex3 ) y e = (1, 1, 1), entonces
z 0 0
1 1
T T
2 f (x) = T 2 e z 0 z2 0 zz
(e z)
0 0 z3
X3 X3 X3
T 2 2 2
v f (x)v = ( ai )( bi ) ( ai bi )2 0,
i=1 i=1 i=1
Solucion.
i) De la hipotesis xi 0 pues x C.
146
ii) Probemos que f (x) 0. Para ello, denamos para cada i = 1, . . . , n
x 0 x1
1
x2 1 1 + x 2
y = x + ei =
.. + .. = ..
. . .
xn 0 xn
f (x)
Usando los items i) y ii) se obtiene que xi
xi = 0, para todo i = 1, 2, . . . , n.
147
Tambien, de la Denicion 5.13 se tiene que h es concava, esto es, h es convexa, aplicando
de nuevo el Teorema 5.14 para h obtenemos
148
Captulo 6
Optimizacion Convexa
min{hc, xi : Ax = b, x 0},
149
Demostracion. Sea x un punto de mnimo local de f , entonces existe (0, 1) tal que
Sea y X tal que y 6= x. Por la convexidad de X tenemos que para todo t (0, 1)
z(t) = ty + (1 t)x X.
Observe que
z(t) B(x, ) X, para todo t 0, ,
||y x||
luego usando (6.1) para x = z(t) y (6.2) tenemos que f (x) f (y). As x es un mnimo
global de f sobre X.
min{f (x) : x X Rn }.
150
Teorema 6.4 Si f : X Rn R es una funcion convexa definida en el subconjunto
convexo X. Si x es un mnimo local estricto entonces x es el unico mnimo global.
min{f (x) : x X Rn }
min{f (x) : x Rn },
Prueba. Si x es un mnimo local, tenemos del Teorema 6.5 hf (x), x xi 0, para todo
x Rn . Tomando en particular x = xf (x), se tiene que f (x) = 0. Recprocamente,
si f (x) = 0, del Teorema 6.5 concluimos que x es un mnimo global.
151
6.2 Minimizacion Convexa Restricta
En esta seccion probaremos que si el problema de minimizacion es un problema convexo
donde las funciones que denen las restricciones de igualdad son anes entonces las
condiciones de KKT dadas en el captulo anterior son tambien sucientes. Consideremos
el problema de optimizacion no lineal
min f (x)
(P N L) s.a. : h(x) = 0
g(x) 0
donde h : Rn Rm y g : Rn Rp .
hi (x) = 0 i = 1, . . . , m (6.3)
gj (x) 0, j = 1, . . . , q (6.4)
j gj (x) = 0, i = 1, . . . , m (6.5)
j 0, i = 1, . . . , m
152
De (6.3) y (6.5), la desigualdad anterior se reduce a
m q
X X
T T
f (x) f (x) + f (x) (x x) + i hi (x) (x x) + i gi (x)T (x x).
i=1 j=1
m q
!T
X X
f (x) f (x) + f (x) + i hi (x) + i gi (x) (x x).
i=1 j=1
Vimos en el ejemplo 4.13 que el unico candidato a solucion del problema es (0, 4).
Ahora, como el problema es un problema de optimizacion convexa entonces aplicando el
Teorema 6.6 tenemos que (0, 4) es un unico mnimo global.
(P L) min{cT x : Ax = b, x 0},
153
donde Q Rnn es una matriz simetrica y semidefinida positiva, A Rmn , b Rm ,
c Rn . La funcion objetivo f (x) = 12 xT Qx cT x es convexa, la funcion h(x) = Ax b
es una funcion afn y g(x) = x es lineal y de aqu convexa, entonces del Teorema 6.6
tenemos que la condicion necesaria y suficiente para obtener los puntos de mnimo global
son:
AT + s = Qx + c
Ax = b
xi s i = 0
x ,s 0
i i
154
Sea x, y C y denamos c := max{f (x), f (y)}. De lo anterior tenemos inmediatamente
que x, y Lf (c) y como Lf (c) es convexo, esto implica que
tx + (1 t)y Lf (c).
Demostracion. Sea t (0, 1). Por la aproximacion de primer orden de una funcion
o(t)
diferenciable tenemos f (y+t(xy)) = f (y)+thf (y), xyi+o(t), donde limt0 t
= 0.
Como f es cuasi-convexa, esto implica que
o(t)
hf (y), x yi + 0.
t
2. min{f (x) = 12 xT Ax bT x : x Rn }.
155
Reciprocamente, supongamos que x es un mnimo global de f. Probaremos que x resuelve
el sistema lineal Ax = b.
Como f es convexa y x es un mnimo global de f se tiene por Corolario 6.1 (tambien
puede usar el Teorema 4.1 del Captulo 4) que f (x) = Ax b = 0, esto es, x resuelve
el sistema lineal.
(a) Determinar todos los puntos que puedan ser extremos locales de la funcion f sujeta
a la restriccion g(x1 , x2 ) = 0.
(b) Determinar si los puntos obtenidos en item anterior dan maximos o mnimos de f
con la restriccion establecida.
Solucion.
x1 + (x1 1) = 0 (6.6)
(1 )x2 = 0
156
Como la unica restriccion es g(x1 , x2 ) = (x1 1)2 x22 y su gradiente es g (x1 , x2 ) =
(2(x1 1), 2x2 ) entonces
y
1 1 4 0
2xx L , ,1 = .
2 2 0 0
y
1 1 4 0
2xx L , ,1 = .
2 2 0 0
157
(b) Para ver que (1/2, 1/2), (1/2, 1/2) son mnimos globales tenemos que ver si f es
convexa y g es afn. En efecto, es claro que f es convexa, pues la matriz hessiana
de f ,
2 0
2 f (x) = ,
0 2
es denida positiva. Pero la funcion g no es convexa, entonces no podemos armar
que (1/2, 1/2), (1/2, 1/2) sean mnimos globales.
Ejercicio 6.3 Sea A Rnn una matriz simetrica. Pruebe que resolver el problema
min{f (x) = 12 xT Ax : ||x|| = 1} implica hallar el menor autovalor de A.
xT Ax xT Ax. (6.8)
158
Ejercicio 6.4 Sea f : Rn R una funcion semicontinua inferior y limitada inferior-
mente. Dados p Rn+ y > 0, pruebe que el problema:
n
X xi
min{f (x) + (xi ln( ) + pi xi ) : x Rn+ }
i=1
pi
tiene solucion.
Pn
Solucion. Es suciente probar que la funcion h(x) = i=1 (xi ln( xpii ) + pi xi ), es
coerciva en Rn+ . Sea {xk } una sucesion crtica entonces kxk k +, es decir, (xk1 )2 +
(xk2 )2 + ... + (xkn )2 +, as existe un ndice i0 {1, 2, ..., n} tal que |xki0 | +, por
la restriccion del problema se tiene xki0 +.Recordemos que la funcion g(z) = z ln z
es convexa en R+ , entonces
xi xi
Tomemos z = pi
y t = 1, entonces pi
ln xpii xi
pi
1 lo cual equivale a xi ln xpii xi + pi 0.
As, h(x) xi ln xpii xi + pi , para todo i = 1, 2, ..., n.
En particular se tiene
xi0 k
h(xk ) xi0 k ln xi0 k + pi0
pi0
de aqu se deduce que h(xk ) xi0 k (ln xi0 k ln pi0 1) + pi0 como xi0 k +, entonces
xi0 k (ln xi0 k ln pi0 1) +. Por lo tanto, h es coerciva.
159
Luego, se tiene que
n
X
hh(y k ), x y k i = (ln yik + 1)(xi yik ).
i=1
Sea {y k } una sucesion tal que y k y F ront(Rn+ ), entonces existira un i0 {1, ..., n}
tal que yik0 0. Tomando limite cuando k + al producto interno
n
X
hh(y k ), x y k i = yik ln yik + xi ln yik yik + xi , k +.
i=1
n
X
Solucion. Tenemos que f (m, b) = (yi mxi b)2 es convexa, (por ser suma de
i=1
funciones convexas), y esta denida en R2 que es un conjunto convexo. Entonces el
problema de minimizar f es un problema convexo, as bastara resolver f (m, b) = (0, 0)
para encontrar los puntos de mnimo global.
En efecto:
n
X n
X
f (m, b) = (2 (yi mxi b)(xi ), 2 (yi mxi b)(1)) = (0, 0)
i=1 i=1
entonces: X
n
(yi mxi b)xi = 0
i=1
n
X
(yi mxi b) = 0
i=1
160
luego se tiene X
n n
X n
X
2
x y
i i m x i b xi = 0
i=1 i=1 i=1
n
X X n
yi m xi nb = 0
i=1 i=1
o equivalentemente, X
n n
X n
X
2
xi m + xi b = xi yi
i=1 i=1 i=1
n
X Xn
xi m + nb = yi .
i=1 i=1
Ejercicio 6.7 Encuentre la recta de mnimos cuadrados (ver el problema anterior) para
los datos: (3, 2), (4, 3), (5, 4), (6, 4) y (7, 5).
7
6
p5
5
p3 p4
4
p2
3
p1
2
1 2 3 4 5 6 7
Figura 6.1:
161
Por dato tenemos los puntos P1 = (3, 2), P2 = (4, 3), P3 = (5, 4), P4 = (6, 4) y P5 = (7, 5).
Reemplazando los puntos en las ecuaciones anterior se tiene
7 1
Resolviendo tenemos que m = 10
yb= 10
. Por lo tanto la recta es 10y = 7x + 1.
1
x+
7
0y =7
1
6 l:
5
1 2 3 4 5 6 7
Figura 6.2: La recta 10y = 7x + 1 es la recta mas proxima a los puntos dados
162
Bibliografa
[2] Barbolla R., Cerda E., Sanz P., Optimizacion: cuestiones, ejercicios y aplicaciones
a la economa, Prentice Hall, Espana, 2001.
[4] R.S. Burachik, L.M. Grana Drummond, A.N. Iusem and B.F. Svaiter, Full conver-
gence of the steepest descent method with inexact line searches, Optimization, v.
32, pp. 137-146, 1995.
[5] Cauchy, A., Methode Generale pour la Resolution des Systemes dEquations Si-
multanees, Comptes Rendus de Academie des Sciences, Paris, v. 25, pp. 536-538,
1847.
[6] Donath, W.E., Homan, A.J., Lower Bounds for the Partitioning of Graphs, IBM
J. Res. and Devel., v. 17, pp. 420-425, 1973.
[7] O. Guler, On the convergence of the proximal point algorithm for convex mini-
mization, SIAM J. Crontrol and Optimization, v. 29(2), pp. 403-419, 1991.
[8] A.N. Iusem and B.F. Svaiter, A proximal regularization of the steepest descent
method, RAIRO Recherche Operationelle/Operation Reseach, v. 29 (2), pp. 123-
130, 1995.
163
[9] Izmailov A. and Solodov M., Otimizacao Volume 1, IMPA, Rio de Janeiro, Brazil,
2005.
[10] K. Kiwiel and K. Murty, Convergence of the steepest descent method for mini-
mization quasiconvex functions, JOTA Journal of Optimization Theory and Appli-
cations, v. 89 (1), pp. 221-226, 1996.
[11] Lages Lima, E., Curso de Analise, v. 2, IMPA, Rio de Janeiro, 2005.
[13] Martinez J.M. and Santos S. A., Metodos Computacionais de Otimizacao, 20 Colo-
quio Brasileiro de Matematica, IMPA, 1995.
[14] Overton, M.L., Womersley, R.S., Optimality Conditions and Duality Theory for
Minimizing Sums of the Largest Eigenvalues of Symmetric Matrices, Math. Pro-
gramming, v. 62, pp. 321-357, 1993.
[15] Papa Quiroz E.A, Oliveira P.R., A New Barrier for a Class of Semidenite Opti-
mization, RAIRO Operations Research, v. 40, p. 303-323, 2006.
[16] E.A. Papa Quiroz E.M. Quispe, and P. Roberto Oliveira, Steepest descent method
for quasiconvex minimization on Riemannian manifolds, Submmited, 2006.
[18] Souza S., Oliveira P.R., Cruz Neto J.X. and Soubeyran A., A proximal Point Al-
gorithm with Bregman Distances for Quasiconvex Optimization over the Positive
Orthant. Por aparecer en la revista European Journal of Operational Research.
Preprint, 2006.
164
[19] R.T. Rockafellar, Monotone operators and the proximal point algorithm, SIAM J.
Control and Optimization, 14 (5) 1976, 877-898.
[20] R.T. Rockafellar and R. Wets, Variational Analysis. Grundlehren der Mathematis-
chen, Wissenschaften, 317, Springer, 1998.
165