DEPARTAMENTO UNIVERSIDAD TÉCNICA

DE MATEMÁTICA FEDERICO SANTA MARÍA

MAT279 - Optimización no Lineal (Semestre primavera 2017)

Profesor: Cristopher Hermosilla Ayudante: Piero Visconti

Tarea # 1
Fecha de entrega: 2 de noviembre de 2017

P1. Condicion suficiente de optimalidad de segundo orden

El objetivo de este problema es mostrar la condici´on suficiente de segundo orden en el caso
de espacio de dimensi´on infinita no puede ser reducida a que la segunda derivada sea definida
positiva en vez de fuertemente definida positiva.
Sea (X, h., .i)el espacio de Hilbert ,`2 (R) dotado del producto interno
∞
X
h{xk }, {yk }i = xk yk ∀{xk }, {yK } ∈ `2 (R)
k=1

Considere el funcional f : `2 (R) → R definido por:

∞  2 
X x k
f (x) = − x3k , ∀{xk } ∈ `2 (R)
k=1
k

a) Muestre que f esta bien definido en `2 (R), es decir,f (x) ∈ R para todo x ∈ `2 (R)
b) Justifique que f es dos veces Fréchet diferenciable en `2 (R) y demuestre que x̄ = 0 es un
punto crı́tico de f , es decir, satisface la CNPO.
c) Calcule D2 f (x) para cualquier x ∈ `2 (R)y muestre que

D2 f (0)(h, h) > 0, ∀h ∈ X \ {0}

d) Sea ε > 0 y considere la sucesión x = {xk } definida por:

 ε
2
si k = k0
xk =
0 si no

donde k0 ∈ N es tal que εk0 > 2. Demuestre que f (x) < 0 = f (0)y concluya que x̄ = 0
no es un mı́nimo local de f .

Desarrollo:

1
a) Tomamos x = {xk } ∈ `2 (R) por lo tanto tenemos:
 
∞  2
X xk
|f (x)| =  − x3k 
 
 k 
 k=1   
∞ 2 ∞
X xk X 
3
= − xk 


k=1
k k=1

 
X ∞ ∞ 
2

X 3
≤ xk − xk 

 
k=1 k=1
   
X ∞  X ∞ 
2 
xk  = kxk2`2 (R) + kxk3`3 (R)
3


≤ xk  + 
 
   
k=1 k=1

luego ,como siempre se cumple que `p (R) ⊂ `q (R) para p < q entonces tenemos que
kxk2`2 (R) + kxk3`3 (R) es un valor finito, por lo tanto la serie siempre converge.
b) Calculamos el gradiente de la función f ,para ello calculamos las derivadas parciales.
∂f 2xj
(x) = − 3x2j
∂xj j
de este modo, tenemos que :
 
2xj
∇f (x) = − 3x2j
j j∈N

con esto podemos verificar que es una vez Fréchet diferenciable ,solo basta verificar que
dado x, y ∈ `2 (R):
|f (x + y) − f (x) − h∇f (x), yi|
lı́m =0
kyk→0 kyk
con k.k la norma usual del espacio.
Tenemos que
∞  2
xk + 2xk yk + yk2
X 
3
(1) f (x + y) = − (xk + yk )
k=1
k
∞  2
xk + 2xk yk + yk2
X 
3 3 2 2
(2) = − xk − yk − 3xk yk − 3xk yk
k=1
k

Por otro lado tenemos,

∞  
X 2xk yk
(3) h∇f (x), yk i = − 3x2k yk
k=1
k

por lo tanto tenemos

∞  2 
X y k
(4) f (x + y) − f (x) − h∇f (x), yi = − yk3 − 3xk yk2
k=1
k
∞
X
(5) ≤ (yk2 (1 − 3xk − yk ))
k=1
∞
X
(6) ≤ máx{(1 − 3xk − yk )} yk2
k∈N
k=1

2
 es decir
(7) |f (x + y) − f (x) − h∇f (x), yi| ≤ M kyk2
|f (x + y) − f (x) − h∇f (x), yi|
(8) ≤ M kyk
kyk
tomando kyk → 0 concluimos que es una vez Fréchet diferenciable,y además
∞  
X 2xk yk 2
Df (x)(y) = − 3xk yk
k=1
k
Por lo tanto
∞   ∞  
X 2(xk + hk )yk 2
X 2xk yk
Df (x + h)(y) − Df (x)(y) = − 3(xk + hk ) yk − − 3x2k yk
k=1
k k=1
k
∞  
X 2hk yk
= − 6xk hk − h2k yk
k=1
k
Por lo tanto tenemos
∞  
X 2hk yk
Df (x + h)(y) = − 6xk hk − h2k yk + Df (x)(y)
k=1
k
∞
X
= Df (h)(y) − 6hxk , hk i − h2k yk + Df (x)(y)
k=1
P∞
de esta manera tenemos: o(h) := − k=1 h2k yk ,que cumple con o(0) = 0 y además
|o(h)| 1 |o(h)|
≤ khk2 sup yk ⇒ lı́m =0
khk k∈N khk khk→0 khk

De esta manera concluimos que la segunda diferencial de Fréchet esta dada por
∞  
2
X 2hk yk
D f (x)(h, y) = − 6xk hk
k=1
k
P∞ 2xk yk

como Df (x)y = k=1 k
2
− 3xk yk entonces Df (0)y = 0 para todo y ∈ `2 (R) por lo
que satisface la CNPO.
c) Del ı́tem anterior tenemos que
∞   ∞  
2
X 2hk yk 2
X 2hk yk
(9) D f (x)(h, y) = − 6xk hk ⇒ D f (0)(h, y) =
k=1
k k=1
k
∞ 
2h2k
X 
2
(10) ⇒ D f (0)(h, h) =
k=1
k
Por lo que para todo h 6= 0 se cumple D2 f (0)(h, h) > 0,lo que implicarı́a que f (0) = 0
es un mı́nimo.
d) Tomamos la sucesión , y evaluamos en f
ε2 ε3
 
2 1 ε
f (x) = − =ε −
4k0 8 4k0 8
 
2 2 k0 ε
=ε − < 0 dado que εk0 > 2
8k0 8k0
por lo tanto f (0)no es un mı́nimo.
Obs:no se consideraron las restricciones inactivas dado que se eligió de primer momento.

3
P2. Promédio Geométrico y aritmético
Considere el siguiente problema de optimización:

(P ) Minimizar |x|2 sobre los x ∈ R tales que x1 x2 ...xn = 1, x1 , x2 ..., xn > 0

a) Resuelva (P ) usando CNPO y CSSO.Argumente la existencia y unicidad de la solución.

b) Pruebe que si a1 , a2 ..., an > 0 entonces:
√ 1
n
a1 a2 ...an ≤ (a1 + ... + an )
n
de una interpretación del resultado.

Desarrollo:
Para abordar el problema definimos la función:

f :Rn → R
x → f (x) = |x|2

y la restricción

h :Rn → R
n
Y
x → h(x) = xi − 1
i=1

Con esto definimos el conjunto de restricciones por

S = {x ∈ Rn : xi > 0 h(x) = 0}

Notamos que f, h, gi ∈ C∞ (R) para toda 1 ≤ i ≤ n y por ende Fréchet diferenciable, y además
sus gradientes están dados por

∇f (x) = 2x
 
n
Y
∇h(x) =  xi 
i=1i6=j xi
1≤j≤n

Definimos el Lagrangeano asociado al problema de optimización matemática con un lambda

arbitrario a encontrar:

L(x, λ) = f (x) + λh(x)

Encontraremos un candidato a mı́nimo por KKT de manera informal , y una vez teniendo el
mı́nimo probaremos que realmente lo es.Por ello tenemos :
 
Yn
∇x L(x, λ) = 2x + λ  xi 
i=1i6=j
1≤j≤n

4
Luego
n
Y
∇x L(x, λ) = 0 ⇔ 2xj + λ xi = 0∀j ∈ {1, ..., n}
i=1i6=j

lo que es equivalente a:
n
−λ Y
xj = xi ∀j ∈ {1, ..., n}
2 i=1
i6=j

Si multiplicamos por xj tenemos

n
−λ Y
x2j = xi ∀j ∈ {1, ..., n}
2 i=1

Como la restricción nos indica que la productoria es 1 tenemos

−λ
x2j =
2
además xi > 0 por lo tanto tenemos:
r
−λ
xj =
2
y como se debe cumplir
n
Y
xi = 1
i=1

entonces
  n2
−λ
=1
2

lo que implica que λ = −2 y por ende xi = 1 para todo 1 ≤ i ≤ n.

Por lo tanto nuestro candidato a mı́nimo es x̄ = (1, 1, ..., 1).
Veamos que x̄ definido es realmente solución de (P ).
Podemos verificar facilmente que se cumple ILGA,pues ∇h(x̄ = (1, ..., 1).Por lo tanto el cono
tangente y el linealizante son iguales.
Además

LS (x̄) = {d ∈ Rn : h∇h(x̄), di = 0}
= {d ∈ Rn : h(1, ..., 1), di = 0}
X n
n
= {d ∈ R : d = (− di , d2 , d3 , ..., dn )}
i=2
n
= h{d ∈ R : d1 = −dj , di = 0∀j 6= i}i

Por lo tanto,dado d ∈ LS (x̄)

h∇f (x̄), di = h(2, ..., 2), di = 0

5
 Por lo tanto se satisface la CNPO. Notamos que se cumplen las hipótesis de KKT,por lo
tanto λ = −2 es un multiplicador.
Además tenemos
 
n
Y
2
Dxx L(x) = 2Id + λ  xi 
i=1i6=ji6=k
j,k

y el cono de direcciones criticas

KS (x̄) = {d ∈ Rn : h(2, ..., 2), di ≤ 0}

Como ∇f (x̄) k ∇h(x̄) entonces el cono tangente y de direcciones crı́ticas son iguales. Además:
2
Dxx L(x̄, λ) = 2id + λ1

Con 1 una matriz que contiene solo 1 en sus entradas y ceros en la diagonal, por lo tanto
si d ∈ KS (x̄),tal que d1 = −α y dj = α para un j 6= 1 fijo con todas demás entradas fijas,
tenemos que

Dxx L(x̄)(d, d) = 2kdk2 = 2(−α)2 + 2(α)2 = 4α2 > 0

Por lo tanto se cumple CSSO y por ende concluimos que x̄ es minimo del problema (P ).

1/2
Qn ai
b) Tomamos ai tal que i=1 ai = 1 y además xi = Qn 1/2n entonces
( i=1 ai )

n
!2 n
!
1/2
X ai X ai
n ≤ |x|2 ⇒ n ≤ 1/2n
⇒n≤ 1/n
( ni=1 ai ) ( ni=1 ai )
Q Q
1 1

quedando demostrado.

P3. Problema de penalización

Para la función f : Rn → R,considere el problema de programación matemática.

(P ) Minimizar f (x) sobre los x ∈ Rn tales que gi (x) ≤ 0, i = 1, ..., p, hj (x) = 0, j = 1, ..., q

Asuma que (P ) tiene solución y,por lo tanto ,Val(P ) ∈ R.Dada la función φ : Rn → R definida
por:
p q
X X
φ(x) := máx{0, gi (x)} + h2i (x)
i=1 i=1

para c ≥ 0 se plantea el siguiente problema de optimización.

(Pc ) Minimizar f (x) + cφ(x) sobre los x ∈ Rn

Sea θ(c) := Val(Pc ).Supondremos que para todo c ≥ 0,existe xc ∈ R solución de (Pc )

a) Demuestre que Val(P ) ≥ sup{θ(c) | c ≥ 0}.

Dem:
Definimos el conjunto de restricciones

S = {x ∈ R : gi (x) ≤ 0, i = 1, ..., p, hj (x) = 0, j = 1, ..., q}

6
 Para cada c > 0 definimos la función fc (x) = f (x) + cφ(x) notamos que

f (x) = fc (x) ∀x ∈ S

Por lo tanto dado c > 0 arbitrario

Val(P ) = mı́n{fc (x) : x ∈ S} ≥ mı́n{fc : x ∈ Rn }

Por lo que concluimos que

Val(P ) ≥ θ(c)

Luego tomando supremo con c > 0, tenemos

b) Si para algún c ≥ 0 se tiene φ(xc ) = 0,pruebe que xc es solución de (P )

Dem:
Primero que todo notemos que φ(x) ≥ 0, dado que h2i (x) ≥ 0 ∀x ∈ Rn lo mismo para
máx{0, gi (x)} ≥ 0 independiente de las funciones gi ,por lo tanto

φ(xc ) = 0 ⇔ máx{0, gi (xc )} = 0 i = 1, ..., p h2i (x) = 0 i = 1, ..., q

pero para cada i = 1, ..., p

máx{0, gi (xc )} = 0 ⇔ gi (xc ) ≤ 0

Además para j = 1, .., q tenemos h2j (x) = 0,por lo tanto tenemos xc ∈ S.

Como

f (x) = fc (x) ∀x ∈ S
mı́n{f (x) : x ∈ S} = mı́n{fc (x) : x ∈ S}

entonces,como tenemos

mı́n{fc (x) : x ∈ Rn } = mı́n{fc (x) :∈ S}

Concluimos que xc es solución de (P )

c) Demuestre que la función c → φ(xc ) es decreciente y las funciones c → f (xc ) y c → θ(c)
son crecientes para c ∈ [0, ∞).
Sea k > c tenemos

f (xc ) + cφ(xc ) ≤ f (xk ) + cφ(xk )

f (xk ) + kφ(xk ) ≤ f (xc ) + kφ(xc )

Sumando tenemos

f (xc ) + cφ(xc ) + f (xk ) + kφ(xk ) ≤ f (xk ) + cφ(xk ) + f (xc ) + kφ(xc )

Por lo tanto

cφ(xc ) + kφ(xk ) ≤ cφ(xk ) + kφ(xc )

7
 tenemos

c(φ(xc ) − φ(xk )) ≤ k(φ(xc ) − φ(xc ))

restando tenemos

(c − k)(φ(xc ) − φ(xk )) ≤ 0

entonces φ(xc ) − φ(xk ) ≥ 0 por lo tanto φ es creciente.

Ahora para f tenemos, que

f (xc ) + cφ(xc ) ≤ f (xk ) + cφ(xk )

por lo tanto tenemos

f (xc ) − f (xk ) ≤ c(φ(xk ) − φ(xc ))

pero como φ(xc ) es decreciente tenemos

f (xc ) − f (xk ) ≤ 0

Por lo tanto f (xc ) es creciente en c.

Por último para θ(c) tenemos

θ(c) = f (xc ) + cφ(xc ) ≤ f (xc ) + kφ(xc ) ≤ f (xk ) + kφ(xk ) = θ(k)

P4. Dualidad en Programacion Lineal

Considere el problema de Programación lineal:

(P ) Minimizar cT x sobre los x ∈ Rn tales que x ∈ S

Donde S = {x ∈ Rn |Ax ≤ b, Dx = e} siendo datos del problema c ∈ R, b ∈ Rp ,e ∈ Rq ,

A ∈ Mp×n (R) y D ∈ Mq×n (R).Denotemos por I(x) = {i ∈ 1, ..., p|(Ax − b)i = 0}

a) Demuestre que Val(P ) ∈ R si y sólo si existe x̄ ∈ Sol(P ).

⇐ trivial.
⇒
Sea {xk }k∈N ⊂ S una sucesión minimizante, tal que cT xk → Val(P ) y sea I(xk ) el
conjunto de restricciones activas enxk , notamos que {I(xk )} ⊂ P({1, ..., p}) y además
Card(P({1, ..., p})) ∈ N.Luego como {I(xk )}k∈N es infinito y tiene finitos elementos po-
sibles, posee una subsucesión constante, {I(xkj )}j∈N tal que I(xkj ) = I(xki ) ∀i, j ∈ N.
Definimos el conjunto

Γ = {{I(xk )}k∈N es constante y {xk }k∈N es minimizante }

y la relación de equivalencia

{xk }k∈N R{yk }k∈N ⇔ ∃, k, n ∈ N tal queI(xk ) = I(yn )

claramente es de equivalencia,sobre el conjunto Γ.De esta manera definimos las clases de

equivalencia Γ/R,notamos además que

Γ/R ⊂ P({1, ..., p})

8
 Luego,dado que I(x) ∈ Γ/R tenemos que solo existe una cantidad finita de elementos tal
que

I(x) ⊂ I(x1 ) ⊂ .... ⊂ I(xk )

para algún k ∈ N.Por lo tanto tomemos una sucesión {x̄k }k tal que {I(x̄k )}k RI(xk ).Por
lo tanto tenemos una sucesión constante y maximal con respecto a la inclusión.
Ahora , sea i 6∈ I(x̄k ) defino la sucesión yk = xk+1 + tk (xk+1 − xk ) entonces tomamos tk
tal que

Ai yk = bi

es decir
Ai xk+1
Ai xk+1 + tk (Ai xk+1 − Ai xk ) = bi ⇒ tk =
(Ai xk − Ai xk+1 )

Por lo tanto , I(xk ) ( I(yk ) lo que contradice la maximalidad de la sucesión tomada,por

lo tanto existe una única solución convergente tal que x̄k → x̄ solución de (P )
b) Demuestre que LS (x) = TS (x) para todo x ∈ S.
Sabemos por definición que siempre TS (x) ⊂ LS (x).Por lo tanto solo queda probar
LS (x) ⊂ TS (x)
Sea d ∈ LS (x) por lo tanto, tenemos que h(A)i , di ≤ 0 para todo i ∈ I(x) y además
hDi , di = 0 para todo i = 1, ..., q de esta manera, tomando tk = k1 y dk = d con k ∈ N
tenemos

(tk , dk ) → (0, d)

y además yk = x + tk dk = x + tk d podemos ver

1 1 1
(Ayk )i = (A(x + d))i = hAi , xi + hAi , di ≤ bi + 0 ∀i ∈ I(x)
k k k
Si i 6∈ I(x) entonces tomamos tk tal que

hAi , x + tk dk i ≤ bi

Además
1
Di (x + tk dk ) = hDi , xi + hDi , di = hDi , xi = ei
k
Por lo tanto d ∈ LS (x) donde si Xi denota la fila i-ésima de una matriz como vector.

c) Pruebe que si x̄ es un minimo local de (P ) entonces es un mı́nimo global y que además

existen (µ, λ) ∈ Λ,donde:

Λ = {(µ, λ) ∈ Rp × Rq |c + AT µ + DT λ = 0 y µ ≥ 0}

y tal que

µi (Ax̄ − b)i = 0, ∀i = 1, ..., p

9
Dem:
Por el inciso anterior tenemos que el cono tangente y el linealizante son iguales. Escribi-
mos el Lagrangeano asociado de la siguiente manera.
p q
X X
L(x, µ1 , ..., µp , λ1 , ...., λq ) = cT x + µi (Ai x − bi ) + λi (Di x − ei )
i=1 i=1

Por lo tanto tomaremos µ = (µ1 , ..., µp ) ∈ Rp+ y µ = (λ1 , ...., λq ) ∈ Rq para simplificar
notación,luego como x̄ es un minimo local, tenemos
p q
X X
T
∇x L(x, µ, λ) = c + µi Ai + λi Di
i=1 i=1

Podemos ver claramente que ∇x L no depende de x̄,y además,por la CN P O, se tiene

cT d ≥ 0 ∀d ∈ TS (x̄).Luego para que x̄ sea un punto critico de L deben existir µ ∈ Rp+ y
λ ∈ Rq tal que L(x̄, µ, λ) = 0 es decir los multiplicadores deben cumplir

(11) cT + µA + λD = 0

lo que es equivalente a
p q
( )
X X
−cT ∈ A = v ∈ Rn : ∃µ ∈ Rp+ , λ ∈ Rq tales que v = µi Ai + λi D i
i=1 i=1

Si i 6∈ I(x̄) pedimos que µi = 0 (12) para ser consistente con la definición del cono
Linealizante.
Supongamos ,por contradicción que −cT 6∈ A entonces por Hahn-Banach ∃d1 , d2 ∈ X\{0}
tal que
p q
X X
h µi A i + λi Di , d1 i < −hcT , d1 i
i=1 i=1

o
p q
X X
h µi A i + λi Di , d1 i < −hcT , d2 i
i=1 i=1

para todo (µ, λ) ∈ Rp+ ×Rq Utilizaremos la primera desigualdad, dado que el procedimieto
es análogo tomando d1 = −d2 .
Por lo tanto si evaluamos la desigualdad parai ∈ I(x̄) con µ = kni donde ni , el vector
canónico. y λ = 0 tenemos

Ai k ≤ ci d1

dividiendo por k > 0 tenemos

1
Ai d1 ≤ ci d1 ⇒ si k → ∞ ⇒ Ai d1 ≤ 0
k
idem para los demás i ∈ I(x̄) para las restricciones con λ tomamos λ = kni y tenemos

kDi d1 ≤ cT d1

10
 y tomando k = −k tenemos −kDi d1 ≤ cT d1 por lo tanto
1 1
− cT d1 ≤ Di d1 ≤ cT d1
k k
haciendo k → ∞ tenemos Di d1 = 0 por lo tanto

0 ≤ −cT d1 ⇒ cT d1 ≥ 0

lo que contradice la CN P O quedando demostrado.Por lo tanto dado las condiciones (11)

y (12) existen (µ, λ) ∈ {(µ, λ) ∈ Rp × Rq : cT + µA + λD = 0 µ ≥ 0, µi (Ax̄ − b)i = 0}
Veamos que como la función y el dominio es convexo,tenemos que el minimo es único y
por ende es global.
Considere el problema

(D) Maximizar − bT µ − eT λ sobre los (λ, µ) ∈ Λ

Este problema se conoce como el problema dual de (P ).

d) Verfique que Val(P ) ≥ Val(D)
Dem:
Sabemos que si x ∈ S entonces, tenemos que

Ax ≤ b Dx = e

además si (µ, λ) ∈ Λ tenemos que

c + AT µ + DT λ = 0

Por lo tanto

−xT AT ≤ bT ⇒ xT AT µ ≥ −bT µ
⇒ xT AT µ − xT DT λ ≥ −bT µ − xT DT λ = −bT µ − eT λ

Pues xT DT λ − eT λ = 0 Además como tenemos

c + AT λ + D T λ = 0

entonces c = −AT µ − DT λ por lo tanto dado x ∈ S

xT c = −xT AT µ − xT DT λ ⇒ xT c ≥ −bT µ − eT λ

luego tomando supremo sobre S sobre cada conjunto, tenemos que Val(P ) ≥ Val(D)
e) Pruebe que Val(D) ∈ R si y sólo si existe (µ̄, λ̄) ∈ Sol(D)
Dem:
⇐ trivial
⇒
Como Val(P ) ∈ R entonces, tomamos la sucesión {(µk , λk )}k∈N ⊂ Λ si definimos f (µ, λ) =
−bT µ − eT λ,se cumpla

f (µk , λk ) → Val(P )

como f es un funcional continuo, tenemos que (µk , λk ) →w (µ̄, λ̄),pero como convergencia
débil implicaconvergencia fuerte en Rn tenemos que (µk , λk ) →w (µ̄, λ̄) y como Λ es
cerrado se tiene el resultado.

11
 f) Demuestre que si S 6= ∅ entonces Val(P ) = Val(D)
Tenemos que S 6= ∅ por lo tanto,como el máximo se alcanza en el máximo de restricciones
activas, tenemos que Ai x = bi para todo i ∈ I(x) por lo tanto, dado que se cumple

cT + µT A + λT D = 0

tomando x̄ solución de (P ) tenemos

cT x̄ + µT Ax̄ + λT Dx̄ = cT x̄ + µT b + λT e = 0

Por lo tanto,si existen (µ̄, λ̄) ∈ Λ se tiene lo pedido,

P5. . Elipsoide de Volumen Mı́nimo

a) tenemos que dado h ∈ Sn

g(X + h) = |Xy + hy|2 = |Xy|2 + hXy, hyi + hhy, Xyi + |hy|2

Notamos que o(h) = |hy|2 y por c-s tenemos que el error se va a cero antes que la norma por
lo tanto

Dg(X).h = +hXy, hyi + hhy, Xyi

∇g(x) = Xyy T + yy T X

12