Optimización no lineal diferenciable

Alfredo Torres Alegre.

UNMSM

27 de junio de 2023

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 1 / 25

Optimización no lineal diferenciable con restricciones de
igualdad
El problema general de optimización no lineal con restriciones de igualdad es:
Optimizar f (x)
sujeto a g (x) = 0,
donde A ⊂ ℜn , f : A → ℜ y g : A → ℜm .
Este consiste en obtener los maximos y minimos de una función, en un subconjunto
de A en el cual se anula una función g, al que llamaremos conjunto factible. Las
soluciones son en general distintas a las obtenidas sino se hubiesen impuesto res-
tricciones.

METÓDO GRÁFICO
Ejemplo 1.Sea
f (x1 , x2 ) = (x1 − 2)2 + (x2 − 1)2 ,
graficamente representada por curvas de nivel se nota en el punto (2,1) un minimo,
siendo cero su valor en el mismo.
Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 2 / 25
Restringiendo dicha función por
x1 + x2 − 2 = 0
Representamos gráficamente el problema en la Fig. 1

Figura: Gráfica en ℜ3 y la proyección de las curvas de nivel sobre el plano x1 x2 .

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 3 / 25

Observando la gráfica de la proyección sobre plano x1 x2 vemos que el minimo se
encuentra cuando la recta es tangente a una de las circunferencias de nivel para
calcular el pto resolvemos el sistema:

(x1 − 2)2 + (x2 − 1)2 = k


x1 + x2 − 2 = 0

Luego por ser pto tangencia la solución es única es decir △= 0 para la ecuación
en x1 ∨ x2 formada, encontrandose el minimo en ( 32 , 21 ), siendo 1/2 el valor de la
función objetivo.

Definición 1. Sean A ⊂ ℜn , f : A → ℜ, g : A → ℜm y M = {x ∈ A/g (x) = 0}.

Decimos que f posee un minimo relativo sobre M en un pto a ∈ M cuando ∃δ > 0 tq
f (x) ≥ f (a) ∀x ∈ B(a, δ) ∩ M;
es decir f | M posee un minimo relativo en el pto a.
Diremos que f posee un minimo absoluto (o global) sobre M en un pto a∈ M cuando
f (x) ≥ f (a) ∀x ∈ M.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 4 / 25

Condición necesaria de extremo condicionado
Proposición 1.(Teorema de los multiplicadores de Lagrange) Sean A ⊂ ℜn abierto,
f : A → ℜ una función de clase C 1 en A, g = (g1 , g2 , ..., gm ) : A → ℜm (n > m)
una función de clase C 1 en A y M = {x ∈ A/g (x) = 0}. Si en el pto a ∈ M f posee
un extremo relativo sobre el conjunto M y, además, el rango de la matriz jacobiana
de la función g en el pto a es m, entonces
∃n λ̄1 , ..., λ̄m ∈ ℜ, llamados multiplicadores de Lagrange en el pto a, tq

∇f (a) + λ̄1 ∇g1 (a) + λ̄2 ∇g2 (a) + ... + λ̄m ∇gm (a) = 0
(o escrito de otra forma:
m
X
Di f (a) + λ̄j Di gj (a) = 0, i = 1, n).
j=1

Demost.
De la hipótesis del teorema tenemos:
La función g es de clase C 1 en el abierto A.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 5 / 25

Teorema de los multiplicadores de Lagrange

El pto a∈ M, por def. g (a) = 0, a = (a1 , a2 , ..., an )

 El rango de la matriz jacobiana de g en a: 
D1 g1 (a) · · · Dm g1 (a) Dm+1 g1 (a) · · · Dn g1 (a)
 D1 g2 (a) · · · Dm g2 (a) Dm+1 g2 (a) · · · Dn g2 (a) 
es m.
 
 .. .. .. .. .. .. 
 . . . . . . 
D1 gm (a) · · · Dm gm (a) Dm+1 gm (a) · · · Dn gm (a) mxn
Luego tenemos;
 
 D1 g1 (a) · · · Dm g1 (a) 
 
 D1 g2 (a) · · · Dm g2 (a) 
 ̸= 0.
 
 .. .. ..

 . . . 

D1 gm (a) · · · Dm gm (a)

∃n m variables dependientes y n-m variables independientes.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 6 / 25

Teorema de los multiplicadores de Lagrange

El teorema de la función implicita nos permite asegurar que ∃n un abierto A0 de

ℜn−m que contiene al pto (am+1 , · · · , an ), un abierto A1 de ℜm que contiene el pto
(a1 , · · · , am ) y ∃! función H=(H1 , · · · , Hm ):A0 ⊂ ℜn−m → A1 ⊂ ℜm de clase C 1
en A0 , tq

xi = Hi (xm+1 , · · · , xn ), i = 1; m,
que verifica

gj (H1 (xm+1 , · · · , xn ), · · · , Hm (xm+1 , · · · , xn ), xm+1 , · · · , xn ) = 0, (I )

j = 1, m, en A0 .
De la hipótesis f posee en el pto a = (a1 , · · · , am , am+1 , · · · , an ) un extremo relativo
sobre M, si definimos F : A0 ⊂ ℜn−m → ℜ, como:

F (xm+1 , · · · , xn ) = f (H1 (xm+1 , · · · , xn ), · · · , Hm (xm+1 , · · · , xn ), xm+1 , · · · , xn ),

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 7 / 25

este poseerá un extremo relativo no restringido en el pto ā = (am+1 , · · · , an ) ∈ A0 ,
por proposición anterior de óptimo local se verifica ∇F (ā) = 0 y por regla de la
cadena:

Di F (ā) = Di f (a) + D1 f (a)Di H1 (ā) + · · · + Dm f (a)Di Hm (ā, ) i = m + 1; n,

Luego como ∇F (ā) = 0:

m
X
Di f (a) + Dk f (a)Di Hk (ā) = 0, i = m + 1; n, (II )
k=1

Derivando igualmente las ec. de (I) tenemos:

m
X
Di gj (a) + Dk gj (a)Di Hk (ā) = 0, i = m + 1; n j = 1; m, (III )
k=1

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 8 / 25

Consideremos ahora un vector arbitrario (λ1 , · · · , λm ) ∈ ℜm , a partir de (III) mul-
tiplicando por respectivo λ1 , · · · , λm
Pm
λ1 Di g1 (a) + k=1 λ1 Dk g1 (a)Di Hk (a) = 0
..
Pm .
λm Di gm (a) + k=1 λm Dk gm (a)Di Hk (a) = 0

Sumando:
m
X m X
X m
λj Di gj (a) + λj Dk gj (a)Di Hk (ā) = 0, i = m + 1; n, (IV )
j=1 j=1 k=1

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 9 / 25

Sumando (II) y (IV) y ordenando adecuadamente
 
m
X m
X m
X
Di f (a) + λj Di gj (a) + Di Hk (ā) Dk f (a) + λj Dk gj (a) = 0, (V )
j=1 k=1 j=1

i = m + 1; n,
Para demostrar la existencia de un único vector (λ̄1 , · · · , λ̄m ) tq
m
X
Di f (a) + λ̄j Di gj (a) = 0, i = 1; m, m + 1; n.
j=1

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 10 / 25

Consideremos el sistema de ec.
m
X
Dk f (a) + λj Dk gj (a) = 0, k = 1, m.
j=1

−D1 f (a) = λ1 D1 g1 (a) + λ2 D1 g2 (a) + · · · + λm D1 gm (a)

..
.
−Dm f (a) = λ1 Dm g1 (a) + λ2 Dm g2 (a) + · · · + λm Dm gm (a)
escrito en forma matricial:
    
D1 f (a) D1 g1 (a) ··· Dm g1 (a) λ1
 D2 f (a)   D1 g2 (a) ··· Dm g2 (a)   λ2 
− .  =    ..  .
    
.. .. ..
 ..   . . .  . 
Dm f (a) D1 gm (a) · · · Dm gm (a) λm

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 11 / 25

    −1  
λ1 D1 g1 (a) ··· Dm g1 (a) D1 f (a)
 λ2   D1 g2 (a) ··· Dm g2 (a) 
  D2 f (a) 
 
 ..  = − 
  
.. .. ..   .. 
 .   . . .   . 
λm D1 gm (a) · · · Dm gm (a) Dm f (a)
se observa que posee solución única (λ̄1 , · · · , λ̄m ) por tener diferente de cero el
determinante de la matriz de sus coeficientes.
Sustituyendo dicha solución. en (V) queda:
m
X
Di f (a) + λ̄j Di gj (a) = 0, i = m + 1, n.
j=1

junto con:
m
X
Dk f (a) + λ̄j Dk gj (a) = 0, i = 1, m.
j=1

Prueba el enunciado.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 12 / 25

Teorema general de la función implicita

Supongamos que tenemos un sistema de ecuaciones de la forma F(x;y)=0, donde

F: U ∗ ⊆ ℜm xℜn → ℜm es una función diferenciable y U ∗ es un conjunto abierto.
Si existe un pto (a;b)∈ U ∗ tq F(a;b)=0. Si el jacobiano parcial ∂F /∂y evaluado en
(a;b) es invertible, entonces existen conjuntos abtos U⊂ ℜm y V⊂ ℜn , con a∈U y
b∈V, y una función g:U→V tq
g(a)=b, es decir, g satisface la condición inicial del sistema de ecuaciones.
F(x;g(x))=0 ∀x ∈ U, es decir g(x) es una solución del sistema de ecuaciones
en el entorno de a.
Para el caso resuelto: g:ℜm xℜn−m → ℜm , la unicidad de la función H viene del
hecho de q la derivada parcial de la función g con respecto de las variables de-
pendientes es continua y acotada en un entorno de a. En gral se debe cumplir la
condición de Lipschitz.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 13 / 25

Optimización no lineal con restricciones de desigualdad
El problema general de optimización con restricciones de desigualdad tiene la forma
sgte:
Optimizar f(x)

sujeto a g (x) ≤ 0  (i)

1 


g2 (x) ≤ 0




..
.





gm (x) ≤ 0



donde f,g1 , g2 , · · · , gm son funciones definidas en un conjunto abierto A de R n , en

el cual son diferenciables con continuidad. Llamando D al conjunto de puntos de A
que verifican las desigualdades anteriores, diremos que a∈D es un minimo local del
problema (I) si ∃Va tq
f (x) ≥ f (a) ∀x ∈ D ∩ Va
El punto a será minimo global si la desigualdad anterior se da para todos los x de
D. Análogas definiciones son para concepto de máximo.
Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 14 / 25
Optimización no lineal con restricciones de desigualdad

Def. Diremos que a∈D satura la restricción gi (x) ≤ 0(restricción activa en a) si se

verifica gi (a) = 0. Cuando gi (a) < 0, la restricción será no saturada(restricción no
activa en a).
METÓDO GEOMÉTRICO
Ejm.Considere el problema:

Min f (x, y ) = −x 2 − y 2

sujeto a x + y − 1 ≤ 0 



x −y ≤0 
−x ≤ 0



El conjunto factible(es decir, el conj. D) es el indicado en la fig.1. Se observa, el

pto (1/2, 1/2) satura las 2 primeras restricciones, mientras que (0,1) sólo satura la
primera y la tercera, y (1/4,1/2) no satura ninguna.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 15 / 25

Para este ejemplo se puede intentar una solución gráfica. En efecto, las curvas de
nivel de la función objetivo f(x,y)=k son de la forma x 2 + y 2 = −k. Esto sólo
tiene sentido si -k≥0, para√lo cual tenemos circunferencias centradas en el origen
de coordenadas, de radio −k. Por tanto dadas 2 circunferencias distintas la que
tenga mayor radio tendra menor valor objetivo. Luego de todas las isolineas que
cortan a D, la que tiene mayor radio es x 2 + y 2 = 1. En la gráfica representada
en la fig.2. se aprecia la parte continua de las curvas de nivel que corresponde a
los puntos en que éstas cortan al conjunto D. En consecuencia (0,1) es la solución
global del sistema.

Figura: Gráfica en ℜ2 de las restricciones en la fig.1.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 16 / 25

 Figura: Proyección de las curvas de nivel de f sobre el plano xy en la fig.2.

CONDICIONES NECESARIAS DE OPTIMALIDAD(CONDICIONES

DE KUHN-TUCKER)
El procedimiento geométrico mostrado anteriormente sólo es válido a problemas
en dimensiones 1,2 y 3 y muy pocas veces conduce a una solución plenamente
satisfactoria. Por esta razón se hace necesario el uso de criterios analiticos que
permitan resolver el problema con mayor rigor. Estos criterios son de varios tipos,
y para problemas que son diferenciables el representante más importante es el de
multiplicadores de Kuhn-Tucker.
Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 17 / 25
Multiplicadores de Kuhn-Tucker

Def.Se dice que a∈D es regular(o que cumple la condición de regularidad) si los
gradientes de las restricciones saturadas en a forman un conjunto de vectores l.i.
Los puntos que no saturan ninguna restricción tbn se aceptan como ptos regulares.
En el ejm. anterior, (1/4,1/2) es pto regular puesto que no satura ninguna restric-
ción, y el pto (0,1) tbn ya que al saturar g1 (x, y ) = x +y −1 y g3 (x, y ) = −x y veri-
ficarse ∇g1 (0, 1) = (1, 1) y ∇g3 (0, 1) = (−1, 0) se tiene que {∇g1 (0, 1); ∇g3 (0, 1)}
son l.i.
Proposición(Teorema de Kuhn-Tucker) Si a∈D es un minimo local del problema
(I) en el que se verifica la condición de regularidad, entonces ∃n λ1 , λ2 , · · · , λm ∈
ℜ(llamados multiplicadores de Kuhn Tucker) que verifican las sgtes condiciones:
(a) ∇f (a) + λ1 ∇g1 (a) + λ2 ∇g2 (a) + · · · + λm ∇gm (a) = 0.
(b) λ1 , λ2 , · · · , λm ≥ 0.
(c) Si la restricción gi (x) ≤ 0 no está saturada en a(es decir, si gi (a) < 0),
entonces λi = 0

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 18 / 25

Demostración
i) Si a no satura ninguna restricción, tenemos g es continua en el dominio de
factibilidad D y ∃ a ∈ D g (a) < 0, por la continuidad de g en a ∈ D; Dado
< −∞; 0 > abto ∃ Va ⊆ D(abto contiene al pto a)/ g(Va )⊆< 0; 1 > como
◦ ◦
el D es el mayor abto contenido en D, entonces Va ⊆D por tanto a estará en
el interior de D, y por ser a un minimo local, se verifica que ∇f (a) = 0(prop.
ant.). Tomando λ1 = λ2 = · · · = λm = 0, se tiene probado el teorema.
ii) Si a satura alguna de las restricciones. Sean (gi )ki=1 las restricciones satura-
das, y (gi )m
i=k+1 las no saturadas en a. Puesto que a es regular, el conjunto
{∇g1 (a), · · · , ∇gk (a)} es l.i. Utilizaremos el sgte lema:
Sean {u1 , · · · , uk } l.i. en ℜn y sea u ∈ ℜn .
k
X
∃n (λi )ki=1 ≥ 0, tq u = λi ui , sss,
i=1

∀x ∈ ℜn , con ui x > 0, i = 1; k se tiene que xu ≥ 0.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 19 / 25

 Consideremos u ∈ ℜn tq ∇g1 (a)u > 0, · · · , ∇gk (a)u > 0,
P.D.
[−∇f (a)]u ≥ 0
Demost. De la hipotesis: ∇g1 (a)(−u) < 0. Del teorema de taylor en una variable
aplicado a la función t→ φ(t) = gi (a − tu) alrededor de 0:

φ(t) = φ(0) + φ(0)t + ϵ(t)t, (2)

donde ϵ(t) verifica que lı́mt→0 ϵ(t) = 0. Pero

φ(t) − φ(0) gi (a − tu) − gi (a) dgi

φ′ (0) = lı́m = lı́m = (a)
t→0 t t→0 t d(−u)

Luego:
φ′ (0) = ∇gi (a)(−u)

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 20 / 25

De (2) se deduce que

gi (a − tu) = gi (a) + t[∇gi (a)(−u) + ϵ(t)]

Puesto que ∇gi (a)(−u) < 0 y ϵ(t) → 0 si t → 0, para t suficientemente pequeño

∇gi (a)(−u) + ϵ(t) < 0, y si además t>0, resulta gi (a − tu) ≤ gi (a) Por otro
lado gi (a) = 0(gi es saturada en a), de donde gi (a − tu) siempre que 1, k y t
suficientemente pequeño(menor que un cierto δ positivo y mayor que 0).
Para el δ, determinado, se puede conseguir que gi (a − tu) < 0 para i = k + 1; m,
ya que gi es continua en a y gi (a) < 0(gi no saturada), luego a − tu ∈ D(conj.
factible) ∀t ∈ (0; δ) y, en consecuencia, la derivada de f en a según -u satisface

f (a − tu) − f (a)
(−∇f (a))u = ∇f (a)(−u) = lı́m+ ≥0
t→0 t
lqqd.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 21 / 25

 volviendo a la prueba,
a partir del lema mencionado se deduce que ∃n (λi )ki=1 ≥ 0 en ℜ, con
k
X
−∇f (a) = λi ∇gi (a)
i=1

y tomando (λi )m
i=k+1 = 0 esta probado el teorema.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 22 / 25

Proposición(Teorema de Kuhn-Tucker) Si a∈D es un máximo local del problema
(I) en el que se verifica la conción de regularidad, entonces ∃n λ1 , λ2 , · · · , λm ∈
ℜ(llamados multiplicadores de Kuhn Tucker) que verifican las sgtes condiciones:
(a) ∇f (a) + λ1 ∇g1 (a) + λ2 ∇g2 (a) + · · · + λm ∇gm (a) = 0.
(b) λ1 , λ2 , · · · , λm ≤ 0.
(c) Si la restricción gi (x) ≤ 0 no está saturada en a(es decir, si gi (a) < 0),
entonces λi = 0

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 23 / 25

LA CONDICIÓN SUFICIENTE. CASO CONVEXO

ProposiciónSea el problema(I), en el cual la función f es convexa en A(abto, con-

vexo) y el conjunto factible D es convexo.
Si a∈D verifica las condiciones de Kuhn-Tucker para mı́nimo local, entonces a es
un mı́nimo global del problema.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 24 / 25

CorolarioSi las funciones gi i = 1; m son convexas en A, f es convexa(cóncava)
en A y a∈D verifica las condiciones de Kuhn-Tucker para mı́nimo(máximo) local,
entonces en dicho pto habrá un mı́nimo(máximo) global.

Alfredo Torres Alegre. (UNMSM) Optimización no lineal diferenciable 27 de junio de 2023 25 / 25