Mtodo del Gradiente

Un modelo de Programacin no Lineal (PNL) es aquel donde las variables

de decisin se expresan como funciones no lineales ya sea en la funcin
objetivo y/o restricciones de un modelo de optimizacin. Esta
caracterstica particular de los modelos no lineales permite abordar
problemas donde existen economas o deseconomas de escala o en
general donde los supuestos asociados a la proporcionalidad no se
cumplen.
En este sentido el mtodo del gradiente (conocido tambin como
mtodo de Cauchy o del descenso ms pronunciado) consiste en un
algoritmo especfico para la resolucin de modelos de PNL sin
restricciones, perteneciente a la categora de algoritmos generales de
descenso, donde la bsqueda de un mnimo esta asociado a la
resolucin secuencial de una serie de problemas unidimensionales.
Los pasos asociados a la utilizacin del mtodo del gradiente o descenso
ms pronunciado consiste en:

Ejemplo del Mtodo del Gradiente

Considere el siguiente modelo de programacin no lineal sin
restricciones. Aplique 2 iteraciones del mtodo del gradiente a partir
del punto inicial X0=(1,1).

Luego de realizar la segunda iteracin se verifica que se cumplen las

condiciones necesarias de primer orden (d1=(0,0)). Adicionalmente se
puede comprobar que la funcin objetivo resulta ser convexa y en
consecuencia las condiciones de primer orden resultan ser suficientes
para afirmar que la coordenada (X1,X2)=(-2,1) es el ptimo o mnimo
global del problema.

Ejemplo del Mtodo del Gradiente o Mtodo del

Descenso ms Pronunciado
Para la optimizacin de modelos de Programacin No Lineal sin restricciones se dispone
de una categora de mtodos denominados Algoritmos Generales de
Descenso entre los cuales se destaca el Mtodo del Gradiente o Mtodo del Descenso
ms Pronunciado (conocido adicionalmente como Mtodo de Cauchy) que reducen el
clculo de un mnimo local a una secuencia de problemas de bsqueda lineal (o
bsqueda unidimensional).
Consideremos el siguiente problema de Programacin No Lineal no restringido:
:

Es importante observar lo siguiente: El punto de partida para comenzar las iteraciones

es arbitrario y al ser evaluado en la funcin objetivo se alcanza un valor de V(8,7)=149. Si evaluamos el punto que se alcanza al realizar una iteracin del mtodo la
funcin objetivo obtiene el siguiente valor V(12,5)=-169 que como se puede apreciar
reduce el valor de la funcin objetivo. En resumen el Mtodo del Gradiente consta de 2
pasos principales:
Primero: El clculo de una direccin de descenso que esta dado por el negativo del
gradiente de la funcin objetivo evaluado en el punto de partida o en el de la k-sima
iteracin. En el ejemplo dicha direccin desde la coordenada original (8,7) esta dada
en la direccin del vector d=(8,-4).

Un ejemplo general
Sea la funcin convexa f(x)=12(x21+x22) donde >0 es una
origen (x1,x2)=(0,0).

Para aplicar el mtodo del gradiente, empezamos fijando y

definiendo f.
eta=10;
f = @(x1,x2)(x1.^2+eta*x2.^2)/2;
[u,v] = meshgrid(-1:0.02:1,-1:0.02:1);
dibujar f
F=f(u,v);
figure,surf(u,v,F)
superfcie
figure,contourf(u,v,F,20);
de nivel
colorbar

% definimos eta
% definimos la funcin
% calculamos variables para
% representacin de f como
% representacin de f con curvas

Implementamos el mtodo del gradiente. Calculamos el

gradiente analticamente y lo definimos.
Gradf = @(x)[x(1); eta*x(2)];
tau = 1.8/eta;
x=[0.5,0.5]';
X=x;
for k=1:20
x=x-tau*Gradf(x);
X=[X x];
end

%
%
%
%
%

definimos el gradiente
definimos el tamao de paso
valor inicial
inicializamos la sucesin
construmos la sucesin

En dos grficas podemos ver el camino que sigue la sucesin

cmo f(x(k)) va disminuyendo.
figure, hold on
contourf(u,v,F,20)
plot(X(1,:), X(2,:), 'w.-')
title('Sucesin X')
hold off
f_descenso=f(X(1,:),X(2,:));
figure,plot(f_descenso)
title('Valor de la funcin f en

% representacin funcin f
% representacin sucesin X
% clculo de f para los puntos de X
% representacin
cada iteracin')

Multiplicadores de Lagrange
Introduccin[editar]
Consideremos un caso bidimensional. Supongamos que tenemos la funcin, f (x, y), y queremos
maximizarla, estando sujeta a la condicin:

donde c es una constante. Podemos visualizar las curvas de nivel de f dadas por

para varios valores de dn, y el contorno de g dado por g(x, y) = c. Supongamos que hablamos de la
curva de nivel donde g = c. Entonces, en general, las curvas de nivel de f y g sern distintas, y la
curva g = c por lo general intersectar y cruzar muchos contornos de f. En general, movindose a
travs de la lnea g=c podemos incrementar o disminuir el valor de f. Slo cuando g=c (el contorno
que estamos siguiendo) toca tangencialmente (no corta) una curva de nivel de f, no se incrementa
o disminuye el valor de f. Esto ocurre en el extremo local restringido y en los puntos de
inflexin restringidos de f.

Un ejemplo familiar puede ser obtenido de los mapas climatolgicos, con sus curvas de nivel de
presin y temperatura (isbaras e isotermas respectivamente): el extremo restringido ocurrir
donde los mapas superpuestos muestren curvas que se tocan.
Geomtricamente traducimos la condicin de tangencia diciendo que los gradientes de f y g son
vectores paralelos en el mximo. Introduciendo un nuevo escalar, , resolvemos
[f(x, y) - (g(x, y) c)] = 0
para 0.
Una vez determinados los valores de , volvemos al nmero original de variables y as
continuamos encontrando el extremo de la nueva ecuacin no restringida.

de forma tradicional. Eso es,

porque
en

para todo (x, y) satisfaciendo la condicin

es igual a cero en la restriccin, pero los ceros de

F(x, y) estn todos

El mtodo de los multiplicadores de Lagrange[editar]

Sea f (x) una funcin definida en un conjunto abierto n-dimensional {x Rn}. Se
definen s restricciones gk (x) = 0, k=1,..., s, y se observa (si las restricciones son satisfechas) que:

Se procede a buscar un extremo para h

lo que es equivalente a

Demostracin

Los multiplicadores desconocidos k se determinan a partir de las ecuaciones con las restricciones
y conjuntamente se obtiene un extremo para h que al mismo tiempo satisface las restricciones
(i.e. gk=0), lo que implica que f ha sido optimizada
El mtodo de multiplicadores de Lagrange es generalizado por las condiciones de Karush-KuhnTucker.

Ejemplos

Ejemplo #1
Supongamos que queremos encontrar la distribucin probabilstica discreta con mxima entropa.
Entonces

Podemos usar los multiplicadores de Lagrange para encontrar el punto de mxima entropa
(dependiendo de las probabilidades). Para todo k desde 1 hasta n, necesitamos

lo que nos da

Derivando estas n ecuaciones, obtenemos

Esto muestra que todo pi es igual (debido a que depende solamente de ). Usando la restriccin
k pk = 1, encontramos

Esta (la distribucin uniforme discreta) es la distribucin con la mayor entropa.

Ejemplo #2
Determinar los puntos en la esfera

que estn ms cercanos al

punto
la distancia al punto

para hacer ms sencilla la operacin se maximiza o minimiza el cuadrado de la distancia:

la restriccin:
De acuerdo con el mtodo de los multiplicadores de Lagrange, se resuelven las ecuaciones
"

"y"

" y el resultado es:

(1
(2)

(3)

(4)

la manera ms sencilla de resolver estas ecuaciones es dejar x, y, z en funcin de

y luego

sustituimos en la ecuacin (4).

de la ecuacin (1) obtenemos

realizar la operacin.
lo mismo sucede con la ecuacin (2) y (3)

se observa que

1 por que si

no se puede

sustituyendo en la ecuacin (4)

se obtiene que
y entonces los puntos (x, y, z) son :

se puede observar que el punto ms cercano entonces es

Ejemplo #3 (restricciones mltiples)

Restricciones:

Aplicar el mtodo:

Entonces:

Por lo tanto, los puntos crticos son:

Bastar entonces evaluar la funcin en esos puntos para determinar que:

por lo que en ambos puntos

tiene un mximo si est restringida de esta manera.

Criterio de la segunda derivada para Extremos con Restriccin

El caso bidimensional
Como en el caso no restringido en el que usamos la matriz Hessiana y el criterio de Sylvester para
determinar la naturaleza de los puntos crticos, en presencia de multiplicadores de Lagrange existe
un mtodo anlogo para descubrir si un punto crtico v0 es mximo, mnimo, o punto silla.
Sea f:U2 y g:U2 dos curvas suaves de clase C2. Sea v0U tal que g(v0)= c y sea S el
conjunto de nivel de g con valor c. Asumimos que
f(v0) =

g(v0). Para la funcin auxiliar h = f -

g(v0)0 y existe un nmero real

tal que

g tenemos la matriz hessiana limitada:

evaluada en v0
1. Si |H|>0 entonces v0 es un mximo local en f limitada a S
2. Si |H|<0 entonces v0 es un mnimo
local en f limitada a S
3. Si |H|=0 entonces el criterio no
concluye nada

El caso n-dimensional
Anlogamente al caso bidimensional, consideramos el caso n-dimensional, Sea f:Un
y g:Un dos curvas suaves de clase C2. Sea v0U tal que g(v0)= c y sea S el conjunto de
nivel de g con valor c. Asumimos que
g(v0). Para la funcin auxiliar h = f -

g(v0)0 y existe un nmero real

tal que

f(v0) =

g construimos la matriz hessiana limitada:

evaluada en v0
Examinamos los determinantes de las submatrices en la diagonal de orden mayor o igual a 3:

1. Si todos ellos son menores que 0, tenemos un mnimo local en v 0

2. Si el primer subdeterminante de tamao 3x3 es mayor que cero, el siguiente (el de 4x4) es
menor que cero, y de esa manera los subdeterminantes van alternando su signo, tenemos
un mximo local en v0
3. Si todos los subdeterminantes son distintos de cero, pero no siguen ninguno de los dos
patrones anteriores, tenemos un punto silla en v0
4. Si no se da ninguno de los tres casos anteriores, el criterio no concluye nada

Optimizacion con
restricciones de igualdad
1. Formulacin del problema
Sea:
: n diferenciable
gi: n i = 1m diferenciables
b1bm
Un problema de optimizacin con restricciones de igualdad se formula:

Ejemplo y representacin grfica

(n=2, m=1)

Nota:
1. Las restricciones de tipo igualdad no establecen fronteras al conjunto de
lassoluciones factibles del programa, sino que reducen las dimensiones
del espacio donde el programa est definido.
2. Los ptimos que obtendremos sern dbiles en el sentido de que una
pequea variacin en las restricciones har que dejen de ser ptimos.
Por este motivo los llamaremos ptimos condicionados o
restringidos.

2. Resolucin de un problema de optimizacin con restricciones de

igualdad
Mtodos:
i.

Resolucin grfica, por curvas de nivel

ii.

Eliminacin o sustitucin de variables

iii.

Mtodo de Lagrange

i. Resolucin grfica por curvas de nivel

Siempre que sea posible ser muy cmodo dibujar las curvas de nivel.

Se
trata de determinar el punto de la restriccin por el que pasa la curva de nivel ms baja.

ii. Eliminacin o sustitucin de variables

Ejemplo:

es equivalente a
La funcin objetivo es ahora una funcin con una variable menos:

Por tanto,

Entonces,

es mnimo restringido o condicionado.

iii. Mtodo de Lagrange

El mtodo consiste en convertir el problema con restricciones de igualdad en uno
de ptimos libres, gracias a la incorporacin de las restricciones a la funcin objetivo.
Distinguimos dos casos:

1. Caso de una nica restriccin

2. Caso de ms de una restriccin
En ambos casos, se construye una funcin, llamada funcin de Lagrange, y se determina
qu puntos cumplen la condicin necesaria para ser ptimos del problema y,
posteriormente, se estudia si son mximos o mnimos analizando el cumplimiento de
la condicin suficiente.

Ejemplos de aplicacin:

Ver ejemplo 1

Ver ejemplo 2

Ver interpretacin de los multiplicadores de Lagrange

iii.1 Caso de una nica restriccin

se sustituye por
siendo

la denominada funcin de Lagrange que tiene

una variable ms,

, que recibe el nombre de multiplicador de Lagrange.

Observamos que cuando se satisface la restriccin

se cumple

que

Ver ejemplo 1

Ver ejemplo 2

Condicin necesaria (Caso m = 1)

Ver ejemplo 1

Ver ejemplo 2

Condicin suficiente
Sea un punto

que cumple la condicin necesaria; es decir:

tq
entonces, si denotamos como Hx L
en

la hessiana de la funcin de Lagrange

respecto de las variables iniciales (no respecto ) tenemos:

definida positiva

es mnimo condicionado o restringido

definida negativa

es mximo condicionado o restringido

en otro caso:
tal que

Ver ejemplo 1

Ver ejemplo 2

>0

es mnimo condicionado

<0

es mximo condicionado

iii.2 Caso de ms de una restriccin:

La funcin L se llama funcin de Lagrange y los

Observamos que se aade un multiplicador

, multiplicadores de Lagrange.

por cada restriccin y que cuando se

satisfacen todas se cumple que

Ejemplo de aplicacin 1

Condicin necesaria:

(*)

(*)Observemos que la condicin

Resolvemos:

Obtenemos:

equivale a pedir que se satisfaga la restriccin.

Condicin suficiente:

definida positiva

Resultado:

es un mnimo condicionado o restringido

Ejemplo de aplicacin 2

Condicin necesaria:

Por lo tanto resolvemos:

Y obtenemos:
x = , y= =

Condicin suficiente:

indefinida

Veamos qu sucede exactamente sobre la restriccin.

Por tanto, como se comprueba en el grfico, para mantenernos encima de la restriccin es

necesario

Entonces,

Resultado:

mximo condicionado o restringido

Interpretacin de los multiplicadores de Lagrange

Dado un problema con restricciones de igualdad:

Si se modifica un poco
ptimo.

, cambiar tambin el punto ptimo y, en consecuencia, el valor

As se entiende que el valor ptimo de un problema es funcin de cada

derivada de esta funcin respecto de

deduce la siguiente frmula:

es justamente

. Pues bien, la

. De aqu se

que tambin se puede escribir como

NOTA: Todo esto es cierto para

variaciones de

, es decir, cuando se trata de pequeas

que no afectan al status del problema.