Dualidad

(*) Basado en Boyd y Vandenberghe. Convex Optimization

http://www.stanford.edu/~boyd/cvxbook/

El Lagrangiano

Consideremos un problema de optimizacin en forma

estndar
(*)

donde

La variable xn,

El dominio es no vaco,

No se asume que el problema sea convexo

2

Definicin de Lagrangiano
La funcin
dada por

se denomina el Lagrangiano (Lagrangian) del

problema (*). Las variables , se denominan los
multiplicadores de Lagrange.
3

La funcin dual de Lagrange

La funcin g:mn definida por

se denomina la funcin dual de Lagrange del

problema (*).
Como se trata del infimum de la combinacin
lineal de una familia de funciones afines, la
funcin dual siempre es concava (sin importar si
el problema es convexo).
4

Cota inferior en el valor ptimo

Sea p* el valor ptimo del problema (*),

entonces se cumple que
es decir la funcin dual de Lagrange establece
un mnimo del valor ptimo.

Interpretacin de la funcin
dual de Lagrange

Consideremos el problema sin restricciones:

donde se usan las funciones indicadoras:

Interpretacin como
aproximacin lineal

Las funciones indicadoras capturan la

"insatisfaccin" por no cumplir las restricciones.

En la forma 0, la funcin de con indicadores

corresponde a una pared.

La funcin de Lagrange aproxima esta funcin

utilizando una medida de insatisfaccin lineal:
Cuando ms lejos este restriccin de su valor
deseado, mayor la insatisfaccin.

Ejemplo: Mnimos cuadrados

Sea el problema de optimizacin convexo

su Lagrangiano es
para encontrar su funcin dual, se minimiza el
Lagrangiano, que por la condicin de
optimalidad de primer orden:
9

Funcin dual de Lagrange

para problemas LP

La funcin dual de Langrange es entonces

Se observa que el trmino dependiente de x no

est inferiormente acotado excepto si es cero,
por lo tanto

12

El problema dual de Lagrange

Cada pareja (,) define una cota inferior para

p* cuando 0.

Surge entonces la pregunta cul es la mejor

cota (la ms grande) posible para una funcin
g(,) dada?

Este problema puede plantearse as:

(**)

y se llama el problema dual de Lagrange.

13

Terminologa

El problema (*) se denomina el problema

primal y (**) el problema dual.

La solucin ptima (,) de (**) se conoce

como el ptimo dual o los multiplicadores
ptimos de Lagrange.

El problema (**) es convexo dado que la

funcin a maximizar es concava y las
restricciones convexas. Esto sin importar
como es el problema primal.
14

Dual de Lagrange para

un problema LP con desigualdades
Dado un problema LP
de la forma
Su Lagrangiano es

y su funcin dual es
que de manera similar, solo esta acotada si el
trmino lineal es cero.
17

Tranformaciones equivalentes para

programas LP duales (3)

El problema dual correspondiente es

que teniendo en cuenta que 0 y

reorganizando trminos

21

Dualidad Dbil
(Weak duality)
Sea d* la solucin ptima del problema dual. Por
definicin este es el mejor limite inferior del valor
ptimo p*,
d*p*
y aplica incluso cuando el problema primal no es
convexo, o cuando bien sea el problema primal o
el dual no son acotados.

22

Duality gap

La diferencia
p*-d*
siempre es cero o positiva y se conoce como el
"gap de dualidad" (duality gap) entre el
problema primal y su mejor cota inferior.

23

Dualidad Fuerte
(Strong duality)

Cuando la igualdad se cumple

p*=d*
se dice que el problema cumple con la
dualidad fuerte.

En general la dualidad fuerte no se cumple, por

lo que resulta interesante explorar condiciones
bajo las cuales se da.

24

Cuando se da la dualidad fuerte?

Cuando el problema primal es convexo de la

forma:

usualmente si se cumple la dualidad fuerte.

Condiciones especificas para que se cumpla la

dualidad fuerte se denominan cualificadores de
restricciones (constraint qualifications).
25

La condicin de Slater

Una cualificacin que nos garantiza la dualidad fuerte

de un problema.

Sea x un punto perteneciente al interior relativo del

espacio factible
i.e.,

En este caso y siendo el problema convexo, la

condicin de Slater establece que la dualidad fuerte
se cumple.

El punto x se dice que es estrctamente factible.

26

Dualidad fuerte para

mnimos cuadrados

Para el problema de mnimos cuadrados su

primal es
y el dual correspondiente es

La condicin de Slater se reduce a que el

problema primal sea factible, y en ese caso el
gap de dualidad es cero: p*=d*
27

Condicin de Slater
cuando hay restricciones afines

Sean las k primeras funciones de restriccin

afines,

En este caso la condicin de Slater se relaja

para permitir que las desigualdades afines no
se tengan que cumplir con desigualdad estrcta.

Para

28

Problemas con
restricciones lineales

En el caso que todas las restricciones sean

igualdades y desigualdades afines, la condicin
de Slater se reduce simplemente a la
factibilidad (que D no sea vaco) y que el
dominio de f0 sea abierto.

29

Condicin de Slater
para problemas LP

Por extensin del caso anterior, la dualidad

fuerte siempre se satisface desde que el
problema primal sea factible.

Asi mismo ocurre para los problemas duales.

Existe la posibilidad (rara) de que ninguno de

los dos, el problema primal y el dual, sean
factibles.

30

Interpretacin geomtrica (2)

Y si el infimum es finito,
define un hiperplano de soporte de g(,).
Teniendo presentes la condiciones 0, u0,
v=0, se concluye
y siendo p*=inf{t}, entonces se concluye
32

Interpretacin usando el epigrafo

Definamos el conjunto

es decir, A se puede entender como el epigrafo de

G.
El ptimo del problema (*) se puede expresar
como
33

Interpretacin usando el epigrafo (2)

La funcin dual se obtiene minimizando el
producto (,,1)T(u,v,t) sobre A, para 0
que asi mismo, si el infimum es finito permite
definir el hiperplano de soporte
Adems, como (0,0,p*) pertenece al limite de A,
entonces
34

Interpretacin Econmica

La dualidad de Lagrange tambin puede ser

interpretada desde una perspectiva econmica.

Sea x la variable que representa la condicin de

operacin de una compaia. E.g. recursos, energa,
rea de planta, etc.

Sea f0(x) la funcin costo que mapea la condicin de

operacin en el costo de la compaia.
Las restricciones representan limites en los recursos:
Mxima capacidad de la planta, limitaciones
regulatorias, etc.
35

Interpretacin econmica (3)

La funcin dual de Lagrange g() se interpreta como

el costo ptimo de operacin (el mnimo de L(x,)) en
funcin de los precios .

El mximo d* de g() es el costo ptimo de operacin

bajo el vector * de precios ms desfavorable.

El costo en el segundo escenario siempre es mejor al

costo en el primer escenario (si se puede pagar por
exceder limites/vender capacidad no usada, el
resultado nunca ser peor que en el primer
escenario).
37

Interpretacin econmica (4)

El duality gap se corresponde a la diferencia

entre el ptimo operando en el primer
escenario f0(x*) y el ptimo en el segundo
escenario para los precios * ms
desventajosos.

Si se cumple la dualidad fuerte, entonces * es

el conjunto de precios para los cuales no se
obtiene ventaja al permitir comprar recursos
extra o vender excedentes.
38

Interpretacin geomtrica para

problemas LP

Tomemos la representacin del problema

primal en espacio de requerimientos:

Cada columna de A es un vector.

Una base es un subconjunto de las columnas de A,

tales que b se puede escribir como una
combinacin lineal de los vectores de la base.

Entonces, para el problema dual en espacio de

actividades, cada restriccin define un
semiespacio factible.

El vector fila de AT es el vector normal del

hiperplano que define el semiespacio.

39

Interpretacin geomtrica para

problemas LP (2)

Illustracin: Tomemos el siguiente problema LP

en forma estndar:

40

Ejemplo tomado de:

Luenberger and Ye. Linear and Nonlinear programming

Interpretacin geomtrica para

problemas LP (3)

El dual de este problema es:

Los semiespacios
definidos por cada
restriccin son
41

Ejemplo tomado de:

Luenberger and Ye. Linear and Nonlinear programming