CONCEPTOS BSICOS DE

OPTIMIZACIN
CONTINUIDAD DE FUNCIONES
Una funcin de una sola variable x es continua en el punto
x
0
si


Si f(x) es continua en cada punto de la regin R, entonces
f(x) es continua a travs de R.
( )
( )
( ) ( )
0
0
0
0
lim
lim
x x
x x
f x exists
f x exists
f x f x

=
x
1
x
2
f (x
2
)
f (x
1
)
f(x) existe
f (x) df (x)/dx no!
CONTINUIDAD DE FUNCIONES
C
o
s
t
o

Dimetro

Dimetros comercialmente
disponibles
C
o
s
t
o

CONTINUIDAD DE FUNCIONES
Funciones Unimodales y Multimodales
x*
f(x
1
) > f(x
2
) > f(x
*
)
x
1
< x
2
< x
*
f(x
4
) > f(x
3
) > f(x
*
)
x
4
> x
3
> x
*
x
1
x
2
x
3
x
4
(a) f(x) = 1/x
Ejemplos:
Es continua excepto en x = 0; f(0) no est
definida. f (x) = 1/x
2
es continua excepto en x
= 0.

(b) f(x) = ln x
Es continua para x>0. Para x 0, ln (x) no est
definida. Para f (x) = 1/x ver (a).

DECLARACIN DE UN PROBLEMA
NLP (Nonlinear Program)
La forma general para un Programa No-Lineal (NLP) es:
Minimizar: f(x)
Sujeta a: a
i
s g
i
(x) s b
i
i = 1, , m
y l
j
s x
j
s u
j
j = 1, , n
donde: x = vector de n variables de decisin,
f = funcin objetivo,
a
i
, b
i
= Lmites superior e inferior de las
funciones de restriccin con a
i
s b
i
.
l
j
, u
j
= Lmites superior e inferior de las
variables con l
j
s u
j
.
La forma general para un Programa No-Lineal (NLP) es:
Minimizar: f(x)
Sujeta a: a
i
s g
i
(x) s b
i
i = 1, , m
y l
j
s x
j
s u
j
j = 1, , n
Si a
i
= b
i
, la i-sima restriccin es una restriccin de igualdad.
Si a
i
= y b
i
=+, la restriccin no tiene lmites ( unbounded).
Si l
i
= u
i
, corresponde a una variable x
j
cuyo valor est fijo.
Si l
i
= y u
i
= +, es una variable libre.
DECLARACIN DE UN PROBLEMA
NLP (Nonlinear Program)
La forma general para un Programa No-Lineal (NLP) es:
Minimizar: f(x)
Sujeta a: a
i
s g
i
(x) s b
i
i = 1, , m
y l
j
s x
j
s u
j
j = 1, , n
Problema no-lineal si una o ms de las funciones f, g
1
,, g
m
son no-
lineales.
es sin restricciones si no hay funciones de restriccin g
i
y sin lmites x
i
,
es bound-constrained si slo las x
i
estn limitadas.
En problemas linealmente restringidos todas las funciones de restriccin g
i

son lineales, y la funcin objetivo f es no-lineal.
Un problema linealmente restringido con una funcin cuadrtica se llama
programa cuadrtico (QP).
DECLARACIN DE UN PROBLEMA
NLP (Nonlinear Program)
DECLARACIN DE UN PROBLEMA
NLP (Nonlinear Program)
Un vector x es factible si satisface todas las restricciones.
El conjunto de todos los puntos factibles se llama regin factible F.
Si F = {C} el problema es no-factible,
Si existen puntos factibles en donde f es arbitrariamente grande en un problema de
max o arbitrariamente pequeo en un problema de min, el problema es unbounded.
Un punto (vector) x
*
se llama un extremo local (mnimo) si
f(x
*
) s f(x) (1)
para toda x en una pequea vecindad (regin) N en F alrededor de x
*
con x distinta
a x
*
.
A pesar del hecho de que x
*
es un extremo local, otros extremos pueden existir
fuera de la vecindad de N implicando que el problema NLP puede tener ms de un
mnimo local si el espacio entero de x se examina.
Un extremo global ocurre si la Ec. (1) es vlida para toda x e F. Conceptos
anlogos existen para un mximos locales y mximos globales.
x
1
x
2
g
2
(x) = 0
g
1
(x) = 0
Geometra
DECLARACIN DE UN PROBLEMA
NLP (Nonlinear Program)
Una regin factible para un problema con dos variables y las restricciones
x
j
> 0, g
i
(x) s 0, i = 1,2, j = 1,2
Los lmites son las lneas rectas y curvas x
j
= 0 y g
i
(x) = 0 para i =1,2, j = 1,2
DECLARACIN DE UN PROBLEMA
NLP (Nonlinear Program)
1
2
3
4
5
6
1 3 2 4 5 6
5 x
1
x
2
= 0
f = 2
f = 0.67
f = 4
2.5 + x
1
x
2
= 0
x
*
= (2,3)
x
1
x
2
min f = (x
1
3)
2
+ (x
2
4)
2

s.t. x
1
> 0
x
2
> 0
5 x
1
x
2
> 0
2.5 + x
1
x
2
s 0
DECLARACIN DE UN PROBLEMA
NLP (Nonlinear Program)
1
2
3
4
5
6
1 3 2 4 5 6
5 x
1
x
2
= 0
2.5 + x
1
x
2
= 0
x
1
x
2
f = 4.0
f = 1.0
f = 0
min f = (x
1
2)
2
+ (x
2
2)
2

s.t. x
1
> 0
x
2
> 0
5 x
1
x
2
> 0
2.5 + x
1
x
2
s 0
DECLARACIN DE UN PROBLEMA
NLP (Nonlinear Program)
1
2
3
4
5
6
1 3 2 4 5 6
5 x
1
x
2
= 0
2.5 + x
1
x
2
= 0
x
1
x
2
f = 0
f = 4
f = 3
f = 10
f = 7
f = 40
f = 15
a
b
x
1
x
2
CONVEXIDAD
Conjunto Convexo.
Un conjunto de puntos (o una regin) est definida como un
conjunto convexo en el espacio n-dimensional si, para todos los
pares de puntos x
1
y x
2
en el conjunto, el segmento de lnea recta
que los une est enteramente en el conjunto.
Enunciado matemtico para un conjunto convexo es:
Para cada par de puntos x
1
y x
2
en un conjunto convexo, el punto
x dado por una combinacin lineal de los dos puntos
x = x
1
+ (1 )x
2
0 s s 1
est tambin en el conjunto. La regin convexa puede ser cerrada
(bounded) por un conjunto de funciones tales como los conjuntos
A y B o puede ser abierta (unbounded). La interseccin de
cualquier nmero del conjunto convexo es tambin un conjunto
convexo.
CONVEXIDAD
A
B
C
Conjunto
convexo
Conjunto
no-convexo
CONVEXIDAD
Funcin Convexa.
Una funcin f(x) definida en un conjunto convexo F se dice que es
una funcin convexa si la siguiente relacin se da:
f [x
1
+ (1 )x
2
] s f(x
1
) + (1 ) f(x
2
)
x
1
+ (1 )x
2
f(x
2
)
f(x
1
)
f [x
1
+(1)x
2
]
f(x
1
)+(1)f (x
2
)
x
1
Funcin
convexa
Funcin
cncava
x
2
CONVEXIDAD
Funcin Convexa.
Una funcin f(x) definida en un conjunto convexo F se dice que es
una funcin convexa si la siguiente relacin se da:
f [x
1
+ (1 )x
2
] s f(x
1
) + (1 ) f(x
2
)
x
1
+ (1 )x
2
f(x
2
)
f(x
1
)
f [x
1
+(1)x
2
]
f(x
1
)+(1)f (x
2
)
x
1
x
2
donde: es un escalar, 0 s s 1
Si slo el signo de la desigualdad se mantiene, la
funcin se dice que es estrictamente convexa.
Una funcin convexa no puede tener ningn
valor ms grande que los de la funcin obtenida
por una interpolacin lineal entre x
1
y x
2
(la cuerda
entre x
1
y x
2
).
Funciones lineales son ambas convexas y
cncavas, pero no estrictamente convexas o
cncavas, respectivamente.
CONVEXIDAD
Funcin Convexa.
Una funcin f(x) definida en un conjunto convexo F se dice que es
una funcin convexa si la siguiente relacin se da:
f [x
1
+ (1 )x
2
] s f(x
1
) + (1 ) f(x
2
)
x
1
+ (1 )x
2
f(x
2
)
f(x
1
)
f [x
1
+(1)x
2
]
f(x
1
)+(1)f (x
2
)
x
1
x
2
donde: es un escalar, 0 s s 1
Si f(x) es convexa, entonces el conjunto
R = {x|f(x) s k}
es convexo para todos los escalares k.
CONVEXIDAD
Funcin
convexa
f(x)
x
1
x
2
Plano f (x) = k
R = {x|f(x) s k}
CONVEXIDAD
Aunque la convexidad es una propiedad deseable, muchos problemas del mundo
real resultan ser no-convexos. Sin embargo, la programacin convexa se estudia
debido a:
1. Cuando se asume convexidad, muchos resultados matemticos significativos han
sido derivados en el campo de la programacin matemtica.
2. A menudo algunos resultados obtenidos bajo suposiciones de convexidad pueden
dar indicaciones de las propiedades de problemas ms generales. En ocasiones,
tales resultados pueden incluso aplicarse a problemas no-convexos, pero en forma
no rigurosa.
CONVEXIDAD
DETERMINACIN DE CONVEXIDAD Y CONCAVIDAD
Una variable independiente sin restricciones
Para determinar si un punto estacionario (x
0
) es un mximo o un mnimo local, se
desarrollan las series de Taylor alrededor de dicho punto:
f(x) ~ f(x
0
) + f (x
0
)(xx
0
) + f (x
0
)(xx
0
)
2
+ O(h)
3
(1)

donde:

Ya que f(x
0
) = 0 por definicin del punto estacionario. Si se selecciona x lo
suficientemente cercano a x
0
, de manera que los trminos de orden superior a f (x
0
)
sean despreciables con respecto a la segunda derivada, la Ec. (1) se simplifica a:
f(x) = f(x
0
) + f (x
0
)(xx
0
)
2
Se podr establecer entonces si x
0
es un mximo o mnimo local,
examinando el valor de la segunda derivada, dado que (xx
0
)
2
es siempre positivo. Lo
que se resume como:
si f (x
0
) > 0 entonces f(x
0
) es un mnimo
f (x
0
) < 0 entonces f(x
0
) es un mximo
f (x
0
) = 0 no hay indicacin alguna
( )
0
0
x x
y
f x
x
=
c
' =
c
CONVEXIDAD
DETERMINACIN DE CONVEXIDAD Y CONCAVIDAD
Una variable independiente sin restricciones
Si la segunda derivada evaluada en x
0
es cero, es necesario examinar las derivadas de orden
superior. En general,
si f (x
0
) = f (x
0
) = = f
(n1)
(x
0
) = 0
y f
(n)
(x
0
) = 0, entonces el desarrollo en series de Taylor resulta,


Cuando n es par, el desarrollo (xx
0
)
n
es siempre positivo y el resultado es:
si f
(n)
(x
0
) > 0, entonces f(x
0
) es un mnimo
f
(n)
(x
0
) < 0, entonces f(x
0
) es un mximo
Si n es impar, la expresin (xx
0
)
n
cambia de signo al variar x desde x < x
0
hacia x > x
0
,
resultando un punto de inflexin.

Estos resultados se pueden resumir en el siguiente teorema:
Si en un punto estacionario, la primera y posiblemente alguna de las derivadas de
orden superior es cero, entonces el punto ser o no un extremo, de acuerdo con que la primer
derivada distinta de cero, sea de orden par o impar. Si es par, existir un mximo o un mnimo
segn la derivada sea negativa o positiva respectivamente.
( ) ( )
( )
( )( )
0 0 0
1
!
n
n
f x f x f x x x
n
= +
Al igual que con una variable independiente, se desarrolla la serie de Taylor alrededor del punto
estacionario x
0
= (x
1
0
, x
2
0
).
f(x
1
,x
2
) = f(x
1
0
,x
2
0
) + f (x
0
)(x
1
x
1
0
) + f
2
(x
0
)(x
2
x
2
0
) + [f
11
(x
0
)(x
1
x
1
0
)
2
+
2f
12
(x
0
)(x
1
x
1
0
)(x
2
x
2
0
) + f
22
(x
0
)(x
2
x
2
0
)
2
] +
donde:


Como el punto x
0
= (x
1
0
, x
2
0
) es un punto estacionario,
f
1
(x
0
) = f
2
(x
0
) = 0
de modo que
f
0
= f(x) f(x
0
) = ()
t
H
0
(x)
que, de igual forma se puede escribir como


donde H es la matriz hessiana y
CONVEXIDAD
( ) ( ) ( ) ( ) ( ) ( )
11 12 11 12 0 0 0 0 0
1
1 2 1 1 2 2 1 1 2 2 2
12 22 12 22
, , ,
t f f f f
f x x f x x x x x x x x x
f f f f
'' '' '' ''
( (
( (
=
( (

'' '' '' ''

H
( )
0
0 1 1
0
2 1
x x
x
x x
(
c = =
(

x x
DETERMINACIN DE CONVEXIDAD Y CONCAVIDAD
Dos variable independiente sin restricciones
( ) ( )
0 0
2
0 0
1 12
1 1 2
;
y y
f x f x
x x x
c c
' '' = =
c c c
x=x x=x
CONVEXIDAD
DETERMINACIN DE CONVEXIDAD Y CONCAVIDAD
Dos variable independiente sin restricciones
Las siguientes condiciones deben satisfacerse para que x
0
sea un mximo o un mnimo:
( ) ( )
( ) ( )
11 12 0 0
11
12 12
11 12 0 0
11
12 12
es un minimo si 0 y ademas 0
es un maximo si 0 y ademas 0
f f
f x f x
f f
f f
f x f x
f f
'' ''
(
'' > >
(
'' ''

'' ''
(
'' < >
(
'' ''

Se puede extender el desarrollo para el caso de n variables independientes. Sea el desarrollo en
series de Taylor con:
x = (x
1
, x
2
, , x
n
)
t



en forma vectorial
f(x) = f(x
0
) + Vf(x
0
)(x x
0
) + (x x
0
)
t
H
0
(x x
0
) +
donde H
0
es la matriz hessiana de las derivadas parciales evaluada en x
0
,




El trmino con doble sumatoria es una forma cuadrtica llamada forma cuadrtica diferencial.
Utilizando los conceptos anteriores de forma cuadrtica se tiene:
Q[H
0
,(x x
0
)] = (x x
0
)
t
H
0
(x x
0
)
CONVEXIDAD
0
11 12 1
21 22 2 0
1 2
n
n
n n nn
f f f
f f f
f f f
'' '' ''
(
(
'' '' ''
(
=
(
(
'' '' ''
(

x=x
H
DETERMINACIN DE CONVEXIDAD Y CONCAVIDAD
n variable independiente sin restricciones
( ) ( ) ( ) ( )( )
0
0
2
0 0 0 0
1
2
1 1 1
n n n
i i j j k k
i j k
i j k
f f
f x f x x x x x x
f x x x
= = =
c c
= = + +
c c c c

x
x
x (1)
(2)
(3)
(4)
CONVEXIDAD
DETERMINACIN DE CONVEXIDAD Y CONCAVIDAD
n variable independiente sin restricciones
En un punto estacionario en la ec. (2) las primeras derivadas parciales son cero, y si el trmino
que contienen las segundas derivadas es siempre positivo para perturbaciones de las
variables independientes alrededor del punto estacionario, este punto es un mnimo local.
Entonces se concluye que:
a) Si Q[H
0
, (xx
0
)] es positiva, entonces x
0
es un mnimo. Para que el trmino cuadrtico
sea positivo, basta que H
0
sea positiva definida y las H
i
0
> 0 para todo i = 1, 2, ,n.
b) Si Q[H
0
, (xx
0
)] es negativa, entonces x
0
es un mximo; en este caso H
0
debe ser
negativa definida y las
H
i
< 0 para i = 1,3,5,
H
i
> 0 para i = 2,4,6, ...
Si ninguno de estos casos corresponde a la situacin en estudio, tcnicas especiales se
requieren.
CONVEXIDAD
DETERMINACIN DE CONVEXIDAD Y CONCAVIDAD
1. H es positiva-definida si y slo si x
t
Hx es > 0 x = 0.
2. H es negativa-definida si y slo si x
t
Hx es < 0 x = 0.
3. H es positiva-semidefinida si y slo si x
t
Hx es > 0 x = 0.
4. H es negativa-semidefinida si y slo si x
t
Hx es s 0 x = 0.
5. H es indefinida si x
t
Hx < 0 para algunas x y > 0 para otras x.
Resumen
Por expansin de series de Taylor se puede demostrar que si f(x) tiene segundas
derivadas parciales continuas,
f(x) es cncava si y slo si su matriz hessiana es negativa-semidefinida,
Para que f(x) sea estrictamente cncava, H debe ser negativa-definida.
Para que f(x) sea convexa, H(x) debe ser positiva-semidefinida,
Para f(x) sea estrictamente convexa, H(x) debe ser positiva-definida.
CONVEXIDAD
DETERMINACIN DE CONVEXIDAD Y CONCAVIDAD
Resumen
Para hallar los puntos crticos (mximos, mnimos y puntos de inflexin) de una
funcin f de mltiples variables.
1. Se igualan las derivadas parciales primeras a cero.
2. Se resuelven las ecuaciones anteriores y se obtienen las coordenadas de los
puntos crticos.
3. Se construye la matriz hessiana (derivadas segundas parciales).
4. Dependiendo del tipo de matriz resultante de evaluar la matriz Hessiana en los
diferentes puntos crticos, estos puntos sern:
Mximo: si la matriz hessiana en el punto es definida-negativa.
Mnimo: si la matriz hessiana en el punto es definida-positiva.
Punto de inflexin: si la matriz hessiana en el punto es indefinida (no-
definida o semidefinida positiva ni definida o semidefinida negativa).