Principios de Optimizacin

1. Teorema de Weierstrass: Toda funcin real y continua definida sobre un compacto1

alcanza en dicho compacto mximo global y mnimo global.
fC0(C, IR)C compacto (x*C, f (x*) f (x), xC) (xC, f (x) f (x), x C)
2. Optimizacin esttica irrestricta
Dados U IRn y F C1(U, IR), se quiere maxxU F (x).
Teorema (CN1er ord): Si x* int (U) x* es mximo local mnimo local de F,
entonces DF (x*)= 0.
Ejemplo: Con F(x, y)= x3 y3 + 9 xy, se obtienen como candidatos a mximo local
mnimo local los puntos crticos2 (0, 0) y (3, -3).
Teorema (CS2o ord): Si F C2(U, IR) x* es punto crtico de F, entonces
i)
D2 F(x*) negativo-definida3 x* es mximo local estricto4 de F;
ii)
D2 F(x*) positivo-definida3 x* es mnimo local estricto de F;
iii)
D2 F(x*) indefinida5 x* no es mximo local ni mnimo local de F.
Teorema (CN2o ord): Si F C2(U, IR) x* es punto interior de U, entonces x* es
mximo local de F slo si DF(x*) = 0 D2F(x*) es negativo-semidefinida: adems,
x* es mnimo local de F slo si DF(x*) = 0 D2F(x*) es positivo-semidefinida.
Ejemplo: Para la funcin F del ejemplo anterior, se obtiene que el punto crtico (0,
0) es una ensilladura de F, y que el punto crtico (3, -3) es un mnimo local estricto.
(Resolver los ejercicios 17.1 y 17.2 del texto, pg. 402)
Teorema: Si F C2(U, IR) U es abierto, entonces
(a) son equivalentes las siguientes tres condiciones:
1 compacto : cerrado (contiene todos sus puntos fronterizos) y acotado (cabe
en una bola bastante grande) en IR n
2 punto crtico de una funcin F : aquel x tal que DF(x) = 0.
3 Ver definiciones en textos de referencia.
4 mximo local estricto de F : aquel x tal que en alguna bola abierta, B (x),
F(x) > F (z), z de B (x) que no sea x.
5 En tal caso se dice que x* es un punto silla una ensilladura de F.

(i)
(ii)
(iii)

F es cncava,
F(y) F(x) DF(x)(y - x), x y,
D2F(x) es negativo-semidefinida3 x;

(b) son equivalentes las siguientes tres condiciones:

(i) F es convexa,
(ii) F(y) F(x) DF(x)(y - x), xy,
(iii) D2F(x) es positivo-semidefinida x;
(c) F es cncava DF(x*)=0, x* x* es mximo global6 de F;
(d) F convexa DF(x*)=0, x* x* es mnimo global de F.
(De Simon y Blume, resolver el ejercicio 17.3, pg.404, leer la seccin 17.5: Economic
Applications, pg.404-9 y resolver los ejercicios 17.4-12)
3. Optimizacin esttica restricta
(Leer en Simon y Blume los ejemplos de la seccin 18.1, pg.412-13)
3.1 Restricciones de igualdad
El problema es: Dadas las funciones reales f , h1, .., hm , C1(IRn, IR),
opt f (x1, , xn) sujeto a h1(x) = a1 hm(x) = am .
Se llama regin factible al RF := {xIRn : hi(x) = ai i}.
Se llama calificacin de restriccin no-degenerada en x, NDRQ(x) a: m = rango Dh(x).
Teorema: Si x*FR x* es mximo local mnimo local de F en RF NDRQ(x*),
entonces *IRm, (x*, *) es punto crtico de la lagrangiana L(x, ):= f (x) +
m

k (ak hk (x))
1

Ejemplo : max xyz sujeto a 1 = x2 +y2 1 = x + z.

Se tiene que Dh (x, y, z) =

2x 2 y 0
1
0 1

cuyo rango vale 2 en RF, por lo que se cumple

la NDRQ en RF.
Adems, L(x, y) = xyz + 1 (1 x2 y2) + 2 (1 x - z).

6 mximo global de F : aquel x tal que F(x) F (z), z de dom(F).

Luego,

0= yz21 x
0=xz21 y
0=xy2

. De aqu, tomando en cuenta las restricciones dadas, resulta que

hay cuatro candidatos para mximo local mnimo local. Hallarlos.

(Leer el ejercicio de pg. 423-4)
3.2 Restricciones de desigualdad
El problema es: Dadas las funciones reales f , g1, .., gk C1(IRn, IR),
max f (x1, , xn) sujeto a g1(x) b1 gk (x) bk .
Teorema: Si x*FR x* es mximo local de F solo las k0 primeras restricciones son
vinculantes7 en x* NDCQ(x*): k0 = rango Dg(x*) ; entonces, con la lagrangiana L(x, ) :=
k

f (x) +

j (b jg j (x))
1

*IRk, (i, 0 =

, se tiene que

x,
L
) (j, 0 = j*(bj - gj (x*)) ) * 0 (j, gj (x*) bj).
xi

Ejemplo: max xyz sujeto a: x + y 1 x, y, z 0.

(Verlo en pg. 432-3)
3.3 Restricciones mixtas
El problema es: Dadas las funciones reales f , g1, .., gk , h1, .., hm , C1(IRn, IR),
max f (x1, , xn) sujeto a: h1(x) = a1 hm(x) = am g1(x) b1 gk (x) bk .

7 Es decir, que en x* ellas se cumplen con igualdad.

Teorema: Si x*RF x* es mximo local de F solo las k0 primeras restricciones de

desigualdad son vinculantes en x* k0 + m = rango

L(x, , ) := f (x) +

, entonces, con la lagrangiana

x

D g1

j ( b jg j ( x ) ) + j (a jh j ( x))

, se tiene que (*, *)IRkIRm

x,,
L
, (i, 0 =
)) ((j, 0 = j*(bj - gj (x*)))
xi
(j, hj(x) = aj) * o b g(x*).

Ejemplo: max (x y2) sujeto a; x2 + y2 = 4 x, y 0.

(Ver pg. 435-6 y resolver ejercicios de pg. 436)

3.4 Formulacin de Kuhn-Tucker

El problema es: Dadas las funciones reales f , g1, .., gk C1(IRn, IR),
max f (x1, , xn) sujeto a g1(x) b1 gk (x) bk x 0.
Asuncin: La NDCQ vale para toda solucin del problema.
k

Teorema: Con L(x, ) := f (x) +

j (b jg j (x))
1

, si x* es una solucin del problema

Dg(x*) tiene rango mximo (tomando aqu solo aquellas gi que sean vinculantes en x*, y x*
incluye solo aquellas componentes que sean positivas), entonces * tal que
x, 0
L

x,
L
x, ) 0 i, 0 = xi*
L/ x i
(

j, 0 = j* L/ j (x*, *).

Ejemplo: max U(x) sujeto a: p x I x 0 (pg. 412 y ver solucin en pg. 442).
(Resolver los ejercicios 18.20 y 18.21 en pg. 442. Leer ejemplos y aplicaciones en pg. 4427)
4. Teoremas de envolvente
4.1 Problema irrestricto
Sea f C1(IRn IR, IR), y a IR, se plantea el problema Pa: maxx f (x, a).
Asumir que a, Pa tiene solucin nica, x*(a), y que x*( )C1(IR, IRn).
Entonces, si V(a):= f(x*(a), a), se tiene que

Demostracin:

Pero i, 0 =

d
V ( a) =
da

d
V ( a) =
da

dx

xf ( x( a ) , a ) d ai (a)
i

f
( x( a ) , a ) .
a

f
( x ( a ) , a ) , segn la CN1er ord. Luego, se tiene as la tesis.
xi

Ejemplo: maxx (4a2 + 2ax x2). De la CN1er ord. Se sigue: 0 =

2x. As, x*(a) = a, y f (x*(a), a) = 5a2, de donde

Por otro lado,

f ( x ( a ) , a ) , a .

( 4 a2 +2 ax x 2)
a

(4 a2 +2 ax x 2 ) = 2a
x

d
( x( a ) , a ) = 10a.
da

= 8a + 2x, por lo cual

f
( x( a ) , a ) = 8a + 2x*(a)
a

= 10a.

4.2 Problema restricto

Sean f , h1, .., hm , C1(IRnIR, IR) y a IR, se plantea el problema Pa: maxx f (x, a)
sujeto a h(x, a) = 0.
Asumir que a, Pa tiene solucin nica, x*(a) junto a sus multiplicadores *(a), y que
x*( ) y *() C1(IR, IRn). Adems, asumir que se cumple la NDCQ(x*(a)), a.

Entonces

d
V ( a) =
da

L(x( a ) ,( a ) , a) .

Ejemplo: max xy sujeto a: x2 + ay2 1. L(x, y, , a) = xy + (1 - x2 - ay2). Se obtiene x*(1)

d

L( x( 1 ) ,( 1 ) , 1) =
= 1/ 2 = y*(1) *(1) = . Luego, da f ( x(1) , 1) = a
-1/4.
Si se pasara del valor 1 al valor 1.02, el valor mximo del problema pasara,
aproximadamente, de a + (-1/4)(0.02) = 0.495.

Teora de la Probabilidad
1. Probabilidades
Definicin: El espacio muestral, S, es el conjunto de todos los posibles resultados del
experimento aleatorio considerado. S puede ser enumerable8 o innumerable.

Definicin: Un evento es un subconjunto de S tal que pueda apostarse a que ocurrir o no.

Definicin: Una particin de S es una coleccin de eventos cuya unin da S y ninguno de

los cuales es vaco.

Definicin: Una -lgebra (o campo de Borel) en S es una coleccin de eventos entre los
cuales est el vaco, que con cada uno de sus miembros contiene al complemento de ste, y
que contiene a la unin de toda familia enumerable de sus elementos.
Esto es, una E 2S tal que E (AE AcE) (i de IN, AiE

i Ai E).

Observaciones:
1) Las leyes de De Morgan implican que: Toda -lgebra es cerrada respecto a
intersecciones enumerables.
2) Si S es finito, se toma, habitualmente, 2S como E.

8 Hay una biyeccin entre S y el conjunto de los naturales.

3) Si S es IR, se toma como E a la menor -lgebra que contenga todos los intervalos
(llamada la -lgebra de Borel en IR).
4) Se exige que la coleccin de eventos sea una -lgebra.
Definicin: Dados S y una -lgebra E en S, se llama medida probabilstica en (S, E) a una
funcin P: E [0, 1] tal que:
P(S)=1; y si los elementos de una coleccin de eventos {Ai : i IN} son mutuamente
P( A i) .
disjuntos, entonces P( i Ai ) = i
Estos son los llamados axiomas de Kolmogrov.
(Ver ejemplo del lanzamiento de un dado)
Cmo puede definirse una medida probabilstica en (S, E)?

Teorema: Si S = {s1, , sn}, entonces cualquier {p1, , pn} [0, 1] tal que 1=i pi
determina una nica medida probabilstica, P, en S. Ella es dada por P(A) =

{k :s k A }

pk

En esto se adopta el que = 0. Se procedera igual si se partiera de {si : iIN}.

Teorema: Si P es una medida probabilstica en (S, E), entonces P()=0 P(Ac)=1 - P(A),
A de E.

Teorema: Si P es una medida probabilstica en (S, E), entonces A,B de E, P(BAc)= P(B)
P(BA) P(AB) = P(A) + P(B) - P(AB) AB P(A) P(B).

Teorema: Si {Ci : i IN} es una particin de S, entonces (i) A, de E, P(A) = i P(ACi)

cualquiera sea {Ai : i IN} en E, P(i Ai) i P(Ai).

Probabilidad condicional e independencia:

Definicin: Dados cualesquiera eventos A y B, si 0 < P(B), se llama probabilidad
condicional de A dado B, a P(AB) := P(AB)/P(B).
En consecuencia, si P(A) > 0 P(B) > 0 AB = , entonces P(AB) = 0 P(BA) = 0.
Es fcil comprobar que P(B) satisface los axiomas de Kolmogrov, siempre que P(B) > 0.

(Ver el ejemplo 3 prisioneros en pg.21-1 acerca de cuan resbaloso puede ser el concepto
de probabilidad condicional)
Tambin es fcil verificar que si P(A) > 0 P(B) > 0, entonces P(AB) = P(BA)P(A)/ P(B).

Teorema (regla de Bayes): Sea {Ai : iIN} una particin de S tal que i, P(Ai) > 0, y sea B

un evento. Entonces P(Ai B) = P(B Ai) P(Ai)/

P(B/ A j) P( A j)
1

Ejemplo: (codificacin) Hay puntos y rayas que se dan en la proporcin de 3 a 4. As,

P(enviar ) = 3/7 P(enviar -) = 4/7 P(recibir enva -) = 1/8 = P(recibir - enva ).
Cul es P(enva recibe )? Rpta.: 21/25.
Definicin: Se dice que los eventos A y B son independientes si P(AB) = P(A) P(B).
Ejemplo: Probabilidad de sacar al menos u 6 en 4 lanzamientos de un dado limpio.

Teorema: Si los eventos A y B son independientes, entonces A y Bc lo son; Ac y B los son;

Ac y Bc lo son.
(Ver los ejemplos tossing two dice y letters para apreciar que la generalizacin de la
nocin de independencia debe ser como sigue.)

Definicin: Los eventos A1, , An son mutuamente independientes si h {1, , n},

h

{B1, , Bh} {A1, , An}, P( 1 h B j ) =

P( B j) .
1

Definicin: Una variable aleatoria en (S, E) es una funcin X : S IR tal que B de la lgebra de Borel, B, en IR, X -1(B) E. Abrviese por varal.

Observacin: Una variable aleatoria, X, en (S, E) induce una medida probabilstica, PX , en

(S, E) as: BB, PX (B) = P(X -1 (B)). Esto se escribe tambin as: P(X B).
(Ver el ejemplo 3 coin tosses en pg. 28 del texto)

Definicin: Si X es una varal en (S, E, P), su funcin de distribucin cumulativa es la

funcin FX : IR IR, x FX (x):= P (X x), que no es sino P (X ]-, x]), que a su vez
es P(X -1 (]-, x])). Esto se abrevia por: fdc.
(Ver la continuacin del ejemplo de 3 coin tosses en pg. 30 del texto)

Observacin: Como consecuencia dela definicin, resulta que la funcin FX es diestrox+

FX
continua, es decir, x, FX (x) =
.
lim
0

Teorema: Una funcin F : IR IR es una fdc de alguna varal si, y solo si,
(0 =

x F( x)
lim F (x)
1=
F es no decreciente F es diestro-continua).
lim
x

(Ver los ejemplos tossing for head y continuous cdf en pg31 y 32)

Definicin: Una varal, X, en (S, E, P) es continua si su FX C0(IR, IR).

Definicin: Una varal, X, en (S, E, P) es discreta si su FX es una funcin escalonada.

Definicin: Las varales X y Y en (S, E, P) son idnticamente distribuidas, si BB,

P(XB) 0 P(YB).

Observacin: Esto no implica que X = Y.

(Ver el ejemplo identically distributed random variables en pg. 33-4)

Teorema: Las varales X y Y en (S, E, P) son idnticamente distribuidas si, y solo si, zIR,
FX(z) = FY(z).

Definicin: La funcin de masa probabilstica (fmp) de una varal discreta, X, es fX :IRIR,

z fX (z):= P(X = z).

Ejemplo: Lanzar una moneda hasta que salga cara. Sea p la probabilidad de sacar cara en
un lanzamiento, y sea X la varal: nmero de lanzamientos hasta que salga la primera cara.
Entonces, xIN, fX (x) = P(X = x) = (1- p)x-1 p.

z 1
(1
p)
p
,
si
z 0, si z .
Luego, zIR, fX (z) =

Definicin: La funcin de densidad probabilstica (fdp) de una varal continua, X, es una

funcin fX :IRIR, tal que xIR, FX(x) = x f X (t) dt .

Observacin: Si X es una varal continua, entonces a, b IR, P(a < X < b) = P(a X < b)
= P(a < X b) = P(a X b), pues 0 = P(X = z), z.

Teorema: Una funcin f :IRIR es una fdp (o una fmp) de alguna varal si, y solo si, x,

f (x) ).
f(x) 0 1 = f (z)dz ( 1 = x

2. Transformaciones y expectativas
Definicin: Una funcin real medible es cualquier g: IR IR tal que AB,

g1

(A)B.
Luego, si X es una varal en (S, E, P), entonces gX es tambin una varal en (S, E, P).
As, la distribucin probabilstica de Y := gX es dada por P(YA) = P(gX A) = P(X
1
g (A)). Ella satisface los axiomas de Kolmogrov.
Si X es una varal discreta, entonces Y := gX es tambin varal discreta y fY (y) = P(Y = y) =
P( X=x) = f X ( x ) . Adems, si y img(g), entonces f (y) = 0.
Y
x g ( y)
x g ( y)
1

(Ver el ejemplo de la transformacin binomial en el texto)

1
Si X es una varal continua, entonces con Y := gX, FY(y) = P(Y y) = P( g ( , y ] ) =

f X ( z) dz

g ( , y ]

(Ver el ejemplo de la uniform transformation en pg. 49)

Definicin: La media o el valor esperado de una varal gX se define mediante

E[gX]:=

g(x ) f X ( x)dx si continua

g ( x ) f X ( x ) si discreta

. Si resultara ser infinito, se dice que no existe.

Se abrevia E[X] por X.

Ejemplo: (Media exponencial) Con f X (x)

que E[X] =

1 x/ dx
xe

x /
= 1 e , para x 0 y > 0 dado, se tiene

= .

Observacin: El operador E es lineal, i.e., E [aX + b] = a E [X] + b, a, b de IR, varal X.

Teorema: Sea X una varal, a, b, y c IR, y g1, g2 tales que existan E [g1] y E [g2]. Entonces,
(i) E [a g1X + b g2X + c] = a E [g1X] + b E [g2X] + c;
(ii) g1 0 E [g1X] 0
(iii) g1 g2 E [g1X] E [g2X]
(iv) a g1 b a E [g1X] b.
(Ver ejemplo minimizing distance en pg. 58)

Definicin: La variancia de una varal X es var(X) := E[(X - X)2]; a su raz cuadrada

positiva se la llama desviacin estndar de X.

Ejemplo: (variancia exponencial) Sea X una varal tal que f X (x)

visto que E[X] = . Ahora, var(X) = E[(X - X)2] =

x /
= 1 e . Ya se ha

== .

Teorema: Si X es una varal de variancia finita, entonces, var (aX + b) = a2 var(X), a, b de

IR.

Observacin: var(X) = E[X 2] (X)2.

Ejemplo: Variancia binomial (Ver pg. 61).

Definicin: Un vector aleatorio n-dimensional en (S, E, P) es una funcin : S IRn tal

que la preimagen de cualquier rectngulo9 de IRn pertenezca a E. Abrviese por vecal.

Definicin: Si (X, Y) es un vecal bidimensional con ambas discretas, entonces la funcin

conjunta de masa probabilstica (fcmp) es la funcin fXY (x, y) := P(X = x Y = y).
Teorema: Si (X, Y) es un vecal bidimensional con ambas discretas, entonces fX (x) =
f XY (x , y) ; se la llama tambin marginal.
y

9 Es decir, producto cartesiano de n intervalos de IR.

Definicin: Si (X, Y) es un vecal bidimensional con ambas continuas, entonces la funcin

conjunta de densidad probabilstica (fcdp) es una funcin fXY (x, y) tal que, con B2

f (x , y )dxdy

denotando la -lgebra e Borel en IR2, A B2, P((X, Y)A) =

Luego, si g: IR IR es medible , entonces E[g(X, Y)] =

2

10

g ( x , y )f XY ( x , y) dxdy
IR

Observacin: Como antes, las funciones de densidad marginal son fX (x) =

f XY (x , y) dy
IR

fY (y) =

f XY (x , y)dx
IR

Definicin: Si (X, Y) es un vecal bidimensional con ambas discretas, entonces la pmf

condicional de Y dado que X = x es f (yx) := P(Y = yX = x) = f XY (x , y ) / f X (x) , si 0 <
f X (x) . Similarmente, la pmf condicional de X dado que Y = y es f (xy) := P(X = xY = y)
= f XY (x , y ) / f Y ( y ) , si 0 < f Y ( y ) .

Definicin: Si (X, Y) es un vecal bidimensional con ambas continuas, entonces la pdf

condicional de Y dado que X = x es f (yx) := f XY (x , y ) / f X (x) , si 0 < f X (x) .
Similarmente, la pdf condicional de X dado que Y = y es f (xy) := f XY (x , y ) / f Y ( y ) ,
si 0 < f Y ( y ) .
Es fcil verificar que ambas son fdps.
Si g es una funcin real medible, entonces gY es una varal y el valor esperado

condicional de gY dado que X = x es E [gY x]:=

g ( y ) f ( y x)
y

g ( y ) f ( y x)dy

y similarmente

IR

para E [gX y]. Estos valores esperados condicionales tienen la propiedades lineales
usuales.
(Ver ejemplos en pg. 150-2)
10 Es decir, A de B,

g1 (A ) B2.

Definicin: Si (X, Y) es un vecal bidimensional con fdp conjunta fmp conjunta dada por
fXY (x, y), siendo las marginales f X (x) y f Y ( y ) , entonces X y Y son varales
independientes si xy, fXY (x, y) = f X (x) f Y ( y) . En tal caso, f (yx) = f Y ( y ) f (xy)
= f X (x) .

Lema: Las varales X y Y son independientes si, y solo si, funciones g(x) y h(y) tales que
fXY (x, y) = g(x) h(y).
(Ver ejemplo de pg- 153)