1

Curso de Optimizacin Matemtica

OSINERGMIN
XI Curso de Extensin Universitaria 2013
Profesor: Ramn Garca-Cobin Juregui
Notas de clases basadas en el texto de E. Cerd Tena, Optimizacin Dinmica.


1. Clculo de Variaciones

Formulacin del problema (PCV): Dados los momentos t
0
< t
1
en R, la funcin de
clase C
2
, F: R
3
R, y los estados a y b en R; se quiere hallar una funcin de clase C
2
,
x(), que maximice la

1
0
) ), ( ), ( (
t
t
dt t t x t x F & sujeta a: x(t
0
) = a y x(t
1
) = b.
Ntese que si el problema consistiera en minimizar, en vez de maximizar, no hara falta
una nueva teora, pues la solucin que minimiza la integral de F es la que maximiza la
integral de F.

Ejemplo: Hallar la funcin real de variable real cuya grfica tenga longitud mnima
entre las que pasan por dos puntos dados, (a, ) y (b, ), siendo a b.
Este problema se formula como: min

+
b
a
dt t x
2
) ( 1 & sujeto a: x (a) = x (b) = .

Nociones preliminares:
En el conjunto de las funciones reales de clase C
2
definidas en [t
0
, t
1
] , se definen las
operaciones de adicin y de multiplicacin por escalares as:
1) Si x y , entonces x + y : [t
0
, t
1
] R, se define por (x + y) (t):= x(t) + y(t).
2) Si x R, entonces x : [t
0
, t
1
] R, se define por ( x)(t):= x(t).
Se comprueba fcilmente que , provisto de estas dos operaciones, es un espacio
vectorial real. Ahora bien, en dicho espacio vectorial se define una norma as:
x:= max {|x(t)|: t[t
0
, t
1
]}.
Ejemplos: Si t
0
= 1 y t
1
= 5, entonces para x(t) = t
2
, ser x = max {t
2
: t [1, 5]} = 25;
y si y(t) = 1 + t t
2
/4, se tendr y = max {1 + t t
2
/4 : t [1, 5]} = 2.

Dada una norma en un espacio vectorial, ella induce una mtrica en l, i. e., una funcin
de distancia entre elementos del espacio, como se indica a continuacin. Si x y y son
elementos de , entonces la distancia entre ellos ser d (x, y):= x - y.
As, para las funciones del ejemplo sera d(x, y) = max{t
2
(1 + t t
2
/4): t[1, 5]} =
25.
Teniendo ya una mtrica el espacio vectorial, en l puede definirse la bola abierta de
centro x y de radio r como B(x, r):= {z : d(x, z) < r}.
2
En el contexto de optimizacin, se distingue entre mximo global y mximo local.
El primero es el que lleva a su mximo valor posible a la integral de la funcin objetivo;
el segundo es uno tal que en alguna bola abierta centrada en l, ningn otro elemento
lleva a la integral de la funcin objetivo a un valor mayor que el que alcanza con el
mximo local. As, x* de es un mximo global del PCV si y de ,

1
0
) ), ( * ), ( * (
t
t
dt t t x t x F &

1
0
) ), ( ), ( (
t
t
dt t t y t y F & si es que y(t
0
) = a = x*(t
0
) y(t
1
) = b = x*(t
1
).
Pero, una x de es un mximo local del PCV si r > 0 tal que y de B(x, r), se tiene
que

1
0
) ), ( ), ( (
t
t
dt t t x t x F &

1
0
) ), ( ), ( (
t
t
dt t t y t y F & si es que y(t
0
) = a = x(t
0
) y(t
1
) = b = x(t
1
).

Ecuacin de Euler como condicin necesaria de primer orden:
Teorema: Una funcin x de es un mximo local del PCV slo si satisface a la
siguiente ecuacin diferencial, llamada de Euler: 0 = ) ), ( ), ( ( t t x t x F
x
& - ) ), ( ), ( ( t t x t x F
dt
d
x
&
&

en [t
0
, t
1
]. En esta ecuacin F
x
:=
x
F

,
x
F
&
:=
x
F
&

y
dt
dF
es la derivada total de F:
+ x t t x t x F
x
& & ) ), ( ), ( ( ) , , ( ) ), ( ), ( ( t x x F x t t x t x F
t x
& & & &
&
+ .

Ejemplo:
Para el PCV de la pgina anterior, min

+
b
a
dt t x
2
) ( 1 & sujeto a: x (a) = x (b) = ,
vemos que, ya que l equivale a: max

+
b
a
dt t x
2
) ( 1 & sujeto a: x (a) = x (b) = ,
se tendr : ) ), ( ), ( ( t t x t x F & =
2
) ( 1 t x& + , por lo que F
x
= 0 y
) 1 (
2
x
x
F
x
&
&
&
+

= .
Entonces, la ecuacin de Euler es: 0 = (
2
) ( 1 t x& + )
-3/2
x& & , i. e., 0 = x& & , ya que el otro factor
es distinto de 0. Las soluciones de esa ecuacin diferencial son todas las que se obtienen
dando valores arbitrarios a los parmetros h y k en x(t) = h + kt. Entre ellas, las
condiciones extremas exigen que = h + a k = h + kb, de donde slo queda que k =
( - )/(b - a) h = - a ( - )/(b - a). Luego, si el problema tuviera solucin, ella
habra de ser la funcin x (t) = - a ( - )/(b - a) + (( - )/(b - a)) t.

Otro ejemplo: Se pide max

2
0
2
) 12 ( dt x tx & sujeto a: x(0) = 2 x(2) = 12.
La ecuacin de Euler resulta ser: 0 = -12 t - ) 2 ( x
dt
d
& = -12t + 2 x& & , i. e., x& & = 6t.
Entonces, integrando, se obtienen todas las extremales (as se llaman las soluciones de
la ecuacin de Euler). Ellas son dadas por x(t) = t
3
+ ht + k. Las condiciones extremas
exigen que 2 = k 12 = 8 + 2h +k, de donde, h = 1 k = 2, por lo que la nica
candidata a solucin es la funcin x (t) = t
3
+ t +2.
3

Nota: Para problemas de minimizacin, la ecuacin de Euler es la misma, como
fcilmente puede comprobar el estudiante diligente.


Casos especiales de la ecuacin de Euler:
1) En la funcin F no aparece x:
Como F
x
= 0, se obtiene que 0 =
x
F
dt
d
&
, lo que equivale a
x
F
&
= h, siendo h una constante
arbitraria.
Ejemplo: max

1
0
2 2
) ( dt x t & sujeto a: x(0) = 1 x(1) = 2.
La ecuacin de Euler es: -2 x& = h , de donde x(t) = -ht/2 + k, que con las condiciones
extremas da: 1 = x(0) = k 2 = x(1) = -h/2 + k. De esto resulta que h = -2 k = 1, por lo
que la nica posible solucin es x(t) = t + 1.

2) En la funcin F no aparece x& :
Como
x
F
&
= 0, se obtiene que 0 = F
x
, que es una ecuacin algebraica que no depende de
constantes arbitrarias, por lo que difcilmente se satisfarn las condiciones extremas.

Ejemplo:
Se pide min

+
1
0
3 2
) ( dt x t sujeto a: x(0) = x(1) = , con y dados.
La ecuacin de Euler es: 0 = F
x
= 3 (-t + x
2
) 2x, de donde t, x(t) = 0 x(t) = t .
Hay cuatro casos posibles:
(i) = 0 = ; entonces la nica posible solucin continua sera x(t) = 0 t ;
(ii) = 0 = 1; entonces la nica posible solucin continua sera x(t) = t t ;
(iii) = 0 = -1; entonces la nica posible solucin continua sera x(t) = - t , t .
En cualquier otro caso, no habra solucin al problema planteado.

3) En la funcin F no aparece t :
Como F no depende de t, x F x F F
dt
d
x x
& & &
&
+ = , y, como segn la ecuacin de Euler,
F
x
=
x
F
dt
d
&
, se obtiene x F x F
dt
d
F
dt
d
x x
& & &
& &
+ = ) ( = ) ( x F
dt
d
x
&
&
, de lo cual se sigue que ha de
ser constante la expresin F - x F
x
&
&
.
Ejemplo: Se pide max

1
0
2
) 3 2 ( dt x x& sujeto a: x(0) = 0 x(1) = 1.
Entonces, (2 3x )
2
x& - (-6x x& ) x& = h, de donde =
2
x x& H (cte.). As, pues,
x
H
x = & , de
donde

dx x =

dt H ; ahora, de esto se sigue que x

3/2
= ) (
2
3
K t H + , que con las
4
condiciones extremas dan: K = 0 H = 4/9. Por lo tanto, la nica posible solucin sera
la funcin x(t) = t
2/3
.

Condicin de Legendre como condicin necesaria de 2 orden para optimacin:
Teorema: Una funcin x* de es un mximo local del PCV slo si ) ), ( * ( t t x F
x x& &
0, t
de [t
0
, t
1
]. Adems, una funcin x* de es un mnimo local del PCV slo si
) ), ( * ( t t x F
x x& &
0, t de [t
0
, t
1
].
Ejemplo: Dado el problema de opt

+ +
1
0
2 2
) 2 ( dt xe x x
t
& sujeto a: x(0) = 0 x(1) = , la
ecuacin de Euler es 0 = (2x + 2e
t
) d(2 x& )/dt , que equivale a:
t
e x x = & & , cuya
solucin general es x(t) = A e
t
+ B e
-t
+
t
e
t
2
. Las condiciones extremas dan como nica
posible solucin a la funcin x(t) =
t t t
e
t
e e
e
e
2
) (
) 1 ( 2
+
+

. Como
x x
F
& &
= 2, slo se
cumple la condicin de Legendre necesaria para un mnimo local. As, no hay solucin
para el problema si se trata de maximizar, pero quiz s la haya para el problema de
minimizar.

Condiciones de transversalidad

El PCV planteado es uno de momentos inicial y final dados as como de estados inicial
y final tambin dados. Adems de ste, hay otros tipos de problemas, a saber:
a) problema de estado final libre pero estado inicial y momentos inicial y final dados;
b) problema de estado y momento finales libres pero estado y momento iniciales dados;
c) problema de momento final libre pero estado final y momento y estado iniciales
dados;
d) problema de estado y momentos iniciales parcialmente determinados por cierta
ecuacin dada: 0 = g(t, x), con estado y momento iniciales dados.

En todos estos casos siguen vigentes las condiciones necesarias dadas por la ecuacin
de Euler y la condicin de Legendre, pero aparece una nueva condicin necesaria, a
saber, la llamada condicin de transversalidad que se abreviar por .
Para enunciarla, se requiere definir el vector de ortogonalidad : v

:= (F - ) ,
x x
F F x
& &
& .
Ahora bien, el enunciado general de la condicin es el siguiente.
En el punto terminal (t
1
*, x(t
1
*)) de una curva ptima, x*(), el vector de ortogonalidad,
v

, ha de ser perpendicular (u ortogonal) a cualquier direccin admisible
1
desde el
punto terminal.

Veamos qu se sigue de esto en cada uno de los casos antes mencionados.
Caso (a): Como la nica direccin admisible es la vertical, el v

ha de ser horizontal, por
lo cual su segundo componente ha de ser nulo, i. e., es: 0 = ) ), ( * ), ( * (
1 1 1
t t x t x F
x
&
&
.

1
Se llama direccin admisible desde el punto terminal a cualquier recta tangente a una curva que parta
desde dicho punto terminal y satisfaga las condiciones finales dadas durante un lapso positivo.
5
Caso (b): Como toda direccin desde el punto terminal (t
1
, x*(t
1
)) es direccin admisible
puesto que son libres el momento y el estado finales, entonces el v

ha de ser el vector
nulo. i. e., es:
0 = F ) ), ( * ), ( * (
1 1 1
t t x t x & - ) ), ( * ), ( * ( ) (
1 1 1 1
t t x t x F t x
x
& &
&
0 = ) ), ( * ), ( * (
1 1 1
t t x t x F
x
&
&
.
Ha de notarse que esto equivale a:
F ) ), ( * ), ( * (
1 1 1
t t x t x & = 0 0 = ) ), ( * ), ( * (
1 1 1
t t x t x F
x
&
&
.
Caso (c): como en este caso la nica direccin admisible desde un punto terminal es la
horizontal, el v

ha de ser vertical, por lo cual su primer componente habr de anularse

en el punto terminal, i. e., es: 0 = F ) ), ( * ), ( * (
1 1 1
t t x t x & - ) ), ( * ), ( * ( ) (
1 1 1 1
t t x t x F t x
x
& &
&
.
Caso (d): Como en este caso la nica direccin admisible desde el punto terminal es la
de la recta tangente en dicho punto a la grfica de la funcin 0 = g (t, x), se deduce que
el vector v

habr de ser paralelo al gradiente de la funcin g en el punto terminal, i. e.,

es: grad g (t
1
, x*(t
1
)) // (F - ) ,
x x
F F x
& &
& en (t
1
, x*(t
1
))
2
.
Ha de notarse que incluso en el PCV se cumple el enunciado general de la condicin de
, pues, no habiendo ninguna direccin admisible en el punto terminal, el vector de
ortogonalidad en dicho punto es absolutamente libre de tomar cualesquiera valores, ya
que no est obligado a ser perpendicular a ninguna direccin en particular.

Ejemplos
1) Se pide optimizar

+
2
0
2
) ( dt x x t & & sujeto a: x (0) = 0. Entonces, la ecuacin de Euler
es: 0 = ) 2 ( x t
dt
d
& + , de donde se sigue que ha de ser constante la expresin x t & 2 + .
Esta ecuacin se resuelve fcilmente dando como solucin general x (t) = -t
2
/4 +
kt/2 + h. La condicin inicial da por resultado que 0 = h. As, slo quedan como
posibles soluciones las funciones de la forma x (t) = -t
2
/4 + kt/2. Veamos lo
referente a la condicin de Legendre: como
x x
F
& &
(en t = 2) = 2 0, se ve que slo
puede haber mnimos locales. Finalmente, la condicin de exige que 0 =
x
F
&
(en t
= 2) = ) 2 ( x t & + |
t = 2
= 2 + 2(-1 + k/2) = k, por lo que la nica posible solucin es
x*(t) = -t
2
/4.
2) Se pide optimizar

+
1
0
2 2
) ( dt x x & sujeto a: x(0) = 0 x(1) 1.
La ecuacin de Euler es: 0 = x x x
dt
d
x & & & = 0 ) 2 ( 2 , de donde se sigue que las
extremales del problema son dadas por x(t) = Ae
t
+ Be
-t
, que con la condicin inicial
da 0 = A + B, por lo que las extremales se reducen a x(t) = A(e
t
- e
-t
).
Adems, ya que x(1) 1, ha de ser A(e - e
-1
) 1, de lo que se sigue que A > 0.
La condicin de Legendre:
x x
F
& &
= 2 0, de donde se sigue que slo puede haber
mnimos locales.
Ahora, supongamos, momentneamente, que x(1) > 1; entonces la condicin de

2
Recurdese que el gradiente de una funcin g (t, x) := ( ) ,
x
g
t
g

6
implicara que 0 =
x
F
&
|
t = 1
= ) 1 ( 2x& = 2 A (e - 1/e), que es imposible ya que A ha de
ser positivo como se estableci cinco lneas ms arriba.
De todo esto concluimos que x(1) = 1, i. e., A = e /(e
2
-1), y que la nica posible
solucin es x* (t) = ) (
1
2
t t
e e
e
e

.
3) Se pide optimizar

+
1
0
2
) 10 (
t
dt tx x& sujeto a: x(0) = 1 t
1
> 0.
La ecuacin de Euler: 0 = x t x
dt
d
t & & & 2 10 ) 2 ( 10 = por lo que las extremales son
dadas por k ht t t x h t x + + = + =
3 2
6
5
) ( 2 / 5 & . Con la condicin inicial se obtiene
que las extremales se reducen a x (t) = 1
6
5
3
+ + ht t .
La condicin de Legendre:
x x
F
& &
= 2 0, por lo que slo puede haber mnimos
locales.
La condicin de : 0 = ) (
x
F x F
&
& |
pto. term.
0 =
x
F
&
|
pto. term.
. As, se obtiene que
2( h t +
2
1
2
5
) = 0 . )
2
5
( ) 1
6
5
( 10 ) 2 10 ( 0
2 2
1 1
3
1 1
2 2
h t ht t t x tx x + + + = + = & &
Finalmente, de estas dos ltimas condiciones se obtiene que t
1
= (3/5)
1/3
h =
3 / 2
)
5
3
(
2
5
, por lo que la nica posible solucin es x (t) = (5/6) t
3
(5/2)(3/5)
2/3
t + 1,
con t
1
= (3/5)
1/3
.

4) Se pide optimizar

+
1
0
2
) 3 (
t
dt x x& sujeto a: x (0) = 0 x (t
1
) = 5.
La ecuacin de Euler: 0 = 1 - ) 6 ( x
dt
d
& = 1 - x& & 6 , por lo que las extremales son dadas
por k ht
t
t x h t x + + = + =
12
) (
6
1
2
& . Ahora, con la condicin inicial sale que k = 0.
La condicin de Legendre: 0 6 =
x x
F
& &
, por lo que slo puede haber mnimo local.
La condicin terminal: 5 = x (t
1
) =
1
2
1
12
ht
t
+ .
La condicin de : 0 = ) (
x
F x F
&
& |
pto. term.
= ) 3 (
2
x x & |
pto.term.
= 5 3 (t
1
/6 + h)
2
. De
estas dos ltimas condiciones se obtiene que t
1
= 60 h = 0, por lo que la nica
posible solucin es x (t) = t
2
/12.

5) Encontrar, si existe, la senda ms corta desde el punto (0, 1) hasta la recta de
ecuacin: x = 3t. El problema puede ponerse en la forma tpica del cculo de
variaciones: min

+
1
0
2
1
t
dt x& sujeto a: x (0) = 1 x (t
1
) 3t
1
= 0.
La ecuacin de Euler: 0 = )
1
(
2
x
x
dt
d
&
&
+
, de donde resulta:
2
1 x
x
&
&
+
constante, por lo
7
que queda x& = h, es decir, x = h t + k, y con la condicin inicial se obtiene k = 1.
La condicin de Legendre:
2 / 3 2
) 1 (
1
x
F
x x
&
& &
+
= > 0, por lo que slo puede haber
mnimos locales. De la condicin terminal se obtiene h t
1
+ 1 = 3 t
1
. (i)
La condicin de : v

(pto. term.) // grad (pto. term.), donde (t , x) := - 3 t + x.

Esto es: - 3 = ) (
x
x
F
F x F
&
&
&
|
pto. term.
, i. e., h =
3
1
) (
1
= t x& (ii)
lo que con (i) da que t
1
= 3/10.
Entonces, la nica posible solucin es la funcin x (t) = 1 t /3 con t
1
= 3/10.

Condiciones suficientes para ptimos del PCV
Han de considerarse algunas variantes del problema tpico del Clculo de Variaciones.
La diferencia entre ellas consiste en la condicin final solamente. As, los problemas
que han de ocuparnos ahora son:
PCV
1
: max

1
0
) , , (
t
t
dt t x x F & sujeto a: x (t
0
) = a x (t
1
) = b ;
PCV
2
: max

1
0
) , , (
t
t
dt t x x F & sujeto a: x (t
0
) = a x (t
1
) b ;
PCV
3
: max

1
0
) , , (
t
t
dt t x x F & sujeto a: x (t
0
) = a x (t
1
) libre.
Para todos estos problemas vale la siguiente condicin suficiente.
Teorema: Si en cualquiera de los PCV
i
, con i {1, 2, 3}, la funcin F es cncava en
( x x & , ) y x* () satisface la condicin de , la ecuacin de Euler y las condiciones
extremas; entonces x*() es un mximo global.

Nota: Si en vez de maximizar se quisiera minimizar, entonces la concavidad en ( x x & , )
de la funcin F ha de sustituirse por la convexidad en ( x x & , ) para garantizar que se tiene
un mnimo global .

Ejemplo: Se quiere min

+
1
0
2 2
) ( dt x x & sujeto a: x (0) = 1 x (1) libre.
La funcin F es convexa en ( x x & , ) pues su matriz hessiana correspondiente a esas
variables es positivo-definida, ya que
(

=
(

2 0
0 2
x x x x
x x xx
F F
F F
& & &
&
, matriz todos cuyos
autovalores son positivos. As, la posible solucin hallada mediante la ecuacin de
Euler, la condicin de y la condicin inicial, a saber x*(t) = (1 + e
2
)
-1
(e
t
+ e
2-t
), es un
mnimo global.






8
Extensiones del Clculo de Variaciones:

1) Funcional objetivo ms general:
El problema ahora es el PCV: max (

1
0
) , , (
t
t
dt t x x F & + S (x (t
1
))) sujeto a: x (t
0
) = a,
en donde son datos los momentos t
0
y t
1
as como las funciones F(, , ) y S() .

Teorema: Una funcin x() es un mximo local del problema PCV slo si satisface la
ecuacin de Euler: 0 =
x x
F
dt
d
F
&
, la condicin de Legendre: 0
x x
F
& &
, la condicin
inicial y la nueva condicin de : 0 = ( )) ( ( t x S F
x
+
&
)|
pto. term.
.

Demostracin:
Como ) ( )) ( ( )) ( ( t x t x S t x S
dt
d
& = , se tiene que

=
1
0
)) ( ( )) ( ( ) (
1
t
t
a x S t x S dt x x S & .
Entonces, la funcional objetivo es

+
1
0
) ( ) ) ( ) , , ( (
t
t
a S dt x x S t x x F & & . Y como maximizar
una funcin equivale (en trminos de soluciones) a maximizar dicha funcin sumada
con una constante cualquiera, el problema puede formularse como el de
max

+
1
0
) ) ( ) , , ( (
t
t
dt x x S t x x F & & sujeto a: x (t
0
) = a.
Para ste, la ecuacin de Euler es: 0 = x x S F
x
& ) ( + )) ( ( x S F
dt
d
x
+
&
=
x x
F
dt
d
F
&
.
La condicin de Legendre:
x x x
F x S F
x
x x S F
x
& & &
&
&
&
= +

= +

)) ( ( ) ) ( ( 0
2
2
.
La condicicin de : ) ) ( ) , , ( ( 0 x x S t x x F
x
& &
&
+

= |
pto. term.
= ( ) (x S F
x
+
&
)|
pto. term.
.

Teorema: Si F es cncava en ( x x & , ) y S() es cncava, entonces cualquier funcin x ()
que satisfaga la ecuacin de Euler, la condicin de Legendre, la condicin de y las
condiciones extremas es un mximo global.

Nota: Si se quisiera minimizar, en vez de concavidad en ( x x & , ) para la funcin F, habra
de exigirse convexidad en ( x x & , ); adems, para la funcin S() tambin habra que
exigirse convexidad en lugar de concavidad.
Ejemplo: Se pide min (

+ +
1
0
2 2 2
) 1 ( ) ( x dt x x & ) sujeto a: x (0) = 1.
La ecuacin de Euler: x x & & = 0, de donde x (t) = A e
t
+ Be
-t
.
De la condicin inicial sale que 1 = A + B, por lo que x(t) = A e
t
+ (1 - A) e
-t

.
La condicin de Legendre: 0 2 =
x x
F
& &
, por lo que slo puede haber mnimos locales.
La condicin de : 0 = ) 2 2 ( x x + & |
pto. term.
= 2 ( ) 1 ( ) 1 ( x x + & ) = 2 Ae, de donde A = 0 B =
1. Entonces, la nica posible solucin es x (t) = e
-t
.
9
Como la funcin S(s) = x
2
es convexa y la F es ( x x & , )-convexa, se satisfacen las
condiciones suficientes para que la funcin x (t) = e
-t
sea un mnimo global.

2) Espacio de estados multidimensional:
Ahora la variable x es vectorial de dimensin n, i. e., que x R
n
.
El problema: max

1
0
) ), ( ),..., ( ), ( ),..., ( (
1 1
t
t
n n
dt t t x t x t x t x F & & sujeto a: x (t
0
) = a x
1
(t
1
)
= b
1
x
k
(t
1
) = b
k
con x
k+1
(t
1
), , x
n
(t
1
) libres.
Se tienen n ecuaciones de Euler: n i F
dt
d
F
i i
x x
=
&
0 .
Hay tambin n k condiciones de : k i term pto F
i
x
> = .) . ( 0
&
.
La condicin de Legendre consiste en que sea negativo-semidefinida la matriz hessiana
x x
F
& &
en ( x x & , ).
La condicin suficiente es que F sea ( x x & , )-cncava para todo momento t.
Ejemplo: Se pide min

+ +
1
0
1
2
2
2
1
) 2 ( dt x x x & & sujeto a: x (0) = (1, 0) x (1) = (3/2, 1).
Las ecuaciones de Euler: 0 = 2 - 2
1
x& & 0 = 0 - 2
2
x& & , de donde: x
1
(t) = t
2
/2 + At + B
x
2
(t) = Ct + D.
De las condiciones extremas se sigue: A = 0 B = 1 C = 1 D = 0.
As, la nica candidata a mnimo local es la funcin vectorial (x
1
(t), x
2
(t)) = (t
2
/2 + 1, t).
La condicin de Legendre:
x x
F
& &
=
(

2 0
0 2
es positivo-definida, por lo cual slo puede
haber mnimos locales.
Para ver si se cumplen las condiciones suficientes hay que examinar la convexidad de F
en ( x x & , ):
(
(
(
(

=
2 0 0 0
0 2 0 0
0 0 0 0
0 0 0 0
x x
H
&
que es positivo-semidefinida, y por ende, s se cumple
la suficiencia pudiendo afirmarse que la funcin antes hallada s es un mnimo global.

3) Derivadas de orden superior en la funcional objetivo:
Ahora el problema es: max

1
0
) , ,..., , , (
) (
t
t
n
dt t x x x x F & & & sujeto a:
1
1
) 1 ( 1
1 1
1
0
) 1 ( 1
0 0
) ( ... ) ( ) ( ) ( ... ) ( ) (

= = = = = =
n n n n
b t x b t x b t x a t x a t x a t x & &

La ecuacin de Euler-Poisson es: 0 =
) (
) 1 ( ...
2
2
n
x n
n
n
x x x
F
dt
d
F
dt
d
F
dt
d
F + +
& & &
.



10
Ejemplo: Se quiere min

1
0
2
dt x& & sujeto a: x(0) = 0 = x(1) b x a x = = ) 1 ( ) 0 ( & & .
La ecuacin de Euler-Poisson es: 0 =
x x x
F
dt
d
F
dt
d
F
& & &
2
2
+ = 0 0 + ) 2 (
2
2
x
dt
d
& & = 2 x
(4)
.
De esto se sigue que x(t) = h t
3
/6 + k t
2
/2 + l t + m.
Las condiciones extremas dan: m = 0 l = a h = 6 (a + b) k = -2 (b + 2a), luego x(t)
= (a + b) t
3
(b + 2a) t
2
+ at es la nica posible solucin. Adems se verifica fcilmente
que se cumplen las condiciones de Legendre y la de concavidad.

Interpretacin econmica:

Se considera un modelo de gestin de reservas. En un momento dado, t
0
, la empresa
posee una cantidad dada, x
0
, de reservas de cierto producto. Por almacenamiento se
pagan S/. c diariamente por unidad del producto.
En cada momento t de un lapso dado, [t
0
, t
1
], la tasa de venta es de q(t) unidades diarias
del producto. Esto genera un beneficio de S/. (q (t)) por da, siendo () una funcin
dada. Se quiere hallar la manera de ir vendiendo a fin de maximizar las ganancias en el
horizonte temporal dado. Esto es:
max

1
0
)) ( )) ( ( (
t
t
dt t cx t q sujeto a: 0 ) ( ) (
1 0 0
= = t x x t x q x& .
Esto equivale a hallar una x* () que maximice dt t cx t x
t
t

1
0
)) ( )) ( ( ( & sujeto a:
0 ) ( ) (
1 0 0
= t x x t x .
Se asume que () es estrictamente cncava y que despus del momento t
1
el producto
es nulo.
Entonces, la ecuacin de Euler es: 0 =
x x
F
dt
d
F
&
= -c + ) (q
dt
d
, i. e. , c = ) (q
dt
d
=
). )( ( t q
dt
d
o Como c es constante, se sigue que ct + h = (q(t)).
Puesto que () < 0, ()
-1
, por lo cual ()
-1
(ct + h) = q(t) = - ) (t x& , de donde x (t) = k
+

+ = = +

1
0
0 ) ( ) ( ) (
0 0
1
t
t
k t x x dt h ct , de donde k = x
0
x(t) = x
0
- dt h ct
t
t
) ( ) (
0
1
+

.
Si, por ejemplo, (q) = q , entonces (q) =
2
1
4
1
) ( ) (
2
1
z
z
q
=

, luego
0
0 0
1
4
1
) ( 4
1
) ( ) (
2
1
t
t
t
t
t
t
h ct c
dt
h ct
dt h ct
(

+
=
+
= +

con lo que
)
1 1
(
4
1
) ( 0 )
1 1
(
4
1
) (
0 1
0 1
0
0
h ct h ct c
x t x
h ct h ct c
x t x
+

+
+ = =
+

+
+ = de donde sale el
valor de h . Como ) ( x F
x x
&
& &
= < 0, puede haber mximo local. F es ( x x & , )-cncava, as
que s hay mximo global.

11
El modelo de crecimiento de Ramsey
Siendo k el capital per cpita; c, el consumo per cpita; u(), la funcin de utilidad del
consumo, y [0, T] el horizonte temporal, se quiere hallar la senda temporal del capital
per cpita que maximice la utilidad acumulada durante el lapso de 0 a T, sujetndose a
la ley dinmica : f (k) = c + k
&
+ k, siendo los valores inicial y final de k : k
0
y k
T
.
Se asume que las funciones u() y f () son estrictamente cncavas y crecientes.
El problema puede ponerse en el marco del Clculo de Variaciones expresando c en
trminos de k y k
&
como sigue: max dt k k k f u
T

0
) ) ( (
&
sujeto a: k(0) = k
0
y k(0) = k
T
.
La ecuacin de Euler: 0 = ) ( ) ) ( )( ( c u
dt
d
k f c u F
dt
d
F
k
k
+ =
&
, y como ) (c u
dt
d
=
u() c& , se obtiene: ) ) ( (
) (
) (



= k f
c u
c u
c& . Esta ecuacin y la que se obtiene de la ley
dinmica: c k k f k = ) (
&
, forman un sistema de dos ecuaciones diferenciales no
lineales.
Se obtiene un equilibrio, (k*, c*), del sistema imponiendo las condiciones de nulidad de
las velocidades de cambio k
&
y c& . As, k* = (f)
-1
() y c* = f (k*) - k*.
Puede comprobarse que, debido a las asunciones hechas, este equilibrio es uno del tipo
de ensilladura. En efecto, la matriz jacobiana del sistema evaluada en el equilibrio es:
J* =
(
(

0 *) (
*) (
*) (
1 *) (
k f
c u
c u
k f
. Ya que su traza es J*
11
= 0 y su determinante J*
21
< 0 , se
deduce que los autovalores de J* son de signos opuestos, por lo que el equilibrio
correspondiente ha de ser una ensilladura.

Caso de horizonte temporal infinito
Considrese el problema de max

0
) , , ( dt t x x F & sujeto a la condicin inicial x(0) = a y tal
vez a una condicin final asinttica: b = lim
t
x(t).
Como el integrando es una funcin dada, podra ser que la integral impropia no fuese
convergente. Por tal motivo, en muchas aplicaciones se agrega la condicin de que
) , , ( ) , , ( t x x G t x x F & & = e
-t
, siendo G una funcin acotada y un positivo dado, i. e., que
M tal que ) , , ( ), , , ( t x x G M t x x & & > . En tal caso, la integral impropia s que converge,
pues [ ]

= =
0 0
0
0
) , , ( ) , , (


M
e
M
dt e M dt e t x x G dt e t x x G
t t t t
& & .
Para este problema siguen vigentes la ecuacin de Euler y la condicin de Legendre,
pero ahora la condicin de toma una forma algo diferente. As, caso de haber una
condicin terminal asinttica b = lim
t
x(t), la condicin de es (
x
F x F
&
& )|
t =
= 0; y
para el caso en que no hay condicin terminal, es: (
x
F x F
&
& )|
t =
= 0 =
x
F
&
|
t =
.



12
Ejemplo
En el modelo de crecimiento de Ramsey con horizonte temporal infinito:
max dt e c u
t

0
) (

sujeto a: f (k) = c + k
&
+ k k(0) = k
0
k() = k

, la condicin de
es: 0 = lim
t
(
k
F k F
&
&
) = lim
t
e
-t
(u(c(t)) + k
&
(t) u(c(t))).
Si no se exigiera que

= k k ) ( , se tendra, adems, la condicin: 0 = lim

t
(
k
F
&
) =
lim
t
e
-t
(u(c(t)) (-1).



2.Control ptimo

Formulacin de Bolza
PCO
B
: max (

+
1
0
)) ( ( ) , , (
1
t
t
t x S dt t u x F ) sujeto a: t t u a t x t u x f x
t
= = ) ( ) ( ) , , (
0
& .

En la funcin objetivo se halla una evaluacin de la dinmica mediante la integral y
tambin hay otra evaluacin del estado terminal, mediante la funcin S.
Los datos del problema son: los momentos inicial y final, t
0
y t
1
; las funciones F, S y f ;
el estado inicial a y la coleccin de conjuntos de valores admisibles para la variable de
control, {
t
: t[t
0
, t
1
]}. A la variable x, fcilmente reconocible por ser aquella cuya
derivada temporal aparece en la ley dinmica ) , , ( t u x f x = & , se la llama variable de
estado, as como a la u se la llama variable de control. Si no se especifica cul es la
familia de los
t
, entenderemos que todos ellos son R, es decir, que cualquier valor
numrico es admisible para la variable de control en cualquier momento.

Es de notarse que en este problema hay una jerarquizacin natural entre las variables de
estado y de control, siendo la principal esta ltima, pues para cada forma especfica que
ella asuma, en condiciones bastante generales, hay slo una forma funcional para la
variable de estado correspondiente, ya que, entonces, la ley dinmica se habra
convertido en una ecuacin diferencial en la variable de control. Teniendo en cuenta que
los trminos causa y efecto son de muy discutible precisin, parece preferible
interpretar a las variables de control y de estado como estmulo y respuesta,
respectivamente.

Formulacin de Mayer
PCO
M
: max S (x (t
1
)) sujeto a t t u a t x t u x f x
t
= = ) ( ) ( ) , , (
0
& .
Resulta evidente que es esta formulacin un caso particular de la de Bolza y que
corresponde al caso en que en sta se da la funcin nula en el papel de la F.
Que la de Bolza sea representable como la de Mayer es algo que se muestra a
continuacin.
13
Defnanse las variables x
1
y x
2
as: x
1
:= x
2
x& := F(x
1
, u, t) con x
2
(t
0
) = 0. Entonces, el
problema puede formularse como: max

=
1
0
) (
2
t
t
dt t x& max [ ]
1
0
) (
2
t
t
t x = max x
2
(t
1
) sujeto a:
) , , (
) , , (
1 2
1 1
t u x F x
t u x f x
=
=
&
&
, donde S(x
1
, x
2
) := x
2
.

Formulacin de Lagrange
PCO
L
: max

1
0
) , , (
t
t
dt t u x F sujeto a: t t u a t x t u x f x
t
= = ) ( ) ( ) , , (
0
& .
Resulta evidente que es esta formulacin un caso particular de la de Bolza
correspondiente al caso en que es nula la funcin S.
Que la de Bolza sea representable como la de Lagrange es algo que se muestra a
continuacin.
Ya que S(x(t
1
)) - S(x(t
0
)) =

=
1
0
1
0
) ( )) ( (
t
t
t
t
dt x x S dt t x S
dt
d
& , se obtiene como funcional
objetivo:

+
1
0
)) , , ( ) ( ) ), , , ( , ( (
t
t
dt t u x f x S dt t t u x f x F , puesto que maximizar una funcin
cualquiera equivale, en trminos de soluciones, a maximizar dicha funcin sumada de
una constante cualquiera.
Por lo tanto, las tres formulaciones son equivalentes entre s.

Condiciones necesarias para que una u*(), con su respuesta x*(), den un mximo
local del problema PCO
L

1) Ha de haber una funcin *(), llamada covariable de estado, tal que t, sea
a t x t u x f t x t t u x H t
x
= = = = ) ( * ) *, *, ( ) ( * 0 ) ( * ) *, *, ( ) ( *
0 1
&
&
, en donde
la funcin H, llamada hamiltonianase define como H (x, u, , t) := F(x, u, t) +
f(x, u, t).
Las ecuaciones diferenciales ) , , ( t u x f x = & y ) *, *, ( ) ( * t u x H t
x
=
&
se conocen
como las ecuaciones cannicas.
2) t [t
0
, t
1
], u*(t) ha de ser un mximo global de H(x*(t), , *(t), t). sta
condicin se conoce como principio del mximo de Pontriaguin.

Ejemplo: max

+
1
0
) ( dt u x sujeto a: 1 ) 0 ( 1
2
= = x u x& .
Entonces la hamiltoniana es: x + u + ()(1 u
2
) y las ecuaciones cannicas son:
=
2
1 u x& 1 = =
x
H
&
. De esta ltima, con (1) = 0, se obtiene *(t) = 1 t.
Como la funcin H es cncava en u, el principio del mximo implica que
0 = u H
u
2 1 =

, por lo que u*(t) =

) 1 ( 2
1
t
.
14
Entonces, la ley dinmica es:
2
) 1 ( 4
1
1
t
x

= & con x(0) = 1, de donde sale:

= k
t
t dt
t
t t x
) 1 ( 4
1
) 1 ( 4
1
) ( *
2
, que con x (0) = 1, da k = 5/4.
As, x *(t) =
4
5
) 1 ( 4
1
+

t
t . Si hay solucin, ella estara dada por u*() y x*() .


Condicin general de transversalidad
Definiendo el vector de ortogonalidad, v

:= (H, -), se tiene como condicin necesaria
para ptimo local el que dicho vector evaluado en el punto terminal sea perpendicular u
ortogonal a toda direccin admisible
3
en dicho punto terminal.
Para el problema planteado como PCO
L
, no hay sino una direccin admisible, a saber,
la vertical; luego, el v

evaluado en el punto terminal debe ser horizontal, esto es, que su

segundo componente se anule: 0 = (t
1
).



Ejemplos
1) max

5
1
2 2
) ( dt x u ux sujeto a: 2 ) 1 ( = + = x u x x& .
Entonces, H = ux u
2
x
2
+ ()(x + u) 0 ) 5 ( 2 = + = = x u H
x
&
.
Como H es u-cncava, del principio del mximo se sigue: 0 = H
u
= x 2u -.
Por lo tanto, u = ()(x + ).
Si esta expresin se lleva a las ecuaciones cannicas resulta: = x& 3x/2 + /2
=
&
3x/2 - 3/2 con x(1) = 2 (5) = 0.
De la primera de las dos ecuaciones diferenciales se obtiene = 2 . 3x x & (i)
De esto se sigue que
&
= x x & & & 3 2 .
Reemplazando en la segunda sale: 0 3 = x x& & , por lo que x(t) = A e
3 t
+ B e
-3 t

que con la condicin inicial da: 2 = A e
3
+ B e
-3
.
Ahora, llevando la expresin de x(t) a la (i), sale:
= 2 x x 3 & = 2A3 e
3 t
2B 3 e
-3 t
3A e
3 t
3B e
-3 t
y con la condicin
0 = (5) salen los valores de las constantes A y B.
Finalmente, la nica candidata a ser control ptimo es:
u (t) = (x(t) + (t)) = A (3 - 1) e
3 t
B (3 + 1) e
-3 t
.
2) Se pide min

1
0
xdt sujeto a: = = = : ) ( 1 ) 0 (
t
t u x u x& [-1, 1].
Entonces, H = -x + u 1 = =
x
H
&
con (1) = 0. Resulta: *(t) = t 1.
El principio del mximo exige maximizar (- x(t) + *(t) u) sujeto a: u [-1, 1] y,

3
La definicin de direccin admisible es la misma que la que se us en Clculo de Variaciones.
15
como ya se tiene que *(t) = t 1 0, se sigue que u*(t) = -1, t de [0, 1].
Finalmente, de la primera ecuacin cannica con su condicin inicial se sigue
que x*(t) = 1 t , t de [0, 1].
3) Se quiere min (

+
1
0
2 2
) 1 ( x dt u ) sujeto a: 1 ) ( = + = o x u x x& .
Se reconoce la funcin S (x) = x
2
, por lo que
)) ( ) ( )( ( 2 ) ( )) ( ( )) ( ( t u t x t x t x t x S t x S
dt
d
+ = = & .
As, como

= =
1
0
2
1 ) 1 ( )) 0 ( ( )) 1 ( ( )) ( ( x x S x S dt t x S
dt
d
, se sigue que el
problema equivale, en lo que toca a soluciones, al de
min

+ +
1
0
2
)) ( 2 ( dt u x x u sujeto a las mismas condiciones del original.
Entonces, H = u
2
+ 2x
2
+ 2xu + ()(x + u).
Las ecuaciones cannicas: + = u x x& = = u x H
x
2 4
&
.
Como H es u-convexa, el principio del mximo (en verdad del mnimo) implica
que 0 = H
u
= 2u + 2x +, de donde, u = -x -/2, lo que llevado a las ecuaciones
cannicas da el sistema dinmico en x y : x x 2
2
1
= =
&
& . (&)
De aqu, por eliminacin, sale: 0 = x x& & , que, con la condicin inicial da:
B A Be Ae t x
t t
+ = + =

1 ) ( .
Llevando esto a la primera ecuacin de (&) sale:
1
2 2 ) 1 ( 0 2 2 ) (

+ = = + = Be Ae Be Ae t
t t
.
Entonces, A = (e
2
+ 1)
-1
B = e
2
/(e
2
+ 1), de lo que se sigue
1
2 ) ( * ) ( ) 1 ( ) ( *
2
2
1 2
+

= + + =

e
e e
t e e e t x
t t
t
.
Finalmente, resulta que la nica candidata a control ptimo es la funcin
u*(t) =
t
e
e
e

+

1
2
2
2
.
4) Se pide max

2
0
2
) 3 2 ( dt u u x sujeto a: 5 ) 0 ( = + = x u x x& =
t
t, [0, 2].
Entonces, H = 0 ) 2 ( 2 ) )( ( 3 2
2
= = = + +
x
H u x u u x
&
.
De estas dos ltimas sale: ) 1 ( 2 ) ( *
2
=
t
e t .
Como H es u-cncava, parecera oportuno intentar la aplicacin del principio de
Pontriaguin mediante 0 = H
u
, lo que dara como nico mximo global de H ,
vista slo como funcin de la variable de control, que u = () ((t) - 3).
Sin embargo, la dificultad radica en que algunos de tales valores de u podran no
caer en el intervalo [0, 2]. En efecto,
0 () ( - 3) 2 ssi 0 ( - 3) 4 ssi 3 7 ssi 2e
2
/9 e
t
2e
2
/5.
Esto equivale a:
1
:= 2 ln 4.5 t 2 ln 2.5 =:
2
1.05.
Entonces, slo para t [
1
,
2
] puede usarse la igualdad 0 = H
u
como expresin
16
del principio de Pontriaguin. Fuera de ese intervalo el valor de u*(t) tiene que
ser 0 2. Esto se ilustra en la siguiente grfica.

Para t [0,
1
], de la grfica de ((t) - 3) u u
2
(que en esencia es la H vista
como funcin slo de u), se sigue que u*(t) = 2.
Para t [
2
, 2], de la grfica de ((t) - 3) u u
2
, se sigue que u*(t) = 0.
En suma, u*(t) =

, 0
), 3 ) ( * (
2
1
, 2
t si
] 2 , [
] , [
] , 0 [
2
2 1
1

t
t
t
.
Si se quisiera calcular la respuesta, x*(), a esta funcin de control, habra que
proceder en tres etapas.
1) para ] , 0 [
1
t , de 5 ) 0 ( 2 = = x x x& , se sigue que x*(t) = 7e
t
2;
2) para ] , [
2 1
t , de 2 7 ) ( 2 / 5 2 / ) 3 ) ( (
1
1
2
= = =

e x e t x x
t
& , se
sigue: x*(t) = Be
t
(e
2-t
)/2 + 5/2, en donde B sale de la condicin inicial en
1
;
3), para ] 2 , [
2
t , de
2
5
2
) ( 0
2 2
2
2
+ = =

e
e
Be x x x& , se sigue que
x*(t) = Ce
t
en donde C sale de la condicin inicial en
2
.
Todo esto porque en general se quiere que la respuesta sea una funcin continua.



Interpretacin econmica
Para el PCO
L
de max

1
0
) , , (
t
t
dt t u x F sujeto a: t t u a t x t u x f x
t
= = ) ( ) ( ) , , (
0
& ,
se define la funcin valor, V*, como aquella que a cada estado y momento inicial
posibles, (z, t), asigna el valor mximo que puede alcanzarse con el subproblema que se
inicia en t desde el estado z, esto es,
V*: R[t
0
, t
1
] R,
(z, t) max

1
) , , (
t
t
dt u x F sujeto a z t x u x f x = = ) ( ) , , ( & .
17
As, V* (a, t
0
) dar el mximo valor alcanzable en el problema original.
Sea (t) := ) , ( * t z V
z

, i.e., la sensibilidad de la funcin valor respecto a cambios en t

del estado inicial; es lo que suele llamarse precio sombra del capital.
Sea que x (t) represente el acopio de capital de la empresa, siendo el inicial a en el
momento t
0
. Que sea u(t) la tasa de produccin decidida y que sea F (x(t), u(t), t) la tasa
de beneficio instantnea medida en soles por da. El cambio temporal en el acopio del
capital, x& , depende del nivel de ste, x (t), de la decisin de la empresa, u(t), y del
momento actual, t : ) ), ( ), ( ( ) ( t t u t x f t x = & .
A partir de un momento t del horizonte temporal en el que el nivel del capital es x(t) y la
decisin empresarial es u(t), considrese un breve lapso dt. Entonces, Hdt = Fdt + f dt
= F dt + x& dt = F dt + dx. Aqu, F dt es la contribucin directa en soles a la funcin
objetivo desde t hasta t + dt, si el estado en t era x(t) y la decisin fue u (t). Por otra
parte, dx es el valor en soles del incremento en el nivel de acopio de capital; es la
contribucin indirecta a la funcin de valor. Luego, H dt es la contribucin total a la
funcin de valor durante el lapso dt. As, se ve que lo que ha de maximizarse en cada
momento t es H, y no slo F, lo cual muestra cun razonable resulta ser el principio del
mximo.
La condicin
x
H =
&
da: - d = F
x
dt + (f
x
dt), que dice que en la senda ptima ha de
igualarse la cada del precio sombra del capital y el ingreso marginal de invertir ese
capital, que es la suma de las contribuciones marginales directa e indirecta.


Condiciones suficientes de optimalidad
Para el problema PCO
L
se tiene el siguiente teorema debido a Mangasarian.

Teorema (de Mangasarian): Si F y f son funciones (x, u)-cncavas y, caso que f(x, u, t)
no sea lineal en (x, u), la covariable de estado, *(), que sale junto a u*() y x*() de las
ecuaciones cannicas y del principio del mximo, es innegativa; entonces u*() es el
control ptimo.

Notas:
1)La premisa de este teorema puede formularse as:
(F y f son funciones (x, u)-cncavas t) (f (x, u, t) no es lineal en (x, u) *(t) 0).
Tambin puede adoptar la forma:
(F y f son funciones (x, u)-cncavas) (f (x, u, t) es lineal en (x, u) *(t) 0).

2) Si se tratara de minimizar la funcional objetivo, entonces la (x,u)-concavidad de F y f
habra de reemplazarse por la correspondiente (x,u)-convexidad.

Ejemplo: En max

+
1
0
) ( dt u x sujeto a: 1 ) 0 ( 1
2
= = x u x& , se ve que F y f son (x, u)-
cncavas y como f(x, u, t) no es (x, u)-lineal, debe tenerse que *() sea innegativa para
que se cumplan las condiciones suficientes de Mangasarian.
Como H = x + u + ()(1 u
2
), la segunda ecuacin cannica es 1 = =
x
H
&
con (1)
= 0 y, por la condicin de : *(1) = 0, se sigue que *(t) = 1 t, que en [0, 1] es 0.
18
Luego, el control ptimo es la u* (t) =
) 1 ( 2
1
) ( * 2
1
t t
=

, que sale del principio del

mximo: 0 = H
u
.

Ejemplo: En max

5
1
2 2
) ( dt x u ux sujeto a: 2 ) 1 ( = + = x u x x& , se ve que
u x t u x f + = ) , , ( es (x, u)-cncava, pues es lineal, por lo que su hessiana
(

0 0
0 0
es
negativo-semidefinida.
La funcin ) , , ( t u x F tiene hessiana en (x, u):
(

2 1
1 2
, que es negativo-semidefinida,
pues sus menores principales valen -2 y 3. Como ) , , ( t u x f es ) , ( u x -lineal, no hay nada
que exigir a la funcin *(). Luego, se cumplen las condiciones suficientes de
Mangasarian, por lo que el control u*() que salga con x*() y *() ser ptimo (Ver el
ejem. 1 de la pag. 14).
Ejemplo: En el problema de min (

+
1
0
2 2
) 1 ( x dt u ) sujeto a: 1 ) 0 ( = + = x u x x& , ya se
sabe que puede adoptarse la formulacin de Lagrange, puesto que por ser S(x) = x
2
, se
tiene que )) ( ) ( )( ( 2 ) ( )) ( ( )) ( ( t u t x t x t x t x S t x S
dt
d
+ = = & . Adems, ya que

1
0
)) ( ( dt t x S
dt
d
=
S(x(1)) S(x(0)) = x(1)
2
1, y que la constante 1 en la funcional objetivo, como
sumando sustraendo no afecta a los ptimos del problema; resulta equivalente pedir:
max

+ +
1
0
2
)) ( 2 ( dt u x x u sujeto a: 1 ) 0 ( = + = x u x x& . Ahora resulta que F es (x, u)-
convexa, pues su hessiana
(

2 2
2 4
tiene menores principales 4 y 4; adems, f , por ser
lineal en (x, u), es convexa. Igual que antes, la condicin: si f no es lineal en (x, u),
entonces *() 0 se cumple trivialmente ya que f s es lineal. Valen, pues, las
condiciones suficientes de Mangasarian, por lo que la funcin u*(t) =
t
e
e
e

+

1
2
2
2
, del
ejemplo 3 de la pgina 14, es ptimo.

Hay otra condicin suficiente para mximo global en el PCO
L
debida a Arrow.

Teorema (de Arrow): Para el problema de PCO
L
defnase la funcin hamiltoniana
derivada, H
0
, mediante: H
0
: RR[t
0
, t
1
] R,
(x, , t) max ) , , , ( t u x H para u
t
.
Entonces, si ) *, , (
0
t x H es x- cncava, se sigue que la u*() que sale de las ecuaciones
cannicas y del principio del mximo es el control ptimo.

Nota: En un problema de minimizacin, ha de reemplazarse la x- concavidad de
H
0
(x, , t) por la x- convexidad para tener una condicin suficiente.
19
Ejemplo: Se pide max

+
1
0
) ( dt u x sujeto a: 1 ) 0 ( 1
2
= = x u x& .
Resulta que H
0
(x, , t) = x + +
4
1
, que es x- cncava (pues es x- lineal), por lo que se
cumplen las condiciones suficientes de Arrow, y as, el control u* (t) =
) 1 ( 2
1
t
ya
hallado en la pgina 18, es ptimo.


Extensiones del control ptimo
Pueden darse diversos tipos de condiciones terminales como las siguientes.
a) Momento y estado finales dados: t
1
y b = x(t
1
) son datos. La nica modificacin
con respecto al caso ya considerado consiste en que no hay que usar la condicin
de sino que ahora entra en cambio la condicin terminal: b = x(t
1
). Esto vale
tambin para la minimizacin.
Ejemplo: Se pide max

1
0
2
dt u sujeto a: . 0 ) 1 ( 1 ) 0 ( = = + = x x u x x&
Entonces, la hamiltoniana es H = ) )( (
2
u x u + + y la segunda ecuacin
cannica es: = =
x
H
&
, de donde
t
Ae t

= ) ( .
El principio del mximo: 0 = H
u
, pues H es u- cncava y
t
= R, t.
Luego, 0 = -2 u + , de donde u =
t
e
A

2
.
La primera ecuacin cannica es ahora:
t
e
A
x x

=
2
& , cuya solucin general es:
t t
e
A
Be t x

=
4
) ( .
Las condiciones extremas dan: 1 = x (0) = B A/4 0 = x(1) = Be -
e
A
4
.
De aqu se deduce que A =
2 2
2
1
1
1
4
e
B
e
e

.
Luego, x*(t) =
2
2
2
2
2
2
1
2
) ( *
1
4
) ( *
1 e
e
t u
e
e
t
e
e e
t t t t

.
Se ve fcilmente que se cumplen las condiciones de suficiencia de Mangasarian,
por lo que u*() es el control ptimo (a pesar de que *(t) < 0, t !).
b) Momento final dado y estado final inferiormente acotado: x (t
1
) b.
Lo mismo que en el caso (a), la antigua condicin de se sustituye por esta
nueva: 0 = ) ) ( )( (
1 1
b t x t .
Ejemplo: Se pide max

1
0
2
dt u sujeto a: . 3 ) 1 ( 1 ) 0 ( = + = x x u x x&
Igual que lneas arriba, se obtiene 2 / 2 / ) ( ) ( ) (
t t
Ae t t u Ae t

= = =
20
t t
e
A
Be t x

=
4
) ( .
La condicin de : 0 = (1) (x(1) - 3) = (A/e) (Be A/4e -3).
Si A = 0, entonces de la condicin inicial para x se sigue que B = 1, con lo que
Be 3 < 0 que contradira la restriccin 3 ) 1 ( x .
Por lo tanto, A tiene que ser diferente de 0, por lo que Be A /4e = 3, que con
1 = B A/4, da A = 4e (3 - e)/(e
2
- 1) B = (3 e - 1)/(e
2
- 1).
c) Momento y estado finales libres.
En este caso la condicin de es: *(t
1
) = 0 = H(x*(t
1
), u*(t
1
), *(t
1
), t
1
).
Ejemplo: Se quiere max

1
0
2
) (
t
dt u tx u sujeto a: 0 ) 0 ( 1 2 = + = x u x& .
Entonces, la hamiltoniana es H = -u
2
+ u tx + () (2u + 1) y la segunda
ecuacin cannica: t =
&
, da h t t + = 2 / ) (
2
.
De la primera parte de la condicin de se tiene que 0 = t
1
2
/2 + h, de donde
h = -t
1
2
/2.
Entonces, 2 / 2 / ) (
2
1
2
t t t = .
Como H es u-cncava, el principio del mximo lleva a 0 = H
u
= -2u + 1 + 2, de
donde, u(t) = (t) + = t
2
/2 t
1
2
/2 + .
La primera ecuacin cannica es: 2
2
1
2
+ = t t x& , de donde x(t) = t
3
/3 + (2 t
1
2
) t
pues 0 = x (0).
Adems, la segunda parte de la condicin de es: 0 = ) ), ( ), ( ), ( (
1 1 1 1
t t t u t x H ,
de donde, como 2 / 1 ) ( 0 ) ( ) 2 ( 3 / ) (
1 1 1
2
1
3
1 1
= = + = t u t t t t t x , se obtiene que
0 = (2/3)
1
t
4
- 2
1
t
2
+ . Esto da dos posibles valores para el momento final, a
saber,
1
t 0.36
1
t 1.69.
As, quedan dos posibles controles ptimos:
u*(t) = 0.43 + t
2
/2 y u*(t) = -0.93 + t
2
/2.
En el primer caso se trata de una funcin u* definida en el intervalo [0, 0.36], y,
en el segundo caso, de una funcin definida en [0, 1.69].
d) Momento final libre y estado final dado: x (t
1
) = b.
En este caso la condicin de es: 0 = ) ), ( ), ( ), ( (
1 1 1 1
t t t u t x H , estando el valor de
1
t por determinarse.
Ejemplo: Se pide min

+
1
0
2 2
) (
t
dt u t sujeto a 5 ) ( 4 ) 0 (
1
= = = t x x u x& , con t
1

por determinarse.
La hamiltoniana es: ) )( (
2 2
u u t H + + = .
La segunda ecuacin cannica es: 0 = =
x
H
&
, de donde (t) = A.
Como H es estrictamente convexa en u, el principio del mximo implica que
0 = H
u
= 2u + , de donde u(t) = -A/2.
De la primera ecuacin cannica u x = & = -A/2 con su condicin inicial se obtiene
que x (t) = -At/2 + 4.
La condicin de : 0 = ) ), ( ), ( ), ( (
1 1 1 1
t t t u t x H = t
1
2
+ (-A/2)
2
+ (A) (-A/2), luego,
t
1
2
= A
2
/4.
21
La condicin terminal es: 5 = x (t
1
) = -At
1
/2 + 4.
De estas dos ltimas ecuaciones salen t
1
= 1 A = -2. Por lo tanto, la nica
candidata que queda a ser control ptimo es u*(t) = 1 en el intervalo [0, 1].

Hamiltoniana de valor presente de valor corriente
Para el problema de max

T
t
dt e t u x G
0
) , , (

sujeto a: a x t u x f x = = ) 0 ( ) , , ( & , se
tiene que H = Ge
- t
+ f.
Defnase la variable :=e
t
.
Entonces resulta ser H = G e
- t
+ e
- t
f = e
- t
(G + f) =: e
- t
H, donde se
define H := G + f. Esta funcin H se llama hamiltoniana de valor corriente.
Las ecuaciones cannicas pueden expresarse en trminos de esta nueva
hamiltoniana como sigue. La primera: = = =

H f x& H

; y la segunda, & = -H
x

+ , pues e
- t
( & - ) = & e
- t
- e
- t
=
&
= -H
x
= - e
- t
H
x
.
Principio del mximo: t, u*(t) ha de ser mximo global de H (x*(t), , *(t), t).
Pero H (x*(t), u, *(t), t) H (x*(t), u, *(t), t) ssi H (x*(t), u, *(t), t)
H (x*(t), u, *(t), t), de donde se sigue que el principio del mximo en trminos
de la hamiltoniana de valor corriente es as:
t, u*(t) ha de ser mximo global de H (x*(t), , *(t), t).
En suma, las condiciones necesarias para ser control ptimo, en trminos de la
hamiltoniana de valor corriente son: = x& H

& = -H
x
+ el principio del
mximo como se lo enuncia en el prrafo anterior.
Ejemplo: Se quiere min

2
0
2 2
) ) 1 ( ( dt x u e
t
, con positivo, sujeto a:
5 ) 0 ( 3 2 = = x u x x& .
Entonces, H = u
2
+ (x - 1)
2
+ () (2x 3u).
La segunda ecuacin cannica es: & = -H
x
+ = - (2 (x - 1) + 2 ) + .
El principio del mximo, dada la convexidad estricta de H respecto a u es:
0 = H
u
= 2u - 3, de donde, u = 3/2.
Entonces, reemplazando u por 3/2 en la primera cannica se obtiene un sistema
dinmico lineal en x y :
2 2 ) 2 (
2
9
2
+ =
=
x
x x

&
&

Si de la primera se despeja y luego se la deriva respecto a t para reemplazar en
la segunda, se obtiene una ecuacin diferencial de segundo orden en x cuya
22
solucin permitir luego hallar y u. Esta ltima ser el control ptimo pues se
cumplen las condiciones de suficiencia de Mangasarian.

Caso de horizonte temporal infinito
Se considera el problema con una integral

0
) , , (
t
t
dt t u x F e

. La condicin
terminal puede variar, y para cada una de diversas posibilidades se da la
condicin de .
a) Si se impone la condicin b = lim
t
x(t), entonces la condicin de es:
0 = lim
t
[H]
t
.
b) Si el estado final es libre, entonces la condicin de es: 0 = lim
t
[H]
t

0 = lim
t
(t).
c) Si la condicin terminal es que b lim
t
x(t), entonces la condicin de es:
0 = lim
t
(t) (x(t) b).

Problema de tiempo mnimo
Se trata, no de hallar la senda ms corta, sino la de ms breve recorrido. As, se
pretende min T sujeto a: a x t u x f x = = ) 0 ( ) , , ( &
t
t u b T x = ) ( ) ( , con T
libre.
Como T =

T
dt
0
1 , la funcional objetivo es

T
dt
0
1 .
Ejemplo: Se pide min T sujeto a: = = = + =
t
T x x u x x 11 ) ( 5 ) 0 ( & [-1, 1].
Entonces, la hamiltoniana es H = 1 + ()(x + u) y la segunda cannica es:
=
&
, de donde, (t) = A e
-t
.
Como H es (x- u)-lineal, el principio del mnimo permite concluir que
u*(t) =

<
>
0 , 1
0 , 1

.
La condicin de : 0 = H|
pto.term.
= 1 + (T) (x(T) + u(T)) = 1 + A e
-T
(11 + u (T)),
de donde sale: A =
) ( 11 T u
e
T
+

, que en cualquier caso resulta ser negativo, pues

u(T) {1, -1}.
Luego, (t) < 0, t, por lo que u*(t) = 1, t.
La primera ecuacin cannica es, entonces, 1 + = x x& , lo que, con las
condiciones extremas para x da x*(t) = Be
t
1 con 5 = B 1. Luego, x*(t) = 6e
t

1.
Ahora, como 11 = 6 e
T
1, resulta T = ln 2.
Ya que F(x, u, t) = 1, entonces F es (x, u)-convexa; similarmente, f (x, u, t), que
es igual a x + u, tambin es (x, u)-convexa y adems (x, u)-lineal; por lo tanto, se
cumplen las condiciones de suficiencia de Mangasarian, y el control ptimo es
u*(t) = 1, t siendo su respuesta la x*(t) = 6 e
t
1 y T = ln 2.





23
Control ptimo con restricciones
a) Restricciones de igualdad: Se quiere max

T
dt t u u x F
0
2 1
) , , , ( sujeto a:
0 ) , , ( ) 0 ( ) , , ( = = = t u x h a x t u x f x& y condiciones extremas al final y al inicio
del proceso. Entonces, hay que maximizar H como funcin de u sujeto a h = 0.
Para ello hay que considerar la funcin lagrangiana L:= H - h.
Entonces las condiciones necesarias de primer orden son:
0
L 0
h - f F L = 0
2 2 2 2
1 1 1 1
u
u u u u
= =
+ = =
+ =
h f x
h f F
u u u
&


que con las condiciones extremas llevan a la
solucin.
Ejemplo: Se quiere max

1
0
2 2 2
) 2 2 2 ( dt v u x sujeto a:
1 ) ( ) ( 4 = + + = v u x v u x x& 1 ) 0 ( = x .
Entonces, la lagrangiana es L = 2x
2
- 2u
2
- 2v
2
+()(-x - 4u - 4v) - (x u v -1).
As, las condiciones necesarias son:
) ( 4 4 4 0
4 4 - 4u - L 0
u
v u x L x v L
x L
v
x
+ = = + = =
+ + = = + = =

&
&
,
junto con: x = (u + v) +1 x(0) = 1.
Ahora bien, como u + v = x 1, se sigue que ) 1 ( 4 = x x x& , i. e., 4 5 = + x x& con
x (0) = 1.
Entonces, x*(t) = A e
-5t
+ 4/5 1 = x(0) = A + 4/5, por lo que A = 1/5 con lo que
x*(t) =
5
4
5
1
5
+
t
e .
De las dos primeras se sigue que u = v, por lo cual, de u + v = x 1 sale que u*(t) =
v*(t) = - ) 1 (
10
1
) 1 ) ( * (
2
1
5
=
t
e t x . Finalmente, la covariable de estado sale de
+ = x 4
&
, con =4u + 4 (de la primera), por lo que 4 4 4 + + = u x
&
,
de donde: *(t) = B e
5t
+
t
e
5
50
1
25
1

, que con la condicin de : *(1) = 0, da el
valor de B.
b) Restricciones integrales: Se quiere max

T
dt t u x F
0
) , , ( sujeto a: ) , , ( t u x f x = &

=
T
K dt t u x G
0
) , , ( , constante dada, y las condiciones extremas.
Al precio de introducir una nueva variable de estado, este problema se reformula
como uno sin restricciones: y(t) :=

t
d u x G
0
) ), ( ), ( ( , de donde = ) (t y&
24
) ), ( ), ( ( t t u t x G . Ahora, el problema es el de max

T
dt t u x F
0
) , , ( sujeto a:
) , , (
) , , (
t u x G y
t u x f x
=
=
&
&
con y(0) = 0 y(T) = K.
Ejemplo: Hallar la curva desde (0, a) hasta (1, b) de longitud dada l, que maximice
el rea encerrada por ella y por el eje de abscisas.
Entonces, se trata de max

1
0
xdt sujeto a: l =

+
1
0
2
1 dt u u x = & a x = ) 0 (
b x = ) 1 ( .
Pongamos
2
1 u y + = & , que sale de y(t) :=

+
t
dt u
0
2
1 . Ahora, el problema es el de
max

1
0
) ( dt t x sujeto a:
2
1 u y
u x
+ =
=
&
&
con
=
=
b x
a x
) 1 (
) 0 (
l y
y
=
=
) 1 (
0 ) 0 (
.
Entonces, la hamiltoniana es: H = x +
1
u +
2
(1+u
2
)
2
2
1
1
0
1
u y
u x
H
H
y
x
+ =
=
= =
= =
&
&
&
&

y el
principio del mximo exige que 0 = H
u
=
1
+
2
2
1 u
u
+

. De todo ello sale:

1
= A t

2
= B, por lo que 0 = A t +
2
1 u
Bu
+
que da u*(t) =
2 2
) ( A t B
A t

. Ahora,
como ) ( * ) ( * t u t x = & , de las condiciones extremas salen los valores de las constantes
B y C, pues x*(t) =

+
t
C d u
0
) ( * .
c) Restricciones de desigualdad: Se quiere max

T
dt t u x F
0
) , , ( sujeto a:
0 ) , , (
) , , (

=
t u x h
t u x f x&
con condiciones extremas.
El principio del mximo implica que t, u*(t) ha de ser mximo global de
H(x*(t), , *(t), t) sujeto a: h(x*(t), , t) 0. Esto puede lograrse con la funcin
lagrangiana L := F + f - h.
Entonces, las condiciones necesarias de primer orden son las siguientes. 0 = L
u

x
L =
&
h h f x = = 0 0 0 & , adems de la condicin de y las
condiciones extremas.
25
Ejemplo: Se quiere max

1
0
2
dt u sujeto a: 2 1 ) 0 ( = + = xu x u x x& .
La hamiltoniana es: H = - u
2
+ ()(x + u) L = -u
2
+ ()(x + u) - (xu -2).
Las condiciones necesarias son: = 0 = L
u
= -2u + - x
x
L u x L x = + = =

&
& =
- + x (1) = 0 x u = 2 0 0 0 = (x u - 2).
3. Programacin Dinmica
El problema tpico de la Programacin Dinmica (PD) es el siguiente. Se quiere
max(

+
1
0
)) ( ( ) ), ( ), ( (
N
N x S k k u k x F ) sujeto a: x(k+1) = f(x(k), u(k), k) x(0) = a
u(k)
k
k{0, 1, , N-1}.
Esta maximizacin se da entre las diversas sucesiones finitas (u(0), , u(N-1)).
Los datos del problema son: las funciones F : R
3
R, S: RR, f :R
3
R y los
nmeros N N, a R, as como la sucesin de subconjuntos de R : (
0
, ,
N-1
),
que dan, para cada momento k, los valores admisibles de la variable de control u(k).
Para resolver este problema suele usarse la llamada induccin regresiva, que es un
mtodo consistente en convertir un problema de mltiples etapas en varios
problemas de una sola etapa retrocediendo en el tiempo. Para ilustrarlo se da el
siguiente ejemplo.
Ejemplo: Desde una ciudad A se quiere llegar a una ciudad H, no siendo posible
hacerlo en una sola etapa. En la primera etapa se puede llegar a una de las ciudades
B, C y D. En la segunda etapa, partiendo de una cualquiera de estas ciudades, puede
llegarse a una de las ciudades E, F y G. En la tercera etapa, partiendo de una
cualquiera de stas, puede llegarse a la ciudad H. Se pretende seguir la ruta ms
corta, siendo las distancias entre ciudades las que se indican en la siguiente figura.


En la tercera etapa, las rutas ms cortas desde E, F y G hasta H son,
respectivamente, EH(3), FH(6) y GH(2).
26
En la segunda etapa, las rutas ms cortas desde B, C y D hasta H son,
respectivamente, BGH(4), CEH(7) y DGH(7).
En la primera etapa, las tres posibles rutas ptimas son ABGH(11), ACEH(15) y
ADGH(12). Luego, la ruta ptima es ABGH de longitud 11.
Propiedad de causalidad en la PD
Para dos etapas cualesquiera, j y k, ocurre que si j < k, entonces x(k) slo depende de
x(j) y de los controles u(j), u(j + 1), , u(k - 1)
Esto es claro, pues si en j el estado es x(j) y se aplica el control u(j), la ley dinmica
determina el estado x(j+1) = f (x(j), u(j), j); si en j+1 se aplica u(j+1), de nuevo, la
ley dinmica determina el estado x(j+2) = f (x(j+1), u(j+1), j+1), y as sucesivamente
hasta que x(k) resulte determinado por x(k-1) y u(k-1) segn f (, , k-1).
Entonces, cada
1 - N
0
(u(k)) determina la sucesin de estados ocupados por el sistema
en las diversas etapas:
N
0
(x(k)) . Estas dos sucesiones hacen que la funcional objetivo
alcance un valor denotado por J[x(0),
1 - N
0
(u(k)) ]. El problema de la PD consiste en
hallar el mximo valor posible, J*(a), usando como instrumento de maximizacin
todas las posibles sucesiones
1 - N
0
(u(k)) .
Teorema de Bellman:
Con el algoritmo J
N
(z) := S(z), , J
k
(z) := ))) , , ( ( ) , , ( ( max
1
k u z f J k u z F
k u
k
+
+ , ,
hasta llegar a J
0
(z), se obtendr el valor mximo buscado J*(a) como J
0
(a).
Adems, la sucesin (u*(0), , u*(N-1)) es la que permite alcanzar J
0
(a) si, y slo
si, para todo k se cumple que
J
k
(x(k)) = ))) , ), ( ( ( ) , ), ( ( ( max
1
k u k x f J k u k x F
k u
k
+
+ =
)) ), ( * ), ( ( ( ) ), ( * ), ( (
1
k k u k x f J k k u k x F
k +
+ ;
es decir, que
1
0
)) ( * (
N
k u es el control ptimo.
La ecuacin de arriba se conoce como la ecuacin de Bellman.
Principio de optimalidad de Bellman
Si
1
0
)) ( * (
N
k u es un control ptimo del problema de PD y
N
0
) (k) * x ( es la
correspondiente respuesta generada por la ley dinmica; entonces
j{1, , N -1},
1
)) ( * (
N
j
k u es un control ptimo del problema PD
j
consistente en
max
u

=
+
1
)) ( ( ) ), ( ), ( (
N
j k
N x S k k u k x F sujeto a: x(k+1) = f(x(k), u(k), k) x(j) =x*(j)
u(k)
k
k {j, , N-1}.
Ejemplo: Se quiere min
u
((u(0) - 2)
2
+ (u(1) - 4)
2
+ x(2)) sujeto a: x(0) = 1 x(1) =
3x(0) + u(0) x(2) = x(1) + 2u(1).
27
Ntese aqu que F( 0 ), 0 ( ), 0 ( u x ) = (u(0) - 2)
2
, F( 1 ), 1 ( ), 1 ( u x ) = (u(1) - 4)
2
,
S(x(2)) = x(2), x(1) = f(x(0), u(0), 0) = 3x(0) + u(0) y, finalmente, que
x(2) = f(x(1), u(1), 1) = x(1) + 2u(1).
El algoritmo del teorema de Bellman se construye como sigue.
1) J
2
(z) = S(z) = z.
2) J
1
(z) = min
u
((u-4)
2
+ J
2
(f(z, u, 1))) = min
u
((u-4)
2
+ J
2
(z + 2 u))) = min
u
((u-4)
2

+ (z + 2u)) y como (u-4)
2
+ z + 2u es u- convexa estrictamente, el mnimo global se
obtiene haciendo 0 = 2(u - 4) + 2, i.e., u* = 3, siendo el valor mnimo
correspondiente J
1
(z) = (3-4)
2
+ (z + 23) = 7 + z.
3) J
0
(z) = min
u
((u-2)
2
+ J
1
(f(z, u, 0))) = min
u
((u-2)
2
+ J
1
(3z + u)) = min
u
((u-2)
2
+
3z + u + 7) y como (u-2)
2
+ 3z + u + 7 es estrictamente u- cncava, el mnimo
global se obtiene haciendo 0 = 2 (u - 2) + 1. i.e., u* = 3/2, y el valor mnimo es
J
0
(z) = (3/2 - 2)
2
+ 3z + 3/2 + 7 = 3z + 35/4.
As, pues, el mnimo valor de la funcional del problema planteado, J*(1), se obtiene
como igual a J
0
(1) = 47/4.
Este valor se alcanza con la sucesin de controles ptimos: u*(0) = 3/2 y u*(1) = 3,
siendo la correspondiente respuesta del sistema: x*(0) = 1, x*(1) = f (x*(0), u*(0), 0)
= 3 x*(0) + u*(0) = 31 + 3/2 = 9/2 y, finalmente, x*(2) = f (x*(1), u*(1), 1) =
x* (1) + 2 u*(1) = 9/2 + 23 = 21/2.
Ejercicio: Se pide min
u
(x(0) u(0) + x(1) u(1) + x(2)
2
) sujeto a: x (k+1) = x(k)u(k) +
u(k)
2
x (0) = 2
k
= {1, -1, 0}.
Ejemplo: Se quiere repartir una cantidad C de cierto recurso entre N actividades. Si
a la actividad k se asigna una cantidad u, se genera un beneficio de u . Hallar el
reparto ptimo.
Si el estado en la etapa k se define como la cantidad que queda luego de haber
repartido a las actividades anteriores 0, , k-1; entonces puede plantearse el
problema como el de
max
u

1
0
) (
N
k u sujeto a: C x k u k x k x = = + ) 0 ( ) ( ) ( ) 1 ( = 0 ) (N x
k, )] ( , 0 [ k x
k
= .
Como S(x (N)) = 0, se tiene que J
N
(z) = S (z) = 0.
Luego, J
N-1
(z) = max
u z
( )) 1 , , ( ( + N u z f J u
N
) = max
u z
( ) 0 + u , que da
como mximo global u* (z) = z y como valor mximo J
N-1
(z) = z .
Ahora, J
N-2
(z) = max
u z
( )) 2 , , ( (
1
+

N u z f J u
N
) = max
u z
( ) u z u + .
Como la funcin u z u + es estrictamente u-cncava, pues su segunda derivada
en u es negativa, el mximo global sale de
28
0 = ) ( u z u
u
+

= )
1 1
(
2
1
u z u
, por lo que u* = z /2 [0, z].
As, resulta J
N-2
(z) = z 2 .
De manera enteramente similar, se obtienen J
N-3
(z) = z 3 con mximo global u*(z)
= z /3, y, ms generalmente, que J
N-m
(z) = mz con mximo global u*(z) = z /m.
Finalmente, J*(z) = J
N-N
(z) = Nz con mximo global u*(z) = z /N.
Por lo tanto el valor mximo de la funcional objetivo del problema planteado es
J*(C) = NC y los controles ptimos, junto con los estados generados por ellos,
son u*(0) = C/N, x*(1) = x*(0) - u*(0) = C - C/N = (1 1/N) C,
u*(1) = x*(1)/(N - 1) = C/N, x*(2) = x*(1) - u*(1) = (1 2/N) C,
u*(2) = x*(2)/(N-2) = C/N, etc.
Descuento en el problema de Control ptimo de tiempo discreto
Para el problema: max
u
(

=
+
1
0
)) ( ( ) ), ( ), ( (
N
k
N k
N x S k k u k x F ) sujeto a:
) ), ( ), ( ( ) 1 ( k k u k x f k x = + a x = ) 0 ( con los
1
, ..,
N-1
dados; la ecuacin de
Bellman tambin puede obtenerse como:
= )) ( ( )) ( ( N x S N x V
N

k {0, , N -1}, = )) ( ( k x V
k
max
u
( )) ), ( ), ( ( ( ) ), ( ), ( (
1
k k u k x f V k k u k x F
k +
+ ).
Ha de notarse que J
k
(z) es el valor mximo descontado al perodo inicial de la
funcional objetivo cuando se empieza en la etapa k en el estado z, mientras que V
k
(z)
da ese mismo valor pero sin descontar, i.e. en valor corriente del periodo k.
Obviamente, J
0
(a) = V
0
(a).
Ejemplo: Se pide min
u
(

+ +
2
0
2 3 2 2
) 5 ) 3 ( ( ) ) 2 ) ( ( ) ( ( x k k x k u
k
) con = 0.9 y
sujeto a: 0 ) 0 ( ) ( ) 1 ( ) ( ) 1 ( = + + = + x k u k k x k x .

2
3
) 5 ( ) ( = z z V .
)) 3 ( ) 4 ( ( min ) (
3
2 2
2
u z V z u z V
u
+ + + = . Como esta funcin es u-convexa, el
mnimo global sale de: 0 = 3 ) 5 3 ( 2 2 + + u z u , i.e., u* = 1.48 0.3 z.
As, = ) (
2
z V 1.1 z
2
9z + 18.47.
Similarmente, )) 2 ( ) 2 ( ( min ) (
2
2 2
1
u z V z u z V
u
+ + + = =
)) 47 . 18 ) 2 ( 9 ) 2 ( 1 . 1 ( ) 2 ( ( min
2 2 2
+ + + + + u z u z z u
u
. El mnimo global es
u* = 1.63 0.4 z, por lo que 42 . 4 63 . 3 2 . 1 ) (
2
1
+ = z z z V .
Finalmente, )) ( ( min ) 0 (
1
2
0
u V u V
u
+ = = )) 42 . 4 63 . 3 2 . 1 ( ( min
2 2
+ + u u u
u
.
El mnimo global es u*(0) = 0.65 y V
0
(0) = 2.73. Adems, se obtiene que x*(0) =
0, u*(0) = 0.65, x*(1) = 0.65, u*(1) = 1.37, x*(2) = 3.39, u*(2) = 0.46 y x*(3) =
4.77.



29
Programacin Dinmica con horizonte temporal infinito
El problema es el de maximizar J (x
0
,

=0
) (
k k
u ) := lim
N

=
1
0
) , (
N
k
k k
k
u x F sujeto a:
) , (
1 k k k
u x f x =
+
u
k
,k N; estando dados ]0, 1[ , las funciones f : R
2
R
y F: R
2
R, el conjunto de controles admisibles y el estado inicial x
0
.
Ha de notarse que el instrumento de maximizacin es la sucesin

=0
) (
k k
u pues de los
valores de x
0
y u
0
se obtendr x
1
= f (x
0
, u
0
)

, que con u
1
dar x
2
= f (x
1
, u
1
), etc.
Si se tuviera una sucesin

=0
) * (
k k
u que fuera un mximo global del problema,
entonces al valor mximo alcanzado J (x
0
,

=0
) * (
k k
u ) se lo denotar simplemente
por J (x
0
).
En este problema ha de asumirse que la funcin F es acotada, esto es, que M tal
que (x , u), F (x , u) M. De este modo desaparecen las dudas sobre la
convergencia de la serie de la funcional objetivo, pues, como es fcil comprobar,
cualquiera que sea la sucesin

=0
) (
k k
u , se tendr que J (x
0
,

=0
) (
k k
u ) M / (1-).
Para buscar una solucin del problema planteado puede recordarse el caso de la
Programacin Dinmica con horizonte temporal finito en el que se quera maximizar

=
1
0
) , (
N
k
k k
k
u x F sujeto a la misma ley dinmica y a las mismas restricciones de
arriba. En tal caso, si se designa por J
k
(z) al valor mximo del subproblema
correspondiente que empieza desde el estado z en la etapa k, y por V
k
(z) :=
-k
J
k
(z),
el algoritmo de Bellman era: V
N
(z) = 0, z; y luego V
k
(z) =
u
max ( )) , ( ( ) , (
1
u z f V u z F
k +
+ ).
Ha de notarse aqu que J
k
(z) es el valor mximo del subproblema antedicho
expresado en unidades de valor de la etapa inicial 0, mientras que V
k
(z) es el
correspondiente valor pero expresado en unidades de valor de la etapa k.
Como se comprueba fcilmente, resulta que V
0
(z) = J
0
(z).
Ahora bien, para poder generalizar ms fcilmente en el caso de horizonte temporal
infinito, conviene cambiar un poquito la notacin definiendo las funciones
V
k
* := V
N-k
k. As, se obtienen consecutivamente del algoritmo de Bellman las
funciones V*
0
, V*
1
, , V*
N
, siendo esta ltima el valor mximo buscado de la
funcional objetivo, es decir, J
0
(z).
Como puede intuirse, cuando el horizonte temporal es infinito, que el problema
empiece en la etapa 0 en cualquier otra etapa, k, poco importa siempre que el
estado inicial sea el mismo, ya que en cualquiera de estos casos hay el mismo
horizonte temporal: desde 0 hasta en el primer caso, y desde k hasta en el
segundo.
Luego, J
0
(z) = J
k
(z) y la ecuacin de Bellman es:
V*(z) = max
u
( )) , ( ( * ) , ( u z f V u z F + ).
Esta ecuacin sugiere definir un operador funcional como sigue.
Cualquiera que sea la funcin W: RR, se define el resultado de operarla por T
como la funcin T(W): RR, que a cada z de R, le asigna por imagen
T(W)(z) := max
u
( )) , ( ( ) , ( u z f W u z F + ).
Conviene, adems definir las iteraciones del operador T mediante: T
0
(W):= W,
T
1
(W):= T(W), T
2
(W):= T(T(W)), , T
k+1
(W):= T
k
(W), etc.
30
Entonces, se demuestran los dos siguientes lemas que han de permitir resolver el
problema por aproximaciones sucesivas cuando no con toda exactitud.

Lema 1: Cualesquiera sean las funciones W y W, si W W, (i.e. z, W(z)W(z)),
entonces k, T
k
(W)(z) T
k+1
(W)(z), es decir, que las iteraciones del operador
preservan el eventual orden de las funciones.

Esto se expresa como que el operador T es montono.

Lema 2: Si se define la funcin constante e: RR por e(z) := 1 z, entonces r de
R y para toda funcin W, se tiene que k, T
k
(W+re)(x) = T
k
(W)(x) +
k
r.

Esta propiedad suele referirse diciendo que el operador T descuenta.

Finalmente, se obtienen dos fundamentales teoremas para el problema planteado.

Teorema 1: Cualquiera sea la funcin W, el lim
k
T
k
(W)(z) = J (z), z .

Teorema 2: La funcin de valor mximo, J, es el nico punto fijo del operador T, es
decir, que J = T(J), esto es, que J(z) = max
u
( )) , ( ( ) , ( u z f J u z F + ), z .

Segn el primer teorema, puede iniciarse un proceso iterativo desde cualquier
funcin a la que repetidamente se le aplicar el operador T, de modo que cada vez se
obtendr una funcin ms y ms aproximada a la solucin buscada, esto es, la
funcin J.
Segn el segundo teorema, la solucin es nica y por satisfacer a la ecuacin de
Bellman, podr ser posible en ciertos casos conjeturar la forma de ella, con lo que, al
imponer la satisfaccin de dicha ecuacin, se podr determinar con toda precisin
cul es la funcin solucin. Esto se ilustra con el siguiente ejemplo.

Ejemplo: Se quiere

=0
(.)
) ( ln max
t
t
c
t c sujeto a:
t t t
c k k =
+

) (
1
] ) ( , 0 [

t t
k c ,
t estando dado el valor inicial k
0
, as como las constantes positivas menores que
1, y . Se busca la funcin de valor mximo, J (k), para cualquier estado inicial k.
Aplicando el proceso iterativo del teorema 1, se puede partir de una funcin
cualquiera, por ejemplo, la funcin nula V
0
(k) = 0, k. A sta se la aplicar el
operador T obtenindose la funcin
V
1
(k) = max{

k c c k V c + 0 : ) ( ln
0
} = max{

k c c 0 : ln } = k ln , ya
que el nico mximo global del lado derecho es k

.
A continuacin, volviendo a aplicar el operador a la funcin V
1
se obtendr la
funcin V
2
(k) = max{

k c c k V c + 0 : ) ( ln
1
} =
max{

k c c k c + 0 : ) ln( ln } = (1+) ln k (1+) ln (1+) + ln
, ya que el nico mximo global del lado derecho es c = k

/(1+) que [0, k

].
Observando las formas de estas dos funciones obtenidas, V
0
y V
1
, puede notarse que
ellas coinciden en ser una constante por ln k ms otra constante. Lo nico diferente
entre ellas son los valores de las constantes. Luego, es razonable conjeturar que la
31
forma definitiva de la funcin J buscada es tambin as, es decir, que J(k) = A ln k +
B, donde A y B son constantes por determinar.
Como la funcin J ha de satisfacer la ecuacin de Bellman, de esto han de seguirse
los valores de A y B: A ln k + B = max {ln c + (A ln (k

-c) + B) :

k c 0 }.
Resolviendo este pequeo problema de maximizacin, resulta que el nico mximo
global es c = (1+A)
-1
k

, con lo cual el lado derecho es igual a:

(+A) ln k + B + A ln (A) (1+A) ln (1+A).
Igualando ambos miembros, el derecho y el izquierdo, salen los valores de las
constantes: A = /(1-) y B=/(1- ).
As, la funcin de valor mximo ser: J(k) = ) 1 ln( ) ln(
1
ln
1

k .



.