Documentos de Académico
Documentos de Profesional
Documentos de Cultura
1. Cálculo de Variaciones
Formulación del problema (PCV): Dados los momentos t0 < t1 en , la función de clase
C2, F: 3, y los estados a y b en ; se quiere hallar una función de clase C2, x() que
t1
Ejemplo: Hallar la función real de variable real cuya gráfica tenga longitud mínima
entre las que pasan por dos puntos dados, (a, ) y (b, ), siendo a b.
b
Este problema se formula como: min a
1 x (t )2 dt sujeto a: x (a) = x (b) = .
Nociones preliminares:
En el conjunto de las funciones reales de clase C2 definidas en [t0 , t1] se definen las
operaciones de adición y de multiplicación por escalares así:
1º) Si x y , entonces x + y : [t0, t1] , se define por (x + y) (t):= x(t) + y(t). 2º)
Si x , entonces x : [t0, t1] , se define por ( x)(t):= x(t).
Se comprueba fácilmente que , provisto de estas dos operaciones, es un espacio
vectorial real. Ahora bien, en dicho espacio vectorial se define una norma así:
x:= max {|x(t)|: t[t0, t1]}.
Ejemplos: Si t0 = 1 y t1 = 5, entonces para x(t) = t2, será x = max {t2 : t [1, 5]} =
25; y si y(t) = 1 + t – t2/4, se tendrá y = max {|1 + t – t2/4| : t [1, 5]} = 2.
Dada una norma en un espacio vectorial, ella induce una métrica en él, i. e., una función
de distancia entre elementos del espacio, como se indica a continuación. Si x y y son
elementos de , entonces la distancia entre ellos será d (x, y):= x - y.
Así, para las funciones del ejemplo sería d(x, y) = max{|t2 – (1 + t – t2/4)|: t[1, 5]} =
25.
Teniendo ya una métrica el espacio vectorial, en él puede definirse la bola abierta de
centro x y de radio r como B(x, r):= {z : d(x, z) < r}.
En el contexto de optimización, se distingue entre máximo global y máximo local.
El primero es el que lleva a su máximo valor posible a la integral de la función objetivo;
el segundo es uno tal que en alguna bola abierta centrada en él, ningún otro elemento
lleva a la integral de la función objetivo a un valor mayor que el que alcanza con el
máximo local. Así, x* de es un máximo global del PCV si y de ,
t1 t1
Pero, una x de es un máximo local del PCV si r > 0 tal que y de B(x, r), se tiene
t1 t1
que F ( x(t ), x(t ), t )dt F ( y(t ), y (t ), t )dt si es que y(t0) = a = x(t0) y(t1) = b = x(t1).
t0 t0
Ejemplo:
b
Para el PCV de la página anterior, min
a
1 x (t )2 dt sujeto a: x (a) = x (b) = ,
b
vemos que, ya que él equivale a: max 1 x (t )2 dt sujeto a: x (a) = x (b) = ,
a
x
se tendrá : F ( x(t ), x (t ), t ) = 1 x (t ) 2 , por lo que Fx = 0 y Fx .
(1 x 2 )
Entonces, la ecuación de Euler es: 0 = ( 1 x (t ) 2 )-3/2 x , i. e., 0 = x , ya que el otro factor
es distinto de 0. Las soluciones de esa ecuación diferencial son todas las que se obtienen
dando valores arbitrarios a los parámetros h y k en x(t) = h + kt. Entre ellas, las
condiciones extremas exigen que = h + a k = h + kb, de donde sólo queda que k =
( - )/(b - a) h = - a ( - )/(b - a). Luego, si el problema tuviera solución, ella
habría de ser la función x (t) = - a ( - )/(b - a) + (( - )/(b - a)) t.
2
Otro ejemplo: Se pide max (12tx x 2 )dt sujeto a: x(0) = 2 x(2) = 12.
0
d
La ecuación de Euler resulta ser: 0 = -12 t - ( 2 x ) = -12t + 2 x , i. e., x = 6t.
dt
Entonces, integrando, se obtienen todas las extremales (así se llaman las soluciones de
la ecuación de Euler). Ellas son dadas por x(t) = t3 + ht + k. Las condiciones extremas
exigen que 2 = k 12 = 8 + 2h +k, de donde, h = 1 k = 2, por lo que la única
candidata a solución es la función x (t) = t3 + t +2.
1
Ejemplo: max (t 2 x 2 )dt sujeto a: x(0) = 1 x(1) = 2.
0
La ecuación de Euler es: -2 x = h , de donde x(t) = -ht/2 + k, que con las condiciones
extremas da: 1 = x(0) = k 2 = x(1) = -h/2 + k. De esto resulta que h = -2 k = 1, por lo
que la única posible solución es x(t) = t + 1.
Ejemplo:
1
Se pide min (t x 2 )3 dt sujeto a: x(0) = x(1) = , con y dados.
0
La ecuación de Euler es: 0 = Fx = 3 (-t + x2) 2x, de donde t, x(t) = 0 x(t) = t .
Hay cuatro casos posibles:
(i) = 0 = ; entonces la única posible solución continua sería x(t) = 0 t ;
(ii) = 0 = 1; entonces la única posible solución continua sería x(t) = t t ;
(iii) = 0 = -1; entonces la única posible solución continua sería x(t) = - t , t .
En cualquier otro caso, no habría solución al problema planteado.
H
Entonces, (2 – 3x x 2 ) - (-6x x ) x = h, de donde xx 2 H (cte.). Así, pues, x , de
x
3
donde x dx = ( H t K ) , que con las
H dt ; ahora, de esto se sigue que x3/2 =
2
condiciones extremas dan: K = 0 H = 4/9. Por lo tanto, la única posible solución sería
la función x(t) = t2/3.
la ecuación de Euler es 0 = (2x + 2et) – d(2 x )/dt , que equivale a: x x et , cuya
4
t
solución general es x(t) = A et + B e-t + et . Las condiciones extremas dan como única
2
e t
posible solución a la función x(t) = (et et ) et . Como Fxx = 2, sólo se
2(1 e) 2
cumple la condición de Legendre necesaria para un mínimo local. Así, no hay solución
para el problema si se trata de maximizar, pero quizá sí la haya para el problema de
minimizar.
Condiciones de transversalidad
El PCV planteado es uno de momentos inicial y final dados así como de estados inicial
y final también dados. Además de éste, hay otros tipos de problemas, a saber:
a) problema de estado final libre pero estado inicial y momentos inicial y final dados;
b) problema de estado y momento finales libres pero estado y momento iniciales dados;
c) problema de momento final libre pero estado final y momento y estado iniciales
dados;
d) problema de estado y momentos iniciales parcialmente determinados por cierta
ecuación dada: 0 = g(t, x), con estado y momento iniciales dados.
En todos estos casos siguen vigentes las condiciones necesarias dadas por la ecuación
de Euler y la condición de Legendre, pero aparece una nueva condición necesaria, a
saber, la llamada condición de transversalidad que se abreviará por Ŧ.
Para enunciarla, se requiere definir el vector de ortogonalidad : v := (F - xFx , Fx ) .
Ahora bien, el enunciado general de la condición Ŧ es el siguiente.
En el punto terminal (t1*, x(t1*)) de una curva óptima, x*(), el vector de ortogonalidad,
v , ha de ser perpendicular (u ortogonal) a cualquier dirección admisible1 desde el
punto terminal.
Veamos qué se sigue de esto en cada uno de los casos antes mencionados.
Caso (a): Como la única dirección admisible es la vertical, el v ha de ser horizontal, por
lo cual su segundo componente ha de ser nulo, i. e., Ŧ es: 0 = Fx ( x * (t1 ), x * (t1 ), t1 ) .
Caso (b): Como toda dirección desde el punto terminal (t1, x*(t1)) es dirección admisible
puesto que son libres el momento y el estado finales, entonces el v ha de ser el vector
nulo. i. e., Ŧ es:
0 = F ( x * (t1 ), x * (t1 ), t1 ) - x (t1 ) Fx ( x * (t1 ), x * (t1 ), t1 ) 0 = Fx ( x * (t1 ), x * (t1 ), t1 ) .
Ha de notarse que esto equivale a:
F ( x * (t1 ), x * (t1 ), t1 ) = 0 0 = Fx ( x * (t1 ), x * (t1 ), t1 ) .
Caso (c): como en este caso la única dirección admisible desde un punto terminal es la
horizontal, el v ha de ser vertical, por lo cual su primer componente habrá de anularse
en el punto terminal, i. e., Ŧ es: 0 = F ( x * (t1 ), x * (t1 ), t1 ) - x (t1 ) Fx ( x * (t1 ), x * (t1 ), t1 ) .
Caso (d): Como en este caso la única dirección admisible desde el punto terminal es la
de la recta tangente en dicho punto a la gráfica de la función 0 = g (t, x), se deduce que
1
Se llama dirección admisible desde el punto terminal a cualquier recta tangente a una curva que parta
desde dicho punto terminal y satisfaga las condiciones finales dadas durante un lapso positivo.
5
Ejemplos
2
1) Se pide optimizar (tx x 2 )dt sujeto a: x (0) = 0. Entonces, la ecuación de Euler
0
d
es: 0 = (t 2 x ) , de donde se sigue que ha de ser constante la expresión t 2x .
dt
Esta ecuación se resuelve fácilmente dando como solución general x (t) = -t2/4 +
kt/2 + h. La condición inicial da por resultado que 0 = h. Así, sólo quedan como
posibles soluciones las funciones de la forma x (t) = -t2/4 + kt/2. Veamos lo
referente a la condición de Legendre: como Fxx (en t = 2) = 2 0, se ve que sólo
puede haber mínimos locales. Finalmente, la condición de Ŧ exige que 0 = Fx (en t
= 2) = (t 2 x ) |t = 2 = 2 + 2(-1 + k/2) = k, por lo que la única posible solución es
x*(t) = -t2/4.
1
2) Se pide optimizar ( x 2 x 2 )dt sujeto a: x(0) = 0 x(1) 1.
0
d
La ecuación de Euler es: 0 = 2 x (2 x ) 0 x x , de donde se sigue que las
dt
extremales del problema son dadas por x(t) = Aet + Be-t, que con la condición inicial
da 0 = A + B, por lo que las extremales se reducen a x(t) = A(et - e-t).
Además, ya que x(1) 1, ha de ser A(e - e-1) 1, de lo que se sigue que A > 0.
La condición de Legendre: Fxx = 2 0, de donde se sigue que sólo puede haber
mínimos locales.
Ahora, supongamos, momentáneamente, que x(1) > 1; entonces la condición de Ŧ
implicaría que 0 = Fx |t = 1 = 2x (1) = 2 A (e - 1/e), que es imposible ya que A ha de
ser positivo como se estableció cinco líneas más arriba.
De todo esto concluimos que x(1) = 1, i. e., A = e /(e2-1), y que la única posible
e
solución es x* (t) = 2 (e t e t ) .
e 1
t1
d
La ecuación de Euler: 0 = 10t (2 x ) 10t 2 x por lo que las extremales son
dt
5
dadas por x 5t 2 / 2 h x(t ) t 3 ht k . Con la condición inicial se obtiene
6
g g
2
Recuérdese que el gradiente de una función g (t, x) := ( , )
t x
6
5 3
que las extremales se reducen a x (t) = t ht 1 .
6
La condición de Legendre: Fxx = 2 0, por lo que sólo puede haber mínimos
locales.
La condición de Ŧ: 0 = ( F xFx ) |pto. term. 0 = Fx |pto. term.. Así, se obtiene que
5 2 5 3 5 2
2( t1 h ) = 0 0 ( x 2 10tx 2 x 2 ) 10t1 ( t1 ht1 1) ( t1 h) 2 .
2 6 2
Finalmente, de estas dos últimas condiciones se obtiene que t1 = (3/5)1/3 h =
5 3 2/3
( ) , por lo que la única posible solución es x (t) = (5/6) t3 – (5/2)(3/5)2/3t + 1,
2 5
con t1 = (3/5)1/3.
t1
d
La ecuación de Euler: 0 = 1 - (6 x ) = 1 - 6x , por lo que las extremales son dadas
dt
1 t2
por x t h x(t ) ht k . Ahora, con la condición inicial sale que k = 0.
6 12
La condición de Legendre: Fxx 6 0 , por lo que sólo puede haber mínimo local.
2
t1
La condición terminal: 5 = x (t1) = ht1 .
12
La condición de Ŧ: 0 = ( F xFx ) |pto. term.= ( x 3x 2 ) |.= 5 – 3 (t1/6 + h)2.
De estas dos últimas condiciones se obtiene que t1 = 60 h = 0, por lo que la
única posible solución es x (t) = t2/12.
5) Encontrar, si existe, la senda más corta desde el punto (0, 1) hasta la recta de
ecuación: x = 3t. El problema puede ponerse en la forma típica del cáculo de
t1
d x x
La ecuación de Euler: 0 = ( ) , de donde resulta: constante, por lo
dt 1 x 2
1 x 2
que queda x = h, es decir, x = h t + k, y con la condición inicial se obtiene k = 1.
1
La condición de Legendre: Fxx > 0, por lo que sólo puede haber
(1 x 2 )3 / 2
mínimos locales. De la condición terminal se obtiene h t1 + 1 = 3 t1. (i)
La condición de Ŧ : v (pto. term.) // grad (pto. term.), donde (t , x) := - 3 t + x.
F xFx 1
Esto es: - 3 = ( ) |pto. term. , i. e., h = x (t1 ) (ii)
Fx 3
lo que con (i) da que t1 = 3/10.
Entonces, la única posible solución es la función x (t) = 1 – t /3 con t1 = 3/10.
Han de considerarse algunas variantes del problema típico del Cálculo de Variaciones.
La diferencia entre ellas consiste en la condición final solamente. Así, los problemas
que han de ocuparnos ahora son:
t1
t1
t1
1
Ejemplo: Se quiere min ( x 2 x 2 )dt sujeto a: x (0) = 1 x (1) libre.
0
La función F es convexa en ( x , x ) pues su matriz hessiana correspondiente a esas
F Fxx 2 0
variables es positivo-definida, ya que xx , matriz todos cuyos
Fxx Fxx 0 2
autovalores son positivos. Así, la posible solución hallada mediante la ecuación de
Euler, la condición de Ŧ y la condición inicial, a saber x*(t) = (1 + e2)-1 (et + e2-t), es un
mínimo global.
en donde son datos los momentos t0 y t1 así como las funciones F(, , ) y S() .
Teorema: Una función x() es un máximo local del problema PCV sólo si satisface la
d
ecuación de Euler: 0 = Fx Fx , la condición de Legendre: Fxx 0 , la condición
dt
inicial y la nueva condición de Ŧ : 0 = ( Fx S ( x(t )) )|pto. term..
8
Demostración:
t1
d
Como
dt
S ( x(t )) S ( x(t )) x (t ) , se tiene que S ( x) xdt S ( x(t )) S ( x(a)) .
t0
1
t1
una función equivale (en términos de soluciones) a maximizar dicha función sumada
con una constante cualquiera, el problema puede formularse como el de
t1
d d
Para éste, la ecuación de Euler es: 0 = Fx S ( x) x ( Fx S ( x)) = Fx Fx .
dt dt
2
La condición de Legendre: 0 ( F S ( x) x ) ( Fx S ( x)) Fxx .
x 2
x
La condicición de Ŧ : 0
x
( F ( x, x, t ) S ( x) x ) |pto. term.= ( Fx S (x) )|pto. term..
Fxx en ( x , x ).
La condición suficiente es que F sea ( x , x )-cóncava para todo momento t.
1
Ejemplo: Se pide min ( x1 x22 2 x1 )dt sujeto a: x (0) = (1, 0) x (1) = (3/2, 1).
2
F ( x, x, x,..., x
(n)
Ahora el problema es: max , t )dt sujeto a:
t0
x(t0 ) a x (t0 ) a1 ... x ( n 1) (t0 ) a n 1 x(t1 ) b x (t1 ) b1 ... x ( n 1) (t1 ) b n 1
d d2 dn
La ecuación de Euler-Poisson es: 0 = Fx Fx 2 Fx ... (1) n n Fx( n ) .
dt dt dt
1
Ejemplo: Se quiere min x2 dt sujeto a: x(0) = 0 = x(1) x (0) a x (1) b .
0
d d2 d2
La ecuación de Euler-Poisson es: 0 = Fx Fx 2 Fx = 0 – 0 + 2 (2 x) = 2 x(4).
dt dt dt
3 2
De esto se sigue que x(t) = h t /6 + k t /2 + l t + m.
Las condiciones extremas dan: m = 0 l = a h = 6 (a + b) k = -2 (b + 2a), luego x(t)
= (a + b) t3 – (b + 2a) t2 + at es la única posible solución. Además se verifica fácilmente
que se cumplen las condiciones de Legendre y la de concavidad.
Interpretación económica:
Esto equivale a hallar una x* () que maximice ( ( x (t )) cx(t ))dt sujeto a:
t0
x(t 0 ) x0 x(t1 ) 0 .
Se asume que () es estrictamente cóncava y que después del momento t1 el producto
es nulo.
d d d
Entonces, la ecuación de Euler es: 0 = Fx Fx = -c + (q ) , i. e. , c = (q ) =
dt dt dt
d
( q)(t ). Como c es constante, se sigue que ct + h = (q(t)).
dt
Puesto que () < 0, ()-1, por lo cual ()-1(ct + h) = q(t) = - x (t ) , de donde x (t) = k
t1 t
+ () (ct h)dt x0 x(t0 ) k 0 , de donde k = x0 x(t) = x0 - () 1 (ct h)dt .
1
t0 t0
1 1
Si, por ejemplo, (q) = q , entonces (q) = () 1 ( z ) , luego
2 q 4z 2
t0
1 1
t t
1
() (ct h)dt
1
dt con lo que
t0 t0
4(ct h) 2
4c ct h
t
1 1 1 1 1 1
x(t ) x0 ( ) 0 x(t1 ) x0 ( ) de donde sale el
4c ct h ct0 h 4c ct1 h ct0 h
valor de h . Como Fxx ( x ) < 0, puede haber máximo local. F es ( x , x )-cóncava, así
que sí hay máximo global.
d d d
La ecuación de Euler: 0 = Fk Fk u(c)( f (k ) ) u(c) , y como u (c) =
dt dt dt
u(c)
u() c , se obtiene: c ( f (k ) ) . Esta ecuación y la que se obtiene de la ley
u(c)
dinámica: k f (k ) k c , forman un sistema de dos ecuaciones diferenciales no
lineales.
Se obtiene un equilibrio, (k*, c*), del sistema imponiendo las condiciones de nulidad de
las velocidades de cambio k y c . Así, k* = (f)-1() y c* = f (k*) - k*.
11
Puede comprobarse que, debido a las asunciones hechas, este equilibrio es uno del tipo
de ensilladura. En efecto, la matriz jacobiana del sistema evaluada en el equilibrio es:
f (k*) 1
J* = u(c*) . Ya que su traza es J*11 = 0 y su determinante J*21 < 0 , se
f (k*) 0
u (c*)
deduce que los autovalores de J* son de signos opuestos, por lo que el equilibrio
correspondiente ha de ser una ensilladura.
Ejemplo
En el modelo de crecimiento de Ramsey con horizonte temporal infinito:
max u (c)e t dt sujeto a: f (k) = c + k + k k(0) = k0 k() = k , la condición de Ŧ
0
2.Control Óptimo
Formulación de Bolza
t1
control, {t : t[t0 , t1]}. A la variable x, fácilmente reconocible por ser aquella cuya
derivada temporal aparece en la ley dinámica x f ( x, u, t ) , se la llama variable de
estado, así como a la u se la llama variable de control. Si no se especifica cuál es la
familia de los t , entenderemos que todos ellos son , es decir, que cualquier valor
numérico es admisible para la variable de control en cualquier momento.
Es de notarse que en este problema hay una jerarquización natural entre las variables de
estado y de control, siendo la principal esta última, pues para cada forma específica que
ella asuma, en condiciones bastante generales, hay sólo una forma funcional para la
variable de estado correspondiente, ya que, entonces, la ley dinámica se habría
convertido en una ecuación diferencial en la variable de control. Teniendo en cuenta que
los términos “causa” y “efecto” son de muy discutible precisión, parece preferible
interpretar a las variables de control y de estado como “estímulo” y “respuesta”,
respectivamente.
Formulación de Mayer
PCOM : max S (x (t1)) sujeto a x f ( x, u, t ) x(t0 ) a u(t ) t t .
Resulta evidente que es esta formulación un caso particular de la de Bolza y que
corresponde al caso en que en ésta se da la función nula en el papel de la F.
Que la de Bolza sea representable como la de Mayer es algo que se muestra a
continuación.
Defínanse las variables x1 y x2 así: x1 := x x2 := F(x1, u, t) con x2(t0) = 0. Entonces, el
t1
x1 f ( x1 , u , t )
, donde S(x1, x2) := x2.
x2 F ( x1 , u , t )
Formulación de Lagrange
t1
Condiciones necesarias para que una u*(), con su respuesta x*(), den un máximo local
del problema PCOL
13
1) Ha de haber una función *(), llamada covariable de estado, tal que t, sea
* (t ) H x ( x*, u*, t ) * (t1 ) 0 x * (t ) f ( x*, u*, t ) x * (t0 ) a , en donde
la función H, llamada hamiltoniana¸se define como H (x, u, , t) := F(x, u, t) +
f(x, u, t).
Las ecuaciones diferenciales x f ( x, u, t ) y * (t ) H x ( x*, u*, t ) se conocen
como las ecuaciones canónicas.
2) t [t0 , t1], u*(t) ha de ser un máximo global de H(x*(t), , *(t), t). Ésta
condición se conoce como principio del máximo de Pontriaguin.
1
Ejemplo: max ( x u )dt sujeto a: x 1 u 2 x(0) 1 .
0
Ejemplos
5
1) max (ux u 2 x 2 )dt sujeto a: x x u x(1) 2 .
1
3
La definición de dirección admisible es la misma que la que se usó en Cálculo de Variaciones.
14
2
4) Se pide max (2 x 3u u 2 )dt sujeto a: x x u x(0) 5 t, t [0, 2].
0
Entonces, H = 2 x 3u u 2 ( )( x u ) H x 2 (2) 0 .
De estas dos últimas sale: * (t ) 2(e2 t 1) .
Como H es u-cóncava, parecería oportuno intentar la aplicación del principio de
Pontriaguin mediante 0 = Hu, lo que daría como único máximo global de H ,
vista sólo como función de la variable de control, que u = (½) ((t) - 3).
Sin embargo, la dificultad radica en que algunos de tales valores de u podrían no
caer en el intervalo [0, 2]. En efecto,
0 (½) ( - 3) 2 ssi 0 ( - 3) 4 ssi 3 7 ssi 2e2/9 et 2e2/5.
Esto equivale a: ½ 1 := 2 – ln 4.5 t 2 –ln 2.5 =: 2 1.05.
Entonces, sólo para t [1 ,2] puede usarse la igualdad 0 = Hu como expresión
del principio de Pontriaguin. Fuera de ese intervalo el valor de u*(t) tiene que
ser 0 ó 2. Esto se ilustra en la siguiente gráfica.
Interpretación económica
t1
se define la “función valor”, V*, como aquella que a cada estado y momento inicial
posibles, (z, t´), asigna el valor máximo que puede alcanzarse con el subproblema que se
inicia en t´ desde el estado z, esto es,
V*: ×[t0 , t1] ,
t1
Teorema (de Mangasarian): Si F y f son funciones (x, u)-cóncavas y, caso que f(x, u, t)
no sea lineal en (x, u), la covariable de estado, *(), que sale junto a u*() y x*() de las
ecuaciones canónicas y del principio del máximo, es innegativa; entonces u*() es el
control óptimo.
Notas:
1)La premisa de este teorema puede formularse así:
(F y f son funciones (x, u)-cóncavas t) (f (x, u, t) no es lineal en (x, u) *(t) 0).
También puede adoptar la forma:
(F y f son funciones (x, u)-cóncavas) (f (x, u, t) es lineal en (x, u) *(t) 0).
17
1
Ejemplo: En max ( x u )dt sujeto a: x 1 u 2 x(0) 1 , se ve que F y f son (x, u)-
0
cóncavas y como f(x, u, t) no es (x, u)-lineal, debe tenerse que *() sea innegativa para
que se cumplan las condiciones suficientes de Mangasarian.
Como H = x + u + ()(1 – u2), la segunda ecuación canónica es H x 1 con (1)
= 0 y, por la condición de Ŧ: *(1) = 0, se sigue que *(t) = 1 – t, que en [0, 1] es 0.
1 1
Luego, el control óptimo es la u* (t) = , que sale del principio del
2 * (t ) 2(1 t )
máximo: 0 = Hu.
5
Ejemplo: En max (ux u 2 x 2 )dt sujeto a: x x u x(1) 2 , se ve que
1
0 0
f ( x, u , t ) x u es (x, u)-cóncava, pues es lineal, por lo que su hessiana es
0 0
negativo-semidefinida.
2 1
La función F ( x, u , t ) tiene hessiana en (x, u): , que es negativo-semidefinida,
1 2
pues sus menores principales valen -2 y 3. Como f ( x, u , t ) es ( x, u ) -lineal, no hay nada
que exigir a la función *(). Luego, se cumplen las condiciones suficientes de
Mangasarian, por lo que el control u*() que salga con x*() y *() será óptimo (Ver el
ejem. 1 de la pag. 14).
1
Ejemplo: En el problema de min ( u 2 dt x(1) 2 ) sujeto a: x x u x(0) 1 , ya se
0
sabe que puede adoptarse la formulación de Lagrange, puesto que por ser S(x) = x2, se
1
d d
tiene que S ( x(t )) S ( x(t )) x (t ) 2 x(t )( x(t ) u (t )) . Además, ya que S ( x(t ))dt =
dt 0
dt
S(x(1)) – S(x(0)) = x(1) – 1, y que la constante 1 en la funcional objetivo, como
2
sumando ó sustraendo no afecta a los óptimos del problema; resulta equivalente pedir:
1
max (u 2 2 x( x u )) dt sujeto a: x x u x(0) 1 . Ahora resulta que F es (x, u)-
0
4 2
convexa, pues su hessiana tiene menores principales 4 y 4; además, f , por ser
2 2
lineal en (x, u), es convexa. Igual que antes, la condición: “si f no es lineal en (x, u),
entonces *() 0” se cumple trivialmente ya que f sí es lineal. Valen, pues, las
2e 2 t
condiciones suficientes de Mangasarian, por lo que la función u*(t) = 2 e , del
e 1
ejemplo 3 de la página 14, es óptimo.
Hay otra condición suficiente para máximo global en el PCOL debida a Arrow.
18
1
Resulta que H0(x, , t) = x + + , que es x- cóncava (pues es x- lineal), por lo que se
4
1
cumplen las condiciones suficientes de Arrow, y así, el control u* (t) = ya
2(1 t )
hallado en la página 18, es óptimo.
pues 0 = x (0).
Además, la segunda parte de la condición de Ŧ es: 0 = H ( x(t1 ), u(t1 ), (t1 ), t1 ) ,
de donde, como x(t1 ) t1 / 3 (2 t1 )t1 (t1 ) 0 u (t1 ) 1 / 2 , se obtiene que
3 2
Principio del máximo: t, u*(t) ha de ser máximo global de H (x*(t), , *(t), t).
Pero H (x*(t), u, *(t), t) H (x*(t), u, *(t), t) ssi (x*(t), u, *(t), t)
(x*(t), u, *(t), t), de donde se sigue que el principio del máximo en términos de
la hamiltoniana de valor corriente es así:
t, u*(t) ha de ser máximo global de (x*(t), , *(t), t).
x x 4(u v) x (u v) 1 x ( 0) 1 .
0 L u - 4u - 4 Lx 4 x
Así, las condiciones necesarias son: ,
0 Lv 4v 4 x L x 4(u v)
junto con: x = (u + v) +1 x(0) = 1.
Ahora bien, como u + v = x – 1, se sigue que x x 4( x 1) , i. e., x 5x 4 con
x (0) = 1.
Entonces, x*(t) = A e-5t + 4/5 1 = x(0) = A + 4/5, por lo que A = 1/5 con lo que
1 4
x*(t) = e 5t .
5 5
De las dos primeras se sigue que u = v, por lo cual, de u + v = x – 1 sale que u*(t) =
1 1
v*(t) = - ( x * (t ) 1) (e 5t 1) . Finalmente, la covariable de estado sale de
2 10
4 x , con =4u + 4 (de la primera), por lo que 4 x 4u 4 ,
1 1
de donde: *(t) = B e5t + e 5t , que con la condición de Ŧ: *(1) = 0, da el
25 50
valor de B.
T
b) Restricciones integrales: Se quiere max F ( x, u, t )dt
0
sujeto a: x f ( x, u, t )
T
G ( x(t ), u (t ), t ) . Ahora, el problema es el de max F ( x, u, t )dt sujeto a:
0
x f ( x, u, t )
con y(0) = 0 y(T) = K.
y G ( x, u , t )
Ejemplo: Hallar la curva desde (0, a) hasta (1, b) de longitud dada l, que maximice
el área encerrada por ella y por el eje de abscisas.
1 1
Entonces, se trata de max xdt sujeto a: l =
0 0
1 u 2 dt x u x(0) a
x (1) b .
t
Pongamos y 1 u 2 , que sale de y(t) :=
0
1 u 2 dt . Ahora, el problema es el de
1
x u x(0) a y (0) 0
max x(t )dt sujeto a:
0
y 1 u 2
con
x(1) b
y (1) l
.
1 H x 1
2 H y 0
Entonces, la hamiltoniana es: H = x + 1u + 2 (1+u2) y el
x u
y 1 u 2
2 u
principio del máximo exige que 0 = Hu = 1 + . De todo ello sale: 1 = A – t
1 u2
Bu tA
2 = B, por lo que 0 = A – t + que da u*(t) = . Ahora,
1 u 2
B (t A) 2 2
T
x f ( x, u , t )
c) Restricciones de desigualdad: Se quiere max F ( x, u, t )dt sujeto a:
0
h ( x, u , t ) 0
con condiciones extremas.
El principio del máximo implica que t, u*(t) ha de ser máximo global de
H(x*(t), , *(t), t) sujeto a: h(x*(t), , t) 0. Esto puede lograrse con la función
lagrangiana L := F + f - h.
Entonces, las condiciones necesarias de primer orden son las siguientes. 0 = Lu
Lx x f h 0 0 0 h , además de la condición de Ŧ y las
condiciones extremas.
1
Ejemplo: Se quiere max u 2 dt sujeto a: x x u x(0) 1 xu 2 .
0
3. Programación Dinámica
Para resolver este problema suele usarse la llamada inducción regresiva, que es un
método consistente en convertir un problema de múltiples etapas en varios
problemas de una sola etapa retrocediendo en el tiempo. Para ilustrarlo se da el
siguiente ejemplo.
Ejemplo: Desde una ciudad A se quiere llegar a una ciudad H, no siendo posible
hacerlo en una sola etapa. En la primera etapa se puede llegar a una de las ciudades
B, C y D. En la segunda etapa, partiendo de una cualquiera de estas ciudades, puede
llegarse a una de las ciudades E, F y G. En la tercera etapa, partiendo de una
cualquiera de éstas, puede llegarse a la ciudad H. Se pretende seguir la ruta más
corta, siendo las distancias entre ciudades las que se indican en la siguiente figura.
En la primera etapa, las tres posibles rutas óptimas son ABGH(11), ACEH(15) y
ADGH(12). Luego, la ruta óptima es ABGH de longitud 11.
Propiedad de “causalidad” en la PD
Para dos etapas cualesquiera, j y k, ocurre que si j < k, entonces x(k) sólo depende de
x(j) y de los controles u(j), u(j + 1), …, u(k - 1)
Esto es claro, pues si en j el estado es x(j) y se aplica el control u(j), la ley dinámica
determina el estado x(j+1) = f (x(j), u(j), j); si en j+1 se aplica u(j+1), de nuevo, la
ley dinámica determina el estado x(j+2) = f (x(j+1), u(j+1), j+1), y así sucesivamente
hasta que x(k) resulte determinado por x(k-1) y u(k-1) según f (, , k-1).
Teorema de Bellman:
Ejemplo: Se quiere minu ((u(0) - 2)2 + (u(1) - 4)2 + x(2)) sujeto a: x(0) = 1 x(1) =
3x(0) + u(0) x(2) = x(1) + 2u(1).
Nótese aquí que F( x(0), u (0),0 ) = (u(0) - 2)2, F( x(1), u (1),1 ) = (u(1) - 4)2,
S(x(2)) = x(2), x(1) = f(x(0), u(0), 0) = 3x(0) + u(0) y, finalmente, que
x(2) = f(x(1), u(1), 1) = x(1) + 2u(1).
26
2º) J1 (z) = minu ((u-4)2 + J2 (f(z, u, 1))) = minu ((u-4)2 + J2 (z + 2 u))) = minu ((u-4)2
+ (z + 2u)) y como (u-4)2 + z + 2u es u- convexa estrictamente, el mínimo global se
obtiene haciendo 0 = 2(u - 4) + 2, i.e., u* = 3, siendo el valor mínimo
correspondiente J1 (z) = (3-4)2 + (z + 23) = 7 + z.
3º) J0 (z) = minu ((u-2)2 + J1 (f(z, u, 0))) = minu ((u-2)2 + J1 (3z + u)) = minu ((u-2)2 +
3z + u + 7) y como (u-2)2 + 3z + u + 7 es estrictamente u- cóncava, el mínimo
global se obtiene haciendo 0 = 2 (u - 2) + 1. i.e., u* = 3/2, y el valor mínimo es
J0 (z) = (3/2 - 2)2 + 3z + 3/2 + 7 = 3z + 35/4.
Así, pues, el mínimo valor de la funcional del problema planteado, J*(1), se obtiene
como igual a J0 (1) = 47/4.
Este valor se alcanza con la sucesión de controles óptimos: u*(0) = 3/2 y u*(1) = 3,
siendo la correspondiente respuesta del sistema: x*(0) = 1, x*(1) = f (x*(0), u*(0), 0)
= 3 x*(0) + u*(0) = 31 + 3/2 = 9/2 y, finalmente, x*(2) = f (x*(1), u*(1), 1) =
x* (1) + 2 u*(1) = 9/2 + 23 = 21/2.
Ejercicio: Se pide minu (x(0) u(0) + x(1) u(1) + x(2)2) sujeto a: x (k+1) = x(k)u(k) +
u(k)2 x (0) = 2 k = {1, -1, 0}.
De manera enteramente similar, se obtienen JN-3 (z) = 3z con máximo global u*(z)
= z /3, y, más generalmente, que JN-m (z) = mz con máximo global u*(z) = z /m.
Finalmente, J*(z) = JN-N (z) = Nz con máximo global u*(z) = z /N.
Por lo tanto el valor máximo de la funcional objetivo del problema planteado es
J*(C) = NC y los controles óptimos, junto con los estados generados por ellos,
son u*(0) = C/N, x*(1) = x*(0) - u*(0) = C - C/N = (1 – 1/N) C,
u*(1) = x*(1)/(N - 1) = C/N, x*(2) = x*(1) - u*(1) = (1 – 2/N) C,
u*(2) = x*(2)/(N-2) = C/N, etc.
x(k 1) f ( x(k ), u (k ), k ) x (0) a con los 1, .., N-1 dados; la ecuación de
Bellman también puede obtenerse como:
VN ( x( N )) S ( x( N ))
k {0, …, N -1}, Vk ( x(k )) maxu ( F ( x(k ), u(k ), k ) Vk 1 ( f ( x(k ), u(k ), k )) ).
V3 ( z ) ( z 5) 2 .
V2 ( z ) min u (u 2 ( z 4) 2 V3 ( z 3u )) . Como esta función es u-convexa, el
mínimo global sale de: 0 = 2u 2 ( z 3u 5)3 , i.e., u* = 1.48 – 0.3 z.
Así, V2 ( z) 1.1 z2 – 9z + 18.47.
Similarmente, V1 ( z ) min u (u 2 ( z 2) 2 V2 ( z 2u )) =
min u (u 2 ( z 2) 2 (1.1( z 2u ) 2 9( z 2u ) 18.47)) . El mínimo global es
u* = 1.63 – 0.4 z, por lo que V1 ( z ) 1.2 z 2 3.63z 4.42 .
Finalmente, V0 (0) min u (u 2 V1 (u )) = min u (u 2 (1.2u 2 3.63u 4.42)) .
El mínimo global es u*(0) = 0.65 y V0 (0) = 2.73. Además, se obtiene que x*(0) =
0, u*(0) = 0.65, x*(1) = 0.65, u*(1) = 1.37, x*(2) = 3.39, u*(2) = 0.46 y x*(3) =
4.77.
N 1
El problema es el de maximizar J (x0 , (uk ) k 0 ) := limN
k 0
k
F ( xk , uk ) sujeto a:
k 0
k
F ( xk , uk ) sujeto a la misma ley dinámica y a las mismas restricciones de
arriba. En tal caso, si se designa por Jk(z) al valor máximo del subproblema
correspondiente que empieza desde el estado z en la etapa k, y por Vk (z) := -k Jk (z),
el algoritmo de Bellman era: VN (z) = 0, z; y luego Vk (z) = max u (
F ( z, u) Vk 1 ( f ( z, u)) ).
Ha de notarse aquí que Jk(z) es el valor máximo del subproblema antedicho
expresado en unidades de valor de la etapa inicial 0, mientras que Vk (z) es el
correspondiente valor pero expresado en unidades de valor de la etapa k.
Como se comprueba fácilmente, resulta que V0 (z) = J0 (z).
Ahora bien, para poder generalizar más fácilmente en el caso de horizonte temporal
infinito, conviene cambiar un poquito la notación definiendo las funciones
Vk* := VN-k k. Así, se obtienen consecutivamente del algoritmo de Bellman las
funciones V*0 , V*1 , …, V*N , siendo esta última el valor máximo buscado de la
funcional objetivo, es decir, J0 (z).
Como puede intuirse, cuando el horizonte temporal es infinito, que el problema
empiece en la etapa 0 ó en cualquier otra etapa, k, poco importa siempre que el
estado inicial sea el mismo, ya que en cualquiera de estos casos hay el mismo
horizonte temporal: desde 0 hasta en el primer caso, y desde k hasta en el
segundo.
Luego, J0 (z) = Jk (z) y la ecuación de Bellman es:
V*(z) = maxu ( F ( z, u ) V * ( f ( z, u )) ).
Esta ecuación sugiere definir un operador funcional como sigue.
Cualquiera que sea la función W: , se define el resultado de operarla por T
como la función T(W): , que a cada z de , le asigna por imagen
T(W)(z) := maxu ( F ( z, u ) W ( f ( z, u )) ).
Conviene, además definir las iteraciones del operador T mediante: T0(W):= W,
T1(W):= T(W), T2(W):= T(T(W)), …, Tk+1(W):= T(Tk(W)), etc.
Entonces, se demuestran los dos siguientes lemas que han de permitir resolver el
problema por aproximaciones sucesivas cuando no con toda exactitud.
29
Lema 1: Cualesquiera sean las funciones W y W´, si W W´, (i.e. z, W(z)W´(z)),
entonces k, Tk(W)(z) Tk(W’)(z), es decir, que las iteraciones del operador
preservan el eventual orden de las funciones.
Ejemplo: Se quiere max c (.) t ln c(t ) sujeto a: kt 1 (kt ) ct ct [0, (kt ) ] ,
t 0
t estando dado el valor inicial k0 , así como las constantes positivas menores que
1, y . Se busca la función de valor máximo, J (k), para cualquier estado inicial k.
Aplicando el proceso iterativo del teorema 1, se puede partir de una función
cualquiera, por ejemplo, la función nula V0(k) = 0, k. A ésta se la aplicará el
operador T obteniéndose la función
V1 (k) = max{ ln c V0 (k c) : 0 c k } = max{ ln c : 0 c k } = ln k , ya
que el único máximo global del lado derecho es k.
A continuación, volviendo a aplicar el operador a la función V1 se obtendrá la
función V2(k) = max{ ln c V1 (k c) : 0 c k } = max{
ln c ln( k c) : 0 c k } = (1+) ln k – (1+) ln (1+) + ln , ya
que el único máximo global del lado derecho es c = k/(1+) que [0, k].
Observando las formas de estas dos funciones obtenidas, V0 y V1, puede notarse que
ellas coinciden en ser una constante por ln k más otra constante. Lo único diferente
entre ellas son los valores de las constantes. Luego, es razonable conjeturar que la
forma definitiva de la función J buscada es también así, es decir, que J(k) = A ln k +
B, donde A y B son constantes por determinar.
Como la función J ha de satisfacer la ecuación de Bellman, de esto han de seguirse
los valores de A y B: A ln k + B = max {ln c + (A ln (k-c) + B) : 0 c k }.
Resolviendo este pequeño problema de maximización, resulta que el único máximo
30