Documentos de Académico
Documentos de Profesional
Documentos de Cultura
1. Cálculo de Variaciones
Formulación del problema (PCV): Dados los momentos t0 < t1 en , la función de clase
C2, F: 3, y los estados a y b en ; se quiere hallar una función de clase C2, x() que
t1
Ejemplo: Hallar la función real de variable real cuya gráfica tenga longitud mínima
entre las que pasan por dos puntos dados, (a, ) y (b, ), siendo a b.
b
∫ √ 1+ ẋ(t )2 dt
Este problema se formula como: min a sujeto a: x (a) = x (b) = .
Nociones preliminares:
En el conjunto de las funciones reales de clase C2 definidas en [t0 , t1] se definen las
operaciones de adición y de multiplicación por escalares así:
1º) Si x y , entonces x + y : [t0, t1] , se define por (x + y) (t):= x(t) + y(t). 2º) Si x
, entonces x : [t0, t1] , se define por ( x)(t):= x(t).
Se comprueba fácilmente que , provisto de estas dos operaciones, es un espacio
vectorial real. Ahora bien, en dicho espacio vectorial se define una norma así:
x:= max {|x(t)|: t[t0, t1]}.
Ejemplos: Si t0 = 1 y t1 = 5, entonces para x(t) = t2, será x = max {t2 : t [1, 5]} = 25; y
si y(t) = 1 + t – t2/4, se tendrá y = max {|1 + t – t2/4| : t [1, 5]} = 2.
Dada una norma en un espacio vectorial, ella induce una métrica en él, i. e., una función
de distancia entre elementos del espacio, como se indica a continuación. Si x y y son
elementos de , entonces la distancia entre ellos será d (x, y):= x - y.
Así, para las funciones del ejemplo sería d(x, y) = max{|t2 – (1 + t – t2/4)|: t[1, 5]} =
25.
Teniendo ya una métrica el espacio vectorial, en él puede definirse la bola abierta de
centro x y de radio r como B(x, r):= {z : d(x, z) < r}.
En el contexto de optimización, se distingue entre máximo global y máximo local.
El primero es el que lleva a su máximo valor posible a la integral de la función objetivo;
el segundo es uno tal que en alguna bola abierta centrada en él, ningún otro elemento
lleva a la integral de la función objetivo a un valor mayor que el que alcanza con el
máximo local. Así, x* de es un máximo global del PCV si y de ,
2
t1 t1
Ejemplo:
b
∫ √ 1+ ẋ (t )2 dt
Para el PCV de la página anterior, min a sujeto a: x (a) = x (b) = ,
b
∫−√ 1+ ẋ (t )2 dt
vemos que, ya que él equivale a: max a sujeto a: x (a) = x (b) = ,
− ẋ
2
F ẋ =
se tendrá : F( x(t ), ẋ(t ),t ) = −√ 1+ ẋ(t )
, por lo que Fx = 0 y √(1+ ẋ 2 ) .
2
Entonces, la ecuación de Euler es: 0 = ( 1+ ẋ(t ) )-3/2 ẍ , i. e., 0 = ẍ , ya que el otro
factor es distinto de 0. Las soluciones de esa ecuación diferencial son todas las que se
obtienen dando valores arbitrarios a los parámetros h y k en x(t) = h + kt. Entre ellas, las
condiciones extremas exigen que = h + a k = h + kb, de donde sólo queda que k = (
- )/(b - a) h = - a ( - )/(b - a). Luego, si el problema tuviera solución, ella habría de
ser la función x (t) = - a ( - )/(b - a) + (( - )/(b - a)) t.
2
∫ (t 2− ẋ 2)dt
Ejemplo: max 0 sujeto a: x(0) = 1 x(1) = 2.
La ecuación de Euler es: -2 ẋ = h , de donde x(t) = -ht/2 + k, que con las condiciones
extremas da: 1 = x(0) = k 2 = x(1) = -h/2 + k. De esto resulta que h = -2 k = 1, por lo
que la única posible solución es x(t) = t + 1.
Ejemplo:
1
∫ (−t +x 2)3 dt
Se pide min 0 sujeto a: x(0) = x(1) = , con y dados.
La ecuación de Euler es: 0 = Fx = 3 (-t + x2) 2x, de donde t, x(t) = 0 x(t) = √t .
Hay cuatro casos posibles:
(i) = 0 = ; entonces la única posible solución continua sería x(t) = 0 t ;
(ii) = 0 = 1; entonces la única posible solución continua sería x(t) = t t ;
(iii) = 0 = -1; entonces la única posible solución continua sería x(t) = - √t , t .
En cualquier otro caso, no habría solución al problema planteado.
∫ (2−3 x ẋ 2 )dt
Ejemplo: Se pide max 0 sujeto a: x(0) = 0 x(1) = 1.
2 2
Entonces, (2 – 3x ẋ ) - (-6x ẋ ) ẋ = h, de donde x ẋ =¿ ¿ H (cte.). Así, pues,
H
ẋ=
3
√ x , de donde ∫ √ xdx = ∫ √ H dt ; ahora, de esto se sigue que x3/2 =
( √ H t+K )
2 , que con las condiciones extremas dan: K = 0 H = 4/9. Por lo tanto, la
única posible solución sería la función x(t) = t2/3.
Teorema: Una función x* de es un máximo local del PCV sólo si F ẋ ẋ ( x∗(t ),t ) 0, t
de [t0, t1]. Además, una función x* de es un mínimo local del PCV sólo si
F ẋ ẋ ( x∗(t ),t ) 0, t de [t0, t1].
1
∫ (x 2+ ẋ2+2 xe t )dt
Ejemplo: Dado el problema de opt 0 sujeto a: x(0) = 0 x(1) = 1/2 ,
t
la ecuación de Euler es 0 = (2x + 2et) – d(2 ẋ )/dt , que equivale a: ẍ−x=e , cuya
t t
e
solución general es x(t) = A e + B e + 2 t -t
. Las condiciones extremas dan como
e t
(e−t −e t )+ e t
única posible solución a la función x(t) = 2(1+e ) 2 . Como F ẋ ẋ = 2,
sólo se cumple la condición de Legendre necesaria para un mínimo local. Así, no hay
solución para el problema si se trata de maximizar, pero quizá sí la haya para el
problema de minimizar.
Condiciones de transversalidad
El PCV planteado es uno de momentos inicial y final dados así como de estados inicial
y final también dados. Además de éste, hay otros tipos de problemas, a saber:
a) problema de estado final libre pero estado inicial y momentos inicial y final dados;
b) problema de estado y momento finales libres pero estado y momento iniciales dados;
c) problema de momento final libre pero estado final y momento y estado iniciales
dados;
d) problema de estado y momentos iniciales parcialmente determinados por cierta
ecuación dada: 0 = g(t, x), con estado y momento iniciales dados.
En todos estos casos siguen vigentes las condiciones necesarias dadas por la ecuación
de Euler y la condición de Legendre, pero aparece una nueva condición necesaria, a
saber, la llamada condición de transversalidad que se abreviará por Ŧ.
Para enunciarla, se requiere definir el vector de ortogonalidad : v := (F - ẋ F ẋ , F ẋ ) .
Ahora bien, el enunciado general de la condición Ŧ es el siguiente.
En el punto terminal (t1*, x(t1*)) de una curva óptima, x*(), el vector de ortogonalidad,
v , ha de ser perpendicular (u ortogonal) a cualquier dirección admisible1 desde el
punto terminal.
Veamos qué se sigue de esto en cada uno de los casos antes mencionados.
Caso (a): Como la única dirección admisible es la vertical, el v ha de ser horizontal, por
lo cual su segundo componente ha de ser nulo, i. e., Ŧ es: 0 = F ẋ ( x∗(t 1 ), ẋ∗(t 1 ), t1 ) .
Caso (b): Como toda dirección desde el punto terminal (t1, x*(t1)) es dirección admisible
puesto que son libres el momento y el estado finales, entonces el v ha de ser el vector
nulo. i. e., Ŧ es:
0 = F ( x∗(t 1 ), ẋ∗(t1 ),t 1 ) - ẋ(t1 )F ẋ ( x∗(t 1 ), ẋ∗(t 1 ), t1 ) 0 = F ẋ ( x∗(t 1 ), ẋ∗(t 1 ), t1 ) .
1
Se llama dirección admisible desde el punto terminal a cualquier recta tangente a una curva que parta
desde dicho punto terminal y satisfaga las condiciones finales dadas durante un lapso positivo.
∂g ∂g
, )
∂t ∂x
5
Ejemplos
2
∫ (t ẋ+ ẋ 2 )dt
1) Se pide optimizar 0 sujeto a: x (0) = 0. Entonces, la ecuación de Euler
d
(t+2 ẋ )
es: 0 = dt , de donde se sigue que ha de ser constante la expresión
t+2 ẋ . Esta ecuación se resuelve fácilmente dando como solución general x (t) =
2
-t /4 + kt/2 + h. La condición inicial da por resultado que 0 = h. Así, sólo quedan
como posibles soluciones las funciones de la forma x (t) = -t2/4 + kt/2. Veamos lo
referente a la condición de Legendre: como
F ẋ ẋ (en t = 2) = 2 0, se ve que sólo
puede haber mínimos locales. Finalmente, la condición de Ŧ exige que 0 = ẋ (en
F
t = 2) = (t+2 ẋ ) |t = 2 = 2 + 2(-1 + k/2) = k, por lo que la única posible solución es
x*(t) = -t2/4.
1
∫ (x 2+ ẋ2 )dt
2) Se pide optimizar 0 sujeto a: x(0) = 0 x(1) 1.
d
2x− (2 ẋ )⇔0=x− ẍ
La ecuación de Euler es: 0 = dt , de donde se sigue que las
extremales del problema son dadas por x(t) = Aet + Be-t, que con la condición inicial
da 0 = A + B, por lo que las extremales se reducen a x(t) = A(et - e-t).
Además, ya que x(1) 1, ha de ser A(e - e-1) 1, de lo que se sigue que A > 0.
F
La condición de Legendre: ẋ ẋ = 2 0, de donde se sigue que sólo puede haber
mínimos locales.
Ahora, supongamos, momentáneamente, que x(1) > 1; entonces la condición de Ŧ
F
implicaría que 0 = ẋ |t = 1 = 2 ẋ(1) = 2 A (e - 1/e), que es imposible ya que A ha
de ser positivo como se estableció cinco líneas más arriba.
∂g ∂g
, )
2
Recuérdese que el gradiente de una función g (t, x) := ( ∂t ∂x
6
De todo esto concluimos que x(1) = 1, i. e., A = e /(e2-1), y que la única posible
e
2
(et −e−t )
solución es x* (t) = e −1 .
t1
∫ ( ẋ 2+10tx )dt
3) Se pide optimizar 0 sujeto a: x(0) = 1 t1 > 0.
d
10 t− (2 ẋ )=10 t−2 ẍ
La ecuación de Euler: 0 = dt por lo que las extremales son
5
ẋ=5 t 2 /2+h∧x (t )= t 3 +ht+ k
dadas por 6 . Con la condición inicial se obtiene
5 3
t +ht +1
que las extremales se reducen a x (t) = 6 .
F
La condición de Legendre: ẋ ẋ = 2 0, por lo que sólo puede haber mínimos
locales.
F
La condición de Ŧ: 0 = ( F− ẋ F ẋ ) |pto. term. 0 = ẋ |pto. term.. Así, se obtiene que
5 5 5
t 2 +h ¿ 0=( ẋ 2 +10 tx−2 ẋ 2 )=10 t 1 ( t 3 +ht 1 +1 )−( t 2 +h )2 .
2( 2 1 )=0 6 1 2 1
Finalmente, de estas dos últimas condiciones se obtiene que t1 = (3/5)1/3 h =
−5 3 2/3
( )
2 5 , por lo que la única posible solución es x (t) = (5/6) t3 – (5/2)(3/5)2/3t +
1, con t1 = (3/5)1/3.
t1
∫ (3 ẋ 2+x )dt
4) Se pide optimizar 0 sujeto a: x (0) = 0 x (t1) = 5.
d
(6 ẋ)
La ecuación de Euler: 0 = 1 - dt = 1 - 6 ẍ , por lo que las extremales son
2
1 t
ẋ= t +h∧x (t )= + ht + k
dadas por 6 12 . Ahora, con la condición inicial sale que
k = 0. La condición de Legendre:
F ẋ ẋ =6≥0 , por lo que sólo puede haber mínimo
t
12
+ ht 1
local. La condición terminal: 5 = x (t1) = 12 .
2
La condición de Ŧ: 0 = ( F− ẋ F ẋ ) |pto. term.= ( x−3 ẋ ) |.= 5 – 3 (t1/6 +
h)2. De estas dos últimas condiciones se obtiene que t1 = √ 60 h = 0, por lo que
la única posible solución es x (t) = t2/12.
5) Encontrar, si existe, la senda más corta desde el punto (0, 1) hasta la recta de
ecuación: x = 3t. El problema puede ponerse en la forma típica del cáculo de
t1
∫ √ 1+ ẋ 2 dt
variaciones: min 0 sujeto a: x (0) = 1 x (t1) – 3t1 = 0.
d ẋ ẋ
( )
La ecuación de Euler: 0 =
dt √1+ ẋ 2 , de donde resulta: √1+ ẋ 2 constante,
7
∫ F ( x , ẋ, t )dt
t0
PCV1: max sujeto a: x (t0) = a x (t1) = b ;
t1
∫ F ( x , ẋ, t )dt
t0
PCV2: max sujeto a: x (t0) = a x (t1) b ;
t1
∫ F ( x , ẋ, t )dt
PCV3: max t0 sujeto a: x (t0) = a x (t1) libre.
Para todos estos problemas vale la siguiente condición suficiente.
Teorema: Si en cualquiera de los PCVi , con i {1, 2, 3}, la función F es cóncava en (
x, ẋ ) y x* () satisface la condición de Ŧ, la ecuación de Euler y las condiciones
extremas; entonces x*() es un máximo global.
∫ (x 2+ ẋ2 )dt
Ejemplo: Se quiere min 0 sujeto a: x (0) = 1 x (1) libre.
La función F es convexa en ( x, ẋ ) pues su matriz hessiana correspondiente a esas
F xx F x ẋ 2 0
variables es positivo-definida, ya que
[ =
][ ]
F ẋ x F ẋ ẋ 0 2
, matriz todos cuyos
autovalores son positivos. Así, la posible solución hallada mediante la ecuación de
Euler, la condición de Ŧ y la condición inicial, a saber x*(t) = (1 + e2)-1 (et + e2-t), es un
mínimo global.
8
∫ F ( x , ẋ, t )dt
El problema ahora es el PCV: max ( t0 + S (x (t1))) sujeto a: x (t0) =
a, en donde son datos los momentos t0 y t1 así como las funciones F(, , ) y S() .
Teorema: Una función x() es un máximo local del problema PCV sólo si satisface la
d
F x − F ẋ F ẋ ẋ ≤0 , la condición
ecuación de Euler: 0 = dt , la condición de Legendre:
'
inicial y la nueva condición de Ŧ : 0 = ( F ẋ +S ( x(t )) )|pto. term..
Demostración:
t1
d '
∫ S' ( x ) ẋ dt=S( x (t 1))−S( x (a ))
S (x (t ))=S ( x(t )) ẋ (t )
Como dt , se tiene que t0
.
t1
∫ (F ( x , ẋ ,t )+ S' ( x ) ẋ )dt−S (a )
Entonces, la funcional objetivo es t0 . Y como maximizar
una función equivale (en términos de soluciones) a maximizar dicha función sumada
con una constante cualquiera, el problema puede formularse como el de
t1
∫ (F ( x , ẋ ,t )+S' ( x ) ẋ )dt
t0
max sujeto a: x (t0) = a.
d '
'' − ( F ẋ +S ( x ))
Para éste, la ecuación de Euler es: 0 = F x +S ( x ) ẋ dt =
d
F x − F ẋ
dt . La condición de
2
0≥ ∂ 2 ( F +S (x ) ẋ )= ∂ ( F ẋ +S ( x ))=F ẋ ẋ
' '
Legendre: ∂ ẋ ∂ ẋ .
0= ∂ ( F( x , ẋ ,t )+S (x ) ẋ)
'
'
La condicición de Ŧ : ∂ ẋ |pto. term.= ( F ẋ +S ( x ) )|pto. term..
Teorema: Si F es cóncava en ( x, ẋ ) y S() es cóncava, entonces cualquier función x
() que satisfaga la ecuación de Euler, la condición de Legendre, la condición de Ŧ y las
condiciones extremas es un máximo global.
∫ (x 2+ ẋ2 )dt+x (1 )2
Ejemplo: Se pide min ( 0 ) sujeto a: x (0) = 1.
9
en ( x, ẋ ):
H x ẋ =
0
0
0
[ ] 0
0
0
0
2
0
0
0
2
que es positivo-semidefinida, y por ende, sí se
cumple la suficiencia pudiendo afirmarse que la función antes hallada sí es un mínimo
global.
∫ F ( x , ẋ , ẍ ,. .. , x( n) , t )dt
Ahora el problema es: max t0 sujeto a:
1 ( n−1)
(t 0 )=a ∧x (t 1 )=b∧ẋ (t 1 )=b1 ∧. ..∧x( n−1) (t 1 )=b n−1
n−1
x ( t0 )=a∧ ẋ (t 0 )=a ∧. ..∧x
10
d d2 dn
Fx− F ẋ + 2 F ẍ−. ..+(−1)n n F x( n )
La ecuación de Euler-Poisson es: 0 = dt dt dt .
∫ ẍ2 dt
Ejemplo: Se quiere min 0 sujeto a: x(0) = 0 = x(1) ẋ (0)=a∧ ẋ (1)=b .
d d2 d2
F x − F ẋ + 2 F ẍ 2
(2 ẍ )
La ecuación de Euler-Poisson es: 0 = dt dt = 0 – 0 + dt = 2 x(4).
3 2
De esto se sigue que x(t) = h t /6 + k t /2 + l t + m.
Las condiciones extremas dan: m = 0 l = a h = 6 (a + b) k = -2 (b + 2a), luego x(t) =
(a + b) t3 – (b + 2a) t2 + at es la única posible solución. Además se verifica fácilmente
que se cumplen las condiciones de Legendre y la de concavidad.
Interpretación económica:
∫ (Π (− ẋ (t ))−cx (t ))dt
Esto equivale a hallar una x* () que maximice t0
sujeto a:
x (t 0 )=x 0 ∧x (t 1 )≥0 .
Se asume que () es estrictamente cóncava y que después del momento t1 el producto es
nulo.
d d '
F x − F ẋ Π (q)
Entonces, la ecuación de Euler es: 0 = dt = -c + dt , i. e. , c =
d ' d '
Π (q) ( Π ∘q )(t ).
dt = dt Como c es constante, se sigue que ct + h = (q(t)).
Puesto que () < 0, ()-1, por lo cual ()-1(ct + h) = q(t) = - ẋ(t ) , de donde x (t) = k
t1
1 ' 1
∧ ( Π )−1 ( z)=
Si, por ejemplo, (q) = √q , entonces (q) = 2 √q 4 z 2 , luego
t t t
t0
' −1
t0
[ ] t
con lo que
1 1 1 1 1 1
x (t )=x 0 + ( − )∧0=x(t 1 )=x 0 + ( − )
4 c ct+ h ct 0 +h 4 c ct 1 +h ct 0 +h de donde sale
''
el valor de h . Como F ẋ ẋ =Π (− ẋ) < 0, puede haber máximo local. F es ( x, ẋ )-
cóncava, así que sí hay máximo global.
∫ u( f (k )−δk− k̇ )dt
términos de k y k̇ como sigue: max 0 sujeto a: k(0) = k0 y k(0) =
kT .
d ' ' d ' d '
F k− F k̇ =u (c )(f (k )−δ)+ u (c ) u ( c)
La ecuación de Euler: 0 = dt dt , y como dt
−u' (c ) '
ċ= (f ( k )−δ)
= u() ċ , se obtiene: u' ' (c ) . Esta ecuación y la que se obtiene de
la ley dinámica: k̇=f ( k)−δk−c , forman un sistema de dos ecuaciones diferenciales
no lineales.
Se obtiene un equilibrio, (k*, c*), del sistema imponiendo las condiciones de nulidad de
las velocidades de cambio k̇ y ċ . Así, k* = (f)-1() y c* = f (k*) - k*.
Puede comprobarse que, debido a las asunciones hechas, este equilibrio es uno del tipo
de ensilladura. En efecto, la matriz jacobiana del sistema evaluada en el equilibrio es:
f ' (k∗)−δ
[ ]
−1
'
u (c∗) ''
− '' f ( k∗) 0
J* = u ( c∗) . Ya que su traza es J*11 = 0 y su determinante J*21 < 0 ,
se deduce que los autovalores de J* son de signos opuestos, por lo que el equilibrio
correspondiente ha de ser una ensilladura.
M tal que ∀(x , ẋ,t), M>|G(x , ẋ,t )| . En tal caso, la integral impropia sí que
∞ ∞ ∞
− ρt M −ρt 0 M
|∫ G( x, ẋ ,t )e dt|≤∫|G( x, ẋ,t )|e dt≤M ∫ e−ρt dt=
−ρt
[ e ]∞ =
converge, pues 0 0 0 .
ρ ρ
Para este problema siguen vigentes la ecuación de Euler y la condición de Legendre,
pero ahora la condición de Ŧ toma una forma algo diferente. Así, caso de haber una
condición terminal asintótica b = limt x(t), la condición de Ŧ es (
F− ẋ F ẋ )| = 0; y
t=
Ejemplo
En el modelo de crecimiento de Ramsey con horizonte temporal infinito:
∞
∫ u( c)e−ρt dt
max 0 sujeto a: f (k) = c + k̇ + k k(0) = k0 k() = k , la condición de
Ŧ es: 0 = limt(
F−k̇ F k̇ ) = lim e-t(u(c(t)) + k̇ (t) u(c(t))).
t
F
Si no se exigiera que k(∞)=k ∞ , se tendría, además, la condición: 0 = limt( k̇ ) =
limte-t(u(c(t)) (-1).
2.Control Óptimo
Formulación de Bolza
t1
∫ F ( x , u , t )dt +S ( x (t1 ))
t0
PCOB: max ( ) sujeto a:
ẋ=f ( x , u , t )∧x (t 0 )=a∧u (t )∈Ω t ∀ t .
En la función objetivo se halla una evaluación de la dinámica mediante la integral y
también hay otra evaluación del estado terminal, mediante la función S.
Los datos del problema son: los momentos inicial y final, t0 y t1 ; las funciones F, S y f ;
el estado inicial a y la colección de conjuntos de valores admisibles para la variable de
control, {t : t[t0 , t1]}. A la variable x, fácilmente reconocible por ser aquella cuya
derivada temporal aparece en la ley dinámica ẋ=f ( x , u , t ) , se la llama variable de
estado, así como a la u se la llama variable de control. Si no se especifica cuál es la
familia de los t , entenderemos que todos ellos son , es decir, que cualquier valor
numérico es admisible para la variable de control en cualquier momento.
Es de notarse que en este problema hay una jerarquización natural entre las variables de
estado y de control, siendo la principal esta última, pues para cada forma específica que
ella asuma, en condiciones bastante generales, hay sólo una forma funcional para la
variable de estado correspondiente, ya que, entonces, la ley dinámica se habría
convertido en una ecuación diferencial en la variable de control. Teniendo en cuenta que
los términos “causa” y “efecto” son de muy discutible precisión, parece preferible
13
Formulación de Mayer
PCOM : max S (x (t1)) sujeto a ẋ=f ( x , u , t )∧x (t 0 )=a∧u (t )∈Ω t ∀ t .
Resulta evidente que es esta formulación un caso particular de la de Bolza y que
corresponde al caso en que en ésta se da la función nula en el papel de la F.
Que la de Bolza sea representable como la de Mayer es algo que se muestra a
continuación.
Defínanse las variables x1 y x2 así: x1 := x ẋ 2 := F(x1, u, t) con x2(t0) = 0. Entonces, el
t1
∫ ẋ 2(t )dt= t1
Formulación de Lagrange
t1
∫ F ( x, u, t )dt
PCOL : max t0 sujeto a: ẋ=f ( x , u , t )∧x (t0 )=a∧u (t )∈Ω t ∀ t .
Resulta evidente que es esta formulación un caso particular de la de Bolza
correspondiente al caso en que es nula la función S.
Que la de Bolza sea representable como la de Lagrange es algo que se muestra a
continuación.
t1 t1
Condiciones necesarias para que una u*(), con su respuesta x*(), den un máximo local
del problema PCOL
1) Ha de haber una función *(), llamada covariable de estado, tal que t, sea
λ̇∗(t )=−H x (x *,u *, t )∧λ∗(t 1 )=0∧ ẋ∗(t )=f (x *,u *, t )∧x∗(t 0 )=a , en
donde la función H, llamada hamiltoniana¸se define como H (x, u, , t) := F(x, u,
t) + f(x, u, t).
Las ecuaciones diferenciales ẋ=f ( x , u , t ) y x λ̇∗(t )=−H (x *,u *, t )
se
conocen como las ecuaciones canónicas.
2) t [t0 , t1], u*(t) ha de ser un máximo global de H(x*(t), , *(t), t). Ésta
condición se conoce como principio del máximo de Pontriaguin.
14
∫ (x+u)dt 2
Ejemplo: max 0 sujeto a: ẋ=1−u ∧x (0 )=1 .
Entonces la hamiltoniana es: x + u + ()(1 – u2) y las ecuaciones canónicas son:
2
ẋ=1−u ∧¿ ¿ λ̇=−H x =−1 . De esta última, con (1) = 0, se obtiene *(t) = 1 – t.
Como la función H es cóncava en u, el principio del máximo implica que
∂ H =1−2 λu 1
0= ∂u , por lo que u*(t) = 2(1−t ) .
1
ẋ=1−
Entonces, la ley dinámica es: 4 (1−t )2 con x(0) = 1, de donde sale:
1 1
x∗(t )=t−∫ dt=t− +k
4(1−t )2 4(1−t ) , que con x (0) = 1, da k = 5/4.
1 5
t− +
Así, x *(t) = 4 (1−t ) 4 . Si hay solución, ella estaría dada por u*() y x*() .
Ejemplos
5
∫ (ux−u2−x2 )dt
1) max 1 ẋ=x+ u∧x (1)=2 .
sujeto a:
Entonces, H = ux – u2 –x2 + ()(x + u)
λ̇=−H x =−u+2 x−λ∧λ (5 )=0 .
Como H es u-cóncava, del principio del máximo se sigue: 0 = Hu = x – 2u -.
Por lo tanto, u = (½)(x + ).
Si esta expresión se lleva a las ecuaciones canónicas resulta: ẋ= 3x/2 + /2
λ̇= 3x/2 - 3/2 con x(1) = 2 (5) = 0.
De la primera de las dos ecuaciones diferenciales se obtiene = 2 ẋ−3 x.
(i) De esto se sigue que λ̇ = 2 ẍ −3 ẋ .
Reemplazando en la segunda sale: ẍ−3 x=0 , por lo que x(t) = A e3 t + B e-3 t
que con la condición inicial da: 2 = A e3 + B e-3.
Ahora, llevando la expresión de x(t) a la (i), sale:
= 2 ẋ−3 x = 2A3 e3 t – 2B 3 e-3 t – 3A e3 t – 3B e-3 t y con la condición 0 =
(5) salen los valores de las constantes A y B.
∂g ∂g
, )
3 ∂t ∂x La definición de dirección admisible es la misma que la que se usó en Cálculo de
Variaciones.
15
∫ u2 dt+x(1)2
3) Se quiere min ( 0 ) sujeto a: ẋ=x+u∧x (o )=1 .
Se reconoce la función S (x) = x2, por lo que
d
S (x (t ))=S ' ( x(t )) ẋ (t )=2 x (t )(x (t )+u(t ))
dt .
1
∫ (u 2+2 x( x +u ))dt
min 0 sujeto a las mismas condiciones del original.
2 2
Entonces, H = u + 2x + 2xu + ()(x + u).
Las ecuaciones canónicas: ẋ=x+u∧¿ ¿
λ̇=−H x =−4 x−2 u−λ .
Como H es u-convexa, el principio del máximo (en verdad del mínimo) implica
que 0 = Hu = 2u + 2x +, de donde, u = -x -/2, lo que llevado a las ecuaciones
1
ẋ=− λ∧ λ̇=−2 x
canónicas da el sistema dinámico en x y : 2 .
(&) De aquí, por eliminación, sale: ẍ−x=0 , que, con la
t −t
condición inicial da: x (t )= Ae +Be ∧1= A+B .
Llevando esto a la primera ecuación de (&) sale:
t −t −1
λ(t )=−2 Ae +2 Be ∧0=λ(1 )=−2 Ae+2 Be .
2 -1 2 2
Entonces, A = (e + 1) B = e /(e + 1), de lo que se sigue
e 2−t −et
x∗(t )=(e 2 +1 )−1 (e t + e )∧λ∗(t )=2 2
e +1 .
Finalmente, resulta que la única candidata a control óptimo es la función
−2e 2 −t
2
e
u*(t) = e +1 .
2
En suma, u*(t) =
{
1
2
( λ∗(t )−3 ),
0,
t ∈[ τ 1 , τ 2 ]
si t ∈[ τ 2 ,2 ] .
Si se quisiera calcular la respuesta, x*(), a esta función de control, habría que
proceder en tres etapas.
1º) para t ∈[ 0 ,τ 1 ] , de ẋ−x=2∧x (0 )=5 , se sigue que x*(t) = 7et – 2;
τ1
2º) para t ∈[ τ 1 , τ 2 ] , de ẋ−x=( λ( t )−3 )/ 2=e −5 / 2∧ x ( τ 1 )=7 e −2 ,
2−t
se sigue: x*(t) = Bet – (e2-t )/2 + 5/2, en donde B sale de la condición “inicial” en
1; 3º), para
τ e 2 −τ 2 5
t ∈[ τ 2 , 2 ] , de ẋ−x=0∧x (τ 2 )=Be 2 − e +
2 2 , se sigue que
x*(t) = Cet en donde C sale de la condición “inicial” en 2.
Todo esto porque en general se quiere que la respuesta sea una función continua.
Interpretación económica
17
t1
∫ F ( x, u, t )dt
Para el PCOL de max t0 sujeto a: ẋ=f ( x , u , t )∧x (t 0 )=a∧u (t )∈Ω t ∀ t ,
se define la “función valor”, V*, como aquella que a cada estado y momento inicial
posibles, (z, t´), asigna el valor máximo que puede alcanzarse con el subproblema que se
inicia en t´ desde el estado z, esto es,
V*: ×[t0 , t1] ,
t1
∫ F ( x , u , τ )dt '
(z, t´) max t '
sujeto a ẋ=f ( x , u , τ )∧x(t )=z .
Así, V* (a, t0) dará el máximo valor alcanzable en el problema original.
∂ V∗( z,t )
Sea (t) := ∂z , i.e., la sensibilidad de la función valor respecto a cambios en
t del estado “inicial”; es lo que suele llamarse precio sombra del capital.
Sea que x (t) represente el acopio de capital de la empresa, siendo el inicial a en el
momento t0. Que sea u(t) la tasa de producción decidida y que sea F (x(t), u(t), t) la tasa
de beneficio instantánea medida en soles por día. El cambio temporal en el acopio del
capital, ẋ , depende del nivel de éste, x (t), de la decisión de la empresa, u(t), y del
momento actual, t : ẋ(t )=f (x(t ), u(t ),t ) .
A partir de un momento t del horizonte temporal en el que el nivel del capital es x(t) y la
decisión empresarial es u(t), considérese un breve lapso dt. Entonces, Hdt = Fdt + f dt
= F dt + ẋ dt = F dt + dx. Aquí, F dt es la contribución directa en soles a la
función objetivo desde t hasta t + dt, si el estado en t era x(t) y la decisión fue u (t). Por
otra parte, dx es el valor en soles del incremento en el nivel de acopio de capital; es la
contribución indirecta a la función de valor. Luego, H dt es la contribución total a la
función de valor durante el lapso dt. Así, se ve que lo que ha de maximizarse en cada
momento t es H, y no sólo F, lo cual muestra cuán razonable resulta ser el principio del
máximo.
La condición
λ̇=−H x da: - d = Fx dt + (fx dt), que dice que en la senda óptima ha
de igualarse la caída del precio sombra del capital y el ingreso marginal de invertir ese
capital, que es la suma de las contribuciones marginales directa e indirecta.
Teorema (de Mangasarian): Si F y f son funciones (x, u)-cóncavas y, caso que f(x, u, t)
no sea lineal en (x, u), la covariable de estado, *(), que sale junto a u*() y x*() de
las ecuaciones canónicas y del principio del máximo, es innegativa; entonces u*() es el
control óptimo.
Notas:
1)La premisa de este teorema puede formularse así:
(F y f son funciones (x, u)-cóncavas t) (f (x, u, t) no es lineal en (x, u) *(t) 0).
También puede adoptar la forma:
(F y f son funciones (x, u)-cóncavas) (f (x, u, t) es lineal en (x, u) *(t) 0).
18
∫ (x+u)dt 2
Ejemplo: En max 0 sujeto a: ẋ=1−u ∧x (0 )=1 , se ve que F y f son (x,
u)-cóncavas y como f(x, u, t) no es (x, u)-lineal, debe tenerse que *() sea innegativa
para que se cumplan las condiciones suficientes de Mangasarian.
Como H = x + u + ()(1 – u2), la segunda ecuación canónica es
λ̇=−H =−1
x con
(1) = 0 y, por la condición de Ŧ: *(1) = 0, se sigue que *(t) = 1 – t, que en [0, 1] es
1 1
=
0. Luego, el control óptimo es la u* (t) = 2 λ∗(t ) 2(1−t ) , que sale
del principio del máximo: 0 = Hu.
5
∫ (ux−u2−x2 )dt
Ejemplo: En max 1 sujeto a: ẋ=x+ u∧x (1)=2 , se ve que
0 0
f (x , u ,t )=x+u es (x, u)-cóncava, pues es lineal, por lo que su hessiana [ ]
0 0 es
negativo-semidefinida.
−2 1
La función F( x ,u ,t ) tiene hessiana en (x, u):
[ ]
1 −2 , que es negativo-
semidefinida, pues sus menores principales valen -2 y 3. Como f (x ,u ,t ) es ( x,u) -
lineal, no hay nada que exigir a la función *(). Luego, se cumplen las condiciones
suficientes de Mangasarian, por lo que el control u*() que salga con x*() y *() será
óptimo (Ver el ejem. 1 de la pag. 14).
1
∫ u2 dt+x(1)2
Ejemplo: En el problema de min ( 0 ) sujeto a: ẋ=x+ u∧x (0 )=1 , ya
se sabe que puede adoptarse la formulación de Lagrange, puesto que por ser S(x) = x2, se
d '
S (x (t ))=S ( x(t )) ẋ (t )=2 x (t )(x (t )+u(t ))
tiene que dt . Además, ya que
1
∫ (u 2+2 x( x +u ))dt
equivalente pedir: max 0 sujeto a: ẋ=x+ u∧x (0 )=1 . Ahora
4 2
resulta que F es (x, u)-convexa, pues su hessiana
[ ]
2 2
tiene menores principales 4
y 4; además, f , por ser lineal en (x, u), es convexa. Igual que antes, la condición: “si f
no es lineal en (x, u), entonces *() 0” se cumple trivialmente ya que f sí es lineal.
19
Valen, pues, las condiciones suficientes de Mangasarian, por lo que la función u*(t) =
2
−2e −t
e
e 2 +1 , del ejemplo 3 de la página 14, es óptimo.
Hay otra condición suficiente para máximo global en el PCOL debida a Arrow.
∫ (x+u)dt 2
Ejemplo: Se pide max 0 sujeto a: ẋ=1−u ∧x (0 )=1 .
1
Resulta que H (x, , t) = x + + 4 λ , que es x- cóncava (pues es x- lineal), por lo que
0
1
se cumplen las condiciones suficientes de Arrow, y así, el control u* (t) = 2(1−t ) ya
hallado en la página 18, es óptimo.
∫−u 2 dt
Ejemplo: Se pide max 0 sujeto a: ẋ=x+u∧x (0 )=1∧x (1)=0 .
2
Entonces, la hamiltoniana es H = −u +( λ )(x +u ) y la segunda ecuación
canónica es:
λ̇=−H =−λ
x , de donde λ(t )=Ae .
−t
4 e2 1
2
∧B=
De aquí se deduce que A = 1−e 1−e 2 .
et −e2−t 4 e2−t 2 e 2−t
∧ λ∗(t )= ∧u∗( t )=
Luego, x*(t) = 1−e 2 1−e 2 1−e 2 .
Se ve fácilmente que se cumplen las condiciones de suficiencia de Mangasarian,
por lo que u*() es el control óptimo (¡a pesar de que *(t) < 0, t !).
∫−u 2 dt
Ejemplo: Se pide max 0 sujeto a: ẋ=x+u∧x (0 )=1∧x (1)≥3 .
−t −t
Igual que líneas arriba, se obtiene λ(t )=Ae ∧u(t )= λ(t )/2= Ae /2 ¿
A
x(t )=Be t − e−t
4 .
La condición de Ŧ : 0 = (1) (x(1) - 3) = (A/e) (Be – A/4e -3).
Si A = 0, entonces de la condición inicial para x se sigue que B = 1, con lo que
Be – 3 < 0 que contradiría la restricción x(1)≥3 .
Por lo tanto, A tiene que ser diferente de 0, por lo que Be – A /4e = 3, que con
1 = B – A/4, da A = 4e (3 - e)/(e2 - 1) B = (3 e - 1)/(e2 - 1).
∫ (u−tx−u2 )dt
Ejemplo: Se quiere max 0 sujeto a: ẋ=2 u+1∧x (0 )=0 .
Entonces, la hamiltoniana es H = -u2 + u – tx + () (2u + 1) y la segunda
2
ecuación canónica: λ̇=t , da λ(t )=t /2+ h .
De la primera parte de la condición de Ŧ se tiene que 0 = t12/2 + h, de donde
h = -t12/2.
2
λ( t )=t / 2−t2 /2
Entonces, 1 .
Como H es u-cóncava, el principio del máximo lleva a 0 = Hu = -2u + 1 + 2, de
donde, u(t) = (t) + ½ = t2/2 – t12/2 + ½.
2
ẋ=t −t 2 +2
La primera ecuación canónica es: 1 , de donde x(t) = t3/3 + (2 –
t12) t pues 0 = x (0).
Además, la segunda parte de la condición de Ŧ es: 0 = H ( x(t 1 ),u(t 1 ),λ (t1 ),t 1 ) ,
x ( t 1 )=t 3 /3+( 2−t 2 ) t 1 ∧λ ( t 1 )=0∧u( t 1 )=1/ 2
de donde, como 1 1 , se obtiene
que 0 = (2/3) t14
- 2 t1 2 + ¼. Esto da dos posibles valores para el
momento final, a saber, t1 0.36 ó t1 1.69.
Así, quedan dos posibles controles óptimos:
u*(t) = 0.43 + t2/2 y u*(t) = -0.93 + t2/2.
En el primer caso se trata de una función u* definida en el intervalo [0, 0.36], y,
en el segundo caso, de una función definida en [0, 1.69].
21
∫ G( x ,u,t )e−δ t dt
Para el problema de max 0 sujeto a: ẋ=f ( x , u , t )∧x(0)=a
- t
, se tiene que H = Ge + f.
Defínase la variable :=e t.
Entonces resulta ser H = G e- t + e- tf = e- t(G + f) =: e- t , donde se define
:= G + f. Esta función se llama hamiltoniana de valor corriente.
-x + , pues e- t ( μ̇ - ) = μ̇ e- t - e- t = λ̇ = -Hx = - e- t x.
Principio del máximo: t, u*(t) ha de ser máximo global de H (x*(t), , *(t), t).
Pero H (x*(t), u, *(t), t) H (x*(t), u, *(t), t) ssi (x*(t), u, *(t), t)
(x*(t), u, *(t), t), de donde se sigue que el principio del máximo en términos
de la hamiltoniana de valor corriente es así:
t, u*(t) ha de ser máximo global de (x*(t), , *(t), t).
∫ 1dt ∫ 1dt
Como T = 0 , la funcional objetivo es 0 .
Ejemplo: Se pide min T sujeto a: ẋ=x+u∧x (0 )=5∧x(T )=11∧Ω t = [-1, 1].
Entonces, la hamiltoniana es H = 1 + ()(x + u) y la segunda canónica es:
λ̇=−λ , de donde, (t) = A e-t.
Como H es (x- u)-lineal, el principio del mínimo permite concluir que
u*(t) =
{−1,1, λ<0λ>0
.
La condición de Ŧ: 0 = Hpto.term. = 1 + (T) (x(T) + u(T)) = 1 + A e-T(11 + u (T)),
23
T
−e
de donde sale: A = 11+u(T ) , que en cualquier caso resulta ser negativo, pues
u(T) {1, -1}.
Luego, (t) < 0, t, por lo que u*(t) = 1, t.
La primera ecuación canónica es, entonces, ẋ=x+ 1 , lo que, con las
condiciones extremas para x da x*(t) = Bet – 1 con 5 = B – 1. Luego, x*(t) = 6et –
1.
Ahora, como 11 = 6 eT – 1, resulta T = ln 2.
Ya que F(x, u, t) = 1, entonces F es (x, u)-convexa; similarmente, f (x, u, t), que
es igual a x + u, también es (x, u)-convexa y además (x, u)-lineal; por lo tanto, se
cumplen las condiciones de suficiencia de Mangasarian, y el control óptimo es
u*(t) = 1, t siendo su respuesta la x*(t) = 6 et – 1 y T = ln 2.
De las dos primeras se sigue que u = v, por lo cual, de u + v = x – 1 sale que u*(t) =
1 1
( x∗(t )−1)= (e−5t −1 )
v*(t) = - 2 10 . Finalmente, la covariable de estado sale de
λ̇−λ=−4 x+μ , con =4u + 4 (de la primera), por lo que
1 1 −5 t
− e
λ̇−λ=−4 x +4 u+4 λ , de donde: *(t) = B e5t + 25 50 , que con la
condición de Ŧ: *(1) = 0, da el valor de B.
T
∫ F ( x, u, t )dt
b) Restricciones integrales: Se quiere max 0 sujeto a: ẋ=f ( x, u , t )
T
∫ G( x ,u, t )dt=K
0 , constante dada, y las condiciones extremas.
Al precio de introducir una nueva variable de estado, este problema se reformula
t
∫ F ( x, u, t )dt
G( x(t ),u(t ),t ) . Ahora, el problema es el de max 0 sujeto a:
ẋ=f ( x,u,t )
ẏ=G( x ,u ,t ) con y(0) = 0 y(T) = K.
Ejemplo: Hallar la curva desde (0, a) hasta (1, b) de longitud dada l, que maximice
el área encerrada por ella y por el eje de abscisas.
1 1
∫ xdt ∫ √ 1+u2 dt
Entonces, se trata de max 0 sujeto a: l = 0 ẋ=u
x(0)=a x(1 )=b .
t
2 ∫ √ 1+u2 dt
Pongamos ẏ=√ 1+u , que sale de y(t) := 0 . Ahora, el problema es
1
ẋ=u
x(0)=a
∧ ¿ y(0 )=0
∫ x(t )dt 2 x(1)=b y(1)=l .
el de max 0 sujeto a: ẏ= √ 1+u con ¿
λ̇1 =−H x=−1
λ̇ 2=−H y =0
ẋ=u
Entonces, la hamiltoniana es: H = x + 1u + 2 (1+u2) ẏ= √1+u 2 y el
λ2 u
principio del máximo exige que 0 = Hu = 1 + √1+u2 . De todo ello sale: 1 = A –
25
Bu t− A
2 2
t 2 = B, por lo que 0 = A – t + √1+u2 que da u*(t) = √ B −(t− A ) .
Ahora, como ẋ∗(t )=u∗(t ) , de las condiciones extremas salen los valores de las
t
∫ u∗( τ )dτ +C
constantes B y C, pues x*(t) = 0 .
T
∫ F ( x, u, t )dt
c) Restricciones de desigualdad: Se quiere max 0 sujeto a:
ẋ=f ( x, u, t )
h( x, u, t )≤0 con condiciones extremas.
El principio del máximo implica que t, u*(t) ha de ser máximo global de
H(x*(t), , *(t), t) sujeto a: h(x*(t), , t) 0. Esto puede lograrse con la función
lagrangiana L := F + f - h.
Entonces, las condiciones necesarias de primer orden son las siguientes. 0 = Lu
λ̇=−Lx ẋ=f ∧h≤0∧μ≥0∧0=μh , además de la condición de Ŧ y
las condiciones extremas.
1
∫−u 2 dt
Ejemplo: Se quiere max 0 sujeto a: ẋ=x+u∧x (0 )=1∧xu≤2 .
La hamiltoniana es: H = - u2 + ()(x + u) L = -u2 + ()(x + u) - (xu -2).
Las condiciones necesarias son: = 0 = Lu = -2u + - x
ẋ=L λ=x +u∧ λ̇=−L x = - + x (1) = 0 x u = 2 0 0 0 = (x u -
2).
3. Programación Dinámica
Para resolver este problema suele usarse la llamada inducción regresiva, que es un
método consistente en convertir un problema de múltiples etapas en varios
problemas de una sola etapa retrocediendo en el tiempo. Para ilustrarlo se da el
siguiente ejemplo.
Ejemplo: Desde una ciudad A se quiere llegar a una ciudad H, no siendo posible
hacerlo en una sola etapa. En la primera etapa se puede llegar a una de las ciudades
B, C y D. En la segunda etapa, partiendo de una cualquiera de estas ciudades, puede
llegarse a una de las ciudades E, F y G. En la tercera etapa, partiendo de una
26
En la primera etapa, las tres posibles rutas óptimas son ABGH(11), ACEH(15) y
ADGH(12). Luego, la ruta óptima es ABGH de longitud 11.
Propiedad de “causalidad” en la PD
Para dos etapas cualesquiera, j y k, ocurre que si j < k, entonces x(k) sólo depende de
x(j) y de los controles u(j), u(j + 1), …, u(k - 1)
Esto es claro, pues si en j el estado es x(j) y se aplica el control u(j), la ley dinámica
determina el estado x(j+1) = f (x(j), u(j), j); si en j+1 se aplica u(j+1), de nuevo, la
ley dinámica determina el estado x(j+2) = f (x(j+1), u(j+1), j+1), y así sucesivamente
hasta que x(k) resulte determinado por x(k-1) y u(k-1) según f (, , k-1).
N-1
Entonces, cada (u(k ))0 determina la sucesión de estados ocupados por el sistema
N
en las diversas etapas: ( x( k))0 . Estas dos sucesiones hacen que la funcional
N-1
objetivo alcance un valor denotado por J[x(0), (u(k ))0 ]. El problema de la PD
consiste en hallar el máximo valor posible, J*(a), usando como instrumento de
N-1
maximización todas las posibles sucesiones (u(k ))0 .
Teorema de Bellman:
Además, la sucesión (u*(0), …, u*(N-1)) es la que permite alcanzar J0(a) si, y sólo
si, para todo k se cumple que
Ejemplo: Se quiere minu ((u(0) - 2)2 + (u(1) - 4)2 + x(2)) sujeto a: x(0) = 1 x(1) =
3x(0) + u(0) x(2) = x(1) + 2u(1).
2º) J1 (z) = minu ((u-4)2 + J2 (f(z, u, 1))) = minu ((u-4)2 + J2 (z + 2 u))) = minu ((u-4)2 +
(z + 2u)) y como (u-4)2 + z + 2u es u- convexa estrictamente, el mínimo global se
obtiene haciendo 0 = 2(u - 4) + 2, i.e., u* = 3, siendo el valor mínimo
correspondiente J1 (z) = (3-4)2 + (z + 23) = 7 + z.
3º) J0 (z) = minu ((u-2)2 + J1 (f(z, u, 0))) = minu ((u-2)2 + J1 (3z + u)) = minu ((u-2)2 +
3z + u + 7) y como (u-2)2 + 3z + u + 7 es estrictamente u- cóncava, el mínimo
global se obtiene haciendo 0 = 2 (u - 2) + 1. i.e., u* = 3/2, y el valor mínimo es
J0 (z) = (3/2 - 2)2 + 3z + 3/2 + 7 = 3z + 35/4.
Así, pues, el mínimo valor de la funcional del problema planteado, J*(1), se obtiene
como igual a J0 (1) = 47/4.
Este valor se alcanza con la sucesión de controles óptimos: u*(0) = 3/2 y u*(1) = 3,
siendo la correspondiente respuesta del sistema: x*(0) = 1, x*(1) = f (x*(0), u*(0), 0)
= 3 x*(0) + u*(0) = 31 + 3/2 = 9/2 y, finalmente, x*(2) = f (x*(1), u*(1), 1) =
x* (1) + 2 u*(1) = 9/2 + 23 = 21/2.
Ejercicio: Se pide minu (x(0) u(0) + x(1) u(1) + x(2)2) sujeto a: x (k+1) = x(k)u(k) +
u(k)2 x (0) = 2 k = {1, -1, 0}.
28
Luego, JN-1 (z) = maxu z ( √ u+J N (f ( z ,u, N−1)) ) = maxu z ( √ u+0 ) , que da
como máximo global u* (z) = z y como valor máximo JN-1 (z) = √ z .
N −1
∑ β k F ( x k ,u k )
k =0 sujeto a la misma ley dinámica y a las mismas restricciones de
arriba. En tal caso, si se designa por Jk(z) al valor máximo del subproblema
correspondiente que empieza desde el estado z en la etapa k, y por Vk (z) := -k Jk (z),
el algoritmo de Bellman era: VN (z) = 0, z; y luego Vk (z) =
maxu ∈Ω (
F( z ,u )+βV k+1 ( f ( z ,u )) ).
Ha de notarse aquí que Jk(z) es el valor máximo del subproblema antedicho
expresado en unidades de valor de la etapa inicial 0, mientras que Vk (z) es el
correspondiente valor pero expresado en unidades de valor de la etapa k.
Como se comprueba fácilmente, resulta que V0 (z) = J0 (z).
Ahora bien, para poder generalizar más fácilmente en el caso de horizonte temporal
infinito, conviene cambiar un poquito la notación definiendo las funciones
Vk* := VN-k k. Así, se obtienen consecutivamente del algoritmo de Bellman las
funciones V*0 , V*1 , …, V*N , siendo esta última el valor máximo buscado de la
funcional objetivo, es decir, J0 (z).
Como puede intuirse, cuando el horizonte temporal es infinito, que el problema
empiece en la etapa 0 ó en cualquier otra etapa, k, poco importa siempre que el
estado inicial sea el mismo, ya que en cualquiera de estos casos hay el mismo
horizonte temporal: desde 0 hasta en el primer caso, y desde k hasta en el
segundo.
Luego, J0 (z) = Jk (z) y la ecuación de Bellman es:
V*(z) = maxu ( F( z ,u )+βV ∗( f ( z, u)) ).
Esta ecuación sugiere definir un operador funcional como sigue.
Cualquiera que sea la función W: , se define el resultado de operarla por T
como la función T(W): , que a cada z de , le asigna por imagen
T(W)(z) := maxu ( F( z ,u )+βW ( f ( z ,u )) ).
Conviene, además definir las iteraciones del operador T mediante: T0(W):= W,
T1(W):= T(W), T2(W):= T(T(W)), …, Tk+1(W):= T(Tk(W)), etc.
Entonces, se demuestran los dos siguientes lemas que han de permitir resolver el
problema por aproximaciones sucesivas cuando no con toda exactitud.
Lema 1: Cualesquiera sean las funciones W y W´, si W W´, (i.e. z, W(z)W´(z)),
entonces k, Tk(W)(z) Tk(W’)(z), es decir, que las iteraciones del operador
preservan el eventual orden de las funciones.
.
32