MATEMÁTICAS III

Francisco Marhuenda

EJERCICIOS SESIÓN N° 5: PROGRAMACIÓN DINÁMICA 2

(1) Considere el siguiente problema de optimización dinámica

T−1
max ∑ log ut
u0 ,u1 … uT −1 ∈U t =0

x t +1=x t−u t
x 0=C
x T =0

Solución. Observemos que en este ejemplo, x T no es una variable de decisión. No tenemos

la ecuación
pT =0
Definimos el Hamiltoniano
H (t , x ,u ,) p=log u+ p(x −u)
Tenemos que
∂H 1 ∂H
= −p =p
∂u u ∂x
Por tanto, tenemos las ecuaciones del principio del máximo
1
− pt =0 t=1 , …T −1
ut
pt −1 =p t t=1, … T −1
La ecuación
pt −1 =p t t=1, … T −1
Implica que
pt = p t=1 , … T −1 ,T
Y por lo tanto también tenemos que
ut =u , t=1 ,… T −1
Ahora usamos las ecuaciones
x t +1=x t−u , x 0=C , x T =0
para calcular
x 0=C
x 1=C−u
x 2=C−2 u
x t=C−Tu=0
por lo que la solución es
C
ut = ,t=1 , … T −1
T
y
MATEMÁTICAS III
Francisco Marhuenda
C T −t
x t=C−tu=C−t
T
=C( )T

(2) Considere el siguiente problema de optimización dinámica

T−1
max ∑ log ut
u0 ,u1 … uT −1 ∈U t =0

1
x t +1= ( xt −ut )
β
x 0 >0 dado
x T =0

Solución. Observemos que en este ejemplo, x T no es una variable de decisión. No tenemos

la ecuación
pT =0
Definimos el Hamiltoniano
p
H (t , x ,u ,) p=log u+ ( x−u)
β
Tenemos que
∂H 1 p ∂ H p
= − =
∂u u β ∂ x β
Por tanto, tenemos las ecuaciones del principio del máximo
1 pt
− =0 t=1 , … T −1
ut β
pt
pt −1 = t=1 , …T
β
Es decir
β
ut = , t=1 , … T−1
pt
pt
pt −1 = t=1 , …T
β
En particular, tenemos que
pT
pT −1 =
β
pT −1 pT
pT −2 = = 2
β β
pT −2 pT
pT −3 = = 3
β β
Vemos que
pT
pT −k =
βk
MATEMÁTICAS III
Francisco Marhuenda
O, haciendo el cambio t=T −k ,
pT
pt = , t=1 , … T
β T −t
β βT −t +1
ut = = t=1, … T −1
pt pT
Ahora usamos la ecuación
1 1 1
β β (
0=x T = ( x T−1−u T−1 )= xT −1− β 2
pT )
Obtenemos
β2
x T−1=
pT
Volviendo a usar la misma ecuación
β2 1 1 β3
pT
=x = ( x T−2−u T−2 )= x T−2−
T−1 β β pT ( )
Obtenemos
β3
x T−2=2
pT
En general, obtenemos
β k +1
x T−k =k
pT
Tomando k =T ,
β T +1
x 0=T
pT
Y obtenemos
βT +1
pT =T
x0
La solución es
βT −t +1 x 0
ut = = t
pT βT
T −t+ 1
β (T −t )
x t=(T −t) = t x0
pT βT

(3) Considere el siguiente problema de optimización dinámica

∞
1
max ∑ β t −e−u − e− x
u ∈ R t=0 t
2 ( t t

)
sujeto a x t +1=2 x t −ut t=0,1 , …
con 0< β <1. Demuestre que existe una solución Sabiendo que la función valor de la forma
J ( x )=−α e−x (para un cierto valor de la constante α >0 que debe determinar) es una
solución de la ecuación de Bellman.
MATEMÁTICAS III
Francisco Marhuenda

Solución. Recordemos que la ecuación de Bellman es

J ( x )=max [ f ( x ,u )+ βJ ( g ( x , u ) ) ]
u∈ R

donde
g ( x , u )=2 x−u
1
f ( x ,u )=−e−u − e−x
2
Es decir, debe verificarse que
1
[
−α e−αx =max −e−u − e−x −αβ e−2 x+u
u∈ R 2 ]
La condición de primer orden del problema de maximización
1
[
max − e−u− e−x −αβ e−2 x+u
u∈ R 2 ]
es
0=e−u−αβ e−2 x+u ,(1)
Es decir
e−u=αβ e−2 x eu
e2 x
Obtenemos e 2 u=
αβ
Por lo que
ex 1
e u= , u=x− log αβ
√ αβ 2
Ahora sustituimos este valor en la función
x
−u 1 −x −2 x+u −u 1 −x −2 x u −x 1 −x −2 x e 1
−e − e −αβ e =−e − e −αβ e e =− √αβ e − e −αβ e =−√ αβ e−x − e−x −√ αβ e−
2 2 2 √ αβ 2
Tenemos que
1 1
[ ] ( )
−α e−αx =max −e−u − e−x −αβ e−2 x+u =− 2 √ αβ+ e−x
u∈ R 2 2
Debe verificarse que
1
α =2 √ αβ+
2
Podemos reescribir esto como
1
α −2 √ αβ=
2
que es lo mismo que
1
α −2 √ αβ+ β= + β
2
Observamos que ( √ α −√ β )2=−2 √ αβ + β . Tenemos que
2 1
( √ α −√ β ) = + β
2
Como √ α > 0,
MATEMÁTICAS III
Francisco Marhuenda
1
√
√ α =√ β+
2
+β
Concluimos que tomando
2
1
( √ )
α = √ β+ + β
2
la función valor J ( x )=−α e−x es una solución de la ecuación de Bellman.

(4) Considere el siguiente problema de optimización dinámica

∞
1 t −2 2 2
max ∑
u ∈ R t=0 2
t
( )( x −u
3 t t )
sujeto a x t +1=x t +ut t=0,1 , …
con 0< β <1. Demuestre que existe una solución Sabiendo que la función valor de la forma
J ( x )=−α x 2 (para un cierto valor de la constante α >0 que debe determinar) es una solución
de la ecuación de Bellman.

Solución. Recordemos que la ecuación de Bellman es

1
[ ]
J ( x )=max f ( x , u ) + J (g ( x , u ) )
u∈ R 2

donde
g ( x , u )=x +u
−2 2 2
f ( x ,u )= x −u
3
Es decir, debe verificarse que
−2 2 2 α
−α x 2=max [
u ∈R 3 ]
x −u − β ( x +u )2
2
La condición de primer orden del problema de maximización
−2 2 2 α
max
u∈ R[ 3 2 ]
x −u − ( x +u )2
es
−2 u−α ( x+u )=0 ,(1)
Es decir
−α
u= x
2+ α
Ahora sustituimos este valor en la función
2 2
−2 2 2 α ( 2 −2 2 α α α −4 +5 α 2
3
x −u − x+ u ) =
2 3 (
x−
2+α ) (
x − x−
2 2+ α
x = )
3(2+α )
x
Tenemos que
−4+5 α 2
−α x 2= x
3(2+ α )
Debe verificarse que
−4 +5 α
α=
3(2+α)
MATEMÁTICAS III
Francisco Marhuenda
Hay dos soluciones de esta ecuación
−4
α 1= , α 2=1
3

Elegimos la raíz positiva y concluimos que tomando

α =1
la función valor J ( x )=−x 2 es una solución de la ecuación de Bellman. Obtenemos
1
u¿t = x t
3