MATEMÁTICAS III

Francisco Marhuenda

EJERCICIOS SESIÓN N° 4: PROGRAMACIÓN DINÁMICA 1

(1) Un agente debe repartir una cantidad C de un recurso entre T + 1 actividades

t=0,1 , … , T. Si a la actividad t se le asigna la cantidad de recurso ut , entonces el
beneficio obtenido de esa actividad es √ ut . Plantee y, utilizando la ecuación de
Bellman, resuelva el problema como un problema de programación lineal.

Solución: Llamemos x t a la cantidad de recurso que queda después de asignar la

cantidad de recurso ut a la tarea t. El problema puede plantearse de la siguiente
manera
T
max ∑ √u t
u0 ,u1 , … ,uT t =0

sujeto a x t +1=x t−u t, t=0,1 , … T

x T +1=0

x 0=C

0 ≤ ut ≤ x t ,    t=0,1 , … T−1.

En el instante final T tenemos que

hT ( xT ,uT )= √uT

Por lo tanto,

J T ( x T ) = max hT ( x T ,uT )= √ x T
0 ≤u T ≤ x T

Ahora calculamos

hT −1 ( x T −1 , uT −1 ) =√ uT−1 +J T ( x T ) =√ uT−1 + √ x T = √uT −1+ √ x T −1 −uT−1

J T −1 ( x T−1 ) = max hT −1 ( x T −1 , uT −1 )
0 ≤u T −1 ≤ x T −1

La condición de primer orden es

1 1
− =0
2 √ uT −1 2 √ x T −1−uT −1
MATEMÁTICAS III
Francisco Marhuenda
Es decir,

√ uT −1 =√ x T −1 −uT−1
Elevando al cuadrado y despejando uT −1. Obtenemos
x T −1
uT −1=
2

x T −1 x x
(
J T −1 ( x T−1 ) =hT −1 x T −1 ,
2 ) √ √
= T −1 + xT −1− T −1 = √2 √ xT −1
2 2

Ahora calculamos

hT −2 ( x T −2 , uT −2) =√ uT−2 + J T −1 ( x T−1 ) =√u T−2 + √ 2 √ x T−2−u T−2

J T −2 ( x T−2 ) = max hT −2 ( x T −2 , uT −2)

0 ≤u T −2≤ x T −2

La condición de primer orden es

1 √2
− =0
2 √ uT −2 2 √ x T −2−uT −2

Es decir,

√ 2 √ uT −2=√ x T−2−uT −2
Elevando al cuadrado y despejando uT −1. Obtenemos
x T −2
uT −2=
3

xT −2 x x x x x x
(
J T −2 ( x T−2 ) =hT −2 xT −2 ,
3 ) √ √ √ √ √ √
= T −2 + √ 2 x T −2 − T−2 = T −2 + √ 2 2 T −2 = T −2 +2 T −2 =√ 3 √ x T −2
3 3 3 3 3 3

Vemos que, en general, se obtiene

xT −k
uT −k = , J T −k ( x T −k )=√ k +1 √ xT −k
k
Tomando k =T , obtenemos
x0 C
u0 = =
T T
Por lo que
MATEMÁTICAS III
Francisco Marhuenda
T −1 x1 C
x 1=x 0−u0 = C ,u 1= =
T T −1 T

T −2 x2 C
x 2=x 1−u1= C ,u1 = =
T T −2 T
Vemos que la solución óptima es
C T −t
ut = , xt = C , J 0 ( x 0 )= √ T +1 √ C
T T

(2) Un agente dispone de una cantidad x 0 de un bien. En cada uno de los periodos
t=0,1 , … , T−1 el agente puede incrementar el bien con una cantidad ut , con coste
c u2t . En el periodo T el agente puede vender el bien a un precio unitario p. El agente
tiene una tasa temporal de descuento r. Plantee y, utilizando la ecuación de Bellman,
resuelva el problema como un problema de programación lineal.

Solución: Llamemos x t a la cantidad de bien acumulada en el periodo t.El problema

puede plantearse de la siguiente manera
T −1
r p x T − ∑ r t c u 2t
T
max
u0 ,u1 , … ,uT −1 ∈R t=0

sujeto a x t +1=x t +ut , t=0,1 , … T

x 0 dado

ut ≥ 0, t=0,1, … T −1.

En el instante final T tenemos que

hT ( xT ,uT )=r T p x T

Por lo tanto,

J T ( x T ) = max hT ( x T ,uT )=r T p x T

0 ≤u T ≤ x T

Ahora calculamos

hT −1 ( x T −1 , uT −1 ) =−r T −1 c u2T−1 + J T ( x T ) =−r T −1 c u2T −1 +r T p x T =−r T−1 c uT2 −1+ r T p ( xT −1+ uT−1 ) =r T−1 ( pr x T −1+ p

J T −1 ( x T−1 ) = max hT −1 ( x T −1 , uT −1 )
0 ≤u T −1 ≤ x T −1

La condición de primer orden es

rp−2 c u T−1=0
MATEMÁTICAS III
Francisco Marhuenda
Es decir,
rp
uT −1=
2c

rp rp rp 2
( rp )2 p2
(
J T −1 ( x T−1 ) =hT −1 x T −1 ,
2c ) (
=r T−1 pr xT −1+ pr −c
2c 2c ( )) (
=r T −1 pr x T−1−
4c ) =r T p x T −1+ r T +1
4c

En el periodo T −2

T −2 2 T −2 2 T T +1 p2 T −2 2 T
hT −2 ( x T −2 , uT −2) =−r cu T −2 + J T −1 ( x T −1 ) =−r cu T−2 +r p x T−1 +r =¿−r c uT −2+r p ( x T −2+u T−2 ) +
4c
J T −2 ( x T−2 ) = max hT −2 ( x T −2 , uT −2)
0 ≤u T −2≤ x T −2

La condición de primer orden es

−2 r T−2 c u T−2 +r T p=0

Obtenemos

r2 p
uT −2=
2c
2
r2 p r2 p r2 p p2 p2
J T −2 ( x T−2 ) =hT −2 ( xT −2 ,
2c
=−r T −2 c)2c ( )
+ r T p x T−2 +
2c
+ r T+1
4c( )
=r T p x T−2 +r T +1 (1+r )
4c

En el periodo T −3
2
hT −3 ( x T −3 , uT −3 )=−r
T −3 2
c uT −3+ J T−2 ( xT −2 )=−r
T−3 2 T
c uT −3+ r p x T −2+ r
T+1
( 1+r ) p =¿−r T−3 c u 2T−3 +r T p ( x T−3 +u
4c
J T −3 ( x T −3 ) = max h T−3 ( xT −3 ,uT −3 )
0 ≤uT −2≤ x T −2

La condición de primer orden es

−2 r T−3 c u T−3 +r T p=0

Obtenemos

r3 p
uT −3=
2c
2
r3 p r3 p r3 p p2 p2
(
J T −3 ( x T −3 ) =hT −3 x T−3 ,
2c )
=−r T−3 c
2c ( )
+r T p xT −3+
2c ( )
+r T +1 ( 1+ r ) =r T p x T −3+ r T+1 ( 1+r +r 2 )
4c 4c
MATEMÁTICAS III
Francisco Marhuenda

Vemos que, en general, se obtiene

rk p 2
T T +1 k−1 p
uT −k = , J T−k ( x T−k ) =r p xT −k +r ( 1+ r+ r )
2c 4c

Tomando T −k =t, obtenemos

r T−t p 2
T T +1 2 T−t p
ut = , J t ( x t )=r p x t +r ( 1+ r +r )
2c 4c

(3) Resuelva el siguiente problema de optimización dinámica, utilizando la ecuación de

Euler.
T
2
max −∑ ( x t−x t +1 )
x0 , …, x T + 1∈ R t =0

sujeto a x T +1=0,
x 0=C
x t ≥ 0, t=0,1 , … T .

Solución: La ecuación de Euler es

2 ( x t−1−x t ) −2 ( xt −x t +1 )=0

Obtenemos
x t +1=2 x t −x t−1

Como x 0=C
x 2=2 x1 −x0 =2 x 1−C

x 3=2 x 2−x1 =4 x 1−2 C−x 1=3 x1 −2C

x 4 =2 x 3−x 2=6 x 1−4 C−2 x 1 +C=4 x1 −3C

En general, obtenemos que

x t=t x 1−(t−1)C

En particular,
x T +1=( T +1 ) x 1−TC=0

Y obtenemos
MATEMÁTICAS III
Francisco Marhuenda
T
x 1= C
T +1
Y de aquí
tT T +1−t
x t=t x 1−( t−1 ) C=x t = C−( t−1 ) C= C
T +1 T +1

(4) Un agente dispone de una cantidad x 0 de un bien. En cada uno de los periodos
t=0,1 , … , T−1 el agente consume una parte c t del bien. Suponga que el agente tiene
una tasa β de descuento temporal. La función de utilidad del agente sobre consumo es
ln c. Plantee y, utilizando la ecuación de Euler, resuelva el problema como un
problema de programación lineal.

Solución: Llamemos x t a la cantidad de bien que queda en el instante t.El problema

puede plantearse de la siguiente manera
T
max ∑ β t lnc t
c ,c ,… ,c ∈R
0 1 T t =0

sujeto a x t +1=x t−ct , t=0,1 , … T −1

x 0 dado

0 ≤ ct ≤ xt , t=0,1 ,… T .

Para poder plantear la ecuación de Euler sustituimos c t =x t−x t +1 en la función objetivo:

T
max ∑ β t ln ( x t−x t +1 )
x , x ,… , x ∈ R
0 1 T t =0

x 0 dado

x T +1=0

xt ≥ 0 , t=0,1 , … T .

La ecuación de Euler es

βt β t −1
− =0
xt −x t +1 x t−1−x t

Es decir
β x t −1−β x t =xt −x t +1
MATEMÁTICAS III
Francisco Marhuenda
Obtenemos
1+ β 1
x t−1= x t− x t +1
β β
En el periodo T −1
1+ β 1 1+ β
x T−1= x T − x T +1= x
β β β T
En el periodo T −2

1+ β 1 1+ β 2 1 1+ β + β 2
x T−2= x − x =
β T−1 β T β β ( )
xT− xT =
β2
xT

En el periodo T −3

1+ β 1 (1+ β )(1+ β+ β2 ) 1+ β 1+ β + β 2+ β3
x T−3= x T−2− x T−1= x T − x T = xT
β β β3 β2 β3
En general, vemos que

1+ β + β 2+ …+ β k 1−β k+1
x T−k = k
x T = k
xT
β β (1− β)
Haciendo t=T −k ,

1−β T−t +1
x t= T −t
xT
β (1−β )
Tomando t=0,

1−βT +1
x 0= T
xT
β (1−β )
Obtenemos

β T (1−β)
x T= x0
1−β T +1
Sustituyendo este valor en la expresión de x t ,

1−β T−t +1 (1−β T−t +1) β T (1−β) β t −βT +1

x t= T −t xT = T−t x 0 = x0
β (1−β ) β ( 1−β) (1−β T +1) 1−β T +1

Y el consumo es
t−1
x0 x0
( β t−1−β t ) = 1−β Tβ+1 x 0=¿
( )
c t =x t−1−x t = T +1
( β t −1−β T+ 1−β t + β T +1) = T +1
1−β 1−β 1−β
MATEMÁTICAS III
Francisco Marhuenda
β t −βT +1
Usando la expresión x t= x0
1−β T +1
podemos expresar el consumo también como en función de la cantidad x t de bien que
queda en el instante t,

( 1−β ) β t−1 ( 1−β ) β t−1 ( 1−β T +1 ) βt −1−β T +t β−1−T −1 1−β−1−T

ct = x 0= x t=( 1−β ) t x t =( 1−β ) −T x t= (1−β ) xt
1−βT +1 1−β T +1 β t −βT +1 β −β T +1 β −1 1− β−T