Optimización Dinámica: Control 1, Diciembre de 2011

Instrucciones: Este control tiene un total de 5 preguntas y califica sobre 10 puntos. Consitituye
un máximo del 40 % de su nota final y entregarlo no implica figurar como presentado en la
convocatoria. Conteste a las preguntas en un cuadernillo aparte. Solamente puede entregar un
cuadernillo. No entregue esta hoja de enunciados. La duración es 75 minutos.

1. [2 puntos] Resuelva usando control óptimo:

Z 1
mı́n u2 dt + x (1)2 ẋ = x + u; x (0) = 1
0

En su respuesta debe especificar claramente las ecuaciones definidas por el principio del máximo
y la solución de dichas ecuaciones en estado y co-estado.

Solución:
Definimos el Hamiltoniano:
H = u2 + λ (x + u)
donde λ es la variable de co-estado. La condición de minimización del Hamiltoniano da lugar
a u = −λ/2. La dinámica de co-estado es λ̇ = −λ, cuya solución general es λ (t) = Ce−t .
Sustituyendo en la dinámica de estado queda ẋ − x = − (1/2) Ce−t , cuya solución general es
x (t) = Aet + (1/4) Ce−t . Usando la condición x (0) = 1 podemos eliminar la constante A ante-
rior, y queda x (t) = (1 − C/4) et + (1/4) Ce−t . Usando además la condición de transversalidad
λ (1) = 2x (1) obtenemos una solución para la constante C, y queda:

1 t e2 −t 4e2 −t
x (t) = e + e λ (t) = e
e2 + 1 e2 + 1 e2 + 1

2. [2 puntos] Resuelva usando control óptimo:

Z 1
x + u2 dt


mı́n ẋ = x + u; x (0) = 1; x (1) ≤ 1/2
0

En su respuesta debe especificar claramente las ecuaciones definidas por el principio del máximo
y la solución de dichas ecuaciones en estado y co-estado.
 Solución:
Definimos el Hamiltoniano:
H = x + u2 + λ (u + x)
donde λ es la variable de co-estado. La condición de minimización del Hamiltoniano da lugar
a u = −λ/2. La dinámica de co-estado es λ̇ = − (1 + λ), cuya solución general es λ (t) =
−1 + Ae−t . Sustituyendo en la dinámica de estado queda ẋ − x = 21 − 12 Ae−t , cuya solución
general es x (t) = Bet − 12 + 14 Ae−t . Usando la condición x (0) = 1 podemos eliminar la constante
B anterior, y queda:  
1 3 1 1
x (t) = − + − A et + Ae−t
2 2 4 4
La condición de transversalidad para este problema puede escribirse: λ (1) (y − x (1)) ≤ 0
para todo y ≤ 1/2. Analizemos los dos casos posibles. Caso (i): x (1) < 1/2 y λ (1) = 0;
de la igualdad obtenemos que ha de ser A = e, pero para ese valor de A queda x (1) <
1/2 ⇔ (6 − e) e < 3, y la última la desigualdad no se verifica. Caso (ii): x (1) = 1/2 y
λ (1) ≥ 0; de la igualdad obtenemos que ha de ser A = e4−6e
−1 −e , y para ese valor de A queda
−1
λ (1) ≥ 0 ⇔ 3e ≤ 6 − e y esta última desigualdad se verifica. Por tanto, este último caso es
el que genera el valor de A.

3. [3 puntos] Vendemos un piso. Tenemos N perı́odos para venderlo, siendo el primero 0 y el último
N − 1. En cada perı́odo llega un comprador que hace una oferta. La oferta del comprador del k-
ésimo perı́odo es z (k), distribuida uniformemente en el intervalo [0, k]. Suponemos que las ofertas
de dos perı́odos distintos son independientes entre sı́. En cada perı́do, primero se observa la oferta
del correspondiente comprador y después el vendedor toma la decisión de aceptar o rechazar
dicha oferta. Una oferta rechazada ya no vuelve a estar disponible. Si el vendedor no vende el
piso, obtiene un valor de reserva r. Se pide:
(a) [1 punto] Formule la decisión del vendedor como la solución de un problema de programa-
ción dinámica. Debe especificar claramente estado, control, dinámica de estado y funcional
objetivo.
(b) [1 punto] Suponga una función de continuación, g, cuyo único argumento es el perı́odo, de
modo que en el perı́odo K el vendedor vende si y solo si z (k) ≥ g (k + 1). ¿Qué relación hay
entre g y la función valor del problema de problema de programación dinámica planteado en
el apartado anterior?
(c) [1 punto] Usando programación dinámica, encuentre la ecuación en diferencias cuya solución
es la función de continuación.

Solución:
Sean x y u estado y control, respectivamente, de modo que; x (k) = 1 si al comienzo del perı́odo
k el piso está vendido y x (k) = 0 en otro caso; además u (k) = 1 si el piso se vende en el perı́odo

Page 2
 k y u (k) = 0 en otro caso. La dinámica de estado puede escribirse x (k + 1) = x (k) + u (k),
donde en cada perı́odo debe satisfacerse la restricción x (k) + u (k) ≤ 1. El funcional objetivo
P −1
es maximizar E{ N k=0 u (k) z (k) + S (x (N ))}, siendo S (1) = r y S (0) = 0. Sea J (0, k) la
función valor en el perı́do k cuando el estado es x (k) = 0, es decir, J (0, k) es el valor que tiene
para el vendedor comenzar el perı́odo k con el piso sin vender. Claramente g (k) = J (0, k).
Resolvemos ahora el problema usando programación dinámica. Supongamos dado x (N − 1) =
0, claramente la decisión del vendedor será u (N − 1) = 1 ⇔ z (N − 1) ≥ r. Por tanto:

J (0, N − 1) = E{max{z (N − 1) , r}} (1)

que podemos expresar

J (0, N − 1) = E{z (N − 1) | z (N − 1) ≥ r} Pr (z (N − 1) ≥ r) + r Pr (z (N − 1) < r)

Usando los supuestos distribucionales sobre las ofertas, queda:

r2
 
1
J (0, N − 1) = N −1−
2 N −1

Supongamos ahora un perı́odo k arbitrario, de modo que x (k) = 0, es claro que u (N − 1) =

1 ⇔ z (k) ≥ J (0, k + 1), por lo que:

J (0, k) = E{max{z (k) , J (0, k + 1)}} (2)

que podemos expresar

J (0, k) = E{z (k) | z (k) ≥ J (0, k + 1)} Pr (z (k) ≥ J (0, k + 1)) + r Pr (z (k) < J (0, k + 1))

De nuevo queda: !
1 J (0, k + 1)2
J (0, k) = k2 −
2 k
La anterior es la ecuación en diferencias solicitada partiendo de J (0, N ) = r. Alternativamente,
se admite como solución correcta que la ecuación en diferencias es (2) tomando (1) como
condidición inicial, lo que evita el cálculo de las correspondientes esperanzas.

4. [2 puntos] Tenemos que producir A unidades de producto y tenemos tres centros de producción:
{0, 1, 2}. El k-ésimo centro tiene un coste de producción gk (u) = (k + 1) u2 , donde u es la cantidad
producida en dicho centro. ¿Cuál es el reparto óptimo entre los tres centros? Plantée y resuelva
el problema mediante programación dinámica.

Solución:

Page 3
 Sea x (k) la cantidad ya repartida antes de asignar producción al k-ésimo centro, y sea u (k)
la asignación a dicho centro. Claramente, x (k + 1) = x (k) + u (k), siendo x (0) = 0.
Resolvemos ahora el problema usando programación dinámica. Sea x (2) dado, claramente la
decisión es u (2) = a − x (2). Teniendo en cuenta los costes de producción del centro 2, la
función valor queda J (x (2) , 2) = 3 (A − x (2))2 . Sea ahora x (1) dado. Teniendo en cuenta el
coste de producción del centro 1, el problema a resolver es:

máx{2u2 + J (x (1) + u, 2)}

u

La solución de dicho problema es u (1). Queda u (1) = (3/5) (A − x (1)). Sustituyendo en la

función que hemos maximizado obtenemos la función valor J (x (1) , 1) = (6/5) (A − x (1))2 .
Sea x (0) = 0 dado. Teniendo en cuenta el coste de producción del centro 0, el problema a
resolver es:
máx{u2 + J (u, 1)}
u

La solución de dicho problema es u (0). Queda u (0) = (6/11) A.

5. [1 punto] Resuelva usando cálculo de variaciones:

Z 1
mı́n u2 dt ẋ = x + u; x (0) = 1; x (1) = 0
0

Solución:
R1
Tenemos que u = ẋ−x, luego el funcional objetivo es 0 F (ẋ, x) dt, siendo F (ẋ, x) = (ẋ − x)2 .
La ecuación de Euler da lugar a ẍ = x, cuya solución general es x (t) = Aet + Be−t . Usando
las condiciones de contorno especificadas, queda:

1 t e2 −t
x (t) = − 2 e + 2 e
e −1 e −1

Page 4