OPTIMIZACIÓN DINÁMICA. CURSO 07/08.

CONTROL 1

Dispone de una hora para realizar el control. Recuerde que su nota de clase es el
promedio de sus cuatro mejores calificaciones en controles. La solución se
publicará próximamente en la web de la asignatura.

Pregunta. Tenemos tres zonas de venta, {1,2,3}, y tenemos que decidir cuántos
vendedores asignamos a cada zona. Tenemos en total 5 vendedores y podemos asignar
un máximo de dos vendedores a la misma zona (podríamos no asignar ninguno). Los
ingresos de la zona i son:
S i  qi  Ei qi2
siendo qi el número de vendedores asignados a la zona i. Suponemos:
E1  E 2  E3
¿Cuál es la política de asignación que maximiza los ingresos totales? Pista: para
k={1,2,3}, la variable de estado, x(k), es el número de vendedores asignados a las zonas
{0,1,……,k-1}, siendo x(1)=0; mientras que la variable de control, u(k), es el número de
vendedores asignados a la zona k. La dinámica de estado es x(k+1)= x(k)+ u(k).
Solución.

u(1) u(2) u(3)

0=x(1) x(2) x(3) x(4)”5

Zona 1 Zona 2 Zona 3

Supongamos x(3) dado:

x(3) u*(3) J(x(3),3)

0 2 4ȕ3
1 2 4ȕ3
2 2 4ȕ3
3 2 4ȕ3
4 1 ȕ3

Supongamos x(2) dado:

x(2)=2 Bcio pres Estado fut. Bcio fut Bcio Tot

u(2)=0 0 2 4ȕ3 4ȕ3
u(2)=1 ȕ2 3 4ȕ3 ȕ 2+4ȕ3
u(2)=2 4ȕ 2 4 ȕ3 4ȕ 2+ȕ3
x(2)=1
u(2)=0 0 1 4ȕ3 4ȕ3
u(2)=1 ȕ2 2 4ȕ3 ȕ 2+4ȕ3
u(2)=2 4ȕ 2 3 4ȕ3 4ȕ 2+4ȕ3
x(2)=0
u(2)=0 0 0 4ȕ3 4ȕ3
u(2)=1 ȕ2 1 4ȕ3 ȕ 2+4ȕ3
u(2)=2 4ȕ 2 2 4ȕ3 4ȕ 2+4ȕ3

Por tanto:

x(2) J(x(2),2)
0 4ȕ 2+4ȕ3
1 4ȕ 2+4ȕ3
2 ȕ 2+4ȕ3
Finalmente, tomemos x(1)=0 dado:

Bcio pres Estado fut. Bcio fut Bcio Tot

u(1)=0 0 0 4ȕ 2+4ȕ3 4ȕ 2+4ȕ3
u(1)=1 ȕ1 1 4ȕ 2+4ȕ3 ȕ 1+4ȕ 2+4ȕ3
u(1)=2 4ȕ1 2 ȕ 2+4ȕ3 4ȕ1+ ȕ 2+4ȕ3

Por tanto, la política óptima es:

u*(1)=1; u*(2)=u*(3)=2

El máximo ingreso alcanzable es J(0,1)= ȕ 1+4ȕ 2+4ȕ3

 OPTIMIZACIÓN DINÁMICA. CURSO 08/09. CONTROL 1

Dispone de una hora para realizar el control. Recuerde que su nota de clase es el
promedio de sus cuatro mejores calificaciones en controles. La solución se
publicará próximamente en la web de la asignatura.

0 1 2 3 4

2 1
3

Suponga que hemos de atravesar 5 fronteras, representadas en el diagrama anterior por

líneas verticales y denotadas por los números 0,…,4. Es decir, inicialmente estamos a la
izquierda de la frontera 0 y hemos de acabar a la derecha de la 4. El viaje debe hacerse
desde la frontera 0 hasta la 4. Cada frontera solamente se puede cruzar por uno de los
puntos rojos, denotados por A, B y C. Solamente es posible viajar siguiendo las líneas
azules, por ejemplo, desde el punto A de la frontera 0 puede viajarse al punto A ó B de
la frontera 1, pero no al C. Los costes de viajar están representados en el triangulo
inferior del diagrama anterior: viajar suroeste-nordeste tiene coste 2, viajar noroeste-
sureste tiene coste 1 y viajar este-oeste tiene coste 3. No son posibles viajes norte-sur ni
sur-norte. Encuentre la ruta óptima usando programación dinámica.
Solución. Cada frontera es una etapa, el estado es por que punto hemos cruzado la
frontera actual y el control es el punto por el que vamos a cruzar la próxima.
x Sea x(4) dado. No tenemos ninguna decisión que tomar, y además J(x(4),4)=0.
x Sea x(3) dado. Claramente x(3) pertenece a {A,B,C}. Si x(3)=A, la política
óptima es ir a B de la frontera 4, lo que denotamos por u(A,3)=B, y es J(A,3)=1.
Análogamente, tenemos: J(B,3)=1 y J(C,3)=2, siendo u(B,3)=C y u(C,3)=B.
x Sea x(2) dado. De nuevo, x(2) pertenece a {A,B,C}.

x(2) u(2) Coste actual J(x(3),3) Coste total

A A 3 1 4
B 1 1 2
B A 2 1 3
B 3 1 4
C 1 2 3
C B 2 1 3
C 3 2 5

En amarillo aparece la ruta óptima, por lo que es:

J(A,2)=2, J(B,2)=3 y J(C,2)=3, siendo u(A,2)=B, u(B,2)=A ó C y u(C,2)=B.

x Sea x(1) dado. De nuevo, x(1) pertenece a {A,B,C}. Notemos que las tres
primeras columnas de la siguiente tabla son iguales a las de la tabla anterior.

x(1) u(1) Coste actual J(x(2),2) Coste total

A A 3 2 5
B 1 3 4
B A 2 2 4
B 3 3 6
C 1 3 4
C B 2 3 5
C 3 3 6

En amarillo aparece la ruta óptima, por lo que es:

J(A,1)=4, J(B,1)=4 y J(C,1)=5, siendo u(A,1)=B, u(B,1)=A ó C y u(C,1)=B.

x Finalmente, consideremos x(0) dado. Podemos comenzar cruzando la frontera

actual por A, B ó C, dando lugar a x(0) igual a A,B ó C, respectivamente.

x(0) u(0) Coste actual J(x(1),1) Coste total

A A 3 4 7
B 1 4 5
B A 2 4 2
B 3 4 7
C 1 5 6
C B 2 4 6
C 3 5 8
El siguiente gráfico muestra las dos posibles rutas óptimas en rojo:

0 1 2 3 4

C
 OPTIMIZACIÓN DINÁMICA. CURSO 07/08. CONTROL 2

Dispone de una hora para realizar el control. Recuerde que su nota de clase es el
promedio de sus cuatro mejores calificaciones en controles. La solución se
publicará próximamente en la web de la asignatura.

Pregunta. Resuelva el siguiente problema usando control óptimo.

­1 2 2½ x
min ® ³ u  t  dt   x 1  1 ¾ s.a.: x  t  u  t   x  t  ; x  0  0
¯0 ¿
¿Es óptimo x(1)>1?
Solución. Definimos el Hamiltoniano:
H u2  O u  x 
donde Ȝ es la variable de co-estado y omitimos el argumento temporal donde no haya
lugar a la ambigüedad.
x wH x
O  œO O Ÿ O  t  Cet
wx
Además, la condición de transversalidad sobre el co-estado es: Ȝ(1)=2(x(1)-1).

Por otra parte:

1
min ^ H ` Ÿ u*  O
u 2
Sustituyendo u* en la dinámica de estado queda:

x 1
x x  Cet (*)
2
La solución general de la ecuación homogénea asociada es x(t)=Be-t

1
Una solución particular de la completa es: x t   Cet
4
Por tanto, la solución general de la ecuación (*) es:
1
x t  Be  t  Cet
4
Usando la condición x(0)=0 para eliminar B de la anterior ecuación, ésta queda:

1
x t  C  e  t  et 
4
Finalmente, usando la condición de transversalidad del co-estado para hallar el valor de
C queda:
§1 · 4
O 1 2  x 1  1 œ Ce 2 ¨ C  e 1  e   1¸ œ C 1
©4 ¹ e  3e
Notemos que:
e 1  e
x 1 1
e 1  3e
Hemos de llevar el sistema desde el (0,x(0))=(0,0) hasta el punto (1,x(1))=(1,1). Dado
que aumentar el valor de x es costoso, para cualquier desviación del sistema por encima
de x(1)=1 existe una con el mismo coste final y ““más barata””.
 OPTIMIZACIÓN DINÁMICA. CURSO 07/08. CONTROL 3

Dispone de una hora y media para realizar el control. Recuerde que su nota de
clase es el promedio de sus cuatro mejores calificaciones en controles. La solución
se publicará próximamente en la web de la asignatura.

Pregunta 1. Considere el siguiente problema usando control óptimo.

­1 2 ½ x
min ® ³  x  t   u 2  t   dt ¾ s.a.: x  t  x t   u t  ; x  0 1
¯0 ¿
Se pide: (1) plantear el sistema de ecuaciones diferenciales que caracteriza la evolución
conjunta del estado y del co-estado bajo la política óptima: (2) ¿cómo se resuelve dicho
sistema? Nota: el mayor peso en la calificación de esta pregunta está en la parte (1).

Pregunta 2. Sea x(t) el stock de peces de una piscifactoría en el instante t y sea u(t) el
nivel de capturas en dicho instante. La dinámica del stock viene dada por:
x
x  t  rx  t   a  x  t    u  t 
siendo r>0 y a>0 parámetros fijos y partiendo de un nivel inicial de stock x(0)=b…(0,a).
La utilidad instantánea de u capturas es lnu. Se desea maximizar el flujo de utilidad a lo
largo del horizonte temporal [0,T], siendo T finito, es decir:
­T ½
max ® ³ ln u  t  dt ¾
¯0 ¿
se pide caracterizar la tasa de variación de las capturas como función exclusivamente de
x (y de parámetros del modelo).
Solución del problema 1. Definimos el Hamiltoniano:
H x2  u 2  O  x  u 
donde Ȝ es la variable de co-estado y omitimos el argumento temporal donde no haya
lugar a la ambigüedad.
x wH x
O  œO   2x  O  (*)
wx
Además, la condición de transversalidad sobre el co-estado es: Ȝ(1)=0.

Por otra parte:

1
min ^ H ` Ÿ u*  O
u 2
Sustituyendo u* en la dinámica de estado queda:

x 1
x x O (**)
2
Podemos expresar conjuntamente (*) y (**):
§x·
¨ x ¸ § 1 1/ 2 ·§ x ·
¨ x ¸ ¨© 2 1 ¸¨ ¸
¹© O ¹
O
© ¹   

A
que constituye la solución a la parte (1). El anterior es un sistema de ecuaciones
diferenciales de primer orden, lineal y homogéneo. Su solución puede caracterizarse
mediante los autovalores y autovectores asociados a la matriz A. Mas concretamente, si
į es un autovalor de A y v es su autovector asociado, la función z(t)=Ceįtv es solución al
sistema anterior, siendo C una constante arbitraria. Los autovalores de la matriz A son
las soluciones de su ecuación característica:
A G I 0
siendo I la matriz identidad. Para la matriz dada, dichas soluciones son: G r 2 . Para
cada autovalor į, el autovector asociado es una solución del sistema:
 A G I  v 0
Para los autovalores G1 2 y G2  2 , los correspondientes autovectores asociados
son, respectivamente:
§ 1 · § 1 ·
¨
v1 ¸ v2 ¨ ¸
¨ 2 1 2 ¸
© ¹   
¨ 2 1 2 ¸
© ¹
y la solución general del sistema es:

§ x t  · § 1 · § 1 ·
¸ = C1e ¨ ¸  C2 e  2t ¨ ¸
2t
¨
© O t  ¹ ¨ 2 1 2 ¸
© ¹   ¨ 2 1 2 ¸
© ¹  
siendo C1 y C2 tales que se satisfacen las condiciones de contorno x(0)=1 y Ȝ(1)=0.

Código Matlab para obtener los autovalores y autovectores anteriores:

[Vec Val]=eig(sym([1 -1/2; -2 -1])))
Solución del problema 2. Definimos el Hamiltoniano:
H ln u  O  rx  a  x   u 
La dinámica de co-estado es:
x
x wH O
O  œ r  a  2 x 
wx O
con la condición terminal Ȝ(T)=0.

Por otra parte:

1
min ^ H ` Ÿ u*
u O
Derivando respecto al tiempo en la última igualdad se tiene:
x x
x 1 u x O
u  2Oœ 
O u O
y usando la última igualdad en la dinámica de co-estado es:
x
u
r a  2x
u
que es la función solicitada (notemos que el lado izquierdo es la tasa de variación de las
capturas).

La intuición de la anterior ecuación es sencilla. La tasa de variación de las capturas es

positiva (respectivamente negativa) si el stock es lo suficientemente pequeño (grande).
Cuando el stock es pequeño, también lo es el nivel de capturas, lo que a su vez hace que
tanto el stock como el nivel de capturas aumente en el tiempo. La situación contraria
ocurre cuando el stock es grande.
 OPTIMIZACIÓN DINÁMICA. CURSO 08/09. CONTROL 3

Dispone de una hora para realizar el control. Recuerde que su nota de clase es el
promedio de sus cuatro mejores calificaciones en controles. La solución se
publicará próximamente en la web de la asignatura.

Pregunta 1. (a) Resuelva el siguiente problema usando control óptimo:

­1 ½ x
min ® ³  x  u 2  dt  2 x 1 ¾ s.a.: x x  u siendo x  0  1
u
¯0 ¿
(pista: caracterize primero el co-estado y el control óptimo como función del tiempo y
finalmente el estado)
(b) ¿cuál es el coste de comenzar con un valor x(0) ligeramente superior?

Pregunta 2. Considere el siguiente problema de control óptimo:

­1 ½ x
min ® ³  x  D u  dt ¾ s.a.: x u siendo x  0  1, con u  t   > 0,1@ t
u
¯0 ¿
con D ! 0 . Discuta como cambian el control óptimo y el estado para diferentes valores
de D .
Soluciones:

Pregunta 1. (a) Definimos el Hamiltoniano:

H : x  u2  O  x  u 
La dinámica de co-estado es:
x wH x
O  œ O  1  O 
wx
La solución general de la ecuación homogénea asociada a la anterior ecuación
diferencial es O Ce  t . Una solución particular de la ecuación completa es O 1 . Por
tanto, la solución general de la ecuación anterior es O Ce  t  1 . Utilizando la
condición de transversalidad sobre el co-estado O 1 2 tenemos:
O  t  3e1t  1
La condición de minimización del Hamiltoniano es:
O 1 1t
min ^ H ` œ u
u 2 2
 3e  1
y sustituyendo en la dinámica de estado, tenemos:
x 1
x x
2
1  3e1t 
La solución general de la ecuación homogénea asociada a la anterior ecuación
diferencial es x Cet . Una solución particular de la ecuación completa es
1 3
x   e1t . Por tanto, la solución general de la ecuación anterior es
2 4
1 3
x Ce t   e1t . Utilizando la condición inicial sobre el estado tenemos:
2 4
1 3 3 3
x  t    et  e1t  e1t
2 2 4 4
(b) el valor solicitado es O  0  3e 1 .

Pregunta 2. Definimos el Hamiltoniano:

H : x  D u  Ou
La dinámica de co-estado es:
x wH x
O  œ O 1 œ O  t  A  t
wx
imponiendo la condición de transversalidad sobre el co-estado O 1 0 , tenemos:
O t  1 t
Por tanto, la condición de minimización del Hamiltoniano es:
min ^D  1  t  u`
u

Distinguimos dos casos:

(i) D t 1 Ÿ D  1  t t 0 t  > 0,1@ Ÿ u  t  0 t Ÿ x  t  1 t
(ii) D   0,1 Ÿ ^D  1  t t 0 œ t t 1  D `
En este último caso tenemos:
­1 t d 1D ­1  t t d 1D
u (t ) ® Ÿ x(t ) ®
¯0 en otro caso ¯ D en otro caso
 OPTIMIZACIÓN DINÁMICA. CURSO 07/08. CONTROL 4

Dispone de una hora para realizar el control. Recuerde que su nota de clase es el
promedio de sus cuatro mejores calificaciones en controles. La solución se
publicará próximamente en la web de la asignatura.

Pregunta 1. Resuelva el siguiente problema usando control óptimo.

­1 ½ x
max ® ³  x  t   u  t   dt ¾ s.a.: x  t  1  u  t  ; x  0  1
2

¯0 ¿

Pregunta 2. Resuelva el siguiente problema usando control óptimo.

­5 ½
 
x
max ® ³ u  t  x  t   u  t   x  t  dt ¾ s.a.: x  t  x  t   u  t  ; x 1 2
2 2

¯1 ¿

Solución del problema 1. Ver Cerdá(2001), pag. 120

Solución del problema 2. Ver Cerdá(2001), pag. 121

 OPTIMIZACIÓN DINÁMICA. CURSO 08/09. CONTROL 4

Dispone de una hora y media para realizar el control. Recuerde que su nota de
clase es el promedio de sus cuatro mejores calificaciones en controles. La solución
se publicará próximamente en la web de la asignatura.

Pregunta 1. Resuelva el siguiente problema usando control óptimo:

­2 ½ x 1
min ® ³  x  t   u 2  t   dt ¾ s.a.: x  t   x t   u t  ; x  0 1
¯0 ¿ 2
3 1
Junto con la condición terminal x  2  d e .
2 2

Pregunta 2. Resuelva el problema usando control óptimo.

­T ½ x
min min ® ³  x  t   u 2  t   dt ¾ s.a.: x  t  u  t  ; x  0  1; x T  0
u ,T
¯0 ¿
donde el instante final, T, es una variable de elección.
Solución a la pregunta 1. Definimos el Hamiltoniano:
1
H : x  u2  O  x  u 
2
la dinámica de co-estado es:
wH x 1 x
 O Ÿ 1 O  O
wx 2
la solución de la anterior ecuación diferencial es:
O  t  2  Cet / 2
donde C es una constante a determinar. En particular, tenemos:
O  2  2  Ce1
La condición de minimización del Hamiltoniano da lugar a:
1 1 1 t / 2
u t   O t   Ce
4 2 4
Sustituyendo en la dinámica de estado tenemos:
x 1 1 1 t / 2
x x  Ce
2 4 8
La solución de la anterior ecuación diferencial es:
1 1
x  t  Bet / 2   Ce  t / 2
2 8
donde el primer término del lado derecho es la solución general de la homogénea
asociada y B es una nueva constante a determinar. Imponiendo la condición inicial del
estado tenemos:
1 1 3 1
x  0 1 œ B   C 1 œ B  C
2 8 2 8
y, sustituyendo en la anterior condición para el estado tenemos:
3 t / 2 1 1 t / 2 t / 2
x t  e   e  e  C
2 2 8
por lo que:
3 1 1
x  2 e    e 1  e  C
2 2 8
Aplicamos ahora la condición de transversalidad final. Dado que la función de valor
residual es cero, dicha condición puede expresarse:
3 1
O  2  y  x  2 d 0  y d e 
2 2
Por tanto, hay dos casos posibles:
3 1
a) x  2  e y O  2 t 0
2 2
tenemos:
3 1
x  2 e  Ÿ C 0 Ÿ O  2  0
2 2
donde la primera implicación sale de la solución del estado y la segunda de la solución
del co-estado, por lo que este caso no es posible.

3 1
b) x  2  d e y O  2 0
2 2
tenemos:
 ­ 3 1 1 ½
O  2 0 Ÿ C 2e Ÿ ® x  2  d e  œ  e 1  e  e d 0 œ e 1  e d 0 ¾
¯ 2 2 4 ¿
y la última desigualdad entre llaves se verifica.

De hecho, hemos de notar que si tomamos u(t)=0 para todo t en [0,2], partiendo de la
3 1
condición inicial x(0)=1, tenemos que es: x  t  et / 2 , luego es x  2  e  e  , es
2 2
decir, sin intervenir en el sistema ya tenemos un valor del estado final dentro de lo
factible. La solución implica un menor valor del estado porque valores ““altos”” del
estado están penalizados. Además, para todo t tenemos un co-estado estrictamente
positivo (decrece y acaba en 0), indicando que aumentar el estado aumenta el valor del
funcional objetivo y un control negativo, indicando que intervenimos el sistema para
reducir el estado.

Solución a la pregunta 2. Definimos el Hamiltoniano:

H : x  u 2  Ou
la dinámica de co-estado es:
wH x x
 O Ÿ 1  O Ÿ O t  A  t
wx
donde A es una constante a determinar. La condición de minimización del Hamiltoniano
da lugar a:
1 1
u t   O t    A  t 
2 2
La condición de optimalidad que caracteriza el instante final óptimo es:
1
H T 0 œ x T   u T   O T  u T  0 œ  O T  0 œ A T
2 2

4
en donde la segunda implicación se obtiene teniendo en cuenta que ha de ser x(T)=0 y
usando el valor de u(T) en términos de Ȝ(T) y la tercera implicación se obtiene de
sustituir Ȝ(T) por su valor. Sustituyendo en la dinámica de estado se tiene:
x 1 T 1
x  T  t  Ÿ x  t  C  t  t 2
2 2 4
imponiendo la condición x(0)=1 la anterior función queda:
T 1
x t  1  t  t 2
2 4
Finalmente, imponiendo x(T)=0 en la anterior función queda:
1
x T  0 œ 1  T 2 0 œ T 2
4
en donde hemos desestimado la solución que implica un instante final menor que el
inicial.
 OPTIMIZACIÓN DINÁMICA. CURSO 07/08. CONTROL 5

Dispone de una hora para realizar el control. Recuerde que su nota de clase es el
promedio de sus cuatro mejores calificaciones en controles. La solución se
publicará próximamente en la web de la asignatura.

Pregunta 1. Resuelva:
­1 ½
 
x
min ® ³ x  t   D u  t  dt ¾ s.a.: x  t  u  t  ; x  0  1; x 1 d 1/ 2
2

¯0 ¿
Discuta cómo varía el estado final óptimo dependiendo de los posibles valores de Į.

Pregunta 2. Considere el ejercicio anterior tomando el tiempo final, T, libre y fijando

x(T)=1/2. Se pide: (i) escribir una ecuación algebraica que caracterice T óptimo en
función de Į; (ii) resolver de dicha ecuación para Į=1/2.
Solución a la pregunta 1. Definimos el Hamiltoniano:
H x  D u 2  Ou
La dinámica de co-estado es:
wH x x
 O œ 1  O Ÿ O t  A  t
wx
La condición de minimización del Hamiltoniano es:
O 1
min ^ H ` Ÿ u  Ÿ u t    At
u 2D 2D
Sustituyendo en la dinámica de estado, resolviendo la ecuación diferencial resultante e
imponiendo x(0)=1, tenemos:
1 1 2
x t  1  At  t
2D 4D
La condición sobre el estado final (para un problema de minimización) es
 S '  x * T    O T    y  x * T   t 0 y  Y
siendo Y el conjunto de estados finales factibles. Aplicado a nuestro problema, dicha
condición queda:
O 1  y  x * 1  d 0 y d 1/ 2
Hay dos posibilidades para que se satisfaga esta última desigualdad junto con x(1)”1/2:
(i) O 1 0 y x 1  1/ 2
1
tenemos que: O 1 0 Ÿ A 1 Ÿ x 1 1  , por lo que x 1  1/ 2 œ D  1/ 2
4D
(ii) O 1 t 0 y x 1 1/ 2
1 1 1
tenemos que: x 1 Ÿ A D  Ÿ O 1 D  , por lo que O 1 t 0 œ D t 1/ 2
2 2 2
Por tanto, para Į<1/2 se verifica x(1)<1/2 mientras que para Į •1/2 se verifica x(1)=1/2.

Solución a la pregunta 2. El Hamiltoniano no cambia, por lo que tenemos los mismos

valores del co-estado, control y estado. Es decir:
1 1 1 2
O  t  A  t; u  t    A  t  ; x  t  1  At  t
2D 2D 4D
donde en el estado hemos impuesto x(0)=1. Imponiendo además x(T)=1/2 en el estado
tenemos:
D 1
A  T
T 2
La condición de tiempo final óptimo es:
2
1 1 §D 1 ·
H T 0 œ x T   D u T   O T  u T  0 œ 
2
¨  T¸ 0
2 4D © T 2 ¹
la última ecuación es la ecuación algebraica que se solicita. Tomando Į=1/2 dicha
ecuación tiene dos soluciones reales positivas (el tiempo inicial es 0 y el tiempo final no
puede ser menor), que son:
T 2 r1
 OPTIMIZACIÓN DINÁMICA. CURSO 08/09. CONTROL 5

Dispone de una hora y media para realizar el control. Recuerde que su nota de
clase es el promedio de sus cuatro mejores calificaciones en controles. La solución
se publicará próximamente en la web de la asignatura.

Pregunta 1. Determinada sociedad debe elegir el nivel óptimo de producción, u, a lo

largo del tiempo. Dicha actividad productiva es contaminante, de modo que, denotando
por x al stock de contaminación, la dinámica de dicho stock viene dada por:
x
x G x  u
es decir, en ausencia de producción (u=0) la contaminación se autoelimina a una tasa
constante. El beneficio neto instantáneo de la sociedad es:
S : ln u  E x
donde el primer término es el beneficio obtenido por la actividad productiva y el
segundo término es la pérdida debida al stock de contaminación. La sociedad desea
maximizar el flujo descontado de beneficio neto instantáneo en un horizonte temporal
infinito. Denote por r a la tasa de descuento intertemporal y fije el origen temporal en
cero, estando x(0)>0 fijado. Se pide: (a) obtener el sistema de ecuaciones diferenciales
que caracteriza la dinámica bajo la política óptima en términos de x y u. (b) calcular los
puntos de estado estacionario del anterior sistema y (c) representar el diagrama de fases
(se recomienda representar u en abcisas y x en ordenadas).

Pregunta 2. Resolver los siguientes problemas usando cálculo de variaciones:

2
§ x2·
(a) min ³ ¨12tx  x ¸ dt x  0  2 x  2  12
0© ¹
1
§ x 2
·
(b) max ³ ¨ t 2  x ¸ dt x  0  1 x 1 2
0© ¹
Solamente presentamos la solución a la preguinta 1. Los ejercicios de la pregunta 2
están resueltos en el libro de E. Cerdá, páginas 34 y 36.

Solución a la pregunta 1. Definimos el Hamiltoniano valor presente:

< : luu  E x  m  G x  u 
donde m denota el co-estado valor presente. La condición de maximización del
Hamiltoniano da lugar a:
1
m (1)
u
y la dinámica de co-estado es:
x w< x
m   rm œ m E  G  r  m (2)
wx
utilizando la ecuación (1) para eliminar m de la ecuación (2) y añadiendo la dinámica de
estado, el sistema de ecuaciones diferenciales solicitado es:
x
½
u  E u  G  r   u °
x
¾
x G x  u °
¿

El estado estacionario se define como el par (u,x) que sustituido en el anterior sistema
x x
de lugar a: u 0 . Considerando la primera ecuación del sistema, hay dos valores de
x
1
u que hacen cero el lado derecho de la ecuación, son: u 0 y u G  r  . Para
E
ambos valores de u el lado derecho de la segunda ecuación es cero si y solo si x u .
G
Por tanto, existen dos pares de estado estacionario:  u, x   0, 0  y
§1 1§ r ··
 u, x  ¨ G  r  , ¨ 1  ¸¸ .
©E E© G ¹¹

Para representar el diagrama de fases, consideremos la primera de las ecuaciones del

sistema. El lado derecho es una función cuadrática en u, cóncava, que pasa por el origen
x
de coordenadas y cuya derivada en el origen es negativa. Además, u 0 tiene lugar en
x
los puntos en los que dicha función es cero. Por otra parte, como hemos indicado, x 0
tiene lugar en el rayo x u . La representación se adjunta en la siguiente página.
G
 g u   E u  G  r   u

x
u
u 0

x
x 0

estado estacionario
 OPTIMIZACIÓN DINÁMICA. CURSO 07/08. CONTROL 6

Dispone de una hora para realizar el control. Recuerde que su nota de clase es el
promedio de sus cuatro mejores calificaciones en controles. La solución se
publicará próximamente en la web de la asignatura.

Pregunta 1. Una empresa monopolista, sin amenazas de entrada, produce un único bien
a lo largo del tiempo. Si en el instante t produce q unidades del bien, lo vende al precio
p=a-bq y su coste total es cq, siendo a,b y c parámetros positivos. Además, la empresa
genera contaminación al producir: denotando por x al stock de calidad ambiental, la
dinámica de dicho stock en el instante t viene dada por:
x
x E x2  G q
La empresa elige la cantidad producida en cada instante para maximizar el flujo
descontado de beneficio (pq-cq) tomando un horizonte temporal infinito y un factor de
descuento intertemporal (en tiempo contínuo) r. Suponga que el origen temporal es 0.
Caracterize la dinámica óptima de la empresa mediante un diagrama de fases y
caracterize los puntos de equilibrio de dicha dinámica suponiendo la siguiente relación
entre los parámetros del modelo:
r G a  c

2E 2bE

Pregunta 2. Para el ejercicio anterior, estudie mediante una aproximación lineal la

estabilidad del equilibrios caracterizados por x>0 y contaminación en cada instante
estrictamente inferior al generado por la producción miope (maximizar beneficios en
cada instante). Use los siguientes valores de los parámetros:
 a, b, c, r , E , G  §¨ 2,1,1, ,1, 2 ·¸
1
© 2 ¹
Solución a la pregunta 1. El problema de la empresa es:
­ f  rt ½
max ® ³ e  a  bq  c  qdt ¾
¯0 ¿
sujeto a la dinámica de estado indicada. Definimos el Hamiltoniano valore presente:
< :  a  bq  c  q  m  E x 2  G q 
La condición de maximización del Hamiltoniano da lugar a:
1
max ^<` Ÿ q*  a  c  mG 
q 2b
La dinámica de co-estado es:
x w x
m  <  rm Ÿ m  2E x  r  m
wq
Sustityendo q* en la dinámica de estado y considerando además la dinámica de co-
estado tenemos el siguiente sistema de dos ecuaciones diferenciales en el par (x,m):
x G ½
x E x 2   a  c  mG  °
2b ¾
x
m  2E x  r  m °
¿
Veamos la dinámica de cada una de las ecuaciones anteriores por separado. Para la
primera ecuación tenemos:
­! ½ ­! ½
x
° ° ° °1 2b
x ® ¾ 0 œ m ® ¾  a  c   2 E x2
° ° ° ° G G
¯ ¿ ¯ ¿
Para la segunda de las ecuaciones consideramos solamente la región m>0, que es la
región dentro de la cuál tenemos contaminación en cada instante estrictamente inferior
al generado por la producción miope. Para dicha región tenemos:
­! ½ ­ ½
x
° ° ° ° r
m ® ¾0 œ x ® ¾
° ° °! ° 2E
¯ ¿ ¯ ¿
Además, si se verifica la restricción entre parámetros, en el plano xm, el corte con el eje
x G a  c
de abcisas de la curva x 0 , que es , está a la derecha del valor de x que
2bE
x r
hace m 0 , que es . El diagrama de fases viene dado por el gráfico de la siguiente
2E
página, donde se observa que existe un único punto de equilibrio (señalado en rojo)
como el que se indica en el ejercicio 2.
 x
m 0

x
x 0

r G a  c
2E
x
2bE
Solución a la pregunta 2. Definamos las funciones f y g de modo que el sistema
anterior sea:
x
½
x f  x, m  °
x ¾
m g  x, m  ¿°
El sistema lineal que usaremos de la aproximación es:
§ w w ·
§x· ¨ f  x* , m*  f  x * , m*  ¸
¨ x ¸ ¨ wx wm §x·
¸¨ ¸  b
¨ ¸ ¨ w
x
w m¹
©m¹ ¨ g x ,m  g  x* , m*  ¸©
* *
¸
wx
© 
wm ¹
A
siendo b un vector de constantes y (x*,m*) el estado estacionario en torno al cual
aproximamos. Tenemos que:
§ G2 · § G2 · § 1 2·
2E x *
¸ ¨ r
A ¨ 2b
¸
2b ¸ ¨ 2 ¸
¨¨ ¸ ¨
¸ ¨ ¸ ¨ 1 0¸
© 2 E x  2 E x  r ¹ ©  r 0 ¹
* *
© 2 ¹
r
en donde en la primera igualdad hemos usado que el equilibrio es x* y en la
2E
segunda igualdad hemos usado los valores paramétricos indicados. Los autovalores de
1 15
la matriz A son r i . Dado que su parte real es positiva, el punto de equilibrio es
4 4
localmente inestable.
         

  

 

          

           
                   
            
            
               
       


   
             
                  
            
             
              
            
          
          
          
             
            
             
           
  

           

                

   

          
          
     
       
           

    

              

                 

      


 
   

  

            

                     
             
                
                 
          
          
             
            
           
             
 

       

  


   


       
    
            
             
           
 
      


              


 

       

        


     

            
                  
               

           

                            
              
     

          

            
            


             
                
                 
              
  

       

             

             
           
             
            
            
           
            

           

               
 
  
            
               

      

                  

           

  
    

             
               
           
         

          

           

            


               
        
   
          
         

            
           
   


 
         

            

             
               
                
                

                       

             

      

                  
                




           

                
                  
           
         

                  
               
              
 

  

   

                 
               

                   
   
                     
                
                
                 

                     
                     
              
                       

                  
              
                  
          
    


    

      
         
       

                  


                
 
               
               
  
                
                 
   
               
   
               
            
  
 
 
  
             
   
                   
   
                    
   
                
         

          


                
                      
       

       
           

                  
              
                
                

                  
     

              

 

      

               

                  
                  
               


             
              
   

 

         

            
               
               
                
           
          
            
           
     

                 

                 
               
         

         

                

             

                
                     
                    
                       
                

              


             
             
                

         

 
                   


                  

     
                
            


 
              
 
                    
 
 
  

             
           

               
 
            
 
         
         


 


            
            
                
    
 
  

          

             
                 
           
                    
         

            

            

               
              
           
            
    
 
 
        

       

                  

             
               
                 
                         
  


                             

             

            
     

                

           

             
            
              

                          

             

                  


 OPTIMIZACIÓN DINÁMICA
EXAMEN EXTRAORDINARIO
16 de Febrero de 2006

Problema 1. Sea x el stock de peces en un acuı́fero. La evolución de dicho

stock viene dada por:

ẋ = f (x) − u

donde f representa la evolución natural del stock y u mide las capturas

cada instante. Suponga que las capturas se venden a un precio p, constante
en el tiempo y que el coste de obtener un nivel u capturas es xc u2 , siendo
c > 0 un parámetro positivo. Se desea maximizar el flujo temporal de beneficios
descontado por ρ en un horizonte temporal [0, ∞), tomando x (0) = x0 > 0
dado. Se pide: (a) formular el problema de control óptimo, (b) caracterizar las
ecuaciones del principio del máximo, (c) estudiar la estabilidad de los puntos
de equilibrio mediante un diagrama de fases. Supuestos sobre f : dos veces
diferenciable, estrictamente cóncava, f (0) = f (x) = 0 siendo 0 < x0 < x.

Problema 2. Suponga el modelo de elección entre consumo e inversión

de Ramsey visto durante el curso. En cada instante t ≥ 0, con k (t) unidades
de capital, se obtienen f (k) unidades de producto, que pueden destinarse a
consumo o a inversión. El consumo genera una utilidad instantánea u (c (t)).
La inversión supone un aumento de capital, el cual no se deprecia. En el instante
T > 0 (con T finito) el problema termina y el capital se vende obteniendose un
ingreso φ (k (T )). Se desea maximizar el flujo descontado de utilidad junto con
el ingreso final de la venta del capital, siendo ρ el factor de descuento. Se pide:
(a) formular el problema de control óptimo, (b) caracterizar e interpretar las
condiciones de optimalidad y transversalidad. Supuestos sobre f , u y φ, ambas
son dos veces diferenciables estrictamente crecientes y cóncavas.

Problema 3. Usar el cálculo de variaciones para calcular distancia mı́nima

del origen, (t, x) = (0, 0), a la función h (x) = 1/t. Pista: debe usar la condición
de optimalidad para probar que el camino mas corto del origen a h es una recta
perpendicular a la tangente de h en el punto en que dicha recta y h se cortan.

Problema 4. Calcular extremales, imponer la condición inicial y final y

comprobar la condición de Legendre para el problema:
�� e � � �
min 1 tẋ2 + xẋ dt s.a.: x (1) = 0 y x (e) = 1.

Problema 5. Una empresa dispone de B unidades de producto que debe

sacar al mercado a lo largo de tres perı́odos (k ∈ {1, 2, 3}). Si u es la cantidad
que saca el mercado en el perı́odo k, su beneficio en dicho periódo es (α − βu) u,
donde el término entre paréntesis es el precio. En el mercado hay un efecto

1
saturación: en el instante k se tiene que α = B − x, siendo x la cantidad sacada
al mercado hasta ese perı́odo. La empresa desea maximizar el flujo de beneficio
(no descontado) a lo largo de los tres perı́odos. Calcular la polı́tica óptima
usando programación dinámica. Suponga que β es tal que es óptimo sacar al
mercado una cantidad estrictamente positiva en cada perı́odo.