Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Economı́a Matemática III

Optimización Dinámica

Jorge Ospino

Departamento de Matemáticas y Estadı́stica

Universidad del Norte

23 de febrero de 2019
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Contenido

Introducciòn

Naturaleza del control óptimo

El principio del máximo de Pontryagin

Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Introducción

El enfoque clásico de la optimización dinámica se llama cálculo de

variaciones. Sin embargo, en el desarrollo más reciente de esta metodologı́a,
un enfoque màs fuerte conocido como teorı́a de control óptimo ha sustituido
en su mayor parte al cálculo de variaciones. Por est razón, en este curso
vamos a limitar nuestra atención a la teorı̀a de control óptimo, explicando
su naturaleza básica, introduciendo la principal herramienta de solución
llamada principio del máximo, ejemplificando su uso en algunos modelos
económicos.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Introducción

El enfoque clásico de la optimización dinámica se llama cálculo de

variaciones. Sin embargo, en el desarrollo más reciente de esta metodologı́a,
un enfoque màs fuerte conocido como teorı́a de control óptimo ha sustituido
en su mayor parte al cálculo de variaciones. Por est razón, en este curso
vamos a limitar nuestra atención a la teorı̀a de control óptimo, explicando
su naturaleza básica, introduciendo la principal herramienta de solución
llamada principio del máximo, ejemplificando su uso en algunos modelos
económicos.
Todos tenemos que tomar decisiones. En cada momento de nuestra vida,
tanto privada como profesional, nos vemos obligados a seleccionar una
alternativa dentro de un conjunto de opciones. La calidad de las decisiones
que tomamos afecta radicalmente a nuestra salud, nuestro bienestar
económico, las relaciones que mantenemos con otras personas, etc. Esta
afirmación puede aplicarse también a las empresas, los organismos de la
Administración Pública y las instituciones privadas sin fines de lucro.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

La universalidad del problema de toma de decisiones da lugar a que resulte

de gran interés preguntarse cuál es la metodologı́a adecuada para tomar
decisiones, entendiendo por adecuada aquella que proporciona un mayor
grado de consecución de los objetivos deseados. En este sentido, la Teorı́a
de la Optimización constituye la herramienta matemática más adecuada
para la solución de problemas que implican la toma de decisiones.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

La universalidad del problema de toma de decisiones da lugar a que resulte

de gran interés preguntarse cuál es la metodologı́a adecuada para tomar
decisiones, entendiendo por adecuada aquella que proporciona un mayor
grado de consecución de los objetivos deseados. En este sentido, la Teorı́a
de la Optimización constituye la herramienta matemática más adecuada
para la solución de problemas que implican la toma de decisiones.
Una primera clasificación de los distintos métodos de optimización
distingue entre la optimización estática y la optimización dinámica.
La optimización estática proporciona una magnitud óptima, aislada en el
tiempo, para las variables de las que depende la función objetivo del
problema, entendiendo como óptima aquella magnitud compatible con las
restricciones del problema que hace máxima o mı́nima dicha función
objetivo. En la optimización estática el tiempo no interviene en la
formulación del problema.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

La optimización dinámca sirve para calcular cadenas o secuencias óptimas

de acciones en el tiempo, es decir, para determinar la magnitud o valor
óptimo de las variables que definen el objetivo del problema en cada
instante de tiempo dentro de un intervalo dado (perı́odo de planificación).
Estas secuencias de valores será óptima en el sentido de que hacen máximos
o mı́nimos los objetivos del problema teniendo en cuenta tanto las
restricciones en éste impuesta, como la relación dinámica existente entre sus
variables.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

La optimización dinámca sirve para calcular cadenas o secuencias óptimas

de acciones en el tiempo, es decir, para determinar la magnitud o valor
óptimo de las variables que definen el objetivo del problema en cada
instante de tiempo dentro de un intervalo dado (perı́odo de planificación).
Estas secuencias de valores será óptima en el sentido de que hacen máximos
o mı́nimos los objetivos del problema teniendo en cuenta tanto las
restricciones en éste impuesta, como la relación dinámica existente entre sus
variables.
La solución de un problema de optimización dinámica proporciona, por
tanto, una trayectoria temporal óptima completa para cada variable del
problema, mostrando el mejor valor de la variable, hoy, mañana, y ası́ hasta
el final del perı́odo de planificación.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Naturaleza del Control Óptimo

En la optimización estática, la tarea es encontrar un valor individual para

cada variable de elección, con el fin de maximizar o minimizar una función
objetivo propuesta, cualquiera que sea el caso. El problema de optimización
estática no contempla la dimensión del tiempo.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Naturaleza del Control Óptimo

En la optimización estática, la tarea es encontrar un valor individual para

cada variable de elección, con el fin de maximizar o minimizar una función
objetivo propuesta, cualquiera que sea el caso. El problema de optimización
estática no contempla la dimensión del tiempo.
En contraste, el tiempo interviene en forma explı́cita y prominente en el
problema de optimización dinámica. En este problema, debemos recordar
siempre un periodo de planeación, digamos desde un tiempo inicial t = 0
hasta un tiempo terminal t = T , y trataremos de encontrar el mejor curso
de acción a seguir durante el periodo completo. Entonces la solución para
cualquier variable adoptará la forma no de un solo valor, sino de una
trayectoria de tiempo completa.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Naturaleza del Control Óptimo

En la optimización estática, la tarea es encontrar un valor individual para

cada variable de elección, con el fin de maximizar o minimizar una función
objetivo propuesta, cualquiera que sea el caso. El problema de optimización
estática no contempla la dimensión del tiempo.
En contraste, el tiempo interviene en forma explı́cita y prominente en el
problema de optimización dinámica. En este problema, debemos recordar
siempre un periodo de planeación, digamos desde un tiempo inicial t = 0
hasta un tiempo terminal t = T , y trataremos de encontrar el mejor curso
de acción a seguir durante el periodo completo. Entonces la solución para
cualquier variable adoptará la forma no de un solo valor, sino de una
trayectoria de tiempo completa.
Supongamos que el problema tiene que ver con la maximización de ganancia
para un periodo. Para cualquier punto de tiempo t, tendremos que escoger
el valor de alguna variable de control, u(t), que entonces afectará el valor de
alguna variable de estado, y(t), vı́a la ası́ llamada ecuación de movimiento.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

A su vez, y(t) determinará la ganancia π(t). Como nuestro objetivo es

maximizar la ganancia durante el periodo completo, la función objetivo
debe adoptar la forma de una integral definida de π de t = 0 a t = T .
Para ser completo, el problema también especifica el valor inicial de la
variable de estado y, y(0), y el valor terminal de y, y(T ), o en forma
alterna, el intervalo de valores que y(T ) puede asumir.
Considerando lo anterior, podemos enunciar el problema más sencillo de
control óptimo como:
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

A su vez, y(t) determinará la ganancia π(t). Como nuestro objetivo es

maximizar la ganancia durante el periodo completo, la función objetivo
debe adoptar la forma de una integral definida de π de t = 0 a t = T .
Para ser completo, el problema también especifica el valor inicial de la
variable de estado y, y(0), y el valor terminal de y, y(T ), o en forma
alterna, el intervalo de valores que y(T ) puede asumir.
Considerando lo anterior, podemos enunciar el problema más sencillo de
control óptimo como:
Z T
Maximizar F (t, y, u)dt
0

dy
sujeto a = y 0 = f (t, y, u)
dt (1)

y(0) = A, y(T ) libre

y u(t) ∈ U para todo t ∈ [0, T ]

Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

El primer renglón de (1), la función objetivo, es una integral cuyo

integrando F (t, y, u) estipula la forma en que la elección de la variable de
control u para el tiempo t, junto con la y resultante para el tiempo t,
determina nuestro objeto de maximización para t.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

El primer renglón de (1), la función objetivo, es una integral cuyo

integrando F (t, y, u) estipula la forma en que la elección de la variable de
control u para el tiempo t, junto con la y resultante para el tiempo t,
determina nuestro objeto de maximización para t.
El segundo renglón es la ecuación de movimiento para la variable de estado
y. Esta ecuación suministra el mecanismo mediante el cual nuestra elección
de la variable de control u puede traducirse a un patrón especı́fico de
movimiento de la variable de estado y.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

El primer renglón de (1), la función objetivo, es una integral cuyo

integrando F (t, y, u) estipula la forma en que la elección de la variable de
control u para el tiempo t, junto con la y resultante para el tiempo t,
determina nuestro objeto de maximización para t.
El segundo renglón es la ecuación de movimiento para la variable de estado
y. Esta ecuación suministra el mecanismo mediante el cual nuestra elección
de la variable de control u puede traducirse a un patrón especı́fico de
movimiento de la variable de estado y.
En el tercer renglón, indicamos que el estado inicial, el valor de y para t = 0,
es una constante A, pero el estado terminal y(T ) se deja sin restricciones.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

El primer renglón de (1), la función objetivo, es una integral cuyo

integrando F (t, y, u) estipula la forma en que la elección de la variable de
control u para el tiempo t, junto con la y resultante para el tiempo t,
determina nuestro objeto de maximización para t.
El segundo renglón es la ecuación de movimiento para la variable de estado
y. Esta ecuación suministra el mecanismo mediante el cual nuestra elección
de la variable de control u puede traducirse a un patrón especı́fico de
movimiento de la variable de estado y.
En el tercer renglón, indicamos que el estado inicial, el valor de y para t = 0,
es una constante A, pero el estado terminal y(T ) se deja sin restricciones.
Finalmente, el cuarto renglón indica que las elecciones permisibles de u se
limitan a una región de control U . Por supuesto que puede suceder que u(t)
no tenga restricciones.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

El principio del máximo de Pontryagin

La clave para la teorı́a de control óptimo es una condición necesaria de
primer orden conocida como el principio del máximo. El enunciado del
principio del máximo implica un enfoque que es afı́n a la función
lagrangiana y a la variable multiplicadora de Lagrange. Para los problemas
de control óptimo, éstas se conocen como la función hamiltoniana y la
variable de co-estado, conceptos que ahora vamos a desarrollar.
El hamiltoniano
En (1) hay tres variables: el tiempo t, la variable de estado y y la variable
de control u. Ahora introducimos una nueva variable, conocida como la
variable de co-estado, y la denotamos como λ(t). Al igual que el
multiplicador de Lagrange, la variable de co-estado mide el precio sombra
de la variable de estado.
La variable de co-estado se introduce en el problema de control óptimo vı́a
una función hamiltoniana (abreviada como hamiltoniano).
El hamiltoniano se define como

H(t, y, u, λ) = F (t, y, u) + λ(t)f (t, y, u) (2)

donde H denota al hamiltoniano y es una función de cuatro variables: t, y,

u, y λ.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

El principio del máximo

El principio del máximo, la herramienta principal para la solución de
problemas de control óptimo, debe su nombre a que una condición necesaria
de primer orden requiere que escojamos a u de modo que se maximice al
hamiltoniano H para todos los instantes de tiempo.
Además de la variable de control u, como H implica a la variable de estado
y y a la variable de co-estado λ, el enunciado del principio máximo también
estipula como la forma en que y y λ deben cambiar respecto al tiempo, por
medio de una ecuación de movimiento para la variable de estado y
(abreviada como ecuación de estado), ası́ como una ecuación de movimiento
para la variable de co-estado λ (abreviada como ecuación de co-estado).
La ecuación de estado siempre viene como parte del enunciado mismo del
problema, como en la segunda ecuación de (1). Pero en vista de que (2)
implica
∂H
= f (t, y, u),
∂λ
el principio del máximo describe la ecuación de estado
∂H
y 0 = f (t, y, u) como y0 = (3)
∂λ
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

En contraste, λ no aparece en el enunciado del problema (1) y su ecuación

de movimiento entra en escena sólo como una condición de optimización. La
ecuación de co-estado es
dλ ∂H
λ0 = =− (4)
dt ∂y
Observe que ambas ecuaciones de movimiento se enuncian en términos de
las derivadas parciales de H, sugiriendo alguna simetrı́a, pero hay un signo
∂H
negativo añadido a en (4). Las ecuaciones (3) y (4) constituyen un
∂y
sistema de dos ecuaciones diferenciales. Ası́, necesitamos dos condiciones de
frontera para determinar las dos constantes arbitrarias que van a surgir en
el proceso de solución. Si tanto el estado inicial y(0) como el estado
terminal y(T ) son fijos, entonces podemos usar estas especificaciones para
determinar las constantes. Pero si, como en el problema (1), el estado
terminal no está fijo, entonces debemos incluir algo llamado condición de
transversalidad como parte del principio del máximo, para cubrir la brecha
dejada por la condición de frontera faltante.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Resumiendo, podemos identificar los diferentes componentes del principio

del máximo para el problema (1) como sigue:

(i) H(t, y, u∗ , λ) > H(t, y, u, λ) para todo t ∈ [0, T ]

∂H
(ii) y0 = (ecuación de estado)
∂λ
(5)
0 ∂H
(iii) λ =− (ecuación de co-estado)
∂y

(iv) λ(T ) = 0, (condición de transversalidad)

En el caso en el cual el hamiltoniano es diferenciable respecto a u y ofrece

una solución interior, la condición (i) puede reemplazarse con
∂H
= 0.
∂u
Si el punto terminal es fijo, entonces la condición terminal misma debe dar
la información para determinar una constante. En este caso, no se necesita
ninguna condición de transversalidad.
Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Ejemplo 1
Encuentre las trayectorias óptimas de las variables de control, de estado y
de co-estado que
 Z 2
Maximizar (12ty + u2 )dt






 0


 sujeto a y0 = u




y(0) = 0, y(2) = 8.


Ejemplo 2
Encuentre las trayectorias óptimas de las variables de control, de estado y
de co-estado que
 Z 1
 Maximizar (y − u2 )dt





 0


 sujeto a y0 = u




y(0) = 2, y(1) libre.

Introducciòn Naturaleza del control óptimo El principio del máximo de Pontryagin

Ejemplo 3
Encuentre las trayectorias óptimas de las variables de control, de estado y
de co-estado que
 Z 1
Maximizar (−u2 )dt






 0


 sujeto a y0 = y + u




y(0) = 1, y(1) = 0.


Ejemplo 4
Encuentre las trayectorias óptimas de las variables de control, de estado y
de co-estado que
 Z 8
Maximizar (6y)dt





 0



y0 = y + u

sujeto a



y(0) = 10, y(8) libre








y u(t) ∈ [0, 2].
