INSTITUTO POLITÉCNICO NACIONAL

ESCUELA SUPERIOR DE ECONOMÍA

Optimización Dinámica
UNIDAD TEMATICA III

3.2. Control óptimo: caso de varias

variables

Antecedentes
El cálculo en variaciones es una herramienta muy útil que, sin embargo, no es suficientemente
poderosa para resolver muchos de los problemas que se presentan en las aplicaciones. Para
poder considerar casos en donde la función f(x, x, t) es lineal, casos en donde las trayectorias
x(t) son funciones más generales y no son necesariamente doblemente diferenciables, y casos
con restricciones sobre las trayectorias y otras generalizaciones.
Supongamos que por economía se entiende un sistema descrito en el tiempo t por ciertas
variables, denominadas de estado, dadas por x1(t),..., xn(t), que podrían ser capital, inflación,
cantidad de algún activo u otras.
Un control óptimo es definido como un control admisible que maximiza el funcional objetivo.
(Cerda, 2001)
Se plantea el problema que consiste en obtener trayectorias óptimas para estas variables de
manera que se maximice o minimice algún objetivo dado. Este objetivo puede ser el valor
presente del bienestar social, o el valor presente de la deuda pública, o el valor presente de la
riqueza de los servidores públicos, o cualquier otra cosa pertinente. Las variables xi(t) pueden
ser “controladas” por otras variables, denominadas de control, como podrían ser el consumo,
los balances nominales (política monetaria), los impuestos (política fiscal), etc., denotadas por
u1(t), ..., um(t). El problema general de obtener una trayectoria para las variables de estado
xi(t) escogiendo adecuadamente los controles uj (t) de manera que se optimice algún objetivo
es conocido como problema de Teoría de control control óptimo. Este problema puede ser tan
sencillo como minimizar el tiempo en el que se llena una tina si la variable de estado es la
cantidad de agua dentro de ella y el control es el flujo del agua de la llave, o bien puede ser
algo complicado como minimizar el gasto de combustible de una nave espacial. (Rumbos,
2001)

Temas:
3.1 Teoría del control optimo
El problema básico de control óptimo es
𝑡1
𝑀á𝑥 [𝑥, 𝑢] = ∫ 𝑓 (𝑡, 𝑥, 𝑢)𝑑𝑡
𝑡0

𝑋́(𝑡) = 𝑔(𝑡, 𝑥, 𝑢)
𝑆. 𝑎 𝑋(𝑡0 ) = 𝑥0
𝑋(𝑡1 ) = 𝑋1
Las funciones f y g son continuas en el intervalo [𝑡0 , 𝑡1 ] y tiene derivadas parciales en sus
argumentos 𝑋 𝑦 𝑈. La variable 𝑈 se denomina variable de control; es una función de clase
𝐶 1 [𝑡0 , 𝑡1 ] y determina la evolución de la variable de estado 𝑋 cuyo movimiento está gobernado
por una ecuación diferencial de primer orden. Esta última, mapea de ℝ𝑋ℝ → ℝ de forma, para
cada ∪ ∈ ∪ la restricción es una ecuación diferencial que bajo la condición inicial y terminal,
genera una solución única y continua.
Por ejemplo, el cálculo de variables es un caso especial del problema de control sea.
𝑡1
𝑀á𝑥𝐽[𝑥, 𝑢] = ∫ 𝑓 (𝑡, 𝑥, 𝑢)𝑑𝑡
𝑡0

𝑆. 𝑎 𝑥́ = 𝑈
𝑋(𝑡0 ) = 𝑋0
𝑋(𝑡1 ) = 𝑋1
Sustituir la restricción en el funcional objetivo y se obtiene el problema de cálculo de variables
𝑡1
𝑀á𝑥𝐽[𝑥, 𝑢] = ∫ 𝑓 (𝑡, 𝑥, 𝑢)𝑑𝑡
𝑡0

𝑋(𝑡0 ) = 𝑋0
𝑋(𝑡1 ) = 𝑋1

En analogía a los problemas de optimización estática, el problema de cálculo de variables

corresponde a un problema de optimización libre, y el problema de control optimo a uno de
optimización restringida. Lo que permite utilizar el método de LaGrange, solo que debe ser
extendido al caso de funcionales.
TEOREMA 3.1 (TEOREMA DEL MULTIPLICADOR DE LAGRANGE)
Sea 𝑓 funcional continuamente diferenciable de Fréchet que tiene un extremo local
𝑋 ∗ bajo la restricion 𝐺 (𝑋 ∗ ) = 0 y satisface ∇𝐺 (𝑋 ∗ ) ≠ 0. Entonces existe un elemento
𝜆 tal que lagrangeano del funcional asociado.
𝐿(𝑥 ) = 𝐹 (𝑥 ) + 𝜆𝐺(𝑥)
Es estacionario en 𝑋 ∗ , y satisface
∇𝐹 (𝑋 ∗ ) = 𝜆∇𝐺(𝑋 ∗ )
Para utilizar el teorema de LaGrange en el problema de control, asumir que tanto el
funcional objetivo y la restricción son diferenciables de Fréchet
La restricción consiste de todas las funciones admisibles que satisfacen
𝐺 (𝑋, 𝑈) = 𝑔(𝑡, 𝑥, 𝑢) − 𝑋̇ = 0
La cual es equivalente a:
𝑡1
∫ (𝑔(𝑡, 𝑥, 𝑢) − 𝑥̇ )𝑑𝑡
𝑡0

En el sentido de que no afecta la solución. El lagrangeano asociado al problema es:

𝑡
𝑙 = ∫𝑡 1[𝑓 (𝑡, 𝑥, 𝑢) + 𝜆(𝑔(𝑡, 𝑥, 𝑢) − 𝑥′)]𝑑𝑡
0
𝑡1
𝑙 = ∫ [𝑓 (𝑡, 𝑥, 𝑢) + 𝜆 (𝑔(𝑡, 𝑥, 𝑢) − 𝜆𝑥′)]𝑑𝑡
𝑡0

El tercer término es integrable utilizando la técnica de integración por partes;

t1
′ 𝑡1
∫ 𝜆𝑥 = 𝜆𝑥 − ∫𝑡0 𝜆′ 𝑥𝑑𝑡
t0

Sustituir en la ecuación previa.

𝑡1
𝑙 = ∫ [𝑓 (𝑡, 𝑥, 𝑢) + 𝜆𝑔(𝑡, 𝑥, 𝑢) + 𝜆′𝑥 ]𝑑𝑡 − 𝜆(𝑡1 )𝑥(𝑡1 ) + 𝜆(𝑡0 )𝑥(𝑡0 )
𝑡0
Entonces para el par de funciones (ℎ, 𝑣 ) ∈ 𝑋 𝑥 𝑈 y la perturbación ∈,
𝑥 ∗ = 𝑥+∈ ℎ
𝑢∗ = 𝑢+∈ 𝑣
La condición de primer orden se obtiene de calcular 𝐿′(0) = 0
𝑡1
∫ [𝑓𝑥ℎ + 𝜆𝑔𝑥ℎ + 𝜆′ ℎ + 𝑓𝑢𝑈 + 𝜆𝑔𝑢𝑈]𝑑𝑡 = 0
𝑡0

𝑡1 𝑡1
∫ (𝑓𝑥ℎ + 𝜆𝑔𝑥ℎ + 𝜆′ )ℎ𝑑𝑡 + ∫ (𝑓𝑢 + 𝜆𝑔𝑢)𝑣𝑑𝑡 = 0
𝑡0 𝑡0

TEOREMA 3.2 CONDICIÓN NECESARIA.

Sean 𝑓 y 𝑔 funciones continuas en el intervalo 𝑡0 ≤ 𝑡 ≤ 𝑡1 con derivadas parciales

en sus argumentos diferenciables en el sentido de Fréchet, entonces la solución al
problema:

𝑡0
𝑚á𝑥 𝐽(𝑋) = ∫ 𝑓 (𝑡, 𝑥, 𝑢)𝑑𝑡
𝑡1

𝑆. 𝑎 𝑥 ′ (𝑡)𝑔(𝑡, 𝑥, 𝑢)
𝑥(𝑡0 ) = 𝑥0
𝑥(𝑡1 ) = 𝑥1
Satisface las condiciones de primer orden.

𝑓𝑥 + 𝜆𝑔𝑥 = −𝜆
𝑓𝑢 + 𝜆𝑔𝑢 = 0
𝑥 ′ = 𝑔(𝑡, 𝑥, 𝑢)
Las condiciones de primer orden del control óptimo generan un sistema de
ecuaciones diferenciales, mientras que la Ecuación de Euler una ecuación
diferencial de segundo orden.

Ejercicio
Resolver el siguiente problema de Control Optimo.
 x1
𝑀𝑎𝑥 𝐽(𝑥, 𝑢) = ∫ (ux − 𝑢2 − 𝑥 2 ) 𝑑𝑡
x0

s.a x'= x+u

x(t0)= x0
x(t1)= x1
Por lo tanto f(t,x,u)= ux-u2-x2
g(t,x,u)= x+u
Determine las condiciones de primer orden
𝐷𝑒𝑟𝑖𝑣𝑎𝑑𝑎 [𝑢 ∗ 𝑥 − 𝑢2 − 𝑥 2 , 𝑥] + 𝐷[𝜆 ∗ 𝑢 + 𝜆 ∗ 𝑥, 𝑥]
𝑢 − 2𝑥 + 𝜆
𝐷𝑒𝑟𝑖𝑣𝑎𝑑𝑎 [𝑢 ∗ 𝑥 − 𝑢2 − 𝑥 2 , 𝑢] + 𝐷 [𝜆 ∗ 𝑢 + 𝜆 ∗ 𝑥, 𝑢]
−2𝑢 + 𝑥 + 𝜆
𝑥+𝜆
{{𝑢 → }}
2
Se forma el sistema de ecuaciones diferenciales de la sig manera:
λ'[t]=(-(3/2)λ+3/2 x)
x'[t]=(1/2 λ+3/2 x)
3 3
′ −
[𝜆′] = [ 2 2] [𝜆 ]
𝑥 1 3 𝑥
2 2
Resolviendo

1 −√3𝑡 2 √3𝑡 2 √3𝑡

𝑒 −√3𝑡 (−1 + 𝑒 2√3𝑡 )𝐶[2]
[ ]
{{𝑥 𝑡 → 𝑒 (2 − √3 + 2𝑒 + √3𝑒 )𝐶[1] + , 𝜆 [𝑡]
4 4√3
1
→ √3𝑒 −√3𝑡 (−1 + 𝑒 2√3𝑡 )𝐶[1]
4
1
− 𝑒 −√3𝑡 (−2 − √3 − 2𝑒 2√3𝑡 + √3𝑒 2√3𝑡 )𝐶[2]}}
4

1 −√3𝑡 𝑒 −√3𝑡 (−1 + 𝑒 2√3𝑡 )𝐶[2]

𝑒 (2 − √3 + 2𝑒 2√3𝑡 + √3𝑒 2√3𝑡 )𝐶[1] + /. 𝑡 → 0 = 𝐶[1]
4 4√3
 1 −√3𝑡 𝑒 −√3𝑡 (−1 + 𝑒 2√3𝑡 )𝐶[2]
𝑒 (2 − √3 + 2𝑒 2√3𝑡 + √3𝑒 2√3𝑡 )𝐶[1] + /. 𝑡 → 1 =
4 4√3

1 −√3 2 √3 2 √3
𝑒 −√3 (−1 + 𝑒 2√3 )𝐶[2]
𝑒 (2 − √3 + 2𝑒 + √3𝑒 )𝐶[1] +
4 4√3
Determinar el valor de C[1] y C[2]

1 𝑒 −√3 (−1 + 𝑒 2√3 )𝐶[2]

NSolve [{𝐶[1] == 0, 𝑒 −√3 (2 − √3 + 2𝑒 2√3 + √3𝑒 2√3 )𝐶[1] + =
4 4√3

= 1} , {𝐶 [1], 𝐶 [2]}]

{{𝑪[𝟏] → 𝟎. , 𝑪[𝟐] → 𝟏. 𝟐𝟔𝟓𝟑𝟓𝟑𝟎𝟑𝟏𝟔𝟓𝟑𝟓𝟖𝟏𝟕}}

1 −√3𝑡 2√3𝑡 2√3𝑡

𝑒 −√3𝑡 (−1 + 𝑒 2√3𝑡 )𝐶[2]
Solx = 𝑒 (2 − √3 + 2𝑒 + √3𝑒 )𝐶[1] + /. {𝐶[1]
4 4√3
→ 0, 𝐶[2] → 1.2653530316535817}

𝟎. 𝟏𝟖𝟐𝟔𝟑𝟕𝟗𝟕𝟖𝟑𝟔𝟏𝟐𝟕𝟔𝟏𝟑ⅇ−√𝟑𝒕 (−𝟏 + ⅇ𝟐√𝟑𝒕 )

1 1
Solλ = √3𝑒 −√3𝑡 (−1 + 𝑒 2√3𝑡 )𝐶[1] − 𝑒 −√3𝑡 (−2 − √3 − 2𝑒 2√3𝑡
4 4
2√3𝑡
+ √3𝑒 )𝐶[2]/. {𝐶[1] → 0, 𝐶[2] → 1.2653530316535817}

−𝟎. 𝟑𝟏𝟔𝟑𝟑𝟖𝟐𝟓𝟕𝟗𝟏𝟑𝟑𝟗𝟓𝟒ⅇ−√𝟑𝒕 (−𝟐 − √𝟑 − 𝟐ⅇ𝟐√𝟑𝒕 + √𝟑ⅇ𝟐√𝟑𝒕 )

Solx Solλ
Solu = +
2 2

𝟎. 𝟎𝟗𝟏𝟑𝟏𝟖𝟗𝟖𝟗𝟏𝟖𝟎𝟔𝟑𝟖𝟎𝟔ⅇ−√𝟑𝒕 (−𝟏 + ⅇ𝟐√𝟑𝒕)

− 𝟎. 𝟏𝟓𝟖𝟏𝟔𝟗𝟏𝟐𝟖𝟗𝟓𝟔𝟔𝟗𝟕𝟕ⅇ−√𝟑𝒕 (−𝟐 − √𝟑 − 𝟐ⅇ𝟐√𝟑𝒕 + √𝟑ⅇ𝟐√𝟑𝒕 )
Teoria del Control Optimo
6

0.5 1.0 1.5 2.0

CONDICIÓN NECESARIA DEL HAMILTONIANO.
Sean 𝑓 y 𝑔 funciones continuas en el intervalo 𝑡0 ≤ 𝑡 ≤ 𝑡1 con derivadas parciales
en sus argumentos diferenciables en el sentido de Fréchet, entonces la solución al
problema:

𝑡0
𝑚á𝑥 𝐽(𝑋) = ∫ 𝑓 (𝑡, 𝑥, 𝑢)𝑑𝑡
𝑡1

𝑆. 𝑎 𝑥 ′ (𝑡)𝑔(𝑡, 𝑥, 𝑢)
𝑥(𝑡0 ) = 𝑥0
𝑥(𝑡1 ) = 𝑥1
Se obtiene a partir del Hamiltoniano sea 𝑓(𝑡, 𝑥, 𝑢) una función continua y
diferenciable a un funcional objetivo.

Sea 𝑔(𝑡, 𝑥, 𝑢) una función clase 𝐶′ que represente la restricción de un problema de

control óptimo y es regular. Entonces se define al Hamiltoniano como:

𝐻(𝑡, 𝑥, 𝑢, 𝜆) = 𝑓 (𝑡, 𝑥, 𝑢) + 𝜆 ∗ 𝑔(𝑡, 𝑥, 𝑢)

𝑑𝐻
= −𝜆′
𝑑𝑥
𝑑𝐻
=0
𝑑𝑢
𝑥 ′ (𝑡)𝑔(𝑡, 𝑥, 𝑢)

Ejercicio
1
Max𝐽(𝑥, 𝑢) = ∫ 𝑢2 dt
0

s.a. x'=-u, x(0)=1 x(1)=0

El Hamiltoniano viene dado por:
H=u2-λ

𝐷𝑒𝑟𝑖𝑣𝑎𝑑𝑎 [𝑢2 − 𝜆 ∗ 𝑢, 𝑥] = 0

𝐷[𝑢2 − 𝜆 ∗ 𝑢, 𝑢] = 2𝑢 − 𝜆
𝜆
{{𝑢 → }}
2
Se forma el sistema de ecuaciones diferenciales, de la siguiente manera:
λ'[t]=0
x'[t]=-λ/2
Obtenemos las soluciones
1
{{𝑥[𝑡] → 𝐶[1] − 𝑡𝐶[2], 𝜆[𝑡] → 𝐶[2]}}
2
1
𝐶[1] − 𝑡𝐶[2]/. 𝑡 → 0 = 𝐶[1]
2
1
𝑡𝐶[2] 𝐶[2]
𝐶[1] − 2 → 1 = 𝐶[1] −
.𝑡 2
𝐶[2]
Determinar el valor de cada constante [{𝐶[1] == 1, 𝐶[1] − == 0}, {𝐶[1], 𝐶[2]}]
2
{{𝐶[1] → 1. , 𝐶[2] → 2. }}
1
Solx = 𝐶[1] − 𝑡𝐶[2]/. {𝐶[1] → 1, 𝐶[2] → 2} = 𝟏 − 𝒕
2
Solλ = 𝐶[2]/. 𝐶[2] → 2 = 𝟐
Solλ
Solu = =𝟏
2
Hamiltoniano
2.0

1.5

1.0

0.5

0.5 1.0 1.5 2.0

0.5

1.0
3.2 Control Óptimo: El caso de varias variables
Ejercicio
Resolver el problema de control con dos variables de estado y una de coestado

1
𝑀𝑎𝑥 𝐽(𝑥1, 𝑥2, 𝑢) = ∫ ((x1)2 − 𝑢2 ) 𝑑𝑡
0
x1′ = x1
x2'=-2x1-3x2-u
x1(0)=x2(0)=1
x1(1)=x2(1)=0
El Hamiltoniano asociado será:
H(t,x,u, λ1,..,λn)=f(t,x,u)+ λ1*g1(t,x,u)+ λ2*g2(t,x,u)+…+ λn*gn(t,x,u)
quedando definido como: H(x1,x2,u,λ1,λ2,t)=x12-u2+λ1x1-2λ2x1-3λ2x2-λ2u
𝐷𝑒𝑟𝑖𝑣𝑎𝑑𝑎 [x12 − 𝑢2 + λ1 ∗ x1 − 2λ2 ∗ x1 − 3λ2 ∗ x2 − λ2 ∗ 𝑢, x1]

2x1 + λ1 − 2λ2

𝐷𝑒𝑟𝑖𝑣𝑎𝑑𝑎 [x12 − 𝑢2 + λ1 ∗ x1 − 2λ2 ∗ x1 − 3λ2 ∗ x2 − λ2 ∗ 𝑢, x2]

−3λ2
𝐷𝑒𝑟𝑖𝑣𝑎𝑑𝑎 [x12 − 𝑢2 + λ1 ∗ x1 − 2λ2 ∗ x1 − 3λ2 ∗ x2 − λ2 ∗ 𝑢, 𝑢]

−2𝑢 − λ2

λ2
{{𝑢 → − }}
2

Determinar el valor de 𝜆1′

{{𝜆′ → −2x1 − λ1 + 2λ2}}

Determinar el valor de 𝜆2′

{{𝜆′ → 3λ2}}

Se forma el sistema de ecuaciones diferenciales, de la siguiente manera:

λ'1[t]=2 x1-λ1+2 λ2
λ'2[t]=3 λ2
x'1[t]=x1
x'2[t]=-2x1-3x2+λ2/2
 1 0 0 0
x ′1 1 x1
′
(x′ 2 )= −2 −3 0
2 ∗(
x2 )=0
λ1 −2 0 −1 2 λ1
λ′ 2 λ2
(0 0 0 3)
Dado que A es la matriz de coeficientes se procede a diagonalizar y obtener los valores
propios y vectores propios: r1= -3, r2=3, r3= -1 y r4=1
Para posteriormente determinar:
x1
(x2 ) =K1*V1*er1*t + K2*V2*er2*t + K3*V3*er3*t + K4*V4*er4*t
λ1
λ2