UNIDAD I

Conceptos Básicos de
Optimización Dinámica y
Cálculo de Variaciones

A lo largo del tiempo la teoría económica ha ido evolucionando, y esto ha

conllevado a que cada vez sus análisis se familiaricen más con las técnicas de
optimización, porque estas permiten formular y explicar de manera simple, y
precisa muchos problemas económicos.
Comúnmente las técnicas de optimización estática son las más usadas, pero
estas determinan la situación óptima de un solo periodo de tiempo, en el cual se
considera irrelevante la variable del tiempo, sin embargo en muchas
investigaciones necesitaremos tomar en cuenta el efecto de las decisiones
presentes, sobre las decisiones futuras, lo cual conlleva tener presente la variable
temporal.
A este tipo de estudio, que desea determinar una situación óptima de las
variables económicas a lo largo del tiempo, se le denomina optimización
dinámica, y cuenta con diversas metodologías de solución .En este trabajo se
darán a conocer tres de esas metodologías: cálculo de variaciones, control
optimo y programación dinámica, las dos primeras serán formuladas en términos
continuos y la tercera en términos discretos.
En esta unidad daremos a conocer la metodología de cálculo de variaciones, pero
antes vamos introducirnos en algunas nociones relacionadas con la optimización
dinámica, que se dan a continuación.

1
1.-Conceptos básicos
Consideremos un monto de dinero 𝑀 que se deposita en un banco, por un
periodo de t años, a la tasa de interés anual “𝑖” ¿Cuál será el monto de
dinero a retirarse al finalizar el año 𝑡 ?

Dónde: 𝑛 = número de capitalizaciones

Capitalización: acumular interés a un capital inicial.

CASO I: Capitalización anual (𝑛 = 1)

Años Periodo Monto Final

1 año 𝑀 + 𝑖 𝑀 = 𝑀 (1 + 𝑖)
2 año 𝑀(1 + 𝑖) + 𝑖 𝑀(1 + 𝑖) = 𝑀(1 + 𝑖)2
3 año 𝑀(1 + 𝑖)2 + 𝑖 𝑀(1 + 𝑖)2 = 𝑀(1 + 𝑖)3
t años
= 𝑀(1 + 𝑖)𝑡

CASO II: Capitalización semestral (𝑛 = 2)

Años Periodo Monto Final

1 año 1er 𝑖 𝑖
𝑀 + 𝑀 = (1 + ) → 𝑚𝑜𝑛𝑡𝑜 𝑓𝑖𝑛𝑎𝑙 𝑑𝑒𝑙 𝑝𝑟𝑖𝑚𝑒𝑟 𝑠𝑒𝑚𝑒𝑠𝑡𝑟𝑒
2 2
2do 𝑖 𝑖 𝑖 𝑖 2
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
2 2 2 2
2 año 1er
𝑖 2 𝑖 𝑖 2 1 3
2do 𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
2 2 2 2
𝑖 3 𝑖 𝑖 3 𝑖 4
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
3 año 1er 2 2 2 2

2do 𝑖 4 𝑖 𝑖 4 𝑖 5
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
2 2 2 2
𝑖 5 𝑖 𝑖 5 𝑖 6
4 año 1er 𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
2 2 2 2
2do 𝑖 6 𝑖 𝑖 6 𝑖 7
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
2 2 2 2
𝑖 7 𝑖 𝑖 7 𝑖 8
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
2 2 2 2

2
Resumiendo por año:
Años Monto Final

1 año 𝑖 2
𝑀 (1 + )
2 año 2
𝑖 4
𝑀 (1 + )
3 año 2
𝑖 6
4 año 𝑀 (1 + )
2
𝑖 8
t años 𝑀 (1 + )
2
𝑖 2𝑡
𝑀 (1 + )
2

Caso III: Capitalización cuatrimestral (𝑛 = 3)

Año Periodo Monto final

1 año 1er 𝑖 𝑖
(4meses) 𝑀 + 𝑀 = 𝑀 (1 + )
3 3
2do 𝑖 𝑖 𝑖 𝑖 2
(8 meses) 𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
3ro 3 3 3 3
(12 meses) 𝑖 2 𝑖 𝑖 2 𝑖 3
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
3 3 3 3
2 año 1er
(4meses) 𝑖 3 𝑖 𝑖 3 𝑖 4
2do 𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
(8 meses) 3 3 3 3
3ro 𝑖 4 𝑖 𝑖 4 𝑖 5
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
(12meses) 3 3 3 3
𝑖 5 𝑖 𝑖 5 𝑖 6
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
3 3 3 3
3año 1er
(4 meses)
2do 𝑖 6 𝑖 𝑖 6 𝑖 7
(8 meses) 𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
3ro 3 3 3 3
(12 meses) 𝑖 8 𝑖 𝑖 8 𝑖 9
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
3 3 3 3
𝑖 8 𝑖 𝑖 8 𝑖 9
𝑀 (1 + ) + 𝑀 (1 + ) = 𝑀 (1 + )
3 3 3 3

3
Resumiendo por año:
Año Monto final

𝑖 3
1año 𝑀 (1 + )
3

2año 𝑖 6
𝑀 (1 + )
3

3año 𝑖 9
𝑀 (1 + )
3
t años 𝑖 3𝑡
𝑀 (1 + )
3

Generalizando: 𝑛 capitalizaciones al año

No de capitalizaciones Formula General Monto Final

𝑛=1 𝑖 𝑛(𝑡)
𝑀 (1 + ) 𝑀(1 + 𝑖)𝑡
𝑛
𝑛=2 𝑖 𝑛(𝑡) 𝑖 2𝑡
𝑀 (1 + ) 𝑀 (1 + )
𝑛 2

𝑛=3 𝑖 𝑛(𝑡) 𝑖 3𝑡
𝑀 (1 + ) 𝑀 (1 + )
𝑛 3

𝑛=𝑛 𝑖 𝑛(𝑡) 𝑖 𝑛𝑡
𝑀 (1 + ) 𝑀 (1 + )
𝑛 𝑛

Considerando “ 𝑛” capitalizaciones al año, el monto final a retirarse al finalizar

𝑖 𝑛𝑡
el año 𝑡 será 𝑆: 𝑆 = (1 + )
𝑛
𝑀

Ejemplo:
Willy deposita 10 000 s/. en un banco, durante 5 años, a la tasa de interés anual
de 10% ; el banco capitaliza intereses cada trimestre, al terminar el quinto año.
¿Cuál será el monto que retirara Willy del banco?
𝑀 = 10 000𝑆/. 𝑡 = 5 𝑎ñ𝑜𝑠

𝑖 = 10% = 0.1 𝑛=4

4
 𝑖 𝑛𝑡 𝑆 = (1.025)20 (10000)
𝑆 = (1 + ) 𝑀
𝑛
𝑆 = 1.63861644(10000)
0.1 4(5)
𝑆 = (1 + 4
) (10000)
𝑆 = 16386.2
𝑆 = (1 + 0.025)20 (10000)

1.1.-Factor de capitalización discreto

𝑖 𝑛𝑡
Sabemos: 𝑆 = (1 + ) 𝑀
𝑛

𝑖 𝑛𝑡
Si asumimos lo siguiente: 𝑍 = (1 + )
𝑛

Z= factor de capitalización discreto, dado que: 𝑛 ∊ 𝑍 + ; 𝑛 = 1,2,3, ….

Recordemos del ejemplo anterior:
𝑆 = 𝑍𝑀 𝑆 = 1.63861644(𝑀) 𝑆 = 1.63861644(10 000)

𝑆 = 16386.2

Observe que: 𝑍 = 1.63861644

Características del factor de capitalización:

1) 𝑍 es un numero puro (un numero sin unidad de medida como los
números índice o factor)

2) 𝑍 depende de tres argumentos: 𝑖, 𝑛, 𝑡; donde 𝑍 se relaciona de manera

directa con estos tres argumentos: 𝑍 = 𝑍(𝑖, 𝑛 , 𝑡)
Analizando: *Cuando varía 𝑛, 𝑍 aumenta o
disminuye.
𝑖 𝑛 𝑡 𝑍
10% 4 5 1.63862 𝑖 𝑛 𝑡 𝑍
10% 6 5 1.64194
*Cuando varía 𝑖, 𝑍 aumenta o
disminuye. *Cuando varía t, Z aumenta o
disminuye.
𝑖 𝑛 𝑡 𝑍
15% 4 5 2.08815 𝑖 𝑛 𝑡 𝑍
10% 4 10 2.68560

5
 3) 𝑍 es un número puro cuyo valor está comprendido en el siguiente
intervalo.
a) Si la 𝑖 = 0  𝑍 = 1
b) Si la 𝑖  0  𝑍 = 1

4) finalmente 𝑍 permite expandir valores presentes, en valores futuros,

ósea conocer su monto en el futuro.

1.2.-Factor de descuento discreto

Es la inversa del factor de capitalización discreto.

1  −𝑛𝑡
Sea: 𝛽= = 𝑍 −1 𝛽 = (1 + )
𝑍 𝑛

Características del factor de descuento:

1)  es un número puro.

2)  depende inversamente de la tasa de descuento  (  = 𝑖), el

número de capitalizaciones y el tiempo: 𝛽 = 𝛽( 𝜌, 𝑛, 𝑡)

3) Si la 𝑖 =  entonces podemos inferir lo siguiente:

a) Si  = 0   = 1
b) Si   0    1
Entonces  es un número puro (índice o parámetro) comprendido en el
intervalo de: 0    1

4) Finalmente  permite reducir valores futuros en valores presentes.

Ejemplo:
Los padres de Maribel le otorgaron un premio de 8000s/. al terminar sus
estudios de 5 años. Actualmente la tasa de interés anual es de 5% (0.05) y
considerando capitalización mensual.
¿Cuál será el monto actual o el valor actual del premio, si Maribel actualmente
está cursando el 3er año de estudios?

Periodo de estudios
1 año 1 año 1 año 1 año 1 año 1 año

2012 2013 2014 2015 2016 2017 2018

6
 𝑆 = 8000 𝑛 = 12
𝑖 = 5% 𝑡=3

Sí 𝑖 = 𝜌 entonces:
𝜌 −𝑛𝑡 241 −36
𝑀 = 𝑆 (1 + ) 𝑀 = 8000 ( )
𝑛 240

0.05 −12(3) 𝑀 = 8000 (0.860976)

𝑀 = 8000 (1 + )
12
𝑀 = 6887.8099
1 −36 𝑀 = 6887.81
𝑀 = 8000 (1 + )
240
Además:
Valor final = VF = S Valor actual = VA = M

Ojo: Notemos que él  está reduciendo el VF al 86% de su valor.

1.3.-Factor de capitalización continúo

𝑖 𝑛𝑡
Sabemos: 𝑍 = (1 + 𝑛)

¿Qué ocurre con 𝑍 si 𝑛 →∝ ?

𝑖 𝑛𝑡
Se busca encontrar: lim 𝑍 = lim (1 + 𝑛)
𝑛→𝛼 𝑛→𝛼

Analizando; Si 𝑖 = 10% 𝑡 = 1

𝑛 12 100 10000 100000 …………… → ∝

𝑍 1.10471 1.10 1 ………….. ………………

Replanteando: 𝑖
𝑙𝑛 (1 + )
lim 𝑙𝑛 𝑍 = lim [ 𝑛 ]
𝑛→𝛼 𝑛→𝛼 1
𝑖 𝑛𝑡
𝑙𝑛 𝑍 = 𝑙𝑛 (1 + ) 𝑛. 𝑡
𝑛
𝑖
lim [𝑙𝑛 (1 + )]
Luego: lim 𝑙𝑛 𝑍 = 𝑛→𝛼 𝑛
𝑛→𝛼 1
lim
𝑖 𝑛𝑡 𝑛→𝛼 𝑛. 𝑡
lim 𝑙𝑛 𝑍 = lim 𝑙𝑛 (1 + 𝑛)
𝑛→𝛼 𝑛→𝛼
0
lim 𝑙𝑛 𝑍 =
𝑖 𝑛→𝛼 0
lim 𝑙𝑛 𝑍 = lim [𝑛. 𝑡 𝑙𝑛 (1 + )]
𝑛→𝛼 𝑛→𝛼 𝑛

7
Si observa que el límite es una forma indeterminada especial por lo que es
necesario aplicar la regla de L’ Hospital.
Asumiendo:
𝑖 1
𝑥(𝑛) = 𝑙𝑛 (1 + ) ; 𝑎(𝑛) =
𝑛 𝑛𝑡
Luego: Sabemos:
𝑥(𝑛) 1 −𝑖
lim 𝑙𝑛 𝑍 = lim 𝑥 ′ (𝑛) = )(
𝑖 2
𝑛→𝛼 𝑛→𝛼 𝑎(𝑛)
1+𝑛 𝑛
Según la regla de L’ Hospital
1
𝑎′ (𝑛) = −
𝑥′(𝑛) 𝑛2 𝑡
lim 𝑙𝑛 𝑍 = lim [ ]
𝑛→𝛼 𝑛→𝛼 𝑎′(𝑛)

Luego:
−𝑖
𝑛2
− 𝑖 ⁄𝑛 2 𝑖 −𝑖𝑛
1 + 𝑖 ⁄𝑛 1+𝑛 𝑛2 (𝑛 + 𝑖)
lim 𝑙𝑛𝑍 = lim [ ] = lim = lim [ ]=
𝑛→𝛼 𝑛→𝛼 −1 →𝛼 −1 𝑛→𝛼 −1
𝑛2 𝑡 𝑛2 𝑡 𝑛2 𝑡
[ ]

−𝑖𝑛3 𝑡 𝑖𝑛𝑡 𝑖𝑡
lim [ 2 ] = lim [ ] = lim [ ] = 𝑖𝑡
𝑛→𝛼 −𝑛 (𝑛 + 𝑖) 𝑛→𝛼 𝑛 + 𝑖 𝑛→𝛼 𝑖
1+𝑛

Finalmente: lim 𝑙𝑛𝑍 = 𝑖𝑡

𝑛→𝛼

Tomando antilogaritmos:

lim 𝑒 𝑙𝑛𝑧 = 𝑒 𝑖𝑡 lim 𝑍 = 𝑒 𝑖𝑡

𝑛→𝛼 𝑛→𝛼

Ejemplo:

Un monto de dinero s/. 18 000 es depositado en un banco que ofrece pagar una
tasa de interés de 5%. ¿Cuál será el monto a retirarse después de 9años?
a) Considere 12 capitalizaciones por año.
b) Considere que el número de capitalizaciones tiende al infinito.

a) Con capitalización discreta: 241 108

𝑆=( ) (18 000)
240
0.05 12(9)
𝑆 = (1 + ) (18 000) 𝑆 = 28203.23969
12
108
1
𝑆 = (1 + ) . 18 000 𝑆 = 𝑠/.28203.23
240

8
 b) Con capitalización continua:
𝑆 = 28 229.61934
(0.05)(9)
𝑆=𝑒 (18 000)
𝑆 = 𝑠/.28 229.61
0.45
𝑆=𝑒 (18 000)

1.4.- Factor de descuento continúo

Es la inversa del factor de capitalización continuo:

𝛽 = 𝑒 −𝜌𝑡 Donde ∶ 𝜌=𝑖

Ojo: En finanzas los montos de dinero se comparan en el mismo momento de

tiempo, es decir en un mismo periodo, actual o futuro pero no mezclado.

1.5.- Diferencias entre las características de la

optimización estática y dinámica:

Diferencias
Optimización Estática Optimización Dinámica

1.- Existe una función objetivo sujeto 1.- Existe un funcional objetivo
a restricciones (ecuaciones sujeto a restricciones (ecuaciones
algebraicas). diferenciales o ecuaciones en
diferencias).

2.- Existe dos tipos de variables 2.- Existen dos tipos de variables de
endógenas y exógenas. estado y control.

3.- La solución es una forma 3.- La solución está conformada por

reducida y considerando valores fijos funciones dinámicas de estado o
de las variables exógenas será un control.
conjunto de números reales.

4.-Todas las variables son 4.- Las variables son intertemporales

contemporáneas (todas las variables (las variables pertenecen a
pertenecen al mismo periodo de diferentes momentos de tiempo).
tiempo).

9
1.6.-Funcional objetivo
Es una aplicación donde su dominio es un conjunto de funciones y el
rango un conjunto de números reales, además a todas las funcionales se
asocia un costo y un beneficio (ventaja y desventaja).
R1 = R1(t) V1=15 min R2

R2 = R2(t) V2=30 min R1

R3 = R3(t) V3=120 min

Entonces: 𝑉 = 𝑉(𝑓) → 𝑉 = [𝑓(𝑡)] R3

Formalizando:
Consideremos la función dinámica 𝑦 = 𝑦(𝑡) y además dos puntos inicial
y final:
𝑦(0) = 𝑦0 𝑦0 𝑓𝑖𝑗𝑜 Condición inicial

𝑦(𝑇) = 𝑦𝑇 𝑦𝑡 𝑓𝑖𝑗𝑜 y final

Observe que se ha establecido un intervalo de tiempo para el análisis: 𝑡∈

[0, 𝑇]

¿Cuál será el mejor recorrido de 𝑦 (𝑡) entre el punto inicial y el punto

final?
Dependiendo de la trayectoria dinámica elegida, se asumirá un costo o
beneficio, por lo tanto se tendrá un conjunto de relaciones entre
trayectorias costos y beneficios, de este conjunto la mejor trayectoria será
aquella que maximicé los beneficios o minimicé los costos.
Recordemos entonces que una funcional es una relación entre números
reales y funciones.
Trayectoria Costo o beneficio
𝑦1 (𝑡) 𝑉1
𝑦2 (𝑡) 𝑉2
𝑦3 (𝑡) 𝑉3
. .
. .
. .
𝑦(𝑡) 𝑉

10
Además se debe observar que los costos o beneficios 𝑉 dependerán de la
trayectoria elegida 𝑦(𝑡) ; es decir existe la siguiente relación funcional:

𝑉 = 𝑉[𝑦(𝑡)]

ℝ f
El grafico que representa estos datos por lo tanto será:

Yt Y2(t)

Y1(t)

Y0
Y3(t)

0 T t

¿Qué es el funcional?
Es una aplicación en la que el dominio es un conjunto de funciones y el rango
un conjunto de números reales.
𝑦 = 𝑥 + 1 → 𝑦 = 𝑓(𝑥)

Regla de transformación o aplicación

Si asumimos o asociamos un objetivo de maximización o minimización al

funcional, se tendrá al funcional objetivo:

Maximización 𝑉 = 𝑉[𝑦(𝑡)]

Minimización 𝑉 = 𝑉[𝑦(𝑡)]

En general optimizar 𝑉 = 𝑉[𝑦(𝑡)]

11
2.-Calculo de variaciones
El cálculo de variaciones es una de las metodologías empleadas para
encontrar la senda óptima (extremal) de un problema de optimización
dinámica.
Las nociones del cálculo de variaciones se posicionan en el siglo XVII. Uno
de los trabajos pioneros en este campo fue el de John Bernoulli, realizado
en 1696, quien resolvió el problema de la braquistócrana. Que consiste en
encontrar la trayectoria más veloz de un pequeño objeto, entre dos
puntos, bajo la influencia de la gravedad.
La aplicación de esta metodología a la economía se da a partir de la
década de los veinte, con los trabajos de Evans, Ramsey y Hotelling. De
manera general puede ser planteado de la siguiente forma:
𝑇
𝑂𝑝𝑡𝑖𝑚𝑖𝑧𝑎𝑟 𝑉[𝑦] = ∫ 𝑓(𝑡, 𝑦(𝑡), 𝑦´(𝑡)𝑑𝑡
0

𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 𝑦(0) = 𝑦0

𝑦(𝑇) = 𝑦𝑇

Para entender la metodología de cálculo de variaciones de manera

preliminar, presentaremos el siguiente caso:
Consideremos dos puntos 𝐴 = (2,5) y 𝐵 = (7; 12). ¿Cuál es la distancia
mínima entre dichos puntos?
Solución 1
Tomando en cuenta el teorema de Pitágoras la respuesta sería la siguiente:
𝑅 2 = 72 + 52 Y

𝑅 2 = 49 + 25 12 B
𝑅 2 = 74

𝑅 = √74 5 A
𝑅 = 8.6

2 7 t

12
Solución 2
Se busca la distancia mínima entre A y B asumiendo que el recorrido sea
una línea curva, a través del cálculo de variaciones lo plantearemos de la
siguiente manera:
Y Si tomamos un trozo o segmento de
12 B de dicha curva y lo analizamos, ten-
dremos lo siguiente:

5 A dR dY

2 t2 t3 7 t dt

Según el teorema de Pitágoras se puede hallar R:

(𝑑𝑅)2 = (𝑑𝑦)2 + (𝑑𝑡)2
𝑑𝑅 𝑑𝑦 2
√
= ( ) +1
𝐷𝑖𝑣𝑖𝑑𝑖𝑒𝑛𝑑𝑜 𝑡𝑜𝑑𝑜 𝑝𝑜𝑟 (𝑑𝑡)2 𝑑𝑡 𝑑𝑡

(𝑑𝑅)2 (𝑑𝑦)2 (𝑑𝑡)2

= + 𝑑𝑦 2
(𝑑𝑡)2 (𝑑𝑡)2 (𝑑𝑡)2 𝑑𝑅 = √( ) + 1 𝑑𝑡
𝑑𝑡
𝑑𝑅 2 𝑑𝑦 2
( ) =( ) +1 𝑑𝑅 = √(𝑦̇ )2 + 1 𝑑𝑡
𝑑𝑡 𝑑𝑡

La distancia total será una suma de segmentos 𝑑𝑅 entre los puntos A y B.

7
𝐷 = ∫2 √1 + 𝑦̇ 2 𝑑𝑡 Distancia entre A y B

El problema será:
7
Minimizar 𝐷 = ∫2 √1 + 𝑦̇ 2 𝑑𝑡

Sujeto a: 𝑦(2) = 5 𝑦(7) = 12

De esta manera podemos dar a conocer la consistencia del cálculo de

variaciones, sin embargo todavía no presentaremos la resolución de este
ejercicio, porque aún no conocemos algunos conceptos previos que lo
componen y nos permiten explicar el procedimiento de resolución. A
continuación aremos una presentación más formal del ejercicio.

13
2.1.-El Problema de Cálculo de Variaciones
El problema de cálculo de variaciones consiste en encontrar la trayectoria
óptima de estado, en un horizonte de tiempo definido de tal forma que
el funcional sea maximizado o minimizado.

𝑇
Optimizar un funcional: 𝑉[𝑦] = ∫0 𝑓(𝑦̇ , 𝑦, 𝑡) 𝑑𝑡

Sujeto a: 𝑦(0) = 𝑦0 𝑦(𝑇) = 𝑦𝑇

Dónde:
𝑦 = 𝑦(𝑡) Variable de estado 𝑉 = 𝑉[𝑦] Funcional

𝑓(𝑦̇ , 𝑦, 𝑡) Función intermedia 𝑦(0) = 𝑦0 Condición inicial

𝑦(𝑇) = 𝑦𝑇 Condición terminal o final

𝑡𝜖[0, 𝑇] Horizonte temporal de análisis

Ejemplo:

Una firma monopolista presenta la siguiente función de costos 𝑐 =

𝑄2 + 𝑄 + 1, la producción de esta firma no se almacena, por lo tanto la
cantidad producida siempre es igual a la cantidad demandada, por otra
parte la cantidad demandada depende tanto del precio 𝑃(𝑡) como de la
tasa de variación de precio 𝑃´(𝑡) y cuya función de demanda es 𝑄 =
2 − 2𝑃 + 𝑃.̇
Plantee el problema de cálculo de variaciones tomando en cuenta un
intervalo de tiempo [0,5], un precio inicial de 3 y un precio final de 6.

Solución
El objetivo del monopolista es maximizar sus beneficios o ganancias,
como cualquier empresario o ente económico.
Teniendo en cuenta esto, planteamos las funciones que determinan el
problema:
Función de beneficios: 𝜋 = 𝑖𝑛𝑔𝑟𝑒𝑠𝑜𝑠 – 𝑐𝑜𝑠𝑡𝑜𝑠 … … … (1)
Función de ingresos: 𝐼𝑛𝑔𝑟𝑒𝑠𝑜𝑠 = 𝑃𝑟𝑒𝑐𝑖𝑜 × 𝑐𝑎𝑛𝑡𝑖𝑑𝑎𝑑
𝐼 = 𝑃. 𝑄

𝐼 = 𝑃(2 − 2𝑃 + 𝑃̇) 𝐼 = 2𝑃 − 2𝑃2 + 𝑃𝑃̇ … … … (2)

14
Función de costos: 𝐶 = 𝑄2 + 𝑄 + 1
2
𝐶 = (2 − 2𝑃 + 𝑃̇) + (2 − 2𝑃 + 𝑃̇ ) + 1

𝐶 = 4 + 4𝑃2 + 𝑃2̇ + 2[(−4𝑃) + (−2𝑃𝑃̇ ) + (2𝑃̇)] + 2 − 2𝑃 + 𝑃̇ + 1

𝐶 = 4 + 4𝑃2 + 𝑃2̇ − 8𝑃 − 4𝑃𝑃̇ + 4𝑃̇ + 2 − 2𝑃 + 𝑃̇ + 1

𝐶 = 𝑃2̇ + 5𝑃̇ − 4𝑃𝑃̇ + 4𝑃2 − 10𝑃 + 7 … … … (3)

Remplazamos (2) y (3) en (1):

𝜋 =𝐼−𝐶

𝜋 = 2𝑃 − 2𝑃2 + 𝑃𝑃̇ − (𝑃̇2 + 5𝑃̇ − 4𝑃𝑃̇ + 4𝑃2 − 10𝑃 + 7)

𝜋 = 2𝑃 − 2𝑃2 + 𝑃𝑃̇ − 𝑃̇ 2 − 5𝑃̇ + 4𝑃𝑃̇ − 4𝑃2 + 10𝑃 − 7

𝜋 = −7 + 12𝑃 − 6𝑃2 + 5𝑃𝑃̇ − 5𝑃̇ − 𝑃2

En general:

𝜋 = 𝜋(𝑃̇ , 𝑃) → 𝜋 = 𝜋[𝑃̇, 𝑃(𝑡)]

El monopolista busca maximizar las ganancias en el intervalo de tiempo

𝑡 𝜖[0; 5] es decir:

5 5
∑ 𝜋𝑖 ∫ 𝜋𝑑𝑡
𝑖=0 0

5
max 𝛱 = ∫0 𝜋(𝑃̇, 𝑃) 𝑑𝑡
5
max 𝛱 = ∫0 (−7 + 12𝑃 − 6𝑃2 − 5𝑃̇ + 5𝑃𝑃̇ − 𝑃̇2 )𝑑𝑡

Las condiciones del problema son:

𝑃 (0) = 3 → condición inicial 𝑃 (5) = 6 → condición final

El problema es maximizar ganancias acumuladas que dependen del

tiempo:
5
Max 𝛱[𝑃] = ∫0 (−7 + 12𝑃 − 6𝑃2 − 5𝑃̇ + 5𝑃𝑃̇ − 𝑃̇2 )𝑑𝑡

𝑠. 𝑎. 𝑃(0) = 3 𝑃(5) = 6

15
Metodología de Solución
La solución consiste en encontrar la mejor trayectoria dinámica, senda óptima o
extremal de la variable de estado ya sea para minimizar o maximizar.

El problema consiste en:

𝑇
Optimizar el funcional 𝑉[𝑦(𝑡)] = ∫0 𝑓(𝑦̇ , 𝑦, 𝑡)𝑑𝑡

Sujeto a 𝑦(0) = 𝑦0 𝑦(𝑇) = 𝑦𝑇

Para poder encontrar el extremal debemos aplicar los siguientes requisitos

1) Se identifica la función: 𝑓 = 𝑓(𝑦̇ , 𝑦, 𝑡)

𝑑 𝑓𝑦̇
2) Aplicar la condición de primer orden: Ecuación de Euler: 𝑓𝑦 =
𝑑𝑡
Luego debe resolverse la Ecuación de Euler para encontrar la función
dinámica general 𝑦 = 𝑦(𝑡).
3) Aplicar la condición inicial: 𝑦0 = 𝑦(0)
4) Aplicar la condición final: 𝑦(𝑇) = 𝑦𝑇
5) Aplicar la condición de transversalidad: [𝑓𝑦̇ ]𝑡=𝑇 ∆𝑦𝑇 + [𝑓 − 𝑦̇ 𝑓𝑦̇ ]𝑡=𝑇 ∆𝑇 = 0
Además tenemos que tener en cuenta lo siguiente:
*Si en 𝑦(𝑇), 𝑇 es conocido entonces 𝑇 es fijo, sino es conocido 𝑇 es libre.
*Si 𝑦𝑇 es conocido entonces 𝑦𝑇 es fijo, sino es conocido 𝑦𝑇 es libre.

2.2.-Condición de primer orden:

Ecuación de Euler
Nos permite seleccionar de un conjunto de trayectorias admisibles de
un conjunto de estado aquella que resolverá el problema.

Dada la función intermedia: 𝑓 = 𝑓(𝑦̇ , 𝑦, 𝑡)

𝑑 𝑓𝑦̇
La Ecuación de Euler es: 𝑓𝑦 =
𝑑𝑡

𝑑𝑓 𝑑𝑓
Dónde: 𝑓𝑦 = 𝑓𝑦̇ =
𝑑𝑦 𝑑𝑦̇

Además toda ecuación de Euler debe ser una ecuación diferencial de

segundo orden y si no es de segundo orden tendrá algunos defectos.

16
Desarrollando la ecuación de Euler:
Dividimos todo entre 𝑓𝑦̇ 𝑦̇
𝑑
𝑓𝑦 (𝑦,̇ 𝑦, 𝑡) = [𝑓𝑦̇ (𝑦̇ , 𝑦, 𝑡)]
𝑑𝑡 𝑓𝑦̇ 𝑦 𝑓𝑦 − 𝑓𝑦̇ 𝑡
𝑦̈ + 𝑦̇ =
𝑑𝑓𝑦̇ 𝑑𝑦̇ 𝑑𝑓𝑦̇ 𝑑𝑦 𝑑𝑓𝑦̇ 𝑑𝑡 𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇
𝑓𝑦 = + +
𝑑𝑦̇ 𝑑𝑡 𝑑𝑦 𝑑𝑡 𝑑𝑡 𝑑𝑡
Además:
𝑓𝑦 = 𝑓𝑦̇ 𝑦̇ 𝑦̈ + 𝑓𝑦̇ 𝑦 𝑦̇ + 𝑓𝑦̇ 𝑡 … … (∗) 𝑓𝑦̇ 𝑦 𝑓𝑦 − 𝑓𝑦̇ 𝑡
= 𝑎 =𝑏
𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇
𝑓𝑦 − 𝑓𝑦̇ 𝑡 = 𝑓𝑦̇ 𝑦̇ 𝑦̈ + 𝑓𝑦̇ 𝑦 𝑦̇
𝑦̈ + 𝑎𝑦̇ = 𝑏
𝑓𝑦̇ 𝑦̇ 𝑦̈ + 𝑓𝑦̇ 𝑦 𝑦̇ = 𝑓𝑦 − 𝑓𝑦̇ 𝑡

Se aprecia de (∗), que la Ecuación de Euler efectivamente se trata de una

ecuación diferencial de segundo orden dado que la variable de estado presenta
hasta segundas derivadas con respecto al tiempo.

2.3.-Condiciones de transversalidad:
Si la condición de transversalidad es la siguiente:
[𝑓𝑦̇ ]𝑡=𝑇 ∆𝑦𝑇 + [𝑓 − 𝑦̇ 𝑓𝑦̇ ]𝑡=𝑇 ∆𝑇 = 0

Dónde:

𝑌𝑇 → Es el valor de estado en el último instante del horizonte temporal.

𝑇 → Es el horizonte temporal en el cual se realiza el objetivo.

Dependiendo de la condición terminal (final) 𝑦(𝑇) = 𝑦𝑇 se tendrá

varios casos:

CASO I:
Y
𝑇 fijo y 𝑦𝑇 fijo
Si 𝑇 es fijo → ∆𝑇 = 0
Si 𝑦𝑇 es fijo → ∆𝑦𝑇 = 0 YT

Y0

T t

17
Incorporando en la condición de transversalidad general se verifica el
cumplimiento automático, por lo que no será necesario aplicar ninguna
condición de transversalidad especial, bastara aplicar las condiciones inicial y
final para resolver el problema.

CASO II:
Y
𝑇 libre y 𝑦𝑇 fijo
Si 𝑇 libre → ∆𝑇 ≠ 0
Si 𝑦𝑇 fijo → ∆𝑦𝑇 = 0 YT

Entonces la condición de
transversalidad es:
[𝑓 − 𝑦̇ 𝑓𝑦̇ ]𝑡=𝑇 = 0 Y0

CASO III:
Y
𝑇 fijo y 𝑦𝑇 libre
Si 𝑇 fijo→ ∆𝑇 = 0
Si 𝑦𝑇 libre→ ∆𝑦𝑇 ≠ 0

Entonces la condición de
transversalidad es:
[𝑓𝑦̇ ]𝑡=𝑇 = 0 Y0

T t

CASO IV:

𝑇 libre y 𝑌𝑇 libre
Curva terminal: Es una función que determina todos los valores que puede
tomar la variable de estado con diferentes horizontes temporales, en la cual se
induce que el valor de estado en el último instante del horizonte temporal es
una función del tiempo.

Asumimos que 𝑦𝑇 es una función de 𝑇 = 𝑌𝑇 = ∅(𝑇)

Entonces 𝑦𝑇 y 𝑇 están relacionadas por ∅

18
Observe diferenciando totalmente:
Si 𝑑 ≅ ∆
𝑓𝑦̇ ∆𝑦𝑇 + (𝑓 − 𝑦̇ 𝑓𝑦̇ )∆𝑇 = 0
Si 𝑦𝑇 = ∅(𝑇)
𝑓𝑦̇ ∅′ (𝑇)∆𝑇 + (𝑓 − 𝑦̇ 𝑓𝑦̇ )∆𝑇 = 0
𝑑∅(𝑇)
𝑑 𝑦𝑇 = 𝑑𝑇 ∆𝑇(𝑓𝑦̇ ∅′ 𝑇 + 𝑓 − 𝑦̇ 𝑓𝑦̇ ) = 0
𝑑𝑇

∆𝑦𝑇 = ∅′(𝑇)∆𝑇 ∆𝑇[𝑓𝑦̇ (∅′ (𝑇) − 𝑦̇ ) + 𝑓] = 0

[𝑓𝑦̇ ]𝑡=𝑇 ∆𝑦𝑇 + [𝑓 − 𝑦̇ 𝑓𝑦̇ ]𝑡=𝑇 ∆𝑇 = 0

Y
Reordenando:

[𝑓 + 𝑓𝑦̇ (∅′ (𝑇) − 𝑦̇ )]𝑡=𝑇 ∆𝑇 = 0 𝑦𝑡 = ∅(𝑇)

Pero ∆𝑇 ≠ 0 dado que 𝑇 es libre.

Se exige: [𝑓 + (∅′ (𝑇) − 𝑦̇ )𝑓𝑦̇ ]𝑡=𝑇 = 0 Y0

t
Ejemplo:
1
Optimizar: 𝑉[𝑌] = ∫0 𝑒 −0.5𝑡 (𝑦 − 𝑦 2 − 2𝑦̇ 2 )𝑑𝑡

Sujeto a: 𝑦(0) = 0 𝑦(1) = 2

Identificamos la función intermedia

𝑓 = 𝑒 −0.5𝑡 (𝑦 − 𝑦 2 − 2𝑦̇ 2 ) … … (1)
𝑑𝑓𝑦̇
Aplicamos la condición de primer orden: Ecuación de Euler: 𝑓𝑦 = 𝑑𝑡
… … (𝐼)

Obteniendo 𝑓𝑦 : 𝑓𝑦 = (1 − 2𝑦)𝑒−0.5𝑡 … … (2)

Obteniendo 𝑓𝑦̇ : 𝑓𝑦̇ = −4𝑦̇ 𝑒 −0.5𝑡 … … (3)

𝑑𝑓𝑦̇ 𝑑𝑓𝑦̇
= (−4𝑒 −0.5𝑡 )𝑦̈ + (−4𝑦̇ ) (−0.5) (𝑒 −0.5𝑡 ) = −4𝑦̈ 𝑒 −0.5𝑡 + 2𝑦̇ 𝑒 −0.5𝑡 … … (4)
𝑑𝑡 𝑑𝑡
𝑑𝑓𝑦̇
Remplazando (2) y (4) en (I): 𝑓𝑦 = 𝑑𝑡

(1 − 2𝑦)𝑒 −0.5𝑡 = −4𝑦̈ 𝑒 −0.5𝑡 + 2𝑦̇ 𝑒 −0.5𝑡 (1 − 2𝑦)𝑒 −0.5𝑡 = 𝑒 −0.5𝑡 (−4𝑦̈ + 2𝑦̇ )

1 − 2𝑦 = −4𝑦̈ + 2𝑦̇ 4𝑦̈ − 2𝑦̇ − 2𝑦 = −1

19
Tenemos que resolver esta ecuación diferencial:
4𝑦̈ − 2𝑦̇ − 2𝑦 = −1 1−3
𝑟2 = = −0.5
4𝑟 2 − 2𝑟 − 2 = 0 4
2𝑟 2 − 𝑟 − 1 = 0 𝑦𝑐 = 𝐴1 𝑒 𝑟1 𝑡 + 𝐴2 𝑒 𝑟2 𝑡
−𝑏 ± √𝑏 2 − 4𝑎𝑐
𝑟= 𝑦𝑐 = 𝐴1 𝑒 𝑡 + 𝐴2 𝑒 −0.5𝑡
2𝑎
−(−1) ± √−12 − 4(2)(−1)
𝑟= −1
2(2) 𝑦𝑝 = = 0.5
−2
1 ± √1 + 8 1 ± √9
𝑟= =
4 4 La solución General será:
1±3
𝑟= 𝑦(𝑡) = 𝐴1 𝑒 −0.5𝑡 + 𝐴2 𝑒 𝑡 + 0.5
4
1+3
𝑟1 = =1
4

Pero 𝑦(𝑡) no solo es la solución general, es también un conjunto de trayectorias

de estado, pero para determinar la más óptima tenemos que determinar dos
constantes de acuerdo a las condiciones inicial y final.
Aplicamos la condición inicial:
𝑦(0) = 0 𝑦(0) = 𝐴1 + 𝐴2 + 0.5

𝑦(𝑡) = 𝐴1 𝑒 −0.5𝑡 + 𝐴2 𝑒 𝑡 + 0.5 𝐴1 + 𝐴2 + 0.5 = 0

𝑦(0) = 𝐴1 𝑒 0 + 𝐴2 𝑒 0 + 0.5 𝐴1 + 𝐴2 = −0.5 … … (5)

Aplicamos la condición de transversalidad:

𝑇 = 𝑓𝑖𝑗𝑜 ∆𝑇 = 0 𝑌𝑇 = 𝑓𝑖𝑗𝑜 ∆𝑌𝑇 = 0

Por lo tanto no es necesario aplicar la condición de transversalidad.

Aplicamos la condición final: 𝑦(1) = 𝐴1 𝑒 −0.5 + 𝐴2 𝑒 1 + 0.5

𝑦(1) = 2 𝐴1 𝑒 −0.5 + 𝐴2 𝑒 + 0.5 = 2

𝑦(𝑡) = 𝐴1 𝑒 −0.5𝑡 + 𝐴2 𝑒 𝑡 + 0.5 𝐴1 𝑒 −0.5 + 𝐴2 𝑒 = 1.5 … … (6)

Resolviendo (5) y (6):

𝐴1 + 𝐴2 = 0.5 −𝑒𝐴1 − 𝑒𝐴2 = 0.5𝑒

𝑒 −0.5 𝐴1 + 𝑒𝐴2 = 1.5 𝑒 −0.5 𝐴1 + 𝑒𝐴2 = 1.5

𝐴1 (𝑒 −0.5 − 𝑒) = 1.5 + 0.5𝑒

20
 1.5 + 0.5𝑒 Remplazamos 𝐴1 ∶
𝐴1 =
𝑒 −0.5 − 𝑒
−1.3539 + 𝐴2 = −0.5
𝐴1 = −1.3539
𝐴2 = 1.3 − 0.5

𝐴2 = 0.85

Sustituimos en la solución general:

𝑦(𝑡) = 𝐴1 𝑒 −0.5𝑡 + 𝐴2 𝑒 𝑡 + 0.5

𝑦(𝑡) = −1.35𝑒 −0.5𝑡 + 0.85𝑒 𝑡 + 0.5 … … (7)

Finalmente la trayectoria óptima de estado es:

𝑦(𝑡) = −1.35𝑒 −0.5𝑡 + 0.85𝑒 𝑡 + 0.5

Valor optimo del funcional:

1
𝑉[𝑦(𝑡)] = ∫ 𝑒 −0.5𝑡 (𝑦 − 𝑦 2 − 𝑦̇ 2 )𝑑𝑡
0

1
𝑉[𝑦(𝑡)] = ∫ 𝑒 −0.5𝑡 (−1.445𝑒 2𝑡 + 1.1475𝑒 1.5𝑡 − 2.278125𝑒 −𝑡 + 0.25)𝑑𝑡
0

1
𝑉[𝑦(𝑡)] = ∫ (−1.445𝑒 1.5𝑡 + 1.1475𝑒 𝑡 − 2.278125𝑒 −1.5𝑡 + 0.25𝑒 −0.5𝑡 ) 𝑑𝑡
0

𝑉[𝑦(𝑡)] = −2.365435139

1 y(t)

1 t

21
Ejemplo:
Dado el siguiente funcional objetivo, sujeto a la restricción temporal.
5
Optimizar: 𝐽[𝑥] = ∫0 (3𝑥̇ 2 − 12𝑥)𝑑𝑡

Sujeto a: 𝑥(0) = 0
a) Halle la extremal.
b) Halle el valor óptimo del funcional.
c) Realice un gráfico del problema.
d) ¿Es 𝐽[𝑥] un máximo o mínimo?
e) Explique la solución, encontrada.

Sea la función intermedia: 𝑓 = 3𝑥̇ 2 − 12𝑥 … … (1)

𝑑𝑓𝑥̇
Condición de primer orden: 𝑓𝑥 = 𝑑𝑡
… … (2)

De (1) se obtiene:
𝑓𝑥 = −12 … … (3) 𝑑𝑓𝑥̇
= 6𝑥̈ … … (5)
𝑓𝑥̇ = 6𝑥̇ … … (4) 𝑑𝑡

Remplazando (3) y (5) en 2:

𝑑𝑓𝑥̇
𝑓𝑥 = → −12 = 6𝑥̈
𝑑𝑡

Simplificando:
𝑥̈ = −2 … … (6) 𝑎1 y 𝑎2 = 0

𝑥̈ + 𝑎1 𝑥̇ + 𝑎2 𝑥 = 𝑏 𝑥̈ + 0𝑥̇ + 0𝑥 = −2

Solución complementaria:
𝑥̈ + 0𝑥̇ + 0𝑥 = 0 −0 ± √02 − 4(1)(0)
𝑟=
2(1)
𝑟 2 + 0𝑟 + 0 = 0

𝑟1 = 0 𝑟2 = 0

Como son raíces repetidas la solución será:

𝑥𝑐 = 𝐴1 𝑒 𝑟1 𝑡 + 𝐴2 𝑒 𝑟2 𝑡 𝑡 𝑥𝑐 = 𝐴1 + 𝐴2 𝑡

22
Solución Particular:
𝑥̈ + 0𝑥̇ + 0𝑥 = −2 2𝐾 = −2

2𝐾 + 0(2𝐾𝑡) + 0(2𝐾) = −2 𝐾 = −1

2𝐾 + 0 = −2 𝑥𝑝 = 𝐾𝑡 2 → 𝑥𝑝 = −𝑡 2

Finalmente obtenemos la solución general:

𝑥(𝑡) = 𝑥𝑐 + 𝑥𝑝 𝑥(𝑡) = 𝐴1 + 𝐴2 𝑡 − 𝑡 2

La cual se puede expresar de la siguiente forma:

𝑥(𝑡) = −𝑡 2 + 𝐾0 𝑡 + 𝐾1 … … (7)

Condición inicial:
𝑥(0) = 0 𝑥(0) = −02 + 𝐾0 (0) + 𝐾1 𝐾1 = 0 … … (8)

Condición de transversalidad: 𝑇 = 5 → 𝑓𝑖𝑗𝑜 𝑥(5) → 𝑙𝑖𝑏𝑟𝑒

Por lo que la condición de transversalidad es la siguiente:

[𝑓𝑥̇ ]𝑡=5 = 0 … … (9)

Remplazando (4) en (9):

[6𝑥̇ ]𝑡=5 = 0 −2(5) + 𝐾0 = 0

[𝑥̇ ]𝑡=5 = 0 −10 + 𝐾0 = 0

[−2𝑡 + 𝐾0 ]𝑡=5 = 0 𝐾0 = 10 … … (10)

Remplazando (8) y (10) en 7

𝑥(𝑡) = −𝑡 2 + 𝐾0 𝑡 + 𝐾1 𝑥(𝑡) = −𝑡 2 + 10𝑡 + 0 𝑥(𝑡) = −𝑡 2 + 10

a) Halle extremal:
En nuestro ejercicio la mejor trayectoria de estado es:
𝑥(𝑡) = −𝑡 2 + 10𝑡
5
b) Hallar el valor óptimo del funcional: 𝐽[𝑥] = ∫0 (3𝑥̇ 2 − 12𝑥) 𝑑𝑡
Si: 𝑥(𝑡) = −𝑡 2 + 10𝑡 𝑥′(𝑡) = −𝑡 2 + 10
5
𝐽[𝑥] = ∫ [3(−2𝑡 + 10)2 − 12(−𝑡 2 + 10𝑡)]𝑑𝑡
0

23
 5
𝐽[𝑥] = ∫ [3(4𝑡2 − 40𝑡 + 100) + 12𝑡2 − 120𝑡]𝑑𝑡
0
5
𝐽[𝑥] = ∫ (12𝑡2 − 120𝑡 + 300 + 12𝑡2 − 120𝑡)𝑑𝑡
0
5
𝐽[𝑥] = ∫ (24𝑡 2 − 240𝑡 + 300)𝑑𝑡
0
𝐽[𝑥] = −500

c) Realice un gráfico del problema:

25

X(t)

5 t

Observe: 𝑥(𝑡) = −𝑡 2 + 10𝑡 𝑥(5) = −25 + 50 𝑥(5) = 25

Si la variable de estado sigue la ruta del extremal en un intervalo de tiempo de 0

a 5, el funcional alcanzara un valor de -500.
d) ¿Es J [x] un máximo o un mínimo?
Para dar respuesta a esta pregunta tenemos que dar a conocer las condiciones de
segundo orden.

2.4.- Condiciones de Segundo Orden

Si de manera general definimos una función intermedia:
𝑓 = 𝑓(𝑦̇ , 𝑦, 𝑡) … … (1) y planteamos lo siguiente:

a) Sí 𝑑 2 𝑓 < 0 𝑓 es estrictamente cóncava lo que indica que el

funcional 𝐽[𝑥] se maximiza.

b) Si 𝑑 2 𝑓 > 0 𝑓 es estrictamente convexa la que indica que el

funcional 𝐽[𝑥] se minimiza.

24
Recordemos que lo que tratamos de evaluar es la concavidad o convexidad de la
función intermedia con respecto ha 𝑦, 𝑦̇ , 𝑡, sin embargo para evaluarla podemos
tomar en cuenta solo 𝑦 ˄ 𝑦̇ es decir: 𝑓 = 𝑓(𝑦̇ , 𝑦) por lo tanto la primera y
segunda diferencial deben ser solo con respecto a estas dos variables, lo que
implica que la segunda diferencial será:

𝜕𝑓 𝜕𝑓
𝑑𝑓 = 𝑑𝑦̇ + 𝑑𝑦
𝜕𝑦̇ 𝜕𝑦

𝑑𝑓 = 𝑓𝑦̇ 𝑑𝑦̇ + 𝑓𝑦 𝑑𝑦

𝑑(𝑑𝑓) = 𝑑[𝑓𝑦̇ (𝑦̇ , 𝑦)]𝑑𝑦̇ + 𝑑[𝑓𝑦 (𝑦̇ , 𝑦)]𝑑𝑦

𝜕𝑓𝑦̇ 𝜕𝑓𝑦̇ 𝜕𝑓𝑦 𝜕𝑓𝑦

𝑑2𝑓 = [ 𝑑𝑦̇ + 𝑑𝑦] 𝑑𝑦̇ + [ 𝑑𝑦̇ + 𝑑𝑦] 𝑑𝑦
𝜕𝑦̇ 𝜕𝑦 𝜕𝑦̇ 𝜕𝑦

𝑑 2 𝑓 = 𝑓𝑦̇ 𝑦̇ 𝑑𝑦̇ 2 + 𝑓𝑦̇ 𝑦 𝑑𝑦𝑑𝑦̇ + 𝑓𝑦𝑦̇ 𝑑𝑦̇ 𝑑𝑦 + 𝑓𝑦𝑦 𝑑𝑦 2 … … (2)

Según el Teorema de Young: 𝑓𝑦̇ 𝑦 = 𝑓𝑦𝑦̇

𝑑 2 𝑓 = 𝑓𝑦̇ 𝑦̇ 𝑑𝑦̇ 2 + 𝑓𝑦̇ 𝑦 𝑑𝑦𝑑𝑦̇ + 𝑓𝑦𝑦̇ 𝑑𝑦̇ 𝑑𝑦 + 𝑓𝑦𝑦 𝑑𝑦 2

𝑑 2 𝑓 = 𝑓𝑦̇ 𝑦̇ 𝑑𝑦̇ 2 + 𝑓𝑦̇ 𝑦 𝑑𝑦𝑑𝑦̇ + 𝑓𝑦̇ 𝑦 𝑑𝑦̇ 𝑑𝑦 + 𝑓𝑦𝑦 𝑑𝑦 2

𝑑 2 𝑓 = 𝑓𝑦̇ 𝑦̇ 𝑑𝑦̇ 2 + 2𝑓𝑦̇ 𝑦 𝑑𝑦𝑑𝑦̇ + 𝑓𝑦𝑦 𝑑𝑦 2 … … (3)

Por compleción de cuadrados perfectos y factorizando:

2𝑓𝑦̇ 𝑦 𝑑𝑦𝑑𝑦̇
𝑑 2 𝑓 = 𝑓𝑦̇ 𝑦̇ [𝑑𝑦̇ 2 + ] + 𝑓𝑦𝑦 𝑑𝑦 2
𝑓𝑦̇ 𝑦̇

2 2
2 2
2𝑓𝑦̇ 𝑦 𝑑𝑦𝑑𝑦̇ 𝑓𝑦̇ 𝑦 𝑑𝑦 𝑓𝑦̇ 𝑦 𝑑𝑦
𝑑 𝑓 = 𝑓𝑦̇ 𝑦̇ [𝑑𝑦̇ + +( ) −( ) ] + 𝑓𝑦𝑦 𝑑𝑦 2
𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇

2 2
2 2
2𝑓𝑦̇ 𝑦 𝑑𝑦𝑑𝑦̇ 𝑓𝑦̇ 𝑦 𝑑𝑦 𝑓𝑦̇ 𝑦 𝑑𝑦
𝑑 𝑓 = 𝑓𝑦̇ 𝑦̇ [𝑑𝑦̇ + +( ) ] − 𝑓𝑦̇ 𝑦̇ ( ) + 𝑓𝑦𝑦 𝑑𝑦 2
𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇

2 2
2
𝑓𝑦̇ 𝑦 𝑑𝑦 𝑓𝑦̇ 𝑦 𝑑𝑦
𝑑 𝑓 = 𝑓𝑦̇ 𝑦̇ (𝑑𝑦̇ + ) − 𝑓𝑦̇ 𝑦̇ ( ) + 𝑓𝑦𝑦 𝑑𝑦 2
𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇

2
2
𝑓𝑦̇ 𝑦 𝑑𝑦 𝑓𝑦̇ 𝑦 2
𝑑 𝑓 = 𝑓𝑦̇ 𝑦̇ (𝑑𝑦̇ + ) − (𝑑𝑦)2 + 𝑓𝑦𝑦 (𝑑𝑦)2
𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇

25
 2
2
𝑓𝑦̇ 𝑦 𝑑𝑦 𝑓𝑦̇ 𝑦 2
𝑑 𝑓 = 𝑓𝑦̇ 𝑦̇ (𝑑𝑦̇ + ) −( − 𝑓𝑦𝑦 ) (𝑑𝑦)2
𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇

2
2
𝑓𝑦̇ 𝑦 𝑑𝑦 𝑓𝑦̇ 𝑦 2
𝑑 𝑓 = 𝑓𝑦̇ 𝑦̇ (𝑑𝑦̇ + ) + (𝑓𝑦𝑦 − ) (𝑑𝑦)2
𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇

2
2
𝑓𝑦̇ 𝑦 𝑑𝑦 𝑓𝑦𝑦 𝑓𝑦̇ 𝑦̇ − 𝑓𝑦̇ 𝑦 2
𝑑 𝑓 = 𝑓𝑦̇ 𝑦̇ (𝑑𝑦̇ + ) +( ) (𝑑𝑦)2 … … (4)
𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇

Podemos concluir que:

a) Si 𝑓𝑦̇ 𝑦̇ > 0 y 𝑓𝑦𝑦 𝑓𝑦̇ 𝑦̇ − 𝑓𝑦̇ 𝑦 2 > 0  𝑑2 𝑓 > 0 esto nos lleva a concluir lo
siguiente:

a.1) La función intermedia es estrictamente convexa.

a.2) El funcional objetivo 𝑉[𝑦] es un mínimo o el funcional ha sido
minimizado.
*Por lo tanto el problema de cálculo de variaciones es de minimización.
*Además cuando es minimización la matriz que lo constituye es una matriz
Hessiana, que en este caso será matriz Hessiana positiva definida.

b) Si 𝑓𝑦̇ 𝑦̇ < 0 𝑦 𝑓𝑦𝑦 𝑓𝑦̇ 𝑦̇ − 𝑓𝑦̇ 𝑦 2 > 0  𝑑2 𝑓 < 0 esto nos lleva a concluir lo
siguiente:

b. 1) La función intermedia es estrictamente cóncava.

b.2) El funcional objetivo 𝑉[𝑦] es un máximo o el funcional ha sido
maximizado.
*Por lo tanto el problema de cálculo de variaciones es de maximización.
*Además cuando es maximización de matriz que lo constituye es una matriz
Hessiana, que en este caso será matriz Hessiana negativa definida
Alternativamente, si analizamos la expresión (2) podemos apreciar que es una
forma cuadrática, y por lo tanto susceptible de expresarse matricialmente:
𝑑 2 𝑓 = 𝑓𝑦̇ 𝑦̇ 𝑑𝑦̇ 2 + 𝑓𝑦̇ 𝑦 𝑑𝑦𝑑𝑦̇ + 𝑓𝑦𝑦̇ 𝑑𝑦̇ 𝑑𝑦 + 𝑓𝑦𝑦 𝑑𝑦 2

𝑓𝑦̇ 𝑦̇ 𝑓𝑦𝑦̇ 𝑑𝑦̇

𝑑 2 𝑓 = [𝑑𝑦̇ 𝑑𝑦] [ ][ ]
𝑓𝑦̇ 𝑦 𝑓𝑦𝑦 𝑑𝑦

Ojo: en la construcción de la matriz H, se toma como variables a las 𝑑𝑥̇ y como

constantes a las segundas derivadas parciales.

26
La matriz cuadrada se denomina, “matriz Hessiana”
𝑓𝑦̇ 𝑦̇ 𝑓𝑦𝑦̇
𝐻 = [𝑓 𝑓𝑦𝑦
]
𝑦̇ 𝑦

Cuyos menores principales son las siguientes determinantes:

|𝐻1 | = |𝑓𝑦̇ 𝑦̇ | = 𝑓𝑦̇ 𝑦̇

𝑓𝑦̇ 𝑦̇ 𝑓𝑦𝑦̇ 2
|𝐻2 | = | | = 𝑓𝑦̇ 𝑦̇ 𝑓𝑦𝑦 − (𝑓𝑦𝑦̇ )
𝑓𝑦̇ 𝑦 𝑓𝑦𝑦

Retornando a la pregunta del ejercicio anterior, la función intermedia es:

𝑓 = 3𝑥̇ 2 − 12𝑥

𝑓 𝑓𝑥𝑥̇ 6 0
𝐻 = [𝑓𝑥̇ x 𝑓𝑥𝑥
]=[ ]
𝑥̇ 𝑥 0 0
𝑓𝑥 = −12 𝑓𝑥𝑥 = 0 𝑓𝑥𝑥̇ = 0

𝑓𝑥̇ = 6𝑥̇ 𝑓𝑥̇ 𝑥 = 0 𝑓𝑥̇ 𝑥̇ = 6

|𝐻1 | = 𝑓𝑥̇ 𝑥̇ = 6 →6<0

|𝐻2 | = 𝑓𝑥̇ 𝑥̇ 𝑓𝑥𝑥 − 𝑓𝑥̇ 𝑥 2 = 6(0) − 0 = 0 → 0 = 0

Analizando la segunda diferencial de la ecuación para saber si el ejercicio anterior

es un mínimo o máximo.
2
𝑓𝑥̇ 𝑥 𝑑𝑥 𝑓𝑥̇ 𝑥̇ 𝑓𝑥𝑥 − 𝑓𝑥̇ 𝑥 2
2
𝑑 𝑓 = 𝑓𝑥̇ 𝑥̇ (𝑑𝑥̇ + ) +( ) (𝑑𝑥)2
𝑓𝑥̇ 𝑥̇ 𝑓𝑥̇ 𝑥̇

𝑓𝑥̇ 𝑥̇ → Es igual a 6 por tanto es positivo.

2
𝑓𝑥̇ 𝑥 𝑑𝑥
(𝑑𝑥̇ + 𝑓𝑥̇ 𝑥̇
) → Este siempre es positivo, porque esta elevado al cuadrado.

𝑓𝑥̇ 𝑥̇ 𝑓𝑥𝑥 −𝑓𝑥̇ 𝑥 2

( 𝑓𝑥̇ 𝑥̇
) → El valor es positivo por parte del denominador, pero también
es cero en el numerador, por tanto su signo no afecta.

Por lo que concluimos que 𝑑 2 𝑓 > 0

Finalmente hemos demostrado que la función intermedia es débilmente convexa y
que el valor del funcional se está minimizando.

27
Ejemplo: (Problema planteado en la noción de cálculo de variaciones)
Hallar la distancia entre los puntos (2; 5) y (7; 12)
Y
12 B

5 A

2 7 t
Resolución 1:
Por Pitágoras dimos como respuesta 8.6.
Resolución 2:
Pero formulando el problema en base a la metodología del cálculo de variaciones
el problema es:
7
𝑀𝑖𝑛 𝐷 = ∫2 √1 + 𝑦̇ 2 𝑑𝑡 𝑠. 𝑎: 𝑦(2) = 5 𝑦 (7) = 12

Necesitamos establecer un marco de análisis:

Sabemos que 𝑓 = 𝑓(𝑦; 𝑦̇ ; 𝑡) … … (1)
𝑑𝑓𝑦̇
Y la ecuación de Euler es 𝑓𝑦 = 𝑑𝑡
… … (2)

Alternativamente: 𝑓𝑦 = 𝑓𝑦̇ 𝑦̇ 𝑦̈ + 𝑓𝑦̇ 𝑦 𝑦̇ + 𝑓𝑦̇ 𝑡 … … (2´)

1⁄
Del ejercicio dado podemos apreciar 𝑓 = (1 + 𝑦̇ 2 ) 2 = 𝑓(𝑦̇ )

Luego:
𝑓𝑦 = 0 𝑓𝑦̇ 𝑦̇ = 0 … … (3)

𝑓𝑡 = 0 𝑓𝑦̇ 𝑡 = 0 … … (4)

Reemplazando (3) y (4) en (2´):

𝑓𝑦 = 𝑓𝑦̇ 𝑦̇ 𝑦̈ + 𝑓𝑦̇ 𝑦 𝑦̇ + 𝑓𝑦̇ 𝑡 … … (2´) 0 = 𝑓𝑦̇ 𝑦̇ 𝑦̈ + 0𝑦̇ + 0

𝑓𝑦̇ 𝑦̇ 𝑦̈ = 0 … … (5)

28
Esa es la ecuación de Euler especial, que se debe utilizar cuando la función
intermedia solo depende de 𝑦̇ .
Si observamos esta condición, nos damos cuenta que obligatoriamente 𝑓𝑦̇ 𝑦̇ 𝑜 𝑦̈
debe ser cero, lo que da lugar a dos casos:
CASO I: 𝑓𝑦̇ 𝑦̇ = 0 ˄ 𝑦̈ ≠ 0

1) Si 𝑓𝑦̇ 𝑦̇ = 0 ,implica que:

𝑓 = 3𝑦̇ + 7 𝑓𝑦̇ = 3 𝑓𝑦̇ 𝑦̇ = 0

La función intermedia es lineal con respecto a 𝑦̇ , porque de lo contrario su

segunda derivada con respecto a 𝑦̇ no sería cero.

2) En cambio si 𝑦̈ ≠ 0, implica que:

𝑦 = 3𝑦 3 + 2𝑡 2 + 𝑡 𝑦̇ = 9𝑡 2 + 4𝑡 + 1 𝑦̈ = 18𝑡 + 4

𝑦 = 8𝑡 2 + 5𝑡 + 2 𝑦̇ = 16𝑡 + 5 𝑦̈ = 16

La trayectoria dinámica debe ser igual a cualquier función no lineal: 𝑦(𝑡) =

𝑎 + 𝑏𝑡 𝑛 𝑛 > 1

CASO II: 𝑓𝑦̇ 𝑦̇ ≠ 0 ˄𝑦̈ = 0

1) Si 𝑓𝑦̇ 𝑦̇ ≠ 0, implica que:

𝑓 = 7𝑦̇ 2 + 4𝑦̇ + 2 𝑓𝑦̇ = 14𝑦̇ + 4 𝑓𝑦̇ 𝑦̇ = 14

La función intermedia es no lineal con respecto a 𝑦̇ , porque si fuera lineal su

segunda derivada con respecto a 𝑦̇ será igual a cero y no se cumplirá la
condición.
2) En cambio si 𝑦̈ = 0,implica que:
𝑦 = 6𝑡 + 8 𝑦̇ = 6 𝑌̈ = 0

La trayectoria dinámica debe ser lineal: 𝑦(𝑡) = 𝑎 + 𝑏𝑡

Retornando al ejercicio anterior:

En el ejercicio anterior la función intermedia es no lineal con respecto a 𝑦̈ ,

por lo que la trayectoria de estado será lineal, es decir:
1⁄
Si 𝑓 = (1 + 𝑦̇ 2 ) 2 entonces 𝑦(𝑡) = 𝑘0 + 𝑘1 𝑡 𝑘0 , 𝑘1 𝜖𝑅

Según la condición inicial

𝑦(2) = 5 → 𝑦(2) = 𝑘0 + 𝑘1 (2) → 𝑘0 + 2𝑘1 = 5

29
 𝑦(7) = 12 → 𝑦(7) = 𝑘0 + 𝑘1 (7) → 𝑘0 + 7𝑘1 = 12

Resolviendo el sistema:
𝑘0 + 2𝑘1 = 5 𝑘0 + 2𝑘1 = 5

𝑘0 + 7𝑘1 = 12 𝑘0 + 2(7⁄5) = 5
−𝑘0 − 2𝑘1 = −5
5𝑘0 + 14 = 25
𝑘0 + 7𝑘1 = 12
5 𝑘0 = 11 → 𝑘0 = 11⁄5
5𝑘1 = 7 → 𝑘1 = 7⁄5

11 7
Portando la trayectoria: 𝑦(𝑡) = 𝑘0 + 𝑘1 𝑡 𝑦(𝑡) = 5
+ 5𝑡

El valor óptimo del funcional es el siguiente:

7 7 1⁄
2 )1⁄2 2
𝐷 = ∫ (1 + 𝑦̇ 𝑑𝑡 𝐷 = ∫ (74⁄25) 𝑑𝑡
2 2

Si 𝑦̇ = 7⁄5 7
√74
𝐷=∫ 𝑑𝑡
2 5
7 1⁄
2 2
𝐷 = ∫ (1 + (7⁄5) ) 𝑑𝑡 √74 √74
2 𝐷= (7) − (2)
5 5
7 1⁄
49 2
𝐷 = ∫ (1 + ) 𝑑𝑡 𝐷 = √74
2 25
𝐷 = 8.602325267

El valor mínimo que tomara el funcional D al recorrer la trayectoria 𝑦 (𝑡) es

de 8.60233.
Aplicando las condiciones de segundo orden:

1⁄ 𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦
Sea 𝑓 = (1 + 𝑦̇ 2 ) 2 𝐻=[
𝑓𝑦𝑦̇ 𝑓𝑦𝑦
]

𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦
|𝐻1 | = |𝑓𝑦̇ 𝑦̇ | = 𝑓𝑦̇ 𝑦̇ |𝐻2 | = | | = 𝑓𝑦̇ 𝑦̇ 𝑓𝑦𝑦 − 𝑓𝑦̇ 𝑦 2
𝑓𝑦𝑦̇ 𝑓𝑦𝑦

𝑓𝑦 = 0 𝑓𝑦𝑦 = 0 𝑓𝑦𝑦̇ = 0
1 1⁄
𝑓𝑦̇ = 2 (1 + 𝑦̇ 2 )− 2 (2𝑦̇ ) 𝑓𝑦̇ 𝑦 = 0 𝑓𝑦̇ 𝑦̇ =

1 1 1 3
𝑓𝑦̇ 𝑦̇ = [2(1 + 𝑦̇ 2 )− ⁄2 + (2𝑦̇ ) (− ) (1 + 𝑦̇ 2 )− ⁄2 (2𝑦̇ )]
2 2
30
 1 1 1 3
𝑓𝑦̇ 𝑦̇ = [2(1 + 𝑦̇ 2 )− ⁄2 + 4𝑦̇ 2 (− ) (1 + 𝑦̇ 2 )− ⁄2]
2 2
1 1 3
𝑓𝑦̇ 𝑦̇ = [2(1 + 𝑦̇ 2 )− ⁄2 − 2𝑦 2̇ (1 + 𝑦̇ 2 )− ⁄2 ]
2
1 2 2𝑦̇ 2
𝑓𝑦̇ 𝑦̇ = [ − ]
2 (1 + 𝑦̇ 2 )1⁄2 (1 + 𝑦̇ 2 )3⁄2

1 2(1 + 𝑦̇ 2 ) − 2𝑦̇ 2
𝑓𝑦̇ 𝑦̇ = [ 3 ]
2 (1 + 𝑦̇ 2 ) ⁄2

1 + 𝑦̇ 2 − 𝑦̇ 2 1
𝑓𝑦̇ 𝑦̇ = 3 = 3⁄
(1 + 𝑦̇ 2 ) ⁄2 (1 + 𝑦̇ 2 ) 2

Podemos analizar que 𝑓𝑦̇ 𝑦̇ no es un número sino un término en el que se

encuentra presenta 𝑦̇ , y del cual depende su positividad y negatividad, pero
como esta elevado al cuadrado siempre será positivo, tal vez 𝑓𝑦̇ 𝑦̇ sea pequeño,
pero podemos asegurar que será mayor que 0.
Por tanto:

𝑓𝑦̇ 𝑦̇ > 0

Pero: 𝑓𝑦̇ 𝑦̇ 𝑓𝑦𝑦 − 𝑓𝑦𝑥 2 = 𝑓𝑦̇ 𝑦̇ (0) − 0 = 0

2
2
𝑓𝑦̇ 𝑦 𝑑𝑦 𝑓𝑦𝑦 𝑓𝑦̇ 𝑦̇ − 𝑓𝑦̇ 𝑦 2
𝑑 𝑓 = 𝑓𝑦̇ 𝑦̇ (𝑑𝑦̇ + ) +( ) (𝑑𝑦)2
𝑓𝑦̇ 𝑦̇ 𝑓𝑦̇ 𝑦̇

𝑑2 𝑓 > 0 → Lo que conforma que la función intermedia es cuasiconvexa o

débilmente convexa, y que portando el funcional es un mínimo.

2.5.-Condiciones de Legendre
Máximo absoluto: Es el punto máximo para todo el dominio.
Máximo relativo: Es el punto, máximo para un intervalo del dominio.
Es el punto máximo para un externo del dominio para puntos de la
derecha y de la izquierda.
Es una condición que expresa la concavidad o convexidad de la
función intermedia de manera lineal (extremo lineal).
Dada la función intermedia 𝑓(𝑦̇ , 𝑦, 𝑡), es posible hallar 𝑓𝑦̇ 𝑦̇

31
Luego:
a) Si 𝑓𝑦̇ 𝑦̇ > 0 entonces la trayectoria optima de estado encontrada
permite minimizar el funcional.

b) Si 𝑓𝑦̇ 𝑦̇ < 0 entonces la trayectoria óptima de estado encontrada

permite el extremal maximiza el funcional.
Observación:
Sabemos:
2
𝑓𝑦̇𝑦 𝑑𝑦 𝑓𝑦̇𝑦̇ 𝑓𝑦𝑦 −𝑓𝑦̇𝑦 2
𝑑 2 𝑓 = 𝑓𝑦̇ 𝑦̇ (𝑑𝑦̇ + ) +( ) (𝑑𝑦)2
𝑓𝑦̇𝑦̇ 𝑓𝑦̇𝑦̇

Las condiciones de Legendre solo toman en cuenta esto.

32
 UNIDAD I I
Control Óptimo y
Programación Dinámica
En esta unidad daremos a conocer las dos metodologías restantes, control optimo
y programación dinámica, como ya mencionamos la primera será formulada en
términos continuos y la segunda en términos discretos.
Como en el cálculo de variaciones, nuestro objetivo será optimizar las variables
económicas a lo largo del tiempo, con la diferencia de que en estas dos
metodologías, no buscaremos solamente optimizar la variable de estado sino
también la variable de control, la cual determina de alguna manera parte de la
conducta de la variable de estado, además cabe connotar que estas variables se
relacionan atreves de la ecuación de movimiento, que no es otra cosa que la
especificación dinámica de la restricción intertemporal de la variable de estado. A
continuación pasaremos a estudiar el control óptimo y finalmente la
programación dinámica.

1.-Control optimo
La teoría de control óptimo constituye una generalización del cálculo de
variaciones. Este método fue desarrollado por el matemático ruso L.S.
Pontryagin, afines de la década de los cincuenta. Este matemático desarrollo
la condición de primer orden al problema de control optimo, la cual se
denomina principio del máximo.
El control óptimo se ha venido aplicando en la formulación de problemas
económicos desde mediados de los años sesenta. Los trabajos pioneros
fueron los de Koopmans y Cass, en los cuales se modela el crecimiento
óptimo de una economía a lo largo del tiempo.
A diferencia del cálculo de variaciones, en el problema de control optimo
se incorpora tanto la variable de control (u) como la variable de estado (y).
Además las dos variables se encuentran relacionadas mediante la ecuación
de movimiento g(y,u,t).

33
El objetivo del control óptimo es determinar las trayectorias de las variables
de control y estado que optimicen el funcional objetivo.

1.1.-Teoría del control óptimo

El control óptimo es una metodología de análisis dinámico, para
problemas de optimización, estudia el comportamiento de dos tipos de
variable: variable de estado y la variable de control con el fin de
maximizar o minimizar el funcional.
*La variable de estado es la variable que transcurre en cada instante
del tiempo.
*La variable de control es la variable que puedes manejar y así
manipular indirectamente a la variable de estado.

Variable de estado: Es una variable dinámica cuyo compartimiento es

establecido de manera indirecta por la variable de control, en otras
palabras, es aquella variable que refleja el resultado de las decisiones
tomadas sobre la variable de control, se caracteriza por no ser
controlada de manera directa por el agente económico que toma las
decisiones, es decir es el resultado del problema.
Ejemplo:
𝑦𝑡+1 = 𝑔(𝑦𝑡 , 𝐶𝑡 ) = (1 + 𝑟)(𝑦𝑡 − 𝐶𝑡 )

Ingreso disponible variable de estado

Variable de Control: Se caracteriza por ser típicamente un

instrumento económico de política, dado que se utiliza para influir en
la variable de estado, es una variable que es objeto de una elección
discrecional arbitraria (manipulado) por parte del investigador o el
agente económico que toma decisiones.

Ejemplo:
𝑦𝑡+1 = 𝑔(𝑦𝑡 , 𝐶𝑡 ) = (1 + 𝑟)(𝑦𝑡 − 𝐶𝑡 )

Consumo variable de control

34
Aplicación de la relación entre variables de estado y variables de control

Consideremos un país en el que existe un recurso natural extraíble 𝑅 (petróleo),

la extracción de este recurso se realiza a través del tiempo, por tanto 𝑅 es una
función del tiempo 𝑅 = 𝑅 (𝑡).
Según estudios de expetroleros se ha determinado que los recursos existentes
(condición inicial) son:

𝑅(0) = 𝑅0 ; 𝑅0 fijo
A lo largo del tiempo estos recursos se irán agotando, (tasa de extracción-
determina la velocidad en la que se agota el recurso) regidos por su tasa de
extracción, que será establecida por los agentes económicos que toman
decisiones.
Tasa de extracción:
𝑑𝑅(𝑡) 𝑑𝑅(𝑡)
= −𝜀(𝑡) Además −𝜀(𝑡) influye en
𝑑𝑡 𝑑𝑡

Dónde:
𝑅 (𝑡) es la variable de estado 𝜀 (𝑡) es la variable de control

Se aprecia de la variable −𝜀(𝑡) que es una variable de control, porque está

determinada por la gente que toma decisiones, una mayor tasa de extracción,
implica un mayor agotamiento del recurso 𝑅 (𝑡), en tanto una menor tasa de
extracción implica un menor agotamiento en 𝑅 (𝑡), esto significa que la variable
−𝜀(𝑡) es una variable discrecional (control) en tanto que 𝑅 (𝑡) es una variable
de estado.

En resumen el comportamiento −𝜀(𝑡) definirá el comportamiento de 𝑅 (𝑡); el

recurso extraído permitirá producir bienes y servicios orientados a la satisfacción
de necesidades humanas, mediante el consumo de los mismos, esto significa la
existencia de una función de utilidad con las siguientes características: 𝑢=
𝑢[𝜀(𝑡)]

Si el bienestar en un periodo de tiempo 𝑈 = 𝑈[𝐶(𝑡)] depende del nivel de

bienes y servicios que se consuma:

𝐶(𝑡) → 𝑄(𝐵⁄𝑆) → 𝑅(𝑡) → 𝜀(𝑡)

Entonces inducimos que la utilidad o el bienestar mantiene una relación directa
con la explotación de recursos.

35
Consideramos un periodo de explotación 𝑡 ∈ [0, 𝑇] (horizonte temporal), en el
que cada instante del tiempo se obtiene un nivel de bienestar.

U0 U1 U2 U3 U4 U5 U6 U7 U8
0 1 2 3 4 5 6 7 8 …….. T

Luego el bienestar acumulado, durante el periodo de explotación es:

𝑈1 𝑈2 𝑈3 𝑈𝑛
𝑈 = 𝑈0 + + + + ⋯ … . .
1 + 𝑖 (1 + 𝑖)2 (1 + 𝑖)3 (1 + 𝑖)𝑛
En términos discretos será: En términos continuos será:
𝑈 𝑇
∑𝑇𝑡=0 =𝑉 ∫0 𝑒 −𝜌𝑡 𝑢𝑑𝑡 = 𝑉
(1+𝑖)𝑛

Donde el funcional 𝑉 es el bienestar acumulado. Podemos generalizar que lo que

un país buscara, será maximizar el bienestar (utilidad) acumulado dela sociedad,
derivado de la explotación del recurso. Dado que el objetivo del país es
maximizar el bienestar de la población, el problema consiste en:
𝑇
Maximizar: 𝑉 = ∫0 𝑒 −𝜌𝑡 𝑈[𝜀(𝑡)]𝑑𝑡
𝑑𝑅(𝑡)
Sujeto a: = −𝜀(𝑡) ; 𝑅(0) = 𝑅0 ; 𝑅(𝑇) = 𝑅𝑇
𝑑𝑡

Ecuación de movimiento

1.2.-El problema del control optimo

El problema consiste en hallar las trayectorias óptimas de estado y
control que maximicen o minimicen el funcional, en el horizonte
temporal dado (señalado) y cumplan las restricciones establecidas.
𝑇
Maximizar: 𝑉 = ∫0 𝑓(𝑦, 𝑢, 𝑡)𝑑𝑡

Sujeto a: 𝑦̇ = 𝑔(𝑦, 𝑢, 𝑡) 𝑦(0) =

𝑦0 𝑦0 𝑓𝑖𝑗𝑜 𝑦(𝑇) = 𝑦𝑇
Dónde:

𝑉 = Funcional 𝑢 = Variable de control

𝑦 = Variable de estado 𝑓 = Función intermedia

𝑔 = Ecuación de movimiento
36
1.3.- Condición de primer orden: El principio
del máximo de L.S. Pontryagin
Este principio constituye la condición de primer orden, es decir es una
condición necesaria, para identificar las mejores trayectorias de estado y
control que resuelvan el problema planteado. Para poder emplearlo se
debe construir previamente la función Hamiltoniana.

𝐻(𝑦, 𝑢, 𝜆, 𝑡) = 𝑓(𝑦, 𝑢, 𝑡) + 𝜆 𝑔(𝑦, 𝑢, 𝑡) ó 𝐻 =𝑓+𝜆𝑔

Además: La ponderación de 𝑓 es 1 y la ponderación de 𝑔 es λ

Dónde:

𝜆 = 𝜆(𝑡) Variable de coestado

𝐻 = 𝐻(𝑦, 𝑢, 𝜆, 𝑡) Función Hamiltoniana

El principio del máximo de Pontryagin está conformado por las
siguientes condiciones:

1)Primero se debe maximizar el hamiltoniano 𝐻 con respecto a la

variable de control 𝑢 ; ∀𝑡 ∈ [0, 𝑇], donde 𝑢 ∈ Ω , siendo omega el
conjunto admisible de control (el conjunto de valores que puede tomar la
variable de control), sin embargo 𝐻 puede ser una función lineal o no
lineal con respecto a 𝑢, lo cual dará a lugar a dos casos:

A) Si 𝐻 es una función no lineal de 𝑢, se tendrá una solución interior,

que exige lo siguiente:
𝑑𝐻
𝑑𝑢
=0→ Esta condición nos H
permite encontrar
el valor óptimo del max
hamiltoniano 𝑢∗
2
𝑑 𝐻
𝑑𝑢2
< 0 → Entonces esto con-
firma que en 𝑢∗ se H(u)
maximiza H
Dónde:
Ω = [𝑢1 , 𝑢2 ] u1 u* u2 u

𝑢∗ ∈< 𝑢1 , 𝑢2 >

37
B) Si H es una función lineal de 𝑢, se tendrá dos soluciones de contorno,
que exige lo siguiente:
H H
max max

u1 u2 u1 u2
𝑑𝐻 𝑑𝐻
𝑑𝑢
> 0  𝑢 ∗ = 𝑢2 𝑑𝑢
> 0  𝑢∗ = 𝑢1

𝑑𝐻
Ambos escenarios exigen la siguiente condición: 𝑑𝑢
≠0

𝑑𝐻
2) Ecuación de movimiento de estado: 𝑦̇ = 𝑑𝜆

𝑑𝐻
3) Ecuación de movimiento de coestado: 𝜆̇ = − 𝑑𝑦

4) Dependiendo de las anteriores condiciones, será necesario aplicar la

condición de transversalidad: [𝐻]𝑡=𝑇 ∆𝑇 − 𝜆(𝑇)∆𝑌𝑇 = 0

Ejercicio:
Resolver el siguiente problema de control óptimo.
2
Maximizar: 𝑉 = ∫0 (3𝑦 − 2𝑢2 ) 𝑑𝑡
Sujeto a: 𝑦̇ = 3𝑢 − 1 𝑦(0) = 1

Formamos la Hamiltoniana: 𝐻 = 3𝑦 − 2𝑢2 + 𝜆(3𝑢 − 1) … … (1)

Aplicamos el principio del máximo: Debido a que la Hamiltoniana es no

lineal con respecto a la variable de control, se tendrá lo siguiente:
𝑑𝐻 𝑑𝐻
𝑑𝑢
=0 ; 𝑑𝑢
= −4𝑢 + 3𝜆  − 4𝑢 + 3λ = 0

2
Además se verifica 𝑑𝑑𝑢𝐻2 = −4 < 0 lo que indica que el problema es un
caso de maximización.
Despejamos la ecuación encontrada con respecto a la variable de control
porque queremos hallar la variable de estado.
3 𝜆
𝑢= … … (2)
4
38
 𝑑𝐻
Aplicamos la ecuación de movimiento de estado: 𝑦̇ =
𝑑𝜆
→ 𝑦̇ = 3𝑢 − 1 … … (3)

𝑑𝐻
Ecuación de movimiento de coestado: 𝜆̇ = − 𝑑𝑦 = −3 → 𝜆̇ = −3 … … (4)

Solución de la ecuación diferencial:

𝜆̇ + 0𝜆 = −3 𝜆𝑝 = −3𝑡

𝜆𝑝 = 𝐾𝑡 𝜆𝑐 = 𝐴𝑒 𝑟𝑡

𝜆̇𝑝 = 𝐾 𝑟+0=0

𝐾 + 0(𝐾𝑡) = −3 𝑟=0

𝐾 + 0 = −3 𝜆𝑐 = 𝐴𝑒 0

𝐾 = −3 𝜆𝑐 = 𝐴

𝜆(𝑡) = 𝐴 − 3𝑡
𝜆(𝑡) = −3𝑡 + 𝐴 … … (5)

Queremos que las ecuaciones determinen “𝑢”, pero no es el caso por lo que
aplicamos las condiciones de transversalidad.
Condición de transversalidad: ∆𝑇 = 0 ; ∆𝑦𝑇 ≠ 0

[𝐻]𝑡=𝑇 ∆𝑇 − 𝜆(𝑇)∆𝑦𝑇 = 0 … … (7) −𝜆(𝑇)∆𝑦𝑇 = 0

Si 𝑇=2 𝑦𝑇 → 𝑒𝑠 𝑙𝑖𝑏𝑟𝑒 … … (6) −𝜆(𝑇) = 0

Entonces se exige 𝜆(𝑇) = 0

Aplicamos la condición de 0 = −6 + 𝐾0
transversalidad
𝐾0 = 6 … … (8)
𝜆(𝑇) = −3𝑡 + 𝐾0
Remplazamos (8) en (5):
𝑇=2 𝜆(2) = 0
𝜆(𝑇) = −3𝑡 + 6 … … (9)
𝜆(2) = −3(2) + 𝐾0
Reemplazamos (9) en (2):
3 3 −9𝑡 9
𝑢 = 𝜆 → 𝑢 = (−3𝑡 + 6) 𝑢= + … … (10)
4 4 4 2

Remplazamos (10) en (3)

𝑦̇ = 3𝑢 − 1 −27𝑡 27
𝑦̇ = + −1
4 2
−9𝑡 9
𝑦̇ = 3 ( + )−1 −27𝑡 25
4 2 ∫ 𝑦̇ 𝑑𝑡 = ∫ + 𝑑𝑡
4 2

39
 −27𝑡 2 25𝑡 −27𝑡 2 25𝑡
𝑦= + + 𝐾0 𝑦(𝑡) = + + 𝐾0
8 2 8 2

Aplicamos la condición inicial:

𝑦(0) = 1 1 = 0 + 𝐾1  𝐾1 = 1

−27(0)2 25(0) −27𝑡 2 25𝑡

𝑦(0) = + + 𝐾1 𝑦(𝑡) = + +1
8 2 8 2

Resumen:
−27𝑡 2 25𝑡 −27(2)2 25(2)
𝑦(𝑡) = + +1 𝑦(2) = + +1
8 2 8 2
−9𝑡 9 −27
𝑢(𝑡) = + 𝑦(2) = + 25 + 1
4 2 2

𝜆(𝑡) = −3𝑡 + 6 𝑦(2) = 12.5

Hallando el valor optimo del funcional:

2
𝑉 = ∫ (3𝑦 − 2𝑢2 ) 𝑑𝑡
0

2
−27𝑡 2 25𝑡 −9𝑡 9 2
𝑉 = ∫ [3 ( + + 1) − 2 ( + ) ] 𝑑𝑡
0 8 2 4 2

2
−81𝑡 2 75𝑡 81𝑡 2 81𝑡 81
𝑉=∫ [ + + 3 − 2( − + )] 𝑑𝑡
0 8 2 16 4 4

2
−81𝑡 2 75𝑡 81𝑡 2 81𝑡 81
𝑉=∫ [ + +3− + − ] 𝑑𝑡
0 8 2 8 2 2
2
−81𝑡 2 156𝑡 75
𝑉=∫ ( + − ) 𝑑𝑡
0 4 2 2

𝑉 = 27

Ejercicio:
4
Maximizar: 𝑉 = − ∫0 5𝑦𝑑𝑡

Sujeto a: 𝑦̇ = 𝑦 + 𝑢 𝑦(0) = 5 𝑢 ∈ [1; 3]

Construimos la función Hamiltoniana: 𝐻 = −5𝑡 + 𝜆(𝑦 + 𝑢) … … (1)

Principio del máximo: Maximizamos 𝐻 con respecto a 𝑢, dado que H es lineal

con respecto a 𝑢, se exige la siguiente condición:

40
𝑑𝐻 𝜆 ≠ 𝑢 … … (2)
≠ 0 … … (2)
𝑑𝑢
Tenemos dos opciones:
Si: 𝜆 >0 u=1 Si: 𝜆 < 0  u = 3 … … . (4)

H H

min min

1 3 u 1 3 u
𝑑𝐻
Ecuación de movimiento de estado: 𝑦̇ =
𝑑𝜆
→ 𝑦̇ = 𝑦 + 𝑢

𝑑𝐻
Ecuación de movimiento de coestado: 𝜆̇ = − 𝑑𝑦 → 𝜆̇ = −(−5 + 𝜆)

Solución de la ecuación diferencial:

𝜆̇ = 5 − 𝜆 𝜆𝑐 = 𝐴𝑒 −𝑡

𝜆̇ + 𝜆 = 5 𝜆̇ + 𝜆 = 5

𝜆𝑐 = 𝐴𝑒 𝑟𝑡 𝜆𝑝 = 𝐾 𝜆̇ = 0

𝜆̇ + 𝜆 = 0 0+𝐾 =5

𝑟+1=0 𝜆𝑝 = 𝐾 𝜆𝑝 = 5

𝑟 = −1 𝜆 = (𝑡) = 𝜆𝑐 + 𝜆𝑝

𝜆(𝑡) = 𝐴𝑒 −𝑡 + 5

Aplicamos la condición de transversalidad:

[𝐻]𝑡=𝑇 ∆𝑇 − 𝜆(𝑇) ∆𝑦𝑇 = 0 −𝜆(𝑇) = 0 −𝜆(4) = 0

[𝐻]𝑡=𝑇 ∆𝑇 − 𝜆(𝑇) ∆𝑦𝑇 = 0 𝜆(4) = 0 𝜆(4) = 𝐴𝑒 −4 + 5

𝑦(𝑇) = 𝑦𝑇 → 𝑦(4) = 𝑦𝑇 𝐴𝑒 −4 + 5 = 0 𝐴𝑒 −4 = −5

𝑇 𝑓𝑖𝑗𝑜 ∆𝑇 = 0 𝑦𝑇 𝑙𝑖𝑏𝑟𝑒 ∆𝑦𝑇 ≠ 0 𝜆(𝑡) = 𝐴𝑒 −𝑡 + 5 𝜆(𝑡) = −5𝑒 4 𝑒 −𝑡 + 5

[𝐻]𝑡=𝑇 0 − 𝜆(𝑇) ∆ 𝑦𝑇 = 0 𝜆(𝑡) = −5𝑒 4−𝑡 + 5 … … (10)

Analizamos si 𝜆 es negativo o positivo, tengamos en cuenta: 𝑡 = [0; 4]

Pero 𝑡 = 4, 𝜆 = 0 entonces no consideramos el 4: ∀𝑡 ∈ [0; 4⟩  𝜆 < 0 … … (11)

Remplazando (11) en (4) 𝑢 = 3 … … (12)

41
Remplazando (12) en (5) 𝑦̇ = 𝑦 + 3

Resolviendo:
𝑦̇ = 𝑦 + 3 𝑦 = 𝐵𝑒 𝑡 − 3 … … (13)

Sabemos:
𝑦(0) = 5 𝐵−3=5 → 𝐵=8

𝑦(0) = 𝐵𝑒 0 − 3 = 𝐵 − 3 𝑦(𝑡) = 8𝑒 𝑡 − 3 … … (15)

Finalmente hemos obtenido las trayectorias óptimas:

𝑦(𝑡) = 8𝑒 𝑡 − 3

𝜆(𝑡) = −5𝑒 4−𝑡 + 5

𝑢(𝑡) = 3

Calculamos el valor del funcional:

4 4
𝑉 = − ∫ 5𝑦𝑑𝑡 𝑉 = − ∫ (40𝑒 𝑡 − 15)𝑑𝑡
0 0

4 𝑉 = −2083.926001
𝑉 = − ∫ 5(8𝑒 𝑡 − 3)𝑑𝑡
0

Ejercicio:
1
Maximizar: 𝑉 = ∫0 ln(4𝑦𝑢) 𝑑𝑡

Sujeto a: 𝑦̇ = 4𝑦(1 − 𝑢) 𝑦(0) = 1 𝑦(1) = 𝑒 2

Construimos la Hamiltoniana:
𝐻 = ln(4𝑦𝑢) + 𝜆(4𝑦(1 − 𝑢)) 𝐻 = ln(4𝑦𝑢) + 𝜆(4𝑦 − 4𝑦𝑢)

Principio del máximo: La Hamiltoniana es no lineal con respecto a 𝑢, por lo que

debe cumplirse entonces que:
𝑑𝐻 1
=0 − 4𝑦𝜆 = 0
𝑑𝑢 𝑢
𝑑𝐻 4𝑦 1
= − 4𝑦𝜆 = 4𝑦𝜆
𝑑𝑢 4𝑦𝑢 𝑢

𝑑𝐻 1 1
= − 4𝑦𝜆 𝑢= … … (1)
𝑑𝑢 𝑢 4𝑦𝜆

Además debemos tener en cuneta que:

42
𝑑𝐻 1 𝑑2 𝐻 1
= − 4𝜆𝑦 =− 2
𝑑𝑢 𝑢 𝑑𝑢 2 𝑢

Como la variable de control 𝑢, esta elevada al cuadrado, no nos interesa su forma

funcional, porque siempre será positiva, sin embargo el signo externo define que
2
la segunda derivada es negativa 𝑑𝑑𝑢𝐻2 < 0 esto confirma que efectivamente se
trata de un caso de maximización.
𝑑𝐻
Aplicamos la ecuación de movimiento de estado: 𝑦̇ = 𝑑𝜆

𝑦̇ = 4𝑦 − 4𝑦𝑢 𝑦̇ = 4𝑦(1 − 𝑢) … … (2)

Seguidamente la ecuación de movimiento de coestado:

𝑑𝐻 1
𝜆̇ = − 𝜆̇ = − ( + 4𝜆(1 − 𝑢))
𝑑𝑦 𝑦

4𝑢 1
𝜆̇ = − ( + 𝜆(4 − 4𝑢)) 𝜆̇ = − − 4𝜆(1 − 𝑢) … … (3)
4𝑦𝑢 𝑦

Acomodamos las tres ecuaciones de acuerdo a la conveniencia, para simplificarlas

lo más que se pueda y poder encontrar las trayectorias denominadas óptimas.
Reemplazando (1) en (3):
1 1 1
𝜆̇ = − − 4𝜆 − (1 − 𝑢) 𝜆̇ = − − 4𝜆 +
𝑦 𝑦 𝑦

1 1 𝜆̇ = −4𝜆
𝜆̇ = − − 4𝜆 (1 − )
𝑦 4𝑦𝜆
𝜆̇ + 4𝜆 = 0
1 1
𝜆̇ = − − 4𝜆 + 4𝜆 ( )
𝑦 4𝑦𝜆

Solución Complementaria: Solución Particular:

𝜆̇ + 4𝜆 = 0 𝜆̇ + 4𝜆 = 0

𝜆𝑐 = 𝐴𝑒 𝑟𝑡 𝜆𝑃 = 𝐾 𝜆̇𝑃 = 0

𝑟 + 4 = 0 → 𝑟 = −4 0 + 4𝑘 = 0 → 𝑘 = 0

𝜆𝑐 = 𝐴0 𝑒 −4𝑡 𝜆𝑃 = 0
Solución general:
𝜆(𝑡) = 𝜆𝑐 + 𝜆𝑝 𝜆(𝑡) = 𝐴0 𝑒 −4𝑡 … … (4)

Remplazamos (1) en (2): 1

𝑢=
4𝑦𝜆
𝑦̇ = 4𝑦(1 − 𝑢)

43
 1 Pero: 𝜆(𝑡) = 𝐴0 𝑒 −4𝑡
𝑦̇ = 4𝑦 (1 − )
4𝑦𝜆
1
1 𝑦̇ − 4𝑦 = −
𝑦̇ = 4𝑦 − 𝐴0 𝑒 −4𝑡
𝜆
1 4𝑡
1 𝑦̇ − 4𝑦 = − 𝑒
𝑦̇ − 4𝑦 = − 𝐴0
𝜆
Obtenemos de esta manera una ecuación diferencial de primer orden con
coeficiente y termino variable. Por lo que procederemos a resolverla con el
método de coeficientes indeterminados.
Planteamos una solución de prueba parecida:
𝑦 = 𝑘𝑒 4𝑡 𝑦̇ = 4𝑘𝑒 4𝑡

Reemplazamos en la ecuación diferencial dada:

𝑒 4𝑡 𝑒 4𝑡
4𝑘𝑒 4𝑡 − 4(𝑘𝑒 4𝑡 ) = − 0=− → 𝑛𝑜 𝑐𝑢𝑚𝑝𝑙𝑒
𝐴0 𝐴0

Comprobamos que no es la solución, porque no construye la ecuación diferencial

dada, por lo que tendremos que plantear una segunda solución de prueba:
𝑦 = 𝑘𝑒 4𝑡 𝑡 𝑦̇ = 𝑒 4𝑡 𝑘(4𝑡 + 1)

𝑦̇ = 𝑘(4𝑒 4𝑡 𝑡 + 𝑒 4𝑡 )

Reemplazamos esta ecuación diferencial:

𝑦̇ − 4𝑦 = −𝑒 4𝑡 𝑒 4𝑡
4𝑘𝑒 4𝑡 𝑡 + 𝑒 4𝑡 𝑘 − 4𝑘𝑒 4𝑡 𝑡 = −
𝐴0
𝑒 4𝑡
𝑒 4𝑡 𝑘(4𝑡 + 1) − 4𝑘𝑒 4𝑡 𝑡 = −
𝐴0 𝑒 4𝑡
𝑒 4𝑡 𝑘 = −
𝐴0
Podemos notar que si existe cierto parecido:
1 4𝑡 1
𝑘𝑒 4𝑡 = − 𝑒 𝑘=−
𝐴0 𝐴0

Entonces la solución será:

𝑦 = 𝑘𝑒 4𝑡 𝑡 1 4𝑡
𝑦=− 𝑒 𝑡
𝐴0
Pero la anterior es la solución particular de la ecuación diferencial, porque se
resolvió la ecuación diferencial completa o no homogénea.
Seguidamente resolveremos la ecuación diferencial homogénea:
𝑦̇ − 4𝑦 = 0 𝑟−4=0 →𝑟 =4

44
𝑦𝑐 = 𝐴1 𝑒 𝑟𝑡 𝑦𝑐 = 𝐴1 𝑒 4𝑡

Finalmente la solución general será:

𝑦(𝑡) = 𝑦𝑐 + 𝑦𝑝 𝑒 4𝑡 𝑡
𝑦(𝑡) = 𝐴1 𝑒 4𝑡 −
𝐴0
−𝑒 4𝑡 𝑡
𝑦(𝑡) = 𝐴1 𝑒 4𝑡 + ( )
𝐴0

Para determinar la trayectoria óptima aplicamos las condiciones inicial y final

dadas:
𝑒 0 (0)
𝑦(0) = 1 𝑦(0) = 𝐴1 𝑒 0 − 𝐴1 = 1
𝐴0

Aplicando la condición final:

𝑦(1) = 𝑒 2 𝑒4
𝑒4 − = 𝑒2
𝐴0
𝑒4
𝑦(1) = 𝐴1 𝑒 4 − (1)
𝐴0 𝑒4
= 𝑒4 − 𝑒2
𝐴0
𝑒4
𝑦(1) = 𝐴1 𝑒 4 −
𝐴0 𝑒4
𝐴0 =
𝑒4 − 𝑒2
4
𝑒4
𝐴1 𝑒 − = 𝑒2 𝐴0 = 1.15651
𝐴0

Pero: 𝐴1 = 1 𝐴0 = 1.16

Por lo que las trayectorias optimas de estado serán:

4𝑡
𝑒 4𝑡 𝑡 𝜆(𝑡) = 1.16𝑒 −4𝑡
𝑦(𝑡) = 𝑒 −
1.16
Reemplazamos para hallar 𝑢:
1 1
𝑢= 𝑢=
4𝑦𝜆 𝑒 4𝑡 𝑡
4 (𝑒 4𝑡 − 1.16) (1.16𝑒 −4𝑡 )

1 1
𝑢= 𝑢=
4(1.16𝑒 0 − 𝑒 0 𝑡) 4.64 − 4𝑡

1 𝑢(𝑡) = (4.64 − 4𝑡)−1

𝑢=
4(1.16 − 𝑡)
Finalmente obtuvimos las tres trayectorias óptimas de estudio, del problema:
𝑒 4𝑡 𝑡
𝑦(𝑡) = 𝑒 4𝑡 −
1.16

𝜆(𝑡) = 1.16𝑒 −4𝑡

45
 1
𝑢(𝑡) = ( )
4.64 − 4𝑡

Hallamos el valor óptimo del funcional:

1 1
1
𝑉 = ∫ 𝑙𝑛 (4𝑦𝑢)𝑑𝑡 𝑉 = ∫ 𝑙𝑛 ( ) 𝑑𝑡
0 0 1.16𝑒 −4𝑡
1 1
1 𝑒 4𝑡
𝑉 = ∫ 𝑙𝑛 (4𝑦. ) 𝑑𝑡 𝑉 = ∫ 𝑙𝑛 ( ) 𝑑𝑡
0 4𝑦𝜆 0 1.16
1
1 𝑉 = 1.851579995
𝑉 = ∫ 𝑙𝑛 ( ) 𝑑𝑡
0 𝜆

1.4.- Aplicación Económica del Control Óptimo:

Modelo de Crecimiento Neoclásico

La Producción: El modelo supone una función de producción que

tiene las siguientes particularidades:
𝑌 = 𝑓(𝐾, 𝐿) … … (1) 𝑌 = Producto
Dónde: 𝐾 = Stock de capital
𝐿 = Trabajo
Según la teoría neoclásica la función de producción posee rendimientos
constantes de escala (función linealmente homogénea), esto significa que
cuando se aumenta en una proporción los factores de producción, la
producción debe aumentar en la misma proporción.

En este sentido, si alteramos en la proporción λ todos los factores

productivos, la producción se altera en la misma proporción es decir:
𝜆𝑌 = 𝑓(𝜆𝐾, 𝜆𝐿) 𝑌 𝐾 𝐿
= 𝑓( , )
𝐿 𝐿 𝐿
1
Si 𝜆 =
𝐿

Además, dado el supuesto del pleno empleo, toda la población esta

empleada.
Luego:

46
 𝑌
𝑌=
𝐿
Producción percápita, es la producción por cada unidad de la
→
población, o nivel de producción con que contribuye.
𝐾
𝑘=
𝐿
→Stock percápita es el stock de capital promedio que tiene cada
individuo en un instante del tiempo.
𝑌 = 𝑓(𝑘; 1) 𝑒𝑛 𝑔𝑒𝑛𝑒𝑟𝑎𝑙 𝑌 = 𝑓(𝑘) … … (2)

Características:
 Productividad Marginal del Capital: Porque se supone que cuando
aumenta el capital en una unidad, la producción también aumenta, por lo
que su tasa decrecimiento será positiva.
𝑓′(𝐾) > 0

 Productividades Marginales Decrecientes: Porque se supone que a medida

que se va aumentando del capital en mayor cuantía, la producción
aumenta, pero cada vez en una proporción menor.
𝑓′′(𝐾) < 0

 Condiciones de inada:
Y Y

k k

lim 𝑓 ′ (𝑘) =∝ lim 𝑓 ′ (𝑘) = 0

𝑘→0 𝑘→0

La Demanda Agregada: Supondremos que nos encontramos en una

economía cerrada, en la que existe ausencia del estado, por lo que la
demanda agregada estará determinada dela siguiente manera.
𝐷𝐴 = 𝐶 + 𝐼 … … (1)

𝐶 = 𝐶(𝑡) 𝐼 = 𝐼(𝑡)

47
Consumo: Esla compra de bienes y servicios por parte de todos los agentes
económicos ajenos al estado, como empresas y consumidores.
Inversión: La inversión es toda variación del stock de capital y el monto de
depreciación para mantenerlo, es decir la inversión se orienta al incremento del
stock de capital y al remplazo de la maquinaria, formalmente podemos plantearlo
de la siguiente forma.
𝑑𝐾 𝑑𝑘
𝐼= + 𝛿𝐾 … … (2) = Inversión neta
𝑑𝑡 𝑑𝑡

Dónde: 𝛿𝑘 = Depreciación
𝐼= Inversión Bruta 𝛿 = Tasa de depreciación
El objetivo es expresar la demanda agregada en términos percápita, por lo tanto,
remplazamos la ecuación (2) en la ecuación (1):
𝐷𝐴 = 𝐶 + 𝐼 1 𝑑𝐾
𝑓(𝑘) = 𝑐 + + 𝛿𝑘 … … (3)
𝐿 𝑑𝑡
𝑑𝐾
𝐷𝐴 = 𝐶 + + 𝛿𝐾
𝑑𝑡 Observe:
Dividiendo por 𝐿: 𝐿𝑑𝐾 𝐾𝑑𝐿
−
𝑑 𝐾
( ) = 𝑑𝑡 2 𝑑𝑡
𝐷𝐴 𝐶 1 𝑑𝐾 𝛿𝐾 𝑑𝑡 𝐿 𝐿
= + +
𝐿 𝐿 𝐿 𝑑𝑡 𝐿 𝑑𝑘 1 𝑑𝐾 𝐾 𝑑𝐿
= −
1 𝑑𝐾 𝑑𝑡 𝐿 𝑑𝑡 𝐿2 𝑑𝑡
𝑑𝑎 = 𝑐 + + 𝛿𝑘
𝐿 𝑑𝑡 𝑑𝑘 1 𝑑𝐾 𝐾 1 𝑑𝐿
= −
Equilibrio: 𝑑𝑡 𝐿 𝑑𝑡 𝐿 𝐿 𝑑𝑡
𝑑𝑘 1 𝑑𝐾 1 𝑑𝐿
𝑌 = 𝑑𝑎 𝑌 = 𝑓(𝑘) = −𝑘
𝑑𝑡 𝐿 𝑑𝑡 𝐿 𝑑𝑡
Dónde:
𝑑𝐿 𝑑𝐿
→ Variación de la población
𝐿 𝐿
𝑑𝑡
→ Variación a lo largo del tiempo
𝑑𝐿
1 𝑑𝐿
𝐿 𝑑𝑡
= 𝐿
𝑑𝑡
=𝑛 → Tasa de crecimiento poblacional

Por lo que tendremos lo siguiente:

1 𝑑𝐿 𝑑𝑘 1 𝑑𝐾 1 𝑑𝐿 1 𝑑𝐾
𝑛= = −𝑘 𝑘̇ = − 𝑛. 𝑘
𝐿 𝑑𝑡 𝑑𝑡 𝐿 𝑑𝑡 𝐿 𝑑𝑡 𝐿 𝑑𝑡

Luego despejamos:
1 𝑑𝐾
= 𝑘̇ + 𝑛𝑘 … … (4)
𝐿 𝑑𝑡

48
Sustituyendo (4) en (3): 𝑘̇ = 𝑓(𝑘) − 𝑐 − (𝑛 + 𝛿)𝑘 … … (5)

𝑓(𝑘) = 𝑐 + 𝑘̇ + 𝑛𝑘 + 𝛿𝐾 Si: 𝑘̇ > 0

Despejando 𝑘̇: 𝑓(𝑘) − 𝑐 − (𝑛 + 𝛿)𝑘 > 0

𝑓(𝑘) > 𝑐 + (𝑛 + 𝛿)𝑘  𝑠 > 0

𝑘̇ = 𝑓(𝑘) − 𝑐 − 𝑛𝑘 − 𝛿𝑘

Esta ecuación fundamental expresa que si en el país existe ahorro, la inversión se

incrementara y con ello también la producción, generándose así un círculo
virtuoso, en el que la producción cada vez ira mejorando como consecuencia
del mayor ahorro generado.

La función de Utilidad: El objetivo final del modelo de crecimiento es la

maximización del bienestar de la población: 𝑢 = 𝑢[𝑐(𝑡)]

Características:
 Las utilidades marginales del consumo son positivas 𝑢′ (𝑐) > 0
 Las utilidades marginales son decrecientes 𝑢′ ′(𝑐) < 0
 Condiciones de inada: 𝑐→0
lim 𝑢′(𝑐) = 𝛼 ; lim 𝑢′(𝑐) = 0
𝑐→𝛼

Si consideramos un horizonte temporal infinito 𝑡 ∈ [0; 𝛼⟩, tendremos el siguiente

∝
funcional: 𝑉 = ∫0 𝑒 −𝜌𝑡 𝑢(𝑐)𝑑𝑡

El cual representa el bienestar total acumulado en valor presente durante el

horizonte temporal de análisis.
Modelo de crecimiento económico:
El problema:
𝛼
Maximizar: 𝑉 = ∫0 𝑒 −𝜌𝑡 𝑢(𝑐)𝑑𝑡

Sujeto a: 𝑘̇ = 𝑓(𝑘) − 𝑐 − (𝑛 + 𝛿)𝐾 ; 𝑘(0) = 𝑘0 ; 𝑘0 𝑓𝑖𝑗𝑜

0 ≤ 𝑐 ≤ 𝑓(𝑘)

𝑓 ′ (𝑘) > 0; 𝑓 ′′ (𝑘) < 0; lim 𝑓 ′ (𝑘) = 𝛼 ; lim 𝑓 ′ (𝑘) = 0

𝑘→0 𝑘→𝛼

𝑢′ (𝑐) > 0; 𝑢′′ (𝑐) < 0; lim 𝑢′ (𝑐) = 𝛼 ; lim 𝑢′ (𝑐) = 0

𝑐→0 𝑐→𝛼

Solución:
Primero planteamos nuestra función Hamiltoniana:
𝐻 = 𝑒 −𝜌𝑡 𝑢(𝑐) + 𝜆[𝑓(𝑘) − 𝑐 − (𝑛 + 𝛿)𝑘] … … (1)

49
Seguidamente aplicamos el principio del máximo de Pontryagin:
Se aprecia que la función Hamiltoniana, es una expresión no lineal con respecto
al consumo percápita (variable de control), por lo que la condición será la
siguiente:
𝑑𝐻
=0
𝑑𝑐
𝑑𝐻 𝑑𝐻
= 𝑒 −𝜌𝑡 𝑢′ (𝑐) + 𝜆(−1) = 𝑒 −𝜌𝑡 𝑢′ (𝑐) − 𝜆 … … (1)
𝑑𝑐 𝑑𝑐

Debemos igualarlo a cero

𝑒 −𝜌𝑡 𝑢′ (𝑐) − 𝜆 = 0 𝜆 = 𝑒 −𝜌𝑡 𝑢′ (𝑐) … … (2)

𝑑2 𝐻
Comprobando si el funcional es un máximo o un mínimo: 𝑑𝑐 2
= 𝑒 −𝜌𝑡 𝑢′′ (𝑐) < 0

Se comprueba que el funcional es un mínimo, por que la utilidad marginal es

decreciente.
Si consideramos al Stock de capital como la variable de estado, las condiciones
serán las siguientes:
Ecuación de movimiento de 𝐾:
𝑑𝐻
𝑘̇ = → 𝑘̇ = 𝑓(𝑘) − 𝑐 − (𝑛 + 𝛿)𝑘 … … (3)
𝑑𝜆

Ecuación de movimiento de λ:
𝑑𝐻
𝜆̇ = − → 𝜆̇ = −𝜆[𝑓 ′ (𝑐) − (𝑛 + 𝛿)] … … (4)
𝑑𝑘

Es posible reducir el análisis a solo dos ecuaciones, para tal efecto consideramos
la expresión dos, derivándola con respecto al tiempo:
𝜆 = 𝑒 −𝜌𝑡 𝑢′ (𝑐)

𝑑𝜆 𝜆̇ = − 𝜌𝑒 −𝜌𝑡 𝑢′ (𝑐) + 𝑒 −𝜌𝑡 𝑢′′ (𝑐) 𝑐̇ … … (5)

= −𝜌𝑒 −𝜌𝑡 𝑢′ (𝑐) + 𝑒 −𝜌𝑡 𝑢′′ (𝑐) 𝑐̇
𝑑𝑡

Remplazando (2) y (5) en (4):

𝜆̇ = −𝜆[𝑓 ′ (𝑐) − (𝑛 + 𝛿)]

−𝜌𝑒 −𝜌𝑡 𝑢′ (𝑐) + 𝑒 −𝜌𝑡 𝑢′′ (𝑐) 𝑐̇ = −𝑒 −𝜌𝑡 𝑢′ (𝑐) [𝑓 ′ (𝑐) − (𝑛 + 𝛿)]

𝑒 −𝜌𝑡 [−𝜌 𝑢′ (𝑐) + 𝑢′′(𝑐)𝑐̇ ] = −𝑒 −𝜌𝑡 𝑢′(𝑐)[𝑓 ′ (𝑐) − (𝑛 + 𝛿)]

50
−𝜌 𝑢′ (𝑐) + 𝑢′′ (𝑐)𝑐̇ = −𝑢′(𝑐)[𝑓 ′ (𝑐) − (𝑛 + 𝛿)]

Despejando 𝑐̇:
𝜌 𝑢′ (𝑐) − 𝑢′ (𝑐)[𝑓 ′ (𝑐) − (𝑛 + 𝛿)] 𝑢′ (𝑐)
𝑐̇ = 𝑐̇ = (−)[𝑓 ′ (𝑐) − (𝑛 + 𝛿 + 𝜌)]
𝑢′′(𝑐) 𝑢′′(𝑐)

𝑢′ (𝑐) 𝑢′ (𝑐)
𝑐̇ = [𝜌 − 𝑓 ′ (𝑐) + (𝑛 + 𝛿)] 𝑐̇ = − [𝑓 ′ (𝑐) − (𝑛 + 𝛿 + 𝜌)]
𝑢′′(𝑐) 𝑢′′ (𝑐)

El sistema de ecuaciones diferenciales de primer orden es:

𝑘̇ = 𝑓(𝑘) − 𝑐 − (𝑛 + 𝛿)𝑘 𝑢′ (𝑐)
𝑐̇ = − [𝑓 ′ (𝑘) − (𝑛 + 𝛿 + 𝜌)]
𝑢′′ (𝑐)

Podemos notar que este sistema de ecuaciones diferenciales, no podrá ser

reducido atreves del método de sustitución a expresiones más pequeñas, que
puedan ser resueltas de manera cuantitativa y que permitan dar la forma
funcional de las trayectorias optimas de las variables de estado y control, por lo
que construiremos un diagrama de fase, a partir del cual es posible determinar la
dinámica de las variables analizadas y el punto de equilibrio hacia el cual
convergen en el infinito, también conocido como estado estacionario.
Curvas de demarcación:

Para: 𝑘̇ = 0 c (𝑛 + 𝛿)𝑘

0 = 𝑓(𝑘) − 𝑐 − (𝑛 + 𝛿 + 𝜌)𝑘 𝑓(𝑘)

𝑐 = 𝑓(𝑘) − (𝑛 + 𝛿)𝑘

Sea: 𝑘̇ = 𝑓(𝑘) − 𝑐 − (𝑛 + 𝛿)𝑘

𝑑𝑘̇ 𝑑𝑘̇
= −1 → <0 k
𝑑𝑐 𝑑𝑐

Por consiguiente: c
↑ 𝑐 →↓ 𝑘̇ (+ 0 −)

Ojo:
Tenemos que derivar con respec-
to a la variable que más nos fa-
cilite el análisis, por ejemplo en
este caso con respeto al stock de
𝑘 sería más complicado:
𝑑𝑘̇
𝑑𝑘
= 𝑓 ′ (𝑘) − (𝑛 + 𝛿) - + 𝑘̇ = 0 k

51
Para: 𝑐̇ = 0 c (𝑛 + 𝛿 + 𝜌)𝑘

𝑢′ (𝑐)
0 = − 𝑢′′ (𝑐) [𝑓 ′ (𝑘) − (𝑛 + 𝛿 + 𝜌)] (𝑛 + 𝛿)𝑘

0 = 𝑓 ′ (𝑘) − (𝑛 + 𝛿 + 𝜌) 𝑓(𝑘)

𝑓 ′ (𝑘) = 𝑛 + 𝛿 + 𝜌

𝑢′ (𝑐)
Sea: 𝑐̇ = − 𝑢′′ (𝑐) [𝑓 ′ (𝑘) − (𝑛 + 𝛿 + 𝜌)]

𝑑𝑐̇ 𝑢′ (𝑐)
𝑑𝑘
= − 𝑢′′ (𝑐) [𝑓′′(𝑘)] k* k
𝑑𝑐̇ 𝑑𝑐̇
𝑑𝑘
=− → 𝑑𝑘
<0 c 𝑐̇ = 0

Por consiguiente:
↑ 𝑘 →↓ 𝑐̇ (+ 0 −)

Ojo:
𝑑𝑐̇
→ 𝑐𝑜𝑚𝑝𝑙𝑖𝑐𝑎𝑑𝑜 + k* - k
𝑑𝑐

Finalmente el diagrama de fase será:

+ -

c* E + -
𝑘̇

0 k* k

52
 𝑐̇

2.-Programacion dinámica
La técnica de programación dinámica fue desarrollada a fines de la década
de los cincuenta, por el matemático norteamericano Richard Bellman. Este
matemático desarrollo el principio de optimalidad o ecuación de Bellman.
En términos generales el principio de optimalidad establece que la
trayectoria optima de la variable de control debe satisfacer la siguiente
propiedad: en cualquier periodo t del tiempo, dado un valor de la variable
de estado yt que depende delas decisiones tomadas previamente, el resto de
la secuencia de la variable de control (ut, ut+1, ut+2,… uT) también debe ser
óptimo. Apartir de este principio se desarrolla toda la teoría de
programación dinámica. Una aplicación a esta técnica la constituye el
modelo de crecimiento óptimo de Koopmans y Cass.
La programación dinámica, al igual que cualquier problema de optimización
dinámica, puede formularse tanto en tiempo discreto como en tiempo
continuo. Sin embargo, para resolver el problema en tiempo continuo, es
necesario tener un conocimiento previo de ecuaciones diferenciales
parciales. Por ello, con el fin de brindar una explicación clara y sencilla de
esta metodología, se estudiara el problema en su versión discreta
Al igual que en el control optimo se incorpora la variable de control (u)
como la variable de estado (y), y también las dos variables se encuentran
relacionadas mediante la ecuación de movimiento g(y,u,t).
El objetivo del control óptimo es determinar las secuencias de las variables
de control y estado que optimicen el funcional objetivo.

2.1.-Teoria de la programación dinámica

La programación dinámica es una metodología orientada a la solución de
problemas de optimización dinámica. Esta metodología verifica una
propiedad importante, llamada de causalidad que se entiende de la
siguiente manera, dados dos estados cualesquiera del sistema, uno anterior
y otro posterior, el valor que tome el estado posterior depende únicamente
del valor del estado anterior y de los valores de los controles intermedios
entre ambos estados.
Características:

53
  La programación dinámica como método de solución de problemas
de optimización, utiliza el análisis discreto del tiempo.
 La programación dinámica resuelve un problema de T periodos o
etapas, mediante la resolución de T problemas de un periodo o
etapa.
 La programación dinámica analiza un problema comenzando desde
la última etapa hasta llegar a la primera, en cada una de ellas
establece la mejor decisión.

A continuación se introduce la programación dinámica a través de un

ejemplo, para pasar posteriormente a presentar el método de una manera
general.
Una persona desea viajar desde la ciudad A hasta la ciudad H, de tal
manera que en el transcurso obtenga el máximo bienestar posible, el
siguiente diagrama muestra atreves de las flechas, el sentido de dirección
de las rutas disponibles y el nivel de utilidad que se obtiene al viajar de
una ciudad a otra.
El problema consiste en elegir la mejor ruta que una las ciudades Ay H y
que permita obtener el máximo nivel de bienestar.

20 E
B
15 17 19

25 15

10 C 16 F 21
A H

23 17

16 18 15
D G

Podemos notar que el problema consta de tres etapas:

Etapa I : Ir de A hasta B, C o D
Etapa II : Ir de B, C o D hasta E, F o G
Etapa III : Ir desde E, f, G hasta H

54
 El proceso de solución se inicia en el último periodo del horizonte
temporal de análisis, además dado que existen tres etapas, la programación
dinámica considerara tres problemas, de una etapa cada una.

Etapa III: Ir desde E, F o G hasta H, las rutas disponibles y el nivel de

bienestar que ofrecen son:
E – H = 19
F – H = 21 Son las rutas optimas
G – H = 15
Etapa II : Ir desde B, C o D hasta E, F o G.
B – E – H = 20 + 19 = 39
B – F – H = 17 + 21 = 38
B – G – H = 25 + 15 = 40 → Es la ruta optima
C – E – H = 15 + 19 = 34
C – F – H = 16 + 21 = 37 → Es la ruta optima
C – G –H = 17 + 15 = 32
D – E – H = 23 + 19 = 42 → Es la ruta optima
D – F – H = 18 + 21 =39
Etapa I : Ir desde A hasta B, C o D
A – B – G – H = 15 + 40 = 55
A – C – F – H = 10 + 37 = 47
A – D – E – H = 16 + 42 = 58 → Es la ruta optima
Finalmente podemos concluir que el individuo deberá ir por A - D - E - H,
siguiendo esta ruta obtendrá una utilidad máxima de 58 útiles.

2.2.-El problema de programación dinámica

El propósito es encontrar la secuencia óptima de estado y control que
permita optimizar el funcional (suma acumulativa del bienestar en cada
periodo) en el horizonte de análisis establecido.

Maximizar: 𝐽 = ∑𝑇−1
𝑖=0 𝐹[𝑥𝑡 , 𝑢𝑡 , 𝑡] + 𝑆[𝑥𝑡 ]

Sujeto a: 𝑥𝑡+1 = 𝑔(𝑥𝑡 , 𝑢𝑡 , 𝑡); 𝑡 = 0; 1; 2; 3; … 𝑇

Con: 𝑥 0 𝑓𝑖𝑗𝑜 𝑢𝑡 ∈ Ω
Dónde:

𝐽 =Funcional objetivo 𝐹 =Función intermedia

55
 𝑔 =Ecuación de movimiento 𝑢 = Variable de control

𝑥 = Variable de estado Ω = Espacio omega

2.3.- La ecuación de Bellman

Para hallar la secuencia optima de estado y control, se requiere
aplicar las siguientes condiciones:

Para 𝑡 = 𝑇 𝐽𝑇 {𝑥𝑇 } = 𝑆(𝑥𝑇 )

Para 𝑡 < 𝑇 𝐽𝑡 {𝑥𝑡 } = 𝑂𝑝𝑡𝑚𝑧𝑟[𝐹(𝑥𝑡 , 𝑢𝑡 , 𝑡) + 𝐽𝑡+1 {𝑔(𝑥𝑡 , 𝑢𝑡 , 𝑡)}]

*Debemos tener en cuenta que la optimización se realizara con respecto
a la variable de control “𝑢𝑡 ”.

Ejercicio:
Hallar la secuencia optima de la variable de estado y de control que
permita minimizar el siguiente funcional.
Minimizar: 𝐽 = (𝑢0 − 1)2 + (𝑢1 − 2)2 + 2𝑥2
Sujeto a: 𝑥0 = 1 𝑥1 = 3𝑥0 + 2𝑢0 𝑥2 = 𝑥1 + 2𝑢1

Primero identificamos el horizonte temporal de análisis, y en el ejercicio

el horizonte temporal de análisis es: 𝑡 = 0, 1,2 donde: 𝑇 = 2
Además 𝑆(𝑥𝑇 ) = 2𝑥2 ∑𝑇−1 2
𝑡=0 𝐹(𝑥𝑡 , 𝑢𝑡 , 𝑡) = (𝑢0 − 1) + (𝑢1 − 2)
2

Análisis para 𝑡 = 2 , la ecuación de Bellman relevante es la siguiente:

𝐽𝑇 {𝑥𝑇 } = 𝑆(𝑥𝑇 ) 𝐽2 {𝑋2 } = 2𝑋2

Análisis para 𝑡 = 1 , se requiere la siguiente ecuación de Bellman:

𝐽𝑡 {𝑥𝑡 } = 𝑚𝑖𝑛[𝐹(𝑥𝑡 , 𝑢𝑡 , 𝑡) + 𝐽𝑡+1 {𝑔(𝑥𝑡 , 𝑢𝑡 , 𝑡)}]

𝐽1 {𝑥1 } = 𝑚𝑖𝑛 [𝐹(𝑥1 , 𝑢1 ) + 𝐽1+1 {𝑔(𝑥1 , 𝑢1 )}]

Observe: 𝐹(𝑥1 , 𝑢1 ) = (𝑢1 − 2)2 𝑔(𝑥1 , 𝑢1 ) = 𝑥1 + 2𝑢1 = 𝑥2

𝐽1 {𝑥1 } = 𝑚𝑖𝑛[(𝑢1 − 2)2 + 𝐽2 {𝑥2 }]

𝐽1 {𝑥1 } = 𝑚𝑖𝑛 [(𝑢1 − 2)2 + 2𝑥2 ]

Remplazando 𝑥2 en la ecuación para minimizar:

𝐽1 {𝑥1 } = 𝑚𝑖𝑛 [(𝑢1 − 2)2 + 2(𝑥1 + 2𝑢1 )]
56
 𝐽1 {𝑥1 } = 𝑚𝑖𝑛 [(𝑢1 − 2)2 + 2𝑥1 + 4𝑢1 ]

Aplicamos la C.P.O: 2(𝑢1 − 2) = −4

𝑑[(𝑢1 −2)2 +2𝑥1 +4𝑢1 ] 𝑢1 − 2 = −2

=0
𝑑𝑢1
𝑢1 = 0
2(𝑢1 − 2) + 4 = 0
Aplicamos la C.S.O:

𝑑2 [(𝑢1 −2)2 +2𝑥1 +4𝑢1 ]

=2
𝑑𝑢1 2

Él 2 > 0 por lo que se corrobora que se está minimizando el funcional.

Remplazando 𝑢1 en el funcional:
𝐽1 {𝑥1 } = (0 − 2)2 + 2𝑥1 + 4(0)

𝐽1 {𝑥1 } = 4 + 2𝑥1

Análisis para 𝑡 = 0 , se requiere la siguiente ecuación de Bellman:

𝐽0 {𝑥0 } = 𝑚𝑖𝑛[𝐹(𝑥0 , 𝑢0 ) + 𝐽1 {𝑔(𝑥0 , 𝑢0 )}]

𝐽0 {𝑥0 } = 𝑚𝑖𝑛[(𝑢0 − 1)2 + 𝐽1 {𝑥1 }]

𝐽0 {𝑥0 } = 𝑚𝑖𝑛[(𝑢0 − 1)2 + 2𝑥1 + 4]

𝐽0 {𝑥0 } = 𝑚𝑖𝑛[(𝑢0 − 1)2 + 2(3𝑥0 + 2𝑢0 ) + 4]

𝐽0 {𝑥0 } = 𝑚𝑖𝑛[(𝑢0 − 1)2 + 6𝑥0 + 4𝑢0 + 4]

Aplicamos la C.P.O: 2(𝑢0 − 1) = −4

𝑑[(𝑢0 − 1)2 + 6𝑥0 + 4𝑢0 + 4] 𝑢0 − 1 = −2

=0
𝑑𝑢0
𝑢0 = −1
2(𝑢0 − 1) + 4 = 0
Aplicamos la C.S.O:

𝑑2 [(𝑢0 −1)2 +6𝑥0 +4𝑢0 +4]

=2
𝑑𝑢0 2

Él 2 > 0 por lo que se corrobora que se está minimizando el funcional.

Remplazando 𝑢0 en el funcional:
𝐽0 {𝑥0 } = (−1 − 1)2 + 6𝑥0 + 4(−1) + 4

57
𝐽0 {𝑥0 } = 4 + 6𝑥0 − 4 + 4 = 6𝑥0 + 4

Pero 𝑥0 = 1 𝐽0 {𝑥0 } = 6𝑥0 + 4 = 6(1) + 4 = 10

Además:
𝑥1 = 3𝑥0 + 2𝑢0 = 3(1) + 2(−1) = 1

𝑥2 = 𝑥1 + 2𝑢1 = 1 + 2(0) = 1

Las secuencias óptimas de control y estado son:

𝑥0 = 1 𝑥1 = 1 𝑥2 = 1

𝑢0 = −1 𝑢1 = 0

Valor mínimo del funcional

𝐽 = (𝑢0 − 1)2 + (𝑢1 − 2)2 + 2𝑥2

𝐽 = (−1 − 1)2 + (0 − 1)2 + 2(1)

𝐽 = 4 + 4 + 2 = 10

Ejercicio:
Hallar la secuencia optima de la variable de estado y de control que
permita minimizar el siguiente funcional.
Minimizar: 𝐽 = 𝑥0 𝑢0 + 𝑥1 𝑢1 + 𝑥2 2
Sujeto a: 𝑥𝑡+1 = 𝑥𝑡 𝑢𝑡 + 𝑢𝑡 2 ; ⩝ 𝑡 = 0; 1

Con: 𝑥0 = 2 𝑢𝑡 𝜖{−1; 0; 1} ; ⩝ 𝑡 = 0,1

Primero identificamos el horizonte temporal de análisis, y en el ejercicio el

horizonte temporal de análisis es: 𝑡 = 0, 1,2 donde: 𝑇 = 2
Se aprecia que podemos inferir los valores posibles de estado para 𝑡 = 0,1,2
Para 𝑡=0: Si 𝑥0 = 2 , 𝑢0 𝜖{−1; 0; 1} y 𝑥1 = 𝑥0 𝑢0 + 𝑢0 2

Entonces tendremos: 𝑥1 = {−1; 0; 3}

Para 𝑡 = 1 ∶Si 𝑥1 = {−1; 0; 3} , 𝑢1 𝜖{−1; 0; 1} y 𝑥2 = 𝑥1 𝑢1 + 𝑢1 2

𝑥1 = −1 𝑢1 = −1 𝑥2 = (1) + (−1)2 = 2
𝑥1 = −1 𝑢1 = 0 𝑥2 = 0 + (−1)2 = 1
𝑥1 = −1 𝑢1 = 1 𝑥2 = −1 + 1 = 0

58
 𝑥1 = 3 𝑢1 = −1 𝑥2 = −3 + 1 = −2
𝑥1 = 3 𝑢1 = 0 𝑥2 = 0 + 0 = 0
𝑥1 = 3 𝑢1 = 1 𝑥2 = 3 + 1 = 4

𝑥1 = 0 𝑢1 = −1 𝑥2 = 0 + 1 = 1
𝑥1 = 0 𝑢1 = 0 𝑥2 = 0 + 0 = 0
𝑥1 = 0 𝑢1 = 1 𝑥2 = 0 + 1 = 1

Entonces tendremos: 𝑥2 = {−2; 0; 1; 2; 4}

Síntesis:
Variable de estado Valor
𝑥0 2
𝑥1 -1, 0, 3
𝑥2 -2; 0; 1; 2; 4

Análisis para 𝑡 = 2 , la ecuación de Bellman relevante es la siguiente:

𝐽𝑇 {𝑥𝑇 } = 𝑆(𝑥𝑇 ) 𝐽2 {𝑥2 } = 𝑥2 2

Los valores del funcional serán:

𝑥2 𝐽2 {𝑥2 }
-2 4
0 0
1 1
2 4
4 16

Análisis para 𝑡 = 1 , se requiere la siguiente ecuación de Bellman:

𝐽𝑡 {𝑥𝑡 } = 𝑚𝑖𝑛[𝐹(𝑥𝑡 , 𝑢𝑡 , 𝑡) + 𝐽𝑡+1 {𝑔(𝑥𝑡 , 𝑢𝑡 , 𝑡)}]

𝐽1 {𝑥1 } = 𝑚𝑖𝑛[𝐹(𝑥1 , 𝑢1 ) + 𝐽2 {𝑔(𝑥1 , 𝑢1 )}]

𝐽1 {𝑥1 } = 𝑚𝑖𝑛[𝑥1 , 𝑢1 + 𝐽2 {𝑥1 , 𝑢1 + 𝑢1 2 }]

Sabemos: 𝑥1 𝜖{−1; 0; 3} 𝑢1 𝜖{−1,0; 1}

𝑥1 𝑢1 𝑥1 𝑢1 + 𝐽2 {𝑥1 𝑢1 + 𝑢1 2 }
-1 -1 1 + 𝐽{1 + 1} = 1 + 𝐽{2} = 1 + 4 = 5
-1 0 0 + 𝐽{0 + 0} = 0 + 𝐽{0} = 0 + 0 = 0
-1 1 0 + 𝐽{0 + 0} = −1 + 𝐽{0} = −1 + 0 = −1
0 -1 0 + 𝐽{0 + 1} = 0 + 𝐽{1} = 0 + 1 = 1
0 0 0 + 𝐽{0 + 0} = 0 + 𝐽{0} = 0 + 0 = 0
0 1 0 + 𝐽{0 + 1} = 0 + 𝐽{1} = 0 + 1 = 1

59
 3 -1 −3 + 𝐽{−3 + 1} = −3 + 𝐽{−2} = −3 + 4 = 1
3 0 0 + 𝐽{0 + 0} = 0 + 𝐽{0} = 0 + 0 = 0
3 1 3 + 𝐽{3 + 1} = 3 + 𝐽{4} = 3 + 16 = 19

Solo tomamos los valores donde se minimiza porque eso es lo que nos pide
la ecuación de Bellman, en síntesis:

𝑥1 𝑢1 𝐽1 {𝑥1 }
-1 -1 1
0 0 0
0 3 0

Análisis para 𝑡 = 0 , se requiere la siguiente ecuación de Bellman:

𝐽𝑡 {𝑥𝑡 } = 𝑚𝑖𝑛[𝐹(𝑥𝑡 , 𝑢𝑡 , 𝑡) + 𝐽𝑡+1 {𝑔(𝑥𝑡 , 𝑢𝑡 , 𝑡)}]

𝐽0 {𝑥0 } = 𝑚𝑖𝑛[𝐹(𝑥0 , 𝑢0 ) + 𝐽1 {𝑔(𝑥0 , 𝑢0 )}]

𝐽0 {𝑥0 } = 𝑚𝑖𝑛 [𝑥0 𝑢0 + 𝐽1 {𝑥0 𝑢0 + 𝑢0 2 }]

Sabemos: 𝑥0 = 2 𝑢0 𝜖{−1; 0; 1}

𝑥0 𝑢0 𝐽0 {𝑥0 } = 𝑥0 𝑢0 + 𝐽0 {𝑥0 𝑢0 + 𝑢0 2 }
2 -1 −2 + 𝐽{−1} = −2 − 1 = −3
2 0 0 + 𝐽{0} = 0 + 0 = 0
2 1 2 + 𝐽{3} = 2 + 0 = 2

Entonces 𝐽0 {𝑥0 } = −3

De la utilización de la “Ecuación de Bellman” y de la ecuación de

movimiento en cada periodo podemos establecer lo siguiente:
𝐽0 {𝑥0 } = −3 𝐽1 {𝑥1 } = −1 𝐽2 {𝑥2 } = 0

𝑥0 = 2 𝑥1 = −1 𝑥2 = 0

𝑢0 = −1 𝑢1 = 1

Valor mínimo del funcional

𝐽 = 𝑥0 𝑢0 +𝑥1 𝑢1 + 𝑥2 2 = (2)(−1) + (−1)(1) + 02 = −2 − 1 + 0 = −3

Ejercicio:
Hallar la secuencia optima de la variable de estado y de control que
permita minimizar el siguiente funcional.
Minimizar: (𝑥1 − 10)2 + (𝑥2 − 15)2 + 𝑢0 + 𝑢1 + 𝑢2

60
Sujeto a: 𝑥𝑡+1 = 2𝑥𝑡 + 𝑢𝑡 ; 𝑡 = 0; 1; 2

Con: 𝑥0 = 6 𝑥3 = 20

Primero identificamos el horizonte temporal de análisis, y en el ejercicio el

horizonte temporal de análisis es: 𝑡 = 0, 1,2,3 donde: 𝑇 = 3
Para el periodo 𝑡 = 3 la ecuación de Bellman es:
𝐽𝑇 {𝑥𝑇 } = 𝑆(𝑥𝑇 ) 𝐽3 {𝑥3 } = 0

Para el periodo 𝑡 = 2 la ecuación de Bellman es:

𝐽2 {𝑥2 } = 𝑚𝑖𝑛[𝐹(𝑥2 , 𝑢2 ) + 𝐽3 {𝑔(𝑥2 , 𝑢2 )}]

𝐽2 {𝑥2 } = 𝑚𝑖𝑛[(𝑥2 + 15)2 + 𝑢2 + 𝐽3 {𝑥3 }]

𝐽2 {𝑥2 } = 𝑚𝑖𝑛[(𝑥2 + 15)2 + 𝑢2 + 0]

𝐽2 {𝑥2 } = 𝑚𝑖𝑛[(𝑥2 + 15)2 + 𝑢2 ]

Sabemos que: 2𝑥2 + 𝑢2 = 20

𝑥3 = 20 1
𝑥2 = 10 − 𝑢2
2
𝑥3 = 2𝑥2 + 𝑢2
Remplazando 𝑥2 en el funcional
𝐽2 {𝑥2 } = 𝑚𝑖𝑛[(𝑥2 + 15)2 + 𝑢2 ]

𝐽2 {𝑥2 } = 𝑚𝑖𝑛 [(10 − 0.5𝑢2 − 15)2 + 𝑢2 ]

𝐽2 {𝑥2 } = 𝑚𝑖𝑛[(−5 − 0.5𝑢2 )2 + 𝑢2 ]

𝐽2 {𝑥2 } = 𝑚𝑖𝑛[(5 + 0.5𝑢2 )2 + 𝑢2 ]

Aplicamos la C.P.O: 5 + 0.5𝑢2 + 1 = 0

𝑑[(5 + 0.5𝑢2 )2 + 𝑢2 ] 1
=0 𝑢 = −6
𝑑𝑢2 2 2

2(5 + 0.5𝑢2 )(0.5) + 1 = 0 𝑢2 = −12

Aplicamos la C.S.O:
𝑑 2 [(5 + 0.5𝑢2 )2 + 𝑢2 ]
= 0.5
𝑑𝑢2 2

El 0.5 > 0 por lo que se corrobora que se está minimizando.

61
 1
Si 𝑢2 = −12  𝑥2 = 10 − 𝑢2
2

1
𝑥2 = 10 − (−12)  𝑥2 = 16
2
Remplazando 𝑢2 en el funcional:
𝐽2 {𝑥2 } = [(5 + 0.5𝑢2 )2 + 𝑢2 ]

𝐽2 {𝑥2 } = [(5 + 0.5(−12))2 + (−12)]

𝐽2 {𝑥2 } = [(−1)2 − 12] = −11

Para el periodo 𝑡 = 1 la ecuación de Bellman es:

𝐽1 {𝑥1 } = 𝑚𝑖𝑛[𝐹(𝑥1 , 𝑢1 ) + 𝐽2 {𝑔(𝑥1 , 𝑢1 )}]

𝐽1 {𝑥1 } = 𝑚𝑖𝑛[(𝑥1 − 10)2 + 𝑢1 + 𝐽2 {𝑥2 }]

𝐽1 {𝑥1 } = 𝑚𝑖𝑛[(𝑥1 − 10)2 + 𝑢1 − 11]

Sabemos 𝑥2 = 16 2𝑥1 + 𝑢1 = 16

𝑥2 = 2𝑥1 + 𝑢1 1
𝑥1 = 8 − 𝑢1
2
Remplazando 𝑥1 en el funcional
𝐽1 {𝑥1 } = 𝑚𝑖𝑛[(8 − 0.5𝑢1 − 10)2 + 𝑢1 − 11]

𝐽1 {𝑥1 } = 𝑚𝑖𝑛[(−2 − 0.5𝑢1 )2 + 𝑢1 − 11]

𝐽1 {𝑥1 } = 𝑚𝑖𝑛[(2 + 0.5𝑢1 )2 + 𝑢1 − 11]

Aplicamos la C.P.O: 2 + 0.5𝑢1 + 1 = 0

𝑑[(2 + 0.5𝑢1 )2 + 𝑢1 − 11] 0.5𝑢1 + 3 = 0

=0
𝑑𝑢1
𝑢1 = −6
2(2 + 0.5𝑢1 )(0.5) + 1 = 0
Aplicamos la C.S.O:
𝑑 2 [(2 + 0.5𝑢1 )2 + 𝑢1 − 11]
= 0.5
𝑑𝑢1 2

El 0.5 > 0 por lo que se corrobora que se está minimizando.

1
Si 𝑢1 = −6  𝑥1 = 8 − 2 𝑢1

1
𝑥1 = 8 − (−6)  𝑥1 = 11
2

62
Remplazando 𝑢1 en el funcional:
𝐽1 {𝑥1 } = 𝑚𝑖𝑛[(2 + 0.5𝑢1 )2 + 𝑢1 − 11]

𝐽1 {𝑥1 } = [(2 + 3)2 + (−6) − 11] = 1 − 6 − 11 = −16

Para el periodo 𝑡 = 0 la ecuación de Bellman es:

𝐽0 {𝑥0 } = 𝑚𝑖𝑛[𝐹(𝑥0 , 𝑢0 ) + 𝐽1 {𝑔(𝑥0 , 𝑢0 )}]

𝐽0 {𝑥0 } = 𝑚𝑖𝑛[𝑢0 + 𝐽1 {𝑥1 }] = 𝑚𝑖𝑛[𝑢0 − 16]

Sabemos 𝑥1 = 11 11 = 12 + 𝑢0

𝑥1 = 2𝑥0 + 𝑢0 𝑢0 = 11 − 12

11 = 2(6) + 𝑢0 𝑢0 = −1

Incorporando 𝑢0 en 𝐽0 {𝑥0 }
𝐽0 {𝑥0 } = 𝑚𝑖𝑛[𝑢0 − 16] 𝐽0 {𝑥0 } = [−1 − 16] = −17

Finalmente organizamos los resultados:

𝑥0 = 6 𝑥1 = 11 𝑥2 = 16 𝑥3 = 20

𝑢0 = −1 𝑢1 = −6 𝑢2 = −12

Podemos concluir que la variable de estado ira aumentando a medida que

se disminuya más la variable de control.
X(t) ó u(t)

20

16

11

-1 1 2 3 t

-6

-12

Valor mínimo del funcional

63
 𝐽 = (𝑥1 − 10)2 + (𝑥2 − 15)2 + 𝑢0 + 𝑢1 + 𝑢2

𝐽 = (11 − 10)2 + (16 − 15)2 + (−1) + (−6) + (−12)

𝐽 = 1 + 1 − 1 − 6 − 12 = −17

Ejercicio:
Hallar la secuencia optima de la variable de estado y de control que
permita minimizar el siguiente funcional:
3

𝑀𝑖𝑛 ∑[𝑥𝑡 2 + 𝑢𝑡 2 ]
𝑡=0

Sujeto a: 𝑥𝑡+1 = 𝑥𝑡 + 𝑢𝑡 ; 𝑡 = 0; 1; 2; 3

Con: 𝑥0 = 0 𝑥4 = 8 ; Siendo: 𝑥𝑡 numero entero no negativo

El horizonte temporal consta de 5 periodos: 𝑡 ∈ {0; 1; 2; 3; 4}

Periodo 𝑡 = 4, la ecuación de Bellman es la siguiente: 𝐽4 {𝑥4 } = 0

Periodo 𝑡 = 3, la ecuación de B ellman relevante es:

𝐽3 {𝑥3 } = 𝑚𝑖𝑛[𝑥3 2 + 𝑢3 2 + 𝐽4 {𝑥4 }]

𝐽3 {𝑥3 } = 𝑚𝑖𝑛 [𝑥3 2 + 𝑢3 2 ]

Observe según la ecuación de movimiento:
𝑥4 = 𝑥3 + 𝑢3 𝑥3 + 𝑢3 = 8

𝑥4 = 8 𝑥3 = 8 − 𝑢3

Entonces: 𝐽3 {𝑥3 } = 𝑚𝑖𝑛 [(8 − 𝑢3 )2 + 𝑢3 2 ]

Optimizando el valor de 𝑢3 C.P.O:

𝑑[(8 − 𝑢3 )2 + 𝑢3 2 ] −16 + 2𝑢3 + 2𝑢3 = 0
=0
𝑑𝑢3
4𝑢3 = 16
2(8 − 𝑢3 )(−1) + 2𝑢3 = 0
𝑢3 = 4
Comprobando la optimización C.S.O:

𝑑 2 [(8 − 𝑢3 )2 + 𝑢3 2 ]
=4
𝑑𝑢3 2

64
El 4 > 0 por lo que se corrobora que se está minimizando.
Si 𝑢3 = 4  𝑥3 = 8 − 𝑢3
𝑥3 = 8 − 4  𝑥3 = 4

Remplazando 𝑢3 en el funcional:
𝐽3 {𝑥3 } = 𝑚𝑖𝑛 [(8 − 𝑢3 )2 + 𝑢3 2 ] 𝐽3 {𝑥3 } = [(8 − 4)2 + 42 ] = 32

Periodo 𝑡 = 2, la ecuación de Bellman relevante es:

𝐽2 {𝑥2 } = 𝑚𝑖𝑛[𝑥2 2 + 𝑢2 2 + 𝐽3 {𝑥3 }]

𝐽2 {𝑥2 } = 𝑚𝑖𝑛[𝑥2 2 + 𝑢2 2 + 32]

Observe según la ecuación de movimiento:

𝑥3 = 𝑥2 + 𝑢2 𝑥2 + 𝑢2 = 4

𝑥3 = 4 𝑥2 = 4 − 𝑢2

Entonces: 𝐽2 {𝑥2 } = 𝑚𝑖𝑛[(4 − 𝑢2 )2 + 𝑢2 2 + 32]

Optimizando el valor de 𝑢2 C.P.O:

𝑑[(4 − 𝑢2 )2 + 𝑢2 2 + 32] −8 + 2𝑢2 + 2𝑢2 = 0
=0
𝑑𝑢2
4𝑢2 = 8
2(4 − 𝑢2 )(−1) + 2𝑢2 = 0
𝑢2 = 2
Comprobando la optimización C.S.O:
𝑑 2 [(4 − 𝑢2 )2 + 𝑢2 2 + 32]
=4
𝑑𝑢2 2

El 4 > 0 por lo que se corrobora que se está minimizando.

Si 𝑢2 = 2  𝑥2 = 4 − 𝑢2

𝑥2 = 4 − 2  𝑥2 = 2

Remplazando 𝑢2 en el funcional:
𝐽2 {𝑥2 } = 𝑚𝑖𝑛[(4 − 𝑢2 )2 + 𝑢2 2 + 32] 𝐽2 {𝑥2 } = [(4 − 2)2 + 22 + 32] = 40

Periodo 𝑡 = 1, la ecuación de Bellman relevante es:

𝐽1 {𝑥1 } = 𝑀𝑖𝑛[𝑥1 2 + 𝑢1 2 + 𝐽2 {𝑥2 }]

𝐽1 {𝑥1 } = 𝑀𝑖𝑛[𝑥1 2 + 𝑢1 2 + 40]

65
Observe según la ecuación de movimiento:
𝑥2 = 𝑥1 + 𝑢1 𝑥1 + 𝑢1 = 2

𝑥2 = 2 𝑥1 = 2 − 𝑢1

Entonces: 𝐽1 {𝑥1 } = 𝑚𝑖𝑛[(2 − 𝑢1 )2 + 𝑢1 2 + 40]

Optimizando el valor de 𝑢1 C.P.O:

𝑑[(2 − 𝑢1 )2 + 𝑢1 2 + 40] −4 + 2𝑢1 + 2𝑢1 = 0
=0
𝑑𝑢1
4𝑢1 = 4
2(2 − 𝑢1 )(−1) + 2𝑢1 = 0
𝑢1 = 1
Comprobando la optimización C.S.O:
𝑑 2 [(2 − 𝑢1 )2 + 𝑢1 2 + 40]
=4
𝑑𝑢2 2

El 4 > 0 por lo que se corrobora que se está minimizando.

Si 𝑢1 = 1  𝑥1 = 2 − 𝑢1

𝑥1 = 2 − 1  𝑥1 = 1

Remplazando 𝑢1 en el funcional:
𝐽1 {𝑥1 } = 𝑚𝑖𝑛[(2 − 𝑢1 )2 + 𝑢1 2 + 40] 𝐽1 {𝑥1 } = [(2 − 1)2 + 12 + 40] = 42

Periodo 𝑡 = 0, la ecuación de Bellman relevante es:

𝐽0 {𝑥0 } = 𝑀𝑖𝑛[𝑥0 2 + 𝑢0 2 + 𝐽1 {𝑥1 }]

𝐽0 {𝑥0 } = 𝑀𝑖𝑛[𝑥0 2 + 𝑢0 2 + 42]

Observe según la ecuación de movimiento:

𝑥1 = 𝑢0 + 𝑥0 1 = 𝑢0 + 0

Si: 𝑥1 = 1 ˄ 𝑥0 = 0 𝑢0 = 1

Remplazando 𝑢0 𝑦 𝑥0 en el funcional:
𝐽0 {𝑥0 } = [02 + 12 + 42] = 43

Organizando los resultados desde el periodo 𝑡 = 0 hasta 𝑇 = 4

𝑥0 = 0 𝑢0 = 1 𝐽0 {𝑥0 } = 43
𝑥1 = 2 𝑢1 = 1 𝐽1 {𝑥1 } = 42

66
 𝑥2 = 2 𝑢2 = 2 𝐽2 {𝑥2 } = 40
𝑥3 = 4 𝑢3 = 4 𝐽3 {𝑥3 } = 32
𝑥4 = 8

2.4.-Aplicación Económica de la Programación

Dinámica: Maximización del Beneficio de
una Empresa Minera
Una mina contiene 80 unidades de mineral. La autoridad responsable de
la gestión de la mina debe decidir la cantidad de mineral a extraer en
cada uno de los cuatro periodos de que dispone para su explotación,
transcurridos los cuales el valor del mineral que queda en la mina es
cero. La cantidad de mineral a extraer en cada uno delos periodos puede
ser 0,10 o 20 unidades, debiendo ser obviamente menor o igual que la
cantidad de mineral que quede en la mina en el momento de la
extracción. El beneficio que se obtiene en un periodo depende del stock
de mineral (x) que hay en una mina y de la cantidad que se extraiga en
dicho periodo (u), según se recoge en la tabla
x Utilidad u
0 10 20 30 40 50 60 70 80
0 -5 -5 -5 -5 -10 -10 -10 -15 -15
10 - -35 -25 -20 0 5 15 20 25
20 - - -35 -25 -15 -10 10 30 40
Beneficio en función del stock de mineral y de la cantidad que se extrae

Calcular la cantidad de mineral a extraer en cada uno de los cuatro

periodos y el correspondiente stock de mineral que va quedando en la
mina en cada periodo.
Solución:
Como es habitual, comencemos haciendo un esquema sobre el horizonte
temporal del problema, en la Figura 6.5, indicando los periodos, y los
momentos en que se concretan los valores de las distintas variables.

𝑢0 𝑢1 𝑢2 𝑢3

67
 𝑥0 𝑥1 𝑥2 𝑥3 𝑥4
Periodo 1 Periodo 2 Periodo 3 Periodo 4
𝑡=0 𝑡=1 𝑡=2 𝑡=3
Figura 6.5 Ejemplo con cuatro periodos

La variable de estado es el stock de mineral, en la mina. La variable control

es la cantidad de mineral a extraer. En concreto, para cada 𝑡 = 1,2, 3, 𝑥𝑡 es
el stock del mineral que hay en la mina, al comienzo del periodo 𝑡 + 1; 𝑢𝑡
es la cantidad de mineral a extraer durante el periodo 𝑡 + 1.
Sea π[𝑥𝑡 , 𝑢𝑡 ] el beneficio que se obtiene en un periodo en el que el stock
inicial es 𝑥𝑡 y la cantidad de mineral que se extrae es 𝑢𝑡 , cuyo valor se
recoge en la tabla 6.10.
El problema a resolver es el siguiente:
𝑚𝑎𝑥 3
[𝑢𝑡 ]3𝑡=0 𝐽 = ∑𝑡=0 𝜋𝑥𝑡 , 𝑢𝑡 ,

Sujeto a : 𝑥𝑡+1 = 𝑥𝑡 − 𝑢𝑡 ,
Con: 𝑥0 = 80,
𝑢𝑡 ∈ [0,10,20], 𝑝𝑎𝑟𝑎 𝑡 = 0,1,2,3.

𝑢𝑡 ≤ 𝑥𝑡 , 𝑝𝑎𝑟𝑎 𝑡 = 0,1,2,3.

Resolvemos el problema por programación dinámica:

Es conveniente empezar calculando los valores que puede tomar la variable
de estado en cada uno de los periodos. Teniendo en cuenta la condición, los
controles admisibles y las ecuaciones de estado, se obtienen inmediatamente
los valores posibles de la variable de estudio en cada periodo:

Valores que puede tomar

𝑥0 80
𝑥1 80 70 60
𝑥2 80 70 60 50 40
𝑥3 80 70 60 50 40 30 20
𝑥4 80 70 60 50 40 30 20 10 0
Tabla 6.11 Valores posibles de la variable de estado
 Final sea 𝑥4 dado.
Al final del periodo 4 habrá 𝑥4 unidades de mineral en la mina,
cantidad que no se aporta nada al funcional objetivo, por lo que:

 Periodo 4: sea 𝑥3 dado. Tal como aparece en la tabla 6.11, será:

68
 𝑥3 ∈ {20,30,40,50,60,70,80}
La ecuación de Bellman correspondiente a este periodo será:
𝑚𝑎𝑥
𝐽3∗ [𝑥3 ] = 𝑢 ∈ {0,10,20}[𝜋{𝑥3 , 𝑢3 } + 𝐽4∗ {𝑥3 − 𝑢3 }]
3

Que teniendo en cuenta la expresión (6.8) es:

En la tabla (6.12) se resuelve la ecuación para cada posible valor de 𝑥3 .
𝑥3 𝑢3 π{𝑥3 − 𝑢3 }
80 0 -15
10 25
20 40 máximo
70 0 -15
10 20
20 30 máximo
60 0 -10
10 15 máximo
20 10
50 0 -10
10 5 máximo
20 -10
40 0 -10
10 0 máximo
20 -15
30 0 -15
10 -20
20 -25
20 0 -5 máximo
10 -25
20 -35
Tabla 6.12 Información relevante para el periodo 4

Por tanto, las funciones 𝑢3∗ y 𝐽3∗ , están definida en la tabla 6.13, en función
de 𝑥3 :
𝑥3 𝑢3∗ 𝐽3∗ {𝑥3 }
80 20 40
70 20 30
60 10 15
50 10 5
40 10 0
30 0 -5
20 0 -5
Tabla 6.13 Funciones 𝑢3∗ y 𝐽3∗ {𝑥3 }

69
 Periodo 3: sea 𝑥2 dado.

Tal como aparece en la tabla 6.15, en función de 𝑥2

𝑥2 ∈ {40,50,60,70,80}

La ecuación de Bellman correspondiente a este periodo será:

𝑚𝑎𝑥
𝐽3∗ {𝑥2 } = 𝑢 ∈ {0,10,20}[𝜋{𝑥2 , 𝑢2 } + 𝐽3∗ {𝑥2 − 𝑢2 }]
2

En la Tabla 6.14 se resuelve dicha ecuación para cada posible valor de 𝑥2

𝑥2 𝑢2 [𝜋{𝑥2 , 𝑢2 } + 𝐽3∗ {𝑥2 − 𝑢2 }]
80 0 -15+40=25
10 25+20=55 máximo
20 40+15=55 máximo
70 0 -15+30=15
10 20+15= máximo
20 30+5=35 máximo
60 0 -10+5=5
10 15+5=20 máximo
20 10+0=10
50 0 -10+5=-15
10 5+0=5 máximo
20 -10+(-5)=-15
40 0 -10+0=-10
10 0+(-5)=-5 máximo
20 -15+(-5)=-20
Tabla 6.14 Información relevante para el periodo 3

Por tanto, las funciones 𝑢2∗ y 𝐽3∗ están definidas en la tabla 6.15, en
función de 𝑥2
𝑥2 𝑢2∗ 𝐽3∗ 𝑥2
80 10 o 20 55
70 10 o 20 35
60 10 20
50 10 5
40 10 -5
Tabla 6.15 Funciones 𝑢2∗ y 𝐽3∗ 𝑥2

 Periodo 2: sea 𝑥1 dado.

Tal como aparece en la Tabla 6.11, será.
𝑥1 ∈ {60,70,80}.

La ecuación de Bellman correspondiente a este periodo será:

70
 𝑚𝑎𝑥
𝐽1∗ 𝑥1 = 𝑢 ∈ {0,10,20}[𝜋{𝑥1 , 𝑢1 } + 𝐽2∗ {𝑥1 − 𝑢1 }].
1

En la tabla 6.16 se resuelve dicha ecuación para cada posible valor de 𝑥1 .

𝑥1 𝑢1 𝜋{𝑥1 , 𝑢1 } + 𝐽2∗ {𝑥1 − 𝑢1 }

80 0 -15+55=40
10 25+35=60 máximo
20 40+20=60 máximo
70 0 -15+35=20
10 20+20=40 máximo
20 30+5=20 máximo
60 0 -10+20=10
10 15+5=20 máximo
20 10+(-5)=5
Tabla 6.16 Información relevante para el periodo 2

Las funciones 𝑢1∗ y 𝐽1∗ están definidas en la Tabla 6.17, en función de 𝑥1:

𝑥1 𝑢1∗ 𝐽1∗ 𝑥1
80 10 o 20 60
70 10 40
60 10 20
Tabla 6.17 Funciones 𝑢1∗ y 𝐽1∗ 𝑥1

 Periodo 1: sea 𝑥1 =80 dado

La ecuación de Bellman para el periodo 1 es:
𝑚𝑎𝑥
𝐽0∗ (80) = 𝑢 ∈ {0,10,20}[𝜋{80, 𝑢1 } + 𝐽1∗ {80 − 𝑢0 }].
0

En la tabla 6.18 se resuelve la ecuación:

𝑥0 𝑢0 𝜋{80, 𝑢1 } + 𝐽1∗ {80 − 𝑢0 }

80 0 -15+60=45
10 25+40=65 máximo
20 40+20=660
Tabla 6.18 Información relevante para el periodo 1
Por lo tanto, se ha obtenido que:
𝑢0∗ = 10 𝑦 𝐽0∗ (80) = 65
Haciendo ahora un recorrido de principio a final, se obtiene finalmente
que:
𝑥0∗ = 80, 𝑢0∗ = 10, por lo que 𝑥1∗ = 70
En la Tabla 6.17 se obtiene entonces que
71
𝑢1∗ = 10, y por consiguiente, 𝑥2∗ = 60
En la Tabla 6.15 se observa que
𝑢2∗ = 10, y por lo tanto, 𝑥3∗ = 50.

A partir de la tabla 6.13 se llaga a:

𝑢3∗ = 10, por lo que 𝑥4∗ = 40

El valor objetivo óptimo del problema es

𝐽∗ = 𝐽0∗ (80) = 65.

Por tanto, la decisión óptima es extraer 10 unidades de mineral en cada

uno de los cuatro periodos, quedando al final del horizonte temporal, 40
unidades de mineral en la mina, y obteniéndose por todo ello un
beneficio total de 65.

72
73
74
Bibliografía:
Bonifaz, José Luis. y Lama, Ruy. (I999). Optimización dinámica y teoría
económica. Lima: Centro de investigación de la Universidad Del
Pacifico
Cerda, Emilio.(2001).Optimización dinámica. Prentice Hall. Madrid.
Yépez, Sara Gabriela.(2014). Carpeta de trabajo del curso de economía
matemática IV. Puno: Universidad Nacional Del Altiplano

75