Departamento de Economa, Facultad de Ciencias Sociales, Universidad de la Repblica, Uruguay

Maestra en Economa Internacional 2009. Macroeconoma. Alvaro Forteza

ndice de diapositivas en Tr2009_4_Control_Optimo.doc
5

Introduccin al control ptimo.................................................................................................... 2

5.1
Elementos de los problemas de optimizacin dinmica ...................................................... 2
5.1.1
Presentacin del problema........................................................................................... 2
5.1.2
Puntos finales variables y condiciones de transversalidad .......................................... 7
5.1.3
La funcional objetivo ................................................................................................ 11
5.1.4
Diversas aproximaciones a la optimizacin dinmica............................................... 13
5.2
Control ptimo y el principio del mximo ........................................................................ 22
5.3
Una interpretacin econmica del principio del mximo.................................................. 46
5.3.1
La variable de coestado como un precio sombra....................................................... 47
5.3.2
El Hamiltoniano y los beneficios futuros .................................................................. 49
5.3.3
La ecuacin de movimiento de la variable de coestado ............................................ 51
5.3.4
Condiciones de transversalidad ................................................................................. 52
5.4
El Hamiltoniano en valor corriente ................................................................................... 54
5.5
Condiciones suficientes..................................................................................................... 57
5.5.1
El teorema de Mangasarian ....................................................................................... 57
5.5.2
El teorema de Arrow ................................................................................................. 58
5.6
Horizonte infinito .............................................................................................................. 59
5.6.1
Convergencia de la funcional objetivo ...................................................................... 60
5.6.2
Condiciones de transversalidad en horizonte infinito................................................ 61
5.6.3
Condiciones suficientes en problemas de valor descontado con horizonte infinito .. 67

5 Introduccin al control ptimo

5.1 Elementos de los problemas de
optimizacin dinmica
5.1.1 Presentacin del problema
Es el problema de encontrar senderos ptimos para las
variables bajo control.
Ejemplo 1: Una empresa parte de una materia prima A y debe
transformarla en el producto final Z. El proceso tiene 5 etapas.
En cada etapa hay varias alternativas. Cul es la seleccin
ptima de tal manera de minimizar el costo total?

Estados
I

D
B
A

Etapa 2

2
8

Etapa 1

1
2

Etapa 3

Etapa 4

Etapa 5

Decisin etapa 1: transformar la materia prima A en el estado

intermedio B a un costo de $2 o en el estado intermedio C a
un costo de $4? En otros trminos, se elige el arco AB o AC?
La decisin tiene dos tipos de efectos en el costo total:
(a) Efecto directo: costo en la etapa es $2 o $4.
(b) Efecto indirecto: las opciones siguientes difieren.
==> No es en general ptimo minimizar el efecto directo sin
mirar los indirectos. Eso sera miopa. En este ejemplo, se
puede mostrar que el sendero ptimo es ACEHJZ.
==> Se debe decidir tomando en cuenta todo el horizonte de
planificacin.

En tiempo continuo y con continuo de estados:

Estado

Z
A

Ingredientes del problema:

(a) Punto inicial dado
(b) Conjunto de senderos posibles
(c) Conjunto de valores de los senderos
(d) Objetivo: maximizar o minimizar el valor de los senderos.
5

El concepto de funcional
Funcional = mapa o correspondencia de los senderos al valor
de los senderos = correspondencia de una curva a los reales.
y1(t)

Valores de los senderos

V2

A
t
y2(t)

V1

A
t
Funcional = correspondencia de una curva a los reales.
Notacin: V [ y (t )] o V [ y ] o V {y}
6

Notar: La funcional no es una funcin de funcin. No est

definido un mapa del tipo t y V . El valor V slo est
definido en relacin al sendero completo de y. Es el objeto y el
que recibe un valor.

5.1.2 Puntos finales variables y condiciones

de transversalidad
En la presentacin previa supusimos dados los puntos inicial
(0,A) y final (T,Z). En muchos problemas el punto final es
ms flexible. Varios casos:
(a) Problema de horizonte temporal dado = problema de lnea
final vertical. Se fija el horizonte, pero no el estado final.

Problema de horizonte temporal dado:

Z1
Z2

Z3
T
Una variante es el problema de lnea final vertical truncada:
la variable de estado no puede tomar cualquier valor (ejemplo,
no puede ser negativa).
8

(b) Problema de estado final dado = problema de lnea final

horizontal. Se fija el estado final, no el horizonte.
Problema de estado final dado

Z
A

T1

T2

T3

(c) Problema de curva final.

Z = (T )

Z1
Z2
Z3

T1

T2

T3

Condicin de transversalidad: los problemas de punto final

variable requieren una condicin final o condicin de
transversalidad que permiten seleccionar el sendero ptimo.
10

5.1.3 La funcional objetivo

El valor del sendero en el primer ejemplo con 5 etapas se
obtuvo sumando el costo de cada etapa representada por un
arco en el diagrama. Cmo se representa el costo asociado al
arco en un caso de tiempo y estado continuos?
Tres ingredientes para definir el arco:
(a) Tiempo inicial en el arco: t
(b) Estado inicial en el arco: y(t)
(c) Direccin del movimiento en el arco: y(t)
==> El valor del arco puede usualmente representarse por la
funcin F [t , y (t ), y ' (t )]
==> La funcin objetivo es:
11

V [ y ] = F [t , y (t ), y ' (t )]dt
0

Ejemplo: Utilidad asociada a un sendero de capital.

Y = F (K , L )
C = Y I = Y K'
U (C )
T

El objetivo es maximizar: U (C )dt = U (F (K , L ) K ')dt

La funcin de utilidad intertemporal es en realidad una
funcional que mapea del sendero de capital y trabajo a la
utilidad.

12

5.1.4 Diversas aproximaciones a la

optimizacin dinmica
a) Clculo de variaciones
b) Control ptimo
c) Programacin dinmica

a) Clculo de variaciones (Newton, Bernoulli, siglo 17)

T

Maximizar V [ y ] = F [t , y (t ), y ' (t )]dt

0

sujeta a : y (0) = A ; y (T ) = Z ; A, Z , T dados

En este enfoque se elige directamente la variable de estado

y(t).
13

b) Control ptimo (Pontryagin, 1950s y 1960s)

Se consideran tres tipos de variables:
(i) el tiempo: t
(ii) la o las variables de estado: y(t)
(iii) la o las variables de control: u(t)
Qu es una variable de control? Es una variable que:
(i) Est sujeta al control de quien decide.
(ii) Incide en la variable de estado.
Mientras que el clculo de variaciones focaliza en la variable
de estado, el control ptimo focaliza en la variable de control.

14

El sendero de la variable de estado debe quedar totalmente

determinado a partir de su valor inicial (y(0)) y de la variable
de control. Es decir que debe existir una ecuacin de
movimiento o transicin:

dy
= f [t , y (t ), u (t )]
dt
El enfoque de control ptimo permite resolver problemas en
que la variable de control tiene restricciones. Con frecuencia,
el espacio de controles admisibles U es compacto y convexo.

15

El problema general de control ptimo tiene la forma:

T

Maximizar V [u ] = F [t , y (t ), u (t )]dt
0

sujeto a : y ' (t ) = f [t , y (t ), u (t )]
u (t ) U para 0 t T
y (0 ) = A ; y (T ) = Z ; A, Z , T dados

El problema del clculo de variaciones es un caso particular

del problema de control ptimo con:
(i) Ecuacin de movimiento: y ' (t ) = u (t )
(ii) U es el campo real.

16

b) Programacin dinmica (Bellman 1957)

El foco se pone en el valor ptimo de la funcional V*.
El problema de control ptimo se descompone en un conjunto
de problemas menores que conduce a un procedimiento
iterativo de resolucin.

17

Un ejemplo:
Estados
I

D
B
A

Etapa 2

2
8

Etapa 1

1
2

Etapa 3

Etapa 4

Etapa 5
18

Descomponemos el problema de encontrar el procedimiento

(sendero) menos costoso para transformar A en Z en
problemas ms chicos: cul es el procedimiento menos
costoso para transformar i=A, B, ..., Z en Z?
Empezamos por la etapa 5: caso trivial, dado que tenemos un
nico camino para transformar I, J o K en Z. Los valores
ptimos de la funcional de valor en este caso son:
V * (I ) = 3 ; V * ( J ) = 1 ; V * (K ) = 2

Etapa 4: Tenemos que encontrar V * (G ) y V * (H ) . Usando los

resultados de la etapa 5, tenemos que:

19

V * (G )

= min{valor arco GI + V * (I ) ; valor arco GJ + V * ( J )}

= min{2 + 3 ; 8 + 1} = 5

==> El sendero ptimo de G a Z es GIZ.

V * (H )

= min{valor arco HJ + V * ( J ) ; valor arco HK + V * (K )}

= min{4 + 1; 6 + 2} = 5

==> El sendero ptimo de H a Z es HJZ.

Siguiendo con este procedimiento, se encuentra el sendero
ptimo de A a Z.

20

Principio de optimalidad de Bellman: si y * [0, T ] es el

sendero ptimo entre 0 y T, entonces y* [t , T ], 0 t T , es el
sendero ptimo entre t y T.
Aplicado a nuestro ejemplo:
(i) Si EHJZ es el sendero ptimo que conduce de E a Z,
entonces HJZ es el sendero ptimo de H a Z; y
(ii) si HJZ es el sendero ptimo de H a Z, todo sendero
ptimo para llegar a Z que pase por H debe incluir el sendero
HJZ.

21

5.2 Control ptimo y el principio del

mximo
(Chiang 2000, captulos 7 y 8)
El problema de control ptimo ms simple es el de tiempo
final dado y estado final libre:
T

Maximizar V [u ] = F (t , y (t ), u (t ))dt
u

sujeto a : y& (t ) = f (t , y (t ), u (t ))
u (t ) U para 0 t T
y (0 ) = A ; y (T ) libre ; A, T dados

(1)
22

Supuestos:
1) F() y f() son continuas.
2) F() y f() tienen primeras derivadas parciales respecto a t y y
continuas. Pueden no tener derivada continua en u.
3) u(t) puede no ser continua, slo se requiere que sea
continua por tramos.
4) y(t) es continua, pero su derivada slo tiene que ser
diferenciable por tramos (y(t) admite puntos angulosos).
En el siguiente ejemplo, u(t) tiene una discontinuidad en t1. El
punto inicial de la variable de estado en el tramo [t1 , T ] es el
punto final de la variable de estado en el tramo [0, t1 ] ==> y(t)
no tiene discontinuidad en t1, pero tiene un punto anguloso
debido al salto de u(t).

23

t
y

t1

24

El principio del mximo

Plan de la exposicin siguiente:
a) Introducimos dos conceptos: variable de coestado y
Hamiltonianios.
b) Presentamos el principio del mximo sin demostrarlo.
c) Presentamos algunos ejemplos simples.
d) Fundamentos del principio del mximo (=demostracin
informal).

a) La variable de coestado y la funcin Hamiltoniana

Se define el Hamiltoniano o funcin Hamiltoniana como:
H (t , y (t ), u (t ), (t )) F (t , y (t ), u (t )) + (t ) f (t , y (t ), u (t ))

(t ) es la variable de coestado.
25

La variable de coestado es similar a un multiplicador de

Lagrange, pero variable en el tiempo.

b) El principio del mximo

Condiciones necesarias de la solucin de (1):
Max H (t , y, u , ) t [0, T ]
u

H
&
=
y
(T ) = 0
y& =

Ecuacin de movimiento de y
Ecuacin de movimiento de
Condicin de transversalidad

26

Notas:
(i) Estas condiciones son necesarias, pero no suficientes.
(ii) La solucin puede no ser interior y, por lo tanto, la
maximizacin del Hamiltoniano no necesariamente implica
H u = 0 .
Ejemplo:

u U = [a, b]

27

c) Algunos ejemplos simples

Ejemplo 1:
Max V = (1 + u 2 ) dt
T

12

sujeto a :

y& = u
y (0 ) = A ; y (T ) libre ; A, T dados

Paso 1: Buscamos el mximo del Hamiltoniano en u.

El Hamiltoniano en este caso es:
H = (1 + u

2 12

+ u

28

Notar:
(i) u no est acotada, as que la solucin tiene que ser interior.
(ii) El Hamiltoniano es cncavo.
==> Maximizamos el Hamiltoniano haciendo:
H
1
2 1 2
= (1 + u ) (2u ) + = 0
2
u
2 1 2
==> u (t ) = (1 )
Esta ecuacin nos da u(t) en funcin de lambda. El prximo
paso es entonces determinar lambda.
Paso 2: Determinamos el sendero de la variable de coestado.
H
El principio del mximo establece que: & =
y
29

En este ejemplo: H y = 0 (t ) = cte

Lo cual, unido a la condicin de transversalidad, implica que:

* (t ) = 0

u * (t ) = 0

Paso 3: Determinamos el sendero de la variable de estado.

De la ecuacin de movimiento:
y& = u = 0 y (t ) = cte
Lo cual unido a la condicin inicial ( y (0 ) = A) implica que:
y * (t ) = A ; t [0, T ]
30

y
A

Ejemplo 2: ver Alpha Chiang (2000, p 173)

31

d) Fundamentos del principio del mximo

Empezamos considerando un problema que:
(i) Tiene solucin interior (u* es interior)
(ii) El hamiltoniano es diferenciable en u.

u* se obtiene usando la condicin H u = 0 .

(iii) Punto inicial dado, tiempo final dado, valor final del
estado libre (problema de lnea final vertical).
T

Max V = F (t , y, u )dt
u

sujeto a : y& = f (t , y, u )

y (0 ) = y0 dado
32

Derivamos (informalmente) el principio del mximo en cuatro

pasos:
Paso 1: Desarrollo de la funcional y el Hamiltoniano
De la ecuacin de movimiento sabemos que: f (t , y, u ) y& = 0
T

Por lo tanto, se cumple que:

(t )[ f (t , y, u ) y& ]dt = 0
0

Definimos una nueva funcional:

T

V2 = V + (t )[ f (t , y, u ) y& ] dt
0
T

= {F (t , y, u ) + (t )[ f (t , y, u ) y& ]}dt
0

33

Por construccin: V2 = V
Definimos el Hamiltoniano:
H (t , y, u, ) = F (t , y, u ) + (t ) f (t , y, u )

Con lo cual podemos reescribir la funcional V2 como:

T

V2 = H (t , y, u , )dt (t ) y& dt
Integramos por partes el ltimo sumando, definiendo las
variables auxiliares: v = (t ) ; w = y (t )

v' = & (t ) ; w' = y& (t )

34

A su vez, la derivada del producto

vw es:

(vw)' = v' w + vw' vw' = (vw)'v' w

Y sustituyendo:

(t ) y& = [ (t ) y (t )]'&y (t )
Integrando:
T

(t ) y& dt = [ (t ) y (t )] T0 + &y (t )dt

T

= (T ) y (T ) + (0) y (0 ) + &y (t )dt

0

Con lo cual la nueva funcional objetivo es:

35

V2 = [H (t , y, u , ) + y (t )& ]dt (T ) y (T )+ (0 ) y (0 )
14243 14243
0

1444424444
3
T

(2)

Se trata de maximizar la funcional objetivo. V2 depende de las

variables: (i) de estado, (ii) de control y (iii) de coestado y de
los valores T y y(T).
Paso 2: Condiciones de la variable de coestado
Cmo incide (t ) en V2? En la medida en que se cumple la
ecuacin de movimiento y& = f (t , y, u ) , no incide en V2.
Tenemos entonces la condicin:

36

H
y& =

t [0, T ]

Paso 3: Perturbamos el sendero ptimo

Sea u * (t ) una solucin del problema de control ptimo y p(t )
una curva de perturbacin de ese sendero. Podemos generar
senderos vecinos al ptimo:
u (t ) = u * (t ) + p(t )

La ecuacin de movimiento implica entonces perturbaciones

en la variable de estado:
y (t ) = y * (t ) + q(t )

Si T y y(T) fueran variables tendramos tambin:

37

T = T * + T ; yT = yT* + yT

dT
dy
= T ; T = yT
d
d
(3)

Podemos entonces escribir la funcional de valor como funcin

de :
T ( )

V2 =

[H (t , y

+ q(t ), u * + p(t ), ) + & ( y * + q(t )) dt

(T ) y (T ) + (0 ) y (0)
Paso 4: Imponemos la condicin dV2 d = 0
38

T ( )

H
H
&
0 y q(t ) + u p(t ) + q(t ) dt
dT
dy
d (T ) dT
+[H + &y ] t =T
(T ) T yT
d
d
dT d

dV2
=
d

Usando (3):
T ( )
H

dV2
H
&
=
q(t ) +
p(t ) + q(t ) dt
d
y
u

0
+[H + &y ] t =T T (T )yT yT & (T )T
Cancelando y reordenando tenemos que la condicin del
ptimo es:

39

dV2
=
d

T ( )

H &

H
0 y + q(t ) + u p(t ) dt
+[H ] t =T T (T )yT = 0

(4)
Esta condicin tiene tres sumandos que dependen de tres cosas
independientes y arbitrarias:
Sumando 1: las curvas perturbadoras p(t ), q(t )
Sumando 2: T
Sumando 3: yT

Cada uno de los tres sumandos debe igualarse a cero en el

ptimo.
Para que el primer sumando (la integral) sea cero para
perturbaciones arbitrarias debe cumplirse que:
40

H
&
=
y
H
=0
u

La primera es la condicin de movimiento de la variable de

coestado. La segunda es la condicin de maximizacin del
Hamiltoniano en u cuando la solucin es interior.
A su vez, en el problema de lnea final vertical T = 0
Finalmente, para asegurar que (T )yT = 0 debe verificarse la
condicin de transversalidad:

(T ) = 0

41

Diferentes condiciones finales

Si la condicin final no es una lnea vertical, la condicin de
transversalidad se modifica.
(i) Punto final fijo
La condicin de transversalidad se sustituye por
y (T ) = yT ; T , yT dados
(ii) Lnea final horizontal
yT est dado, pero T es libre. Analizando (4) se concluye que
la condicin de transversalidad resulta en este caso:

[H ]t =T

=0
42

(iii) Curva final

Si yT = (T ), entonces hay una relacin entre yT y T :
yT = ' (T )T
Usando esta condicin en el ltimo sumando en (4) y
combinando los dos ltimos sumandos:

[H ] t =T T (T )yT = ([H ] t =T (T ) ' (T ))T

Entonces, para asegurar la condicin (4) para T arbitrario, la
condicin de transversalidad debe ser:

[H ] t =T (T ) ' (T ) = 0
43

(iv) Lnea final vertical truncada

Consideremos el caso en que el estado final est restringido:
yT ymin

Hay dos posibilidades:

Si yT* > ymin , estamos en el caso anterior y la condicin de
transversalidad es: (T ) = 0
Si yT* = ymin , se puede demostrar que la condicin de
transversalidad resulta ser:

(T ) 0 ; yT ymin

( yT ymin ) (T ) = 0

Es decir que tenemos una condicin de holgura tipo KuhnTucker.

44

(v) Lnea final horizontal truncada

En este caso, el tiempo final tiene un lmite: T Tmax
Se puede mostrar que la condicin de transversalidad en este
caso es:

[H ]t =T 0

; T Tmax ;

(T Tmax )[H ]t =T

=0

45

5.3 Una interpretacin econmica del

principio del mximo
Consideramos una empresa que maximiza beneficios en
el intervalo 0, T .
Controla una variable u (publicidad, poltica de
inventarios, etc.) que incide en (i) utilidades y (ii) tasa de
acumulacin de capital.

El problema que enfrenta la empresa es entonces:

46

Maximizar

= (t , K , u )dt
0

sujeto a : K& = f (t , K , u )
K (0 ) = K 0 ; K (T ) libre ; K 0 , T dados

5.3.1 La variable de coestado como un

precio sombra
Recordemos la ecuacin (2):
V2 = [H (t , y, u, ) + y (t )& ]dt (T ) y (T ) + (0) y (0)
T

47

La funcional objetivo para el problema de la empresa y

evaluada en los senderos ptimos es:

* = H (t , K * , u * , * ) + K * (t )&* dt
T

* (T )K * (T ) + * (0 )K (0 )

*
= * (0 ) ;
K (0 )

*
= * (T )
K (T )

Por lo tanto:
(i) * (0) es el precio sombra de K*(0) = aumento marginal de
beneficios que se obtendra (en el ptimo) con un aumento
infinitesimal del capital inicial.
48

(ii) * (T ) es el precio sombra de K*(T) = disminucin (signo

menos) marginal de beneficios que se obtendra (en el ptimo)
con un aumento infinitesimal del capital final.

5.3.2 El Hamiltoniano y los beneficios

futuros
El Hamiltoniano del problema de la empresa es:
H = (t , K , u ) + (t ) f (t , K , u )

Primer sumando = (t , K , u ) = efecto de u en el beneficio

actual.
Segundo sumando = (t ) f (t , K , u ) = efecto de u en el
beneficio futuro.
49

Usualmente, los cambios de u que aumentan el beneficio

actual reducen el futuro y viceversa.
El principio del mximo establece que se debe maximizar el
Hamiltoniano en u, es decir que la empresa maximiza el
beneficio total (actual y futuro).
En el caso de solucin interior, el principio del mximo
implica que:
H
f
=
+ (t ) = 0
u u
u

f
= (t )
u
u
50

Es decir que en el sendero ptimo la empresa iguala cualquier

aumento marginal del beneficio actual con una disminucin
marginal del beneficio futuro.

5.3.3 La ecuacin de movimiento de la

variable de coestado
f
H
&
=
=
+ (t )
K K
K

El lado izquierdo es la velocidad de disminucin del precio

sombra del capital.
El lado derecho es la contribucin marginal del capital a la
utilidad (actual y futura) de la empresa.

51

5.3.4 Condiciones de transversalidad

Consideremos tres variantes del problema de la empresa:
1) Capital final K(T) libre y T dado.
La condicin de transversalidad es:

(T ) = 0
En el sendero ptimo, el precio sombra del capital al final
debera llevarse a cero.

2) Capital final mnimo Kmin y T dado.

52

La condicin de transversalidad es:

(T ) 0 ; [K * (T ) K min ] (T ) = 0
Notar: cuando la restriccin es operativa, el precio sombra del
capital en T puede ser positivo.
3) Capital final dado y fecha final libre
En este caso, la empresa elige la fecha final T.
La condicin de transversalidad es:

[H ]t =T

=0

la empresa elige la fecha final de tal forma que la suma de

beneficios actuales y futuros en ese momento sea cero.
53

5.4 El Hamiltoniano en valor corriente

En muchas aplicaciones econmicas tendremos un factor de
descuento involucrado:
F (t , y, u ) = G (t , y, u )e t

El problema de control ptimo puede escribirse entonces

como:
T

Maximizar V = G (t , y, u )e t dt
0

sujeto a : y& = f (t , y, u )
condiciones inicial , final , etc.

Dado el factor de descuento, el Hamiltoniano estndar est

expresado en trminos del momento 0:
54

H = G (t , y, u )e t + f (t , y, u )

Resulta conveniente definir un Hamiltoniano y una variable de

coestado en trminos del momento t:
H c = He t = G (t , y, u ) + mf (t , y, u )
m = e t

Es inmediato mostrar que las condiciones del ptimo en

trminos del Hamiltoniano y variable de coestado en valor
corriente son:
Max H c
u

(5)

55

H c
y& =
m

(6)
m& =

H c
+ m
y

(7)
Condiciones de transversalidad si el problema tiene:
(i) Lnea final vertical:
m(T )e T = 0

(ii) Lnea final horizontal:

[H c ]t =T e T

=0
56

5.5 Condiciones suficientes

Hemos visto hasta ahora condiciones necesarias del ptimo.
Enunciamos ahora algunas condiciones suficientes.

5.5.1 El teorema de Mangasarian

Consideremos nuevamente el problema:
T

Maximizar V = F (t , y, u )dt
0

sujeto a : y& = f (t , y, u )

y (0 ) = y0 ; y0 , T dados

(8)
57

Las condiciones necesarias del principio del mximo son

tambin suficientes para un mximo global de V si:
1) F y f son diferenciables y cncavas en (y,u).
2) En la solucin se verifica que:
(t ) 0 t [0, T ] si f es no lineal en y o en u.
No hay restriccin en el signo de si f es lineal en y y en u.
Demostracin: ver Chiang (2000, pp 214-7)

5.5.2 El teorema de Arrow

Consideramos el mismo problema (8).
Definimos el Hamiltoniano maximizado:
H 0 (t , y, ) = F (t , y, u * ) + f (t , y, u * )
58

Donde u* es el sendero ptimo de la variable de control, pero

y no es y* H0 no es el Hamiltoniano evaluado en el ptimo.
Enunciado: Las condiciones necesarias del problema (8) son
tambin suficientes para un ptimo global si el Hamiltoniano
maximizado es cncavo en la variable de estado para t [0, T ].

5.6 Horizonte infinito

Hay tres complicaciones adicionales al considerar horizonte
infinito:
a) Convergencia de la funcional objetivo
b) Condiciones de transversalidad en horizonte infinito
c) Condiciones suficientes para un ptimo
59

5.6.1 Convergencia de la funcional objetivo

La funcional objetivo tiene la forma:

V = F (t , y, u )dt
0

Puede existir una solucin al problema de control ptimo an

cuando V , pero el problema es complejo y no lo
trataremos.
Algunas condiciones suficientes para la convergencia de V:
Condicin 1: Existe t0 tal que F (t , y, u ) = 0 t t0
Condicin 2: La funcional objetivo tiene la forma:
60

F (t , y, u ) = G (t , y, u )e t ; > 0 ; G (.) G

Se trata entonces de un problema de valor descontado, en el

que G(.) est acotada. Se verifica que:

G(t , y, u )e
0

dt G e
0

dt =

5.6.2 Condiciones de transversalidad en

horizonte infinito
Existe alguna controversia respecto a las condiciones de
transversalidad en horizonte infinito (Chiang 2000, captulo
9).
61

Para derivar el principio del mximo en horizonte finito

usamos la ecuacin (4):
dV2
=
d

H &

H
0 y + q(t ) + u p(t ) dt
+[H ] t =T T (T )yT = 0
T

Adaptado al horizonte infinito:

dV2
=
d

H &

H
0 y + q(t ) + u p(t ) dt
144444244444
3
1

+ lim HT lim (t )yT = 0

1t4
243 1t
4
4
244
3
2

62

Para satisfacer esta condicin, los tres trminos deben anularse

individualmente (dado que las perturbaciones son arbitrarias).
Las condiciones de transversalidad surgen de la anulacin de
los ltimos dos trminos.
Con horizonte infinito:
1) El tiempo final no es fijo
T 0 2 = 0 lim H = 0
t

Notar: esta condicin de transversalidad es necesaria en

problemas de horizonte infinito, con independencia de si el
estado final es fijo.
Interpretacin econmica: Recordar que H (t , y, u, ) es el
valor actual y futuro de los beneficios a partir de t. En
problemas con tiempo final libre, se elige T tal que no hay
63

ganancias futuras, es decir tal que HT = 0. Lo mismo vale para

horizonte infinito.
En el caso de un problema de valor corriente con horizonte
infinito, esta condicin toma la forma de valor presente:
lim [H c ]t e t = 0
t

(9)
Acemoglu (2009, teorema 7.13) muestra que, bajo ciertas
condiciones adicionales, la condicin de que el valor presente
del Hamiltoniano tienda a cero en el infinito implica que, en el
sendero ptimo, se cumplir tambin que:
lim e t m* (t ) y * (t ) = 0
t

64

(10)
2) Si el estado final es fijo:
lim yt = 0 3 = 0
t

Notar: en este caso no hay restricciones sobre la variable de

coestado.
3) Si el estado final es libre:
lim yt 0 3 = 0 lim (t ) = 0
t

Notar: en este caso la variable de coestado debe tender a cero

a medida que t tiende a infinito.

65

En un problema de valor corriente, esta condicin de

transversalidad sera:
lim m(t )e t = 0
t

Comentario: No siempre es obvio si esta condicin debe o no

cumplirse. Hay casos en que la condicin no se cumple, a
pesar de que el problema es aparentemente de estado final
libre (el ejemplo de Halkin, en Chiang 2000, p 244-7 y el
ejemplo 7.2 y ejercicio 7.19 en Acemoglu 2009). Chiang
argumenta que en realidad el problema de Halkin tiene un
estado final fijo implcito. Creo que puede decirse lo mismo
del ejemplo 7.2 y del ejercicio 7.19 de Acemoglu. En todo
caso, el tema est en debate

66

5.6.3 Condiciones suficientes en problemas

de valor descontado con horizonte
infinito
Acemoglu (2009, teorema 7.14) propone condiciones
suficientes que en esencia incluyen:
(i) Condicin del teorema de suficiencia de Arrow: el
Hamiltoniano maximizado debe ser cncavo en la variable
de estado:
H c0 (t , y, m ) = G (t , y, u * ) + mf (t , y, u * )

(11)
Es decir que H c0 debe ser cncavo en y.
67

(ii) todos los senderos factibles de la variable de estado

verifican la siguiente condicin:

lim e t m* (t ) y (t ) 0
t

(12)
Notar:
(i) La variable de coestado est evaluada en el sendero ptimo.
(ii) Esta condicin suficiente es diferente de la condicin
necesaria para el ptimo (10) que reproduzco aqu:

lim e t m* (t ) y * (t ) = 0
t

Intuicin: la condicin de transversalidad (10) nos lleva a

elegir el menor valor de la variable de estado en el conjunto
factible definido por (12) cuando el horizonte tiende a infinito.
68

 Receta sugerida por Acemoglu (2009, p 258) para

problemas de valor descontado con horizonte infinito:
(i) Identificar un candidato para una solucin usando las
condiciones necesarias (5), (6), (7) y (9).
(ii) Verificar la concavidad del Hamiltoniano maximizado
(concavidad de (11)) y verificar que se cumple (12), con lo
cual tenemos las condiciones suficientes.

69