Documentos de Académico
Documentos de Profesional
Documentos de Cultura
SEPTIEMBRE
2006
DE
CEDE
APUNTES DE CLASE
CEDE
ISSN 1909-4442
ISSN 1909-4442
9 771909 444004
01
CEDE
Centro de Estudios
sobre Desarrollo Econmico
Facultad de Economa
El CEDE tiene dentro de sus objetivos difundir los trabajos realizados por sus
investigadores en las reas mencionadas, as como otros trabajos de inters
acadmico y cientfico. Para el logro de tal propsito, se publica semestralmente la
revista Desarrollo y Sociedad, as como libros y la serie Documentos CEDE. Esta ltima
difunde entre la comunidad acadmica y la profesin los resultados de las principales
investigaciones desarrolladas en el CEDE. Por supuesto, las opiniones expresadas en
ellos son responsabilidad exclusiva de los autores.
1
SEPTIEMBRE
CEDE
DE
2006
Centro de Estudios
sobre Desarrollo Econmico
Facultad de Economa
Universidad de los Andes
Prefacio
Esta monografa es una introduccin informal a los mtodos matemticos
ms utilizados en el estudio de economas a lo largo del tiempo. Especficamente,
esta se centra en los mtodos de programacin dinmica y el mtodo de Lagrange
para resolver problemas de optimizacin dinmica con o sin incertidumbre y en
tiempo discreto. Aqu no hay nada original excepto por el esfuerzo que se ha
hecho para hacer de esta monografa un puente agradable de recorrer entre los
tratamientos bsicos de estas tcnicas usualmente relegados a los apndices de
los libros de macroeconoma utilizados en un curso del pregrado y los libros
ms avanzados que se estudian a nivel de doctorado. Mi deuda con los libros y
artculos clsicos en el tema es evidente en muchos de los captulos y slo por
descuido no estn referenciados todos los libros y artculos sobre los que me
base para escribir esta monografa. A los autores les pido disculpas y prometo
corregir esto en futuras versiones.
Muchas personas me han ayudado directa o indirectamente a mejorar esta
monografa. En especial, agradezco los innumerables alumnos que padecieron
las primeras versiones de estas notas en diferentes cursos de macroeconoma
avanzada o de mtodos matemticos en macroeconoma. Me refiero a alumnos
en la Universidad Javeriana, Universidad de los Andes, Universidad del Valle y
del Instituto de Matemticas Puras y Aplicadas de Ro de Janeiro. De manera
ms especfica, agradezco a Katherine Aguirre, Andrs Arias, Olga Lucia Briez,
Marcela Eslava, Juanita Gonzalez, Franz Hamann, Luisa Estefana Valdz, Nini
Johanna Serna y Mauricio Villamizar. Cualquier error es mi responsabilidad.
Finalmente quiero agradecer al Banco de la Repblica por la disponibilidad
de tiempo y el ambiente propicio durante el tiempo que estuve en el departamento de investigaciones econmicas donde fue escrita gran parte de esta
monografa.
iii
iv
PREFACE
Captulo 1
Economa Dinmica
En trminos generales la actividad econmica no puede modelarse como un
proceso esttico en el tiempo y en condiciones de certidumbre. En la vida real,
este proceso es dinmico e incierto y por lo tanto es natural preguntarse hasta
que punto la teora del equilibrio general, como la formularon Arrow y Debreu
permite describir la toma de decisiones econmicas ms realistas.
Es bien sabido que el modelo bsico de equilibrio general (Arrow-Debreu en
infinitas dimensiones) es lo suficientemente general como para abarcar en trminos ideales esta situacin. En este modelo el espacio de consumo puede tomarse
de tal manera que incluya decisiones intertemporales o contingentes a la realizacin de eventos aleatorios. Basta indexar los diferentes bienes al momento
o evento en el cual son consumidos como cualquier otra caracterstica que los
define. De hecho, desde el punto de vista terico este abordaje es muy importante. Sin embargo, tambin es evidente que este modelo no explota de manera
explcita la dimensin temporal del problema ni tampoco reconoce la imposibilidad, bastante real en la prctica, de diversificacin del riesgo que resulta de la
realizacin de los eventos aleatorios.1
En este captulo introduciremos de manera informal los mtodos matemticos que sern utilizados en el resto del libro. En la seccin 1.1 estudiaremos
el prototipo de modelo que aparece en el estudio de economas dinmicas, el
modelo bsico de crecimiento econmico, que utilizaremos para introducir las
dos tcnicas principales para resolver modelos dinmicos. El primero pertenece
a los mtodos de la Programacin Dinmica, seccin 1.2 y el segundo a los de
Control ptimo (i.e. el mtodo de Lagrange o, ms generalmente, el mtodo del
Hamiltoniano), seccin 1.3. La caracterstica fundamental del primer mtodo,
como quedar claro ms adelante, es que explota la naturaleza recursiva del
problema. Es decir, el hecho de que la estructura del problema de decisin es
la misma en todos los perodos. El segundo mtodo, explota la geometra del
problema.
1 Existen principalmente dos modelos para el estudio de las economas a lo largo del tiempo
con o sin incertidumbre. El modelo de agentes con vidas infinitamente largas y el modelo de
generaciones traslapadas. En este libro nos dedicaremos nicamente al primero.
1.1.
(1.1)
Asumimos que el capital se deprecia a una razn constante [0, 1]; luego
la dinmica del capital es:
kt+1 = (1 )kt + it
(1.2)
Adems, suponemos que cada agente tiene una misma cantidad de capital
inicial k0 0.
Finalmente, los agentes tienen preferencias U sobre todas las secuencias de
consumo; asumimos que dichas preferencias son de la siguiente forma:
U (c0 , c1 , ...) =
X
t=0
t u(ct ), (0, 1)
(1.3)
max
t u(ct ),
t=0
kt+1
ct + it
(0, 1)
= (1 )kt + it
= f (kt ), ct , kt 0 para todo t.
1.2.
Programacin Dinmica
s.a
0 c0 f (k0 ) + (1 )k0
s.a
(1.4)
0 cn f (kn ) + (1 )kn
s.a
(1.5)
0 c f (k) + (1 )k
s.a
0 c f (k) + (1 )k
Ms adelante veremos que el operador T est bien definido (sta es una aplicacin sencilla del Teorema del Mximo). Ahora, el problema 1.5 es equivalente
a encontrar un punto fijo del operador T , luego debemos demostrar la existencia
del punto fijo y en lo posible dar un mtodo para encontrarlo.2 La idea consiste
2 Una
en dar una estructura especial al conjunto de las funciones continuas y acotadas (una mtrica que lo haga un espacio mtrico completo3 ) y probar que el
operador T es una contraccin 4 .
De esta manera podemos aplicar el Teorema del Punto Fijo para Contracciones y as obtener tanto la existencia de una funcin v que resuelva el problema
(4), como un mtodo para encontrarla dado por este mismo teorema.
Sin entrar en mayores detalles por ahora, utilizaremos el Teorema del Punto
Fijo para contracciones para resolver el ejemplo siguiente. Informalmente este
teorema nos dice que si T es una contraccin, entonces existe una nica v, punto
fijo de T y adems, dado cualquier v0 en el dominio T se tiene:
lm T n (v0 ) = v
s.a : 0 c f (k) + (1 )k
para todo k, entonces la secuencia {kt , ct } definida por kt+1 = f (kt ) h(kt ) +
(1 )kt , ct = h(kt ) es una secuencia que resuelve el problema secuencial. La
funcin h la llamamos la funcin de poltica. El siguiente caso particular del
modelo bsico de crecimiento ilustra las ideas principales.
Ejemplo 1 (Brock y Mirman [1972]). Sea u(ct ) = log(ct ), f (kt ) = kt donde
(0, 1) y = 1 (la funcin u no satisface todas las hiptesis impuestas anteriormente (en particular, no es acotada); sin embargo, ms adelante veremos
como adaptar la teora a este caso) entonces el problema de crecimiento discutido hasta ahora se reduce a:
max
{ct }
t log (ct )
t=0
kt+1 = kt ct , ct , kt 0
s.a :
s.a
0 c k
3 Una mtrica es una funcin d del espacio X X en los nmeros Reales. La funcin toma
dos elementos de dicho espacio y les asigna un valor real llamado distancia. Toda mtrica debe
cumplir con tres condiciones: d(x, x) = 0, d(x, y) = d(y, x) 0 y la desigualdad del tringulo.
Un espacio mtrico es aquel al que se le ha asignado una mtrica.
Por otra parte, un espacio mtrico completo es aquel en el que toda sucesin de Cauchy
converge (Ver Apndice).
4 Un operador T en un espacio mtrico hX, di en los Reales, se dice que es una contraccin
si existe (0, 1) tal que: d(T (x) , T (y)) 6 d(x, y) para todo x, y X.
Para resolver este problema utilizaremos el mtodo dado por el Teorema del
Punto Fijo para contracciones. Sea v0 = 0, entonces:
v1 (k) = max{log(c)}
c
s.a
0 c k
s.a
que lo reseulve c =
k
1+ ,
0 c k
luego
1 +
log(1 + ).
1 +
+ 2 2
( + ) log
1 + + 2 2
log(1 + + 2 2 ) log(1 + )
n1
P
luego en general vemos que vn (k) = An +
()i log(k), donde An es
2 2
i=0
log(k)
una constante que debemos determinar. Se sigue que v(k) = A + 1
donde A es una constante que podemos encontrar simplemente observando que
v debe satisfacer:
s.a
0 c k
Es decir,
A+
log(k) = max{log(c) + (A +
log(k c))}
c
1
1
s.a : 0 c k
X
t=0
s.a
kt+1
t ( log(ct ) + (1 ) log(1 nt ))
:
= kt n1
ct
t
(1.6)
s.a :
0 6 c 6 k n1
0 6 n61
(1 )
1
(1 )
1
v1 (k) = log k
(1 )
1
= log k + A1
1 !
(1 )
+ (1 ) log 1
=
1
s.a :
0 6 c 6 k n1
0 6 n61
=0
c k n1 c
1
[n] :
+
(1 )(k n ) = 0
1 n k n1 c
[c] :
(1 + )(1 )
1 + (1 )
1
(1 + )(1 )
k
1 + 1 + (1 )
log k + A
1
Ahora, debemos verificar que efectivamente este candidato es el correcto; reemplazando en la ecuacin 1.6 y de nuevo escribiendo las condiciones de primer
orden obtenemos:
[c] :
=
c
(1 ) (k n1 c)
1
(1 )k n
[n] :
=
1n
(1 ) (k n1 c)
1
(1 )
c = (1 )k
1 ( + )
n =
(1.8)
(1.9)
1 #
(1 )
log k + A = log (1 )k
1
1 ( + )
(1 )
+(1 ) log 1
+
1 ( + )
1
(1 )
log[k
1
1 ( + )
1
(1 )
(1 )k
] + A
1 ( + )
No es dificil convencerse de que existe una constante A que resuelve esta ecuacin.
Las ecuaciones 1.8 y 1.9 efectivamente son las funciones de poltica que estbamos buscando y describen las trayectorias ptimas del consumo c y del
trabajo n. Obsrvece que el nivel de empleo es independiente del estado de la
economia k. Esto refleja el hecho de que la funcin de utilidad es logartmica en
el trabajo y por lo tanto, el efecto ingreso y sustitucin se cancelan.
Sustituyendo el consumo y el trabajo ptimos en la ecuacin de acumulacin
del capital, encontramos la trayectoria ptima del capital:
1
(1 )
kt+1 =
kt
1 ( + )
La inversin ser:
It = kt+1 (1 )kt = kt+1
1.3.
El Mtodo de Lagrange
10
max
{ct }
X
t=0
s.a :
0 kt+1 f (kt ) + (1 )kt
k0 dado.
Para simplificar un poco la notacin introduciremos las siguientes definiciones.
Sea r(kt , kt+1 ) = u (f (kt ) kt+1 + (1 )kt ) y (kt ) = {k R : 0 k f (kt ) + (1 )kt }
entonces el problema del modelo bsico de crecimiento es equivalente a:
max
{ct ,kt }
s.a
kt+1
t r(kt , kt+1 )
t=0
:
(kt )
k0 dado.
r kt , kt+1
, kt+2
r kt+1
+
= 0, t = 0, ...
kt+1
kt+1
que es una ecuacin en diferencias finitas de segundo orden. Obsrvese que solo
tenemos una condicin inicial k0 , luego debe faltar algo ms para caracterizar
completamente la solucin, de lo contrario, existirian infinitas soluciones, una
para cada k1 . La condicin que est faltando es la condicin de transversalidad :
t r kt , kt+1
lim
kt 0
(1.10)
t
kt
5 Las Ecuaciones de Euler, como su nombre lo indica, se deben al matemtico suizo Leonard
Euler (1707-1783). Euler ha sido uno de los cientficos ms prolficos e importantes de la
historia. Su trabajo en sta rea lo hizo en un contexto continuo, dando inicio a lo que se conoce
como el clculo de variaciones. La Teora del Control ptimo fue desarrollada principalmente
por matemticos rusos en la primera mitad de este siglo, principalmente por Pontryagin y
sus colaboradores. La programacin dinmica se debe al matemtico norteamericano Richard
Bellman quien introdujo el mtodo en una monografa publicada en el ao 1957 (Bellman
[1957]).
11
kt
k 1
1
+ t+1 = 0
kt+1
kt+1 kt+2
(1.11)
1 xt+1
xt =
1 xt
y la condicion de transversalidad se puede reescribir como:
= 0.
lim t
t
1 xt
Ahora basta con observar que una solucin particular de estas dos ecuaciones
es xt = , es decir, kt+1 = kt que genera una dinmica que satisface
simultaneamente las ecuaciones de Euler y la condicin de transversalidad.
En este captulo hemos hecho un tour por las ideas ms importantes que
surgen en el estudio de las economas a lo largo del tiempo y a las cuales nos
dedicaremos a estudiar de una manera ms formal en los prximos captulos.
1.4.
Ejercicios y Soluciones
Ejercicio 1 Supongamos que estamos interesados en la solucin de estado estacionario del ejemplo 1. Sea r la tasa de inters real de la economa y suponga
1
que el factor de descuento es igual a 1+r
. Probar que el nivel de consumo en
el estado estacionario es una funcin decreciente de la tasa de inters.
Solucin 1 Para mostrar que el consumo en estado estacionario es una funcin
decreciente de la tasa de inters, utilizaremos la regla de la cadena:
c c
=
r r
Del ejemplo 1 sabemos que:
1
k = () 1 c = (1 )() 1
12
() 1
c
=
(1 ) > 0
(1 )
Derivando con respecto a r obtenemos:
= (1 + r)2 < 0
r
De estas dos ecuaciones se desprende que el nivel de consumo del estado estacionario es una funcin decreciente de la tasa de inters.
Ejercicio 2 Mostrar formalmente que en el ejemplo de Brock y Mirman.
1.
2.
3.
2.
X
t=0
t ln(xt xt+1 )
0 xt+1 xt
x0 dado.
13
Para usar una notacin similar a la del captulo, podemos replantear el problema secuencial de la siguiente manera:
max
t ln(ct )
t=0
0 ct xt y xt+1 = xt ct
Donde ct es la cantidad de pastel que nos comemos en t.
El problema funcional es:
v(xt ) = max{ln(ct ) +v(xt ct )}
0 ct xt
Utilizando la sugerencia para resolver el problema (o alternativamente, hacer algnas iteraciones para convencerse de que esta es un buen candidato),
suponemos que la funcin valor es de la forma:
v(xt ) = A ln(xt ) + B
donde A y B constantes.
xt
(1 + A)
A
A
A ln(xt )+B = v(xt ) = ln(xt )+ln 1
+ A ln
+ A ln(xt ) + B
1 + A
1 + A
Utilizando el mtodo de coeficientes indeterminados, podemos verificar que A y
B son constantes:
1
1
= ln 1
A =
B
A
A
+ A ln
+B
1 + A
1 + A
ln ()
ln (1 )
+
1
(1 )2
Luego:
xt+1 = xt
14
Bibliografa
[1] Bellman, R. (1957). Dynamic Programming. Princeton University Press.
[2] Brock, W.A. Mirman, L. (1972). Optimal Economic Growth and Uncertainty: The No Discounting Case. International Economic Review, Vol 14, No.
3, pp. 560 - 573.
[3] Cass, D. 1965. Optimum Growth in an Aggregative Model of Capital Accumulation. Review of Economic Studies. 32:3, 233-240.
[4] Koopmans, T. 1965. On the concept of optimal growth, en: The Econometric
Approach to Development Planning (Rand-McNally).
[5] Long, John B, Jr and Plosser, Charles I, 1983. Real Business Cycles Journal
of Political Economy, Vol. 91 (1) pp. 39-69.
[7] Stokey, N. And Robert Lucas, Jr. with Edward Prescott. 1989. Recursive
Methods in Economic Dynamics. Harvard University Press.
15
16
BIBLIOGRAFA
Captulo 2
Programacin Dinmica: El
caso determinstico
El objetivo en esta parte ser formalizar los mtodos presentados en el captulo anterior para un problema lo suficientemente general como para incluir
algunos modelos bastante importantes que se encuentran en la literatura, como
por ejemplo, los modelos de crecimiento y los modelos de ciclos reales.1
El problema tpico (o problema secuencial) que queremos resolver tiene la
forma:
sup
X
t r(xt , ut )
{ut } t=0
17
s.a
u (x).
19
Condicin 2 0 y para todo x0 X, existe Mx0 R tal que
Mx0 para toda dinmica factible {xt }t=0,1... desde x0 .
t r(xt , ut )
t=0
P
ve(x0 ) =
sup
t r(xt , ut ). Es decir, ve(x0 ) es el valor supremo del (PS).
{(xt ,ut )}(x0 )t=0
P
desde x1 , {(x1 , u1 ), (x2 , u2 ), ...} tal que,
t1 r(xt , ut ) ve(x1 ) . Ahora
t=1
t r(xt , ut ) r(x0 , u0 ) +
t=0
P
{(x0 , u0 ), (x1 , u1 ), ...} tal que ve(x0 )
t r(xt , ut )+ r(x0 , u0 )+ ve(x1 )+.
t=0
u0 (x0 )
0 para todo x0 X y dinmica factible {xt } desde x0 (condicin de transversalidad fuerte), entonces ve = v. Es decir, v resuelve el PS.
Proof. Vamos a probar dos cosas. Primero probaremos que v (x0 )
t r(xt , ut )
t=0
para toda dinmica factible desde x0 y segundo que para todo > 0, existe una
P
dinmica factible {(xt , ut )}t=0,1,.. desde x0 tal que v (x0 )
t r(xt , ut ) + .
t=0
Estas dos afirmaciones implican que v es la funcin valor del problema. Para
demostrar la primera, como v es solucin del (PF) entonces para toda dinmica
factible {(xt , ut )} (x0 ) tenemos: v (x0 ) r (x0 , u0 ) + v(x1 ) r (x0 , u0 ) +
r(x1 , u1 ) + 2 v(x1 ) ....
k
P
t r(ut , xt ) + k+1 v (xk+1 ) (aqui utilizamos lm t v (xt ) 0). Usando
t=0
t r(xt , ut ). Para
t=0
P
nmeros reales tal que
t t . Como v resuelve el (PF) entonces existe u0
t=0
P
P
satisfaga: v(x0 )
t r(xt , ut ) +
t t + lm t v (xt ) (aqui utilizamos lm
t=0
t v (xt ) 0)
t=0
t r(xt , ut ) + .
t=0
Esta proposicin muestra que el problema funcional tiene una nica solucin
que satisface la condicin de transversalidad.3 4
3 Para variaciones de esta ltima proposicin cuando la condicin de transversalidad no se
cumple, ver Stockey-Lucas[1989], ejercicio 4.3.
4 En la literatura de optimizacin dinmica el trmino condicin de transversalidad generalmente se refiere a una condicin necesaria (o suficiente) que se debe cumplir en la solucin
del problema. Usaremos esta terminologa.
En la literatura de la Teora del Equilibrio con Mercados Incompletos con horizonte infinito
el trmino generalmente se refiere a restricciones asintticas sobre el nivel de endeudamiento
en el que pueden entrar los agentes (Ver Magill y Quinzii [1994]). En este ltimo sentido se
parece ms a una conndicin de no-ponzi.
21
Anotacin 2 Intuitivamente lm t v (xt ) > 0 implica que se estn subutilizant
ve(xt ) = r (xt , ut ) + e
v xt+1 , t = 0, 1, 2, ...
t=0
(2.1)
t r(xt , ut ) =
t=0
t=0
t r(xt+1 , ut+1 )
t=0
(x1 ) .
t r(xt+1 , ut+1 ),
t=0
{(x1 , u1 ), (x2 , u2 ), ...}
Ahora como
para toda dinmica {(x1 , u1 ), (x2 , u2 ), ...}
P
(x1 ) entonces ve (x1 ) =
t r(xt+1 , ut+1 ). Volviendo a la primera ecuacin tenemos entonces:
t=0
r(xt , ut ) = r (x0 , u0 ) + e
v (x1 ) pero la primera sumatoria
t=0
t=0
t r (xt , ut )
P
t r (xt , ut )+ k+1 ve xk+1 y usando que lm sup t ve(xt )
ve xt+1 llegamos a: ve(x0 ) =
t=0
t=0
t r (xt , ut ) = ve(x0 ).
t=0
Anotacin 4 Intuitivamente, si a lo largo de una dinmica factible que satisface (1) no se subutilizan recursos, entonces esta debe ser una dinmica factible
ptima para el problema secuencial. El ejercicio 9 ilustra el caso de un problema
dinmico para el cual existe un plan factible que satisface (1) pero que no es un
plan ptimo para el problema secuencial.
Como consecuencia inmediata de las cuatro proposiciones anteriores tenemos
el siguiente teorema que resume las relaciones entre el (PS) y el (PF).
Teorema 1 Equivalencia del (PS) y el (PF): Bajo las condiciones 1, 2 y 3 y si
la condicin de transversalidad se satisface, el (PS) y el (PF) tienen las mismas
soluciones en trminos de valor y dinmicas ptimas.
Anotacin 5 En ocasiones la escogencia inteligente del espacio de estados X
puede dar paso a la aplicacin rigurosa del mtodo que hemos explicado. Ver el
ejemplo 4.
Hasta este punto hemos estudiado la relacin entre el problema funcional
y el problema secuencial, pero an no hemos dado un mtodo para resolver
ninguno de los dos excepto por el mtodo que introdujimos informalmente en el
captulo anterior para resolver el problema funcional. La programacin dinmica
no tendra tanto valor si no fuera porque para el (PF) existen varios mtodos de
solucin. Nos concentraremos aqu en el mtodo ms importante desde el punto
de vista terico y prctico para resolver el problema funcional, pues ste sirve
para demostrar la existencia de soluciones (al igual que sus propiedades ms
importantes) y a la vez, motiva algunos mtodos numricos importantes para
resolver el (PF).
Para esto necesitamos pedir un poco ms sobre la correspondencia y la
funcin de retorno r que lo que se pide en las condiciones 1, 2 y 3.
Condicin 4 es una correspondencia de valores compactos (i.e.,(x) es
compacto para todo x), continua y (x) 6= para todo x.
Condicin 5 (0, 1) y la funcin retorno es acotada y continua sobre el
grafo de .5
Anotacin 6 Bajo estas condiciones el supremo se realiza como un mximo.
Es claro que los supuestos 4 y 5 implican 1, 2 y 3. Adems (0, 1), luego
bajo estas condiciones se cumple el Teorema de Equivalencia (Teorema 1).
El mtodo que expondremos para resolver el problema funcional nace, como
se observ en las notas pasadas, de la identificacin del (PF) con un problema de
5 El
23
punto fijo. Informalmente, al (PF) le asociamos un operador T de cierto espacio
de funciones sobre X en s mismo. Este se define de la siguiente manera: Dada
una funcin f en este espacio de funciones (ms adelante explicaremos cal es),
T [f ] es la funcin que evaluada en x X nos da:
T [f ] (x) = sup{r(x, u) + v(f (x, u))}
u
s.a
u (x).
PHI
1+delta
1-delta
0
Figura 1
Figura 2.1:
del tiempo dedicado a trabajar, siendo la acumulacin del capital humano menor
entre ms tiempo se dedique al trabajo y mayor entre menos tiempo se dedique
a ste. Esto refleja el hecho que, para acumular capital humano y aumentar la
productividad, el agente debe dedicar tiempo a esta tarea, por ejemplo estudiando
o capacitndose, dejando entonces de trabajar un poco.7 Una forma de capturar
esta dinmica es la siguiente: Sea ht+1 = ht (nt ) donde es una funcin de
[0, 1] en R+ , con estas caractersticas: es continua, estrictamente cncava,
estrictamente decreciente y tal que (0) = 1 + , (1) = 1 , donde , 0
(figura 1).
7 Por eso decimos que este es un modelo de crecimiento con inversin en capital humano, a
diferencia de otros en los que entre ms se trabaja ms se aprende al adquirir mayor experiencia, etc. Ver ejemplo siguiente (Aprendiendo Haciendo).
25
La idea de esta funcin es la siguiente: si el agente decide no trabajar, entonces su capital humano se apreciar a una tasa , reflejando esto el hecho
de que al no trabajar el agente puede dedicar todo su tiempo a estudiar o capacitarse con el fin de incrementar su capital. En el otro extremo, si el agente
decide dedicar todo su tiempo al trabajo, entonces no tendr tiempo para capacitarse y su capital humano se depreciar a una tasa . La concavidad de la
funcin implica que, entre ms tiempo el agente dedique a acumular capital humano, menos acumular de ste en el margen. El agente representativo en esta
economa puede consumir todo lo que produce y su variable decisin en cada
perodo es cunto tiempo debe dedicarse al trabajo. Sea (0, 1) y supongamos
sup
X
t u (f (ht nt ))
{nt } t=0
En este ejemplo, la variable de control es nt , la variable de estado es ht , la funcin de retorno es u f, ht+1 = g (ht , nt ) = ht (nt ) , (ht ) = {nt : 0 nt 1}
y X = R+ . Ahora, es fcil probar que se satisfacen las condiciones del Teorema
de Equivalencia (Teorema 1). Basta con notar que el capital humano se acumula
o desacumula a una tasa mxima y respectivamente, y que por lo tanto:
X
X
t (h0 nt )
t u (f (ht nt ))
((1 + ) )
t=0
t=0
{nt }
0 nt 1
h
or. Sea v0 = 0, entonces v1 (h) = max (nh)
(h)
=
,
por
n
=
1
v
1
0n1
lo tanto,
v2 (h) = max
0n1
(nh)
(h(n))
+
= h max
0n1
n
((n))
+
Luego, el valor
de n que resuelve este problema no depende de h. Esto implica que
(hn)
h
h (n)
A
= m
ax
+ A
{n}
s.a : 0 n 1
No es difcil demostrar que la funcin de poltica es una constante n (0, 1].
Es decir, no interesa cual sea el nivel de capital humano h, el agente siempre
escoge trabajar n . Por lo tanto la tasa de crecimiento del capital humano es
constante, pues, ht+1 = ht (nt ) = ht (n ), luego hht+1
= constante. El valor
t
exacto de esta constante depende de la forma explcita de .
Anotacin 7 Si (n) = n , donde < 0 (obsrvese que esta funcin no
satisface las condiciones de arriba8 ) es fcil mostrar que la funcin de poltica
es:
1
nt = (A ) (1) ,
donde:
1
A = + ( )
.
s.a
ht+1
X
t u (f (ht nt ))
sup
{nt } t=0
:
= ht (nt ) , h0 dado.
27
y (, 1) . Ahora si 0 entonces la acumulacin de capital humano es
un producto del trabajo. Este es el caso de aprendiendo haciendo.10
La variable de control es nt , la variable de estado es ht , la funcin de retorno
es u f, ht+1 = g (ht , nt ) = ht (nt ) , (ht ) = {nt : 0 nt 1} y X = R+ .
El problema funcional asociado es:
v(ht ) =
s.a
{nt }
0 nt 1
1
c a(1 l)
a(1 l)1
= U2 (c, l) =
c a(1 l)
= U1 (c, l) =
que 0 (nt ) = n1
> 0 (los retornos a la experiencia es creciente) y 00 (nt ) =
t
< 0 (los retornos marginales a la experiencia son decrecientes).
(
1 1 Una de las caractersticas de una matriz semidefinida negativa es que sus menores principales son menores o iguales a 0. Los menores principales se obtienen quitando la i-sima
fila y la i-sima columna de la matriz y tomando el determinante de la matriz resultante. En
este caso, slo necesitamos encontrar los menores principales de orden 1 (quitando la primera
columna y fila o quitando la segunda columna y fila) y el determinante de la matriz.
1 0 Ntese
1)n2
t
a(1l)1
1
)2
)2
U11 (c, l) U12 (c, l)
(ca(1l)
(ca(1l)
H=
=
[a(1l)1 ]2
a(1l)1
(1)a(1l)2
U21 (c, l) U22 (c, l)
(ca(1l) )2
(ca(1l) )
(ca(1l) )2
a(1 l)1
( 1)a(1 l)2
[a(1 l)1 ]2
|H| =
+
=
(c a(1 l) )3
(c a(1 l) )4 (c a(1 l) )4
( 1)a(1 l)2
>0
=
(c a(1 l) )3
Los menores principales de orden 1 son:
1
<0
(c a(1 l) )2
2
a(1 l)1
( 1)(c a(1 l) )
+1 <0
|H1 | = U22 (c, l) =
(c a(1 l) )2
a(1 l)
|H1 | = U11 (c, l) =
1 o
ax log (c an ) + Do + D1 ln k k n1 c
D0 + D1 ln k = m
0 cy
0 n1
an1
c an
1
(1 ) D1
1
c an
(k n
c)
(1 ) D1 (1 ) k n
+
(k n1 c)
= 0
= 0
29
y para la segunda condicin:
an1
(1 ) D1 (1 ) k n
=
c an
(k n1 c)
1
c an1 =
k n
(1 ) D1 (1 ) k n (c an )
ak n an1 c =
(1 ) D1 (1 ) k n c (1 ) D1 (1 ) ak n
(ak + (1 ) D1 (1 ) ak ) n =
k n1 (1 ) D1 an
(1 ) D1 (1 ) k n + an1
( 1 ) D1 + 1
( ( 1 ) D1 + 1) (ak + (1 ) D1 (1 ) ak ) n =
2
(1 ) D1 (1 ) k2 n12 + 2 (1 ) D12 (1 ) ak n +
an k a2 n21 (1 ) D1
( ( 1 ) D1 + 1) (ak + (1 ) D1 (1 ) ak ) n =
12
2
(1 ) D1 (1 ) k2 n + 2 (1 ) D12 (1 ) + ak n
a2 (1 ) D1 n21
( + (1 )) ak = (1 ) k 2 n1 a2 n(1)
0 = (1 ) k 2 n2(1) ( + (1 )) ak n1 a2
Tenemos as
n1 k
q
( + (1 )) a (( + (1 )) a)2 4 (1 ) a2
2 (1 )
q
( + (1 )) a 2 a2 + 2 (1 ) a2 + (1 )2 a2 4 (1 ) a2
2 (1 )
a + (1 ) a a (1 ) a
2 (1 )
a
1
=
=
Conclumos que:
n =
a
k
1
c = 1 k1
1
1
a
1
1
1
k 1++ = 2 k 2
(
)
2
1
ln
+
1 k a2 k
i
h
1
D0 + D1 ln k = m
ax
k k (1)2 1 k1
D0 + D1 ln k 1
2
= ln [1 a2 ] + 1 ln k + D0 +
1
k(1) + 1 k 1
+ D1 ln (k)
(1 ) D1 ln 1
2
= ln [1 a2 ] + 1 ln k + D0 +
(1 ) D1 ln 1
1 + (1 ) D1 1 ln k + D1 ln (k)
2
1 +
= ln [1 a2 ] + D0 + (1 ) D1 ln 1
2
(1 + D1 ((1 ) 1 + )) ln k
Conclumos
= ln [1 a2 ] + D0 + (1 ) D1 ln
= 1 + D1 ((1 ) 1 + )
D0
D1
2 1
De aqu
D1 D1 ((1 ) 1 + ) = 1
D1
1
1 ((1 ) 1 + )
Por lo tanto
D0 =
ln [1 a2 ] (1 ((1 ) 1 + )) + (1 ) 1 ln
(1 ) (1 ((1 ) 1 + ))
2 1
= D0 + D1 (1 ) ln(1
1 ) +
2
+ ln(1 a2 ) + (1 + D1 ( + 1 (1 ))) ln kt
Viendo esta expresin, las constantes D deben cumplir las siguientes condiciones:
D0
D1
= D0 + D1 (1 ) ln(21 1 ) + ln(1 a2 )
= 1 + D1 ( + 1 (1 ))
1 (1 )2 ln 21 1
D0 =
(1 1 (1 )) (1 )
1
D1 =
1 1 (1 )
31
Efectivamente la funcin propuesta cumple con las caractersticas necesarias
para ser una funcin valor.
Ahora podemos determinar la dinmica ptima del capital con las ecuaciones
(2). Sustituyndolas en la ecuacin de acumulacin del capital, encontramos:12
1
2
1
kt+1 = kt (kt n1
c
)
=
k
(k
k
1 kt1 )1
t
2
t
t
t
t
y simplificando,
+1 (1)
1 )1 kt
kt+1 = (1
2
= 3 kt3
X
t (x0t Qxt + u0t Rut + 2x0t W ut )
t=0
s.a
xt+1
:
= Axt + But , x0 dado,
y donde R y Q son matrices simtricas; definida negativa, y semidefinida negativa respectivamente.13 14 Aqui x0 denota el vector transpuesto de x. Existen
otras condiciones adicionales para garantizar que este problema tiene solucin
y que sta se puede obtener con el mtodo iterativo. Para simplificar las cosas
supondremos que estamos en estos casos. El lector puede consultar Ljungqvist y
Sargent [2004] o Bertsekas y Shreve[1978].
Sea 0 = 0, luego 1 (x) = sup {x0 Qx + u0 Ru + 2x0 W u} . Las condiciones de
u
que y c = i
que una matriz A es simtrica si A0 = A. Una matriz simtrica A (m m)
es semidefinida negativa si x0 Ax 6 0 para todo m-vector x 6= 0. En el caso de las matrices
definidas negativas la desigualdad anterior es estricta. Ver Lutkepohl [1993].
1 4 Obsrvese que restricciones de la forma x
t+1 = Axt + A1 xt1 + ... + Ap xtp + But +
B1 ut1 + ... + Bq utq pueden escribirse en la forma que aqu consideramos.
1 5 Para encontrar las condiciones de primer orden hemos utilizado las siguientes reglas para la
diferenciacin de matrices (ver Lutkepohl: Introduction to Multiple Time Series Analysis.):
0x
0y
= x
= y0 y
Sean y , x dos vectores de dimensin m y A una matriz m m, entonces y
x
x
1 3 Recuerde
x0 Ax
x
= x0 (A + A0 )
2.1.
Ejercicios y Soluciones
t log(ct ) = m
ax
t=0
t r(xt , ut )
t=0
xt+1
33
2.
3.
t=0
Ejercicio 7 Utilizando las condiciones del ejercicio anterior, demostrar la Proposicin 3 sin imponer la condicin de transversalidad (Ver De La Croix - Michel
[2002]).
Solucin 5 (11) Siguiendo el ejercicio 10 tenemos que la sucesin de sumas
es finita.y pertenece a R {}. Mas an estn acotadas por arriba por una
constante
X
X
bx0
t r (xt , ut )
t r (xt )
1 / 0
t=0
t=0
Para toda trayectoria factible que empiece en xo tenemos
t r (xt , ut ) = r (x0 , u0 ) +
t=0
t r (xt+1 , ut+1 )
t=0
t r (xt , ut ) = r (x0 , u0 ) + e
v (g (x0 , u0 ))
t=1
ve (xt ) = r (xt , ut ) + e
v xt+1
X
max
ct
t=0
0 ct xt xt+1 , xt 0, x0 6= 0 dado.
Mostrar que para cualquier x0 dado, el valor mximo del problema anterior
es x0 . Es decir ve(x) = x. Ahora, supngase que utilizramos el problema
funcional para encontrar esta funcin. El problema funcional asociado es:
v(x) = sup{c + v(x c)}
c
s.a
2.
0cx
Verificar que para cualquier constante k, la funcin v(x) = x + k es solucin del problema funcional pero no satisface la condicin de transversalidad (Ayuda: considere la dinmica factible {(x0 , 0)} (x0 ), entonces
lm t v (xt ) = v(x0 ) = x0 + k 6= 0). Luego, aqu tenemos un caso en el
t
X
ct
t=0
s.a :
0 ct xt xt+1
x0 6= 0 dado.
1.
ct =
t=0
t=0
2.
otra parte, el plan factible {x0 , 0, 0, ...}, tiene utilidad x0 . Luego ve(x) = x
para todo x.
Para probar que v(x) = x + k es una funcin que resuelve el problema funcional asociado al problema secuencial basta con substituir y verificar que
se cumple la ecuacin funcional para cualquier valor constante de k. Finalmente, es claro que no se cumple la condicin de transversalidad de la
proposicin 2. Para ver esto, obsrvese que para que sta se cumpliera deberamos de tener: lm t v(xt ) = 0 para toda dinmica factible {(xn , cn )}.
t
35
Solucin 7 (Ejercicio 9)Es fcil ver que la dinmica factible {(x0 , 0) , (x0 , 0) , (x0 , 0) , ...}
no es ptima desde el punto de vista del problema secuencial, pues da una
utilidad de cero. De otra parte, es fcil ver que esta dinmica factible satisface el Principio de Optimalidad de Bellman (equacin 2.1) para v(x) = x.
Adems, no se cumple la condicin de transversalidad de la proposicin 5, pues
lmt t v(xt ) = xt = x0 6= 0.
Ejercicio 10 Completar el paso que se dej como ejercicio en el ejemplo sobre
Control ptimo Lineal.
0
vj+1 (x) = sup x0 Qx + u0 Ru + 2x0 W u + (Ax + Bu) Pj (Ax + Bu)
u
u = (R + B 0 Pj B)
(B 0 Pj A + W 0 ) x
Reemplazando tenemos:
1
1
vj+1 (x) = x0 Qx + (R + B 0 Pj B) (B 0 Pj A + W 0 ) x R (R + B 0 Pj B) (B 0 Pj A + W 0 ) x +
1
2x0 W (R + B 0 Pj B) (B 0 Pj A + W 0 ) x +
0
1
Ax + B (R + B 0 Pj B) (B 0 Pj A + W 0 ) x
1
Pj Ax + B (R + B 0 Pj B) (B 0 Pj A + W 0 ) x
1 0
0
0
0 0
0
x (B Pj A + W ) (R + B Pj B)
1
R (R + B 0 Pj B) (B 0 Pj A + W 0 ) x +
1
2x0 W (R + B 0 Pj B) (B 0 Pj A + W 0 ) x +
1 0
0 0
0
0
0 0
0
x A + x (B Pj A + W ) (R + B Pj B)
B0
1
Pj Ax + B (R + B 0 Pj B) (B 0 Pj A + W 0 ) x
t (ln ct + ln ct1 )
t=o
2.
de Sargent [1987].
max
06 c6 Ak
37
1
F
G
+
=o
c Ak c
C
(1 + G)Ak
(1 + G + F )
(1 + G)Ak
E + F ln k + G ln c1 = ln
+ ln c1 + E +
(1 + G + F )
(1 + G)Ak
(1 + G)Ak
+F ln(Ak
) + G ln
(1 + G + F )
(1 + G + F )
Desarrollando algebricamente encontramos:
(1 + G)A
F A
E + F ln k + G ln c1 = (1 + G) ln
+ F ln
+
(1 + G + F )
(1 + G + F )
+E + (1 + G + F ) ln k + ln c1
Las constantes sern:
(1 + G)A
F A
+ F ln
+ E
1 + G + F
1 + G + F
F = (1 + G + F )
G =
= (1 + G) ln
1
(1 + )
E =
(1 + ) ln(A(1 )) +
ln(A)
1
1
1 +
F =
1
G =
Estas expresiones me permiten garantizar que efectivamente la funcin
arriba mencionada es la funcin valor. Para encontrar la funcin de poltica
solo tenemos que sustituir los valores de F y G para obtener:
c=
(1 + G)Ak
1+
1 + + 1
= ln(A)
=
Bibliografa
[1] Arrow, K. 1962. The Economic Implications of Learning by Doing. Review
of Economic Studies. Junio: 155-173.
[2] Bertsekas, D. Shreve, S. 1978. Stochastic Optimal Control: The Discrete
Time Case. New York, Academic Press.
[3] Chan-Lau, J. 1997. Business Cycle properties of Endogenous Growth Models. Tesis Doctoral. Universidad de Columbia.
[4] De La Croix, D. Michel, P. 2002. ATheory of Economic Growth. Cambridge
University Press.
[5] Hercovitz, Z: Sampson, M. 1991. Output Growth, the real wage, and employment fluctuations. American Economic Review, Vol 81, No. 5 pp. 1215-1237.
[6] Ljungvist, L. y T. Sargent. 2004. Recursive Macroeconomic Theory. MIT
Press.
[7] Lucas, R. 1988. On the mechanics of Economic Development . JMT 22,
pginas 3-42.
[8] Lutkepohl, H. 1993. Introduction to Multiple Time Series Analysis. SpringerVerlag.
[9] Magill, M y MQuinzii. 1994. Infinite Horizon Incomplete Markets. Econometrica. Vol 62, No. 4, 853-880.
[10] Sargent, T. 1987. Dynamic Macroeconomic Theory. Harvard University
Press.
[11] Stockey, N. Lucas, R y Prescott, E. 1989. Recursive Methods in Economic
Dynamics. Harvard University Press.
[12] Usawa, H. 1964. Optimal growth in a two sector of capital accumulation
. Review of Economic Studies 31:1-25.
39
40
BIBLIOGRAFA
Captulo 3
Ms Programacin
Dinmica y el Mtodo de
Lagrange
En esta parte, nos dedicaremos a estudiar algunas propiedades importantes
de la funcin valor las cuales nos permitirn usar los mtodos del clculo diferencial para resolver problemas de economa dinmica. Primero comenzaremos
con algunas propiedades geomtricas como la monotonicidad y concavidad de
la funcin valor, y luego pasaremos a la propiedad ms importante que se refiere a la diferenciabilidad de sta. Como se podr apreciar ms adelante, este
resultado es por s solo bastante importante, pero adems, aclara las relaciones
existentes entre el mtodo de programacin dinmica y los mtodos basados en
el lagrangiano. Para poder hacer esto, es necesario imponer ms restricciones
sobre el problema que las impuestas hasta el momento.
3.1.
u(x)
u(x )
u(x)
cin 7
T f (x0 ) > T f (x).
Ahora, como Cc (X) es un subespacio cerrado de Ca (X) entonces la funcin
valor v esta en Cc (X) y como T [v] = v entonces v es estrictamente creciente.
Anotacin 10 La proposicin anterior no se aplica al ejemplo de Brock y Mirman por dos razones. Primero, si X = R+ la funcin retorno instantneo no es
acotada en el grafo de y segundo, esta funcin no es estrictamente creciente
en x (pues de hecho, no depende de x). El primer problema es fcil de resolver
mediante una escogencia inteligente del espacio de estados (ms adelante volveremos sobre este punto). Para la segunda, obsrvese que s r(, u) : X R es
apenas creciente, entonces la conclusin del teorema se puede modificar por: la
funcin valor es creciente (y no necesariamente estrictamente creciente).
Estudiaremos ahora la concavidad de la funcin valor. El resultado principal
es, bajo ciertas condiciones, la funcin valor es estrictamente cncava y la correspondencia de poltica es una funcin contnua. En particular, resulta que bajo
estas mismas condiciones, existe un nico plan ptimo que resuelve el problema
secuencial.
Condicin 8 Sea X un conjunto convexo.
Condicin 9 Supongamos que las funciones r y g son estrictamente cncava y
cncava, respectivamente.
Condicin 10 La correspondencia es convexa:
1. (x) es un conjunto convexo para todo x X.
2. Dado [0, 1], x, x0 X y x 6= x0 , entonces si u (x) y u0 (x0 )
implica que u + (1 )u0 (x + (1 )x0 ).
Proposicin 6 (La funcin valor es estrictamente cncava): Bajo las condiciones 4, 5, 8, 9 y 10, la funcin valor es estrictamente cncava y la correspondencia de poltica es una funcin continua.
43
3.2.
El Mtodo de Lagrange
Existe una secuencia de precios {t }t=0,1,... en Rn que soportan la dinmica {(xt , ut )}t=0,1,... y
2.
t r(xt , ut ) <
t=0
lm t t (xt xt ) 0
45
t (xt , ut , t , t+1 )
r(xt , ut )
g (xt , ut )
=
+ t+1
t = 0
x
x
x
2.
r(xt , ut )
t (x , u , )
g (xt , ut )
=
+ t+1
=0
u
u
u
3.
xt+1 g (xt , ut ) = 0
Anotacin 12 En ocasiones, por analoga con el caso esttico, escribimos el
Lagrangiano del (PS) como:
=
X
X
t r(xt , ut ) +
t+1 (g (xt , ut ) xt+1 ) 0 (x0 ).
t=0
t=0
X
t r(xt , xt+1 )
(3.1)
{ut } t=0
:
(xt ), t = 0, 1, 2, ...
X dado.
X
sup t r(xt , ut )
(3.2)
{ut } t=0
xt+1
ut
x0
s.a
= ut
(xt ), t = 0, 1, 2, ...
X, dado.
(3.3)
r(xt , ut )
+ t+1 = 0
u
(3.4)
r xt , xt+1
r xt+1 , xt+2
+
= 0, t = 0, ...
xt+1
xt+1
Ahora si xt 0 y la funcin de retorno instantneo es creciente en xt
entonces t 0 por la ecuacin 3.3 y la condicin de tranversalidad del mtodo
de lagrange es por el corolario 1:
lm t
r(xt , ut )
xt = 0
x
(3.5)
3.3.
3.4.
r(x
t ,ut )
x
v(x
t)
x .
t u(ct )
t=0
s.a
:
kt+1 = f (kt ) + (1 )kt ct
0 6 ct 6 f (kt )
k0 dado.
Donde , (0, 1). Utilizaremos las siguientes hiptesis:
2.
3.
k0
Las hiptesis anteriores garantizan que existe un nico k, tal que f (k) = k.
A su vez, esto implica que existe un stock de capital mximo, kmax =
k + (1 )k a lo largo de cualquier dinmica factible. Por lo tanto, el
conjunto de las dinmicas factibles es un conjunto acotado y la funcin
de utilidad u, y de produccin f, son funciones acotadas sobre el conjunto
de dinmicas factibles (recordemos que estas funciones son por hiptesis,
continuas).
De lo anterior se sigue que el problema secuencial y el problema funcional
son equivalentes y por lo tanto, la funcin valor ve del problema secuencial
es la nica solucin al problema funcional:
v(k) =
06 c6 f (k)
Bajo estas hiptesis, estamos listos para demostrar el Teorema de Estabilidad Global (o Turnpike) para el modelo bsico de crecimiento.
Sea kt+1
= ge(kt ) la dinmica ptima para el problema anterior con k0 =
k0. Entonces:
a)
b)
c)
ge es estrictamente creciente;
49
v 0 (k) = v 0 (e
g (k))(f 0 (k) + (1 )), teorema diferenciabilidad
Para mostrar que g es estrictamente creciente (primera afirmacin), utilizaremos la anterior condicin de primer orden que se puede reescribir
como:
u0 (f (k) + (1 )k ge(k)) = v 0 (e
g (k))
luego,
u0 (f (k) + (1 )k ge(k)) = v 0 (e
g (k)),
f 0 (k ) = (
1
+ 1)
n0
k
v(k) = max u (1 y)f
+ v(y)
1y
y[0,1]
Sea ge la funcin que nos da la dinmica ptima. La condicin de primer orden
y el teorema de diferenciabilidad de la funcin valor implican que:
k
k
k
k
0
0
g (k)]
f
f
= v 0 [e
u (1 ge(k))f
1 ge(k)
1 ge(k)
1 ge(k)
1 ge(k)
(1)
k
k
v 0 (k) = u0 (1 ge(k))f
f0
(2)
1 ge(k)
1 ge(k)
Para encontrar los puntos estacionarios sustituimos k = ge(k ) en las ecuaciones anteriores y eliminamos v 0 :
k
k
k
0
+
=0
f
1 k
1 k
1 k
51
3.5.
Ejercicios y Soluciones
Figura 3.1:
53
Ahora,
T
X
t (r(xt , xt+1 ) r(xt , xt+1 ))
t=0
T
X
r(xt , xt+1 )
r(xt , xt+1 )
t(
(xt xt ) +
xt+1 xt+1
xt
xt+1
t=0
T
1
X
t(
t=0
r(xt , xt+1 )
r(xt , xt+2 )
+
) xt+1 xt+1 +
xt+1
xt+1
r(xT , xT +1 )
xT +1 xT +1
xt+1
r(x
T , xT +1 )
xT +1 xT +1
= T
xt+1
r(x
T +1 , xT +2 )
xT +1 xT +1
= T
xt
r(x
T +1 , xT +2 )
xT +1 = 0
T
xt
T
X
1
1
max t (akt bkt2 c(kt+1 kt )2 )
2
2
{kt }
t=0
k0 dado.
1.
2.
t u(ct )
t=0
s.a
At+1
A0
:
6 Rt (At ct )
> 0 dado.
1
1
;
1 c
> 0.
t u(ct )
t=0
s.a
At+1
A0
:
6 Rt (At ct )
> 0, dado,
1
donde: 0 < < 1, Rt1 < 1/, u(ct ) = 1
c1 ; > 0
La funcin de utilidad considerada en este ejercicio no cumple con todas las
condiciones que hemos impuesto al problema pues es no acotada. La condicin
sobre R, sin embargo, garantiza que la funcin valor que vamos a suponer ms
adelante es efectivamente la solucin a la ecuacin de Bellman.
Suponemos que:
v(A) = BA1
c
1
1 1
= m
ax
R
BA
+ B(A c)
c> 0
1
La condicin de primer orden es la siguiente:
c = B(1 )(A c) R1
Lo que implica:
c=
1+k
B=
1/
1 1/ R1
1
1/
A
c = 1 1/ R1
Ejercicio 15 Algoritmo de Howard (Ver Sargent [1987]): Hasta ahora, la principal forma como hemos utilizado el mtodo de la programacin dinmica ha sido
para encontrar la funcin valor, mediante iteraciones, y posteriormente, la funcin de poltica. El siguiente algortmo por el contrario, itera sobre la funcin de
poltica. La idea es comenzar con una funcin de poltica inicial; dicha funcin
de poltica se sustituye en la funcin de retorno. Haciendo la suma, obtenemos
55
la funcin valor asociada a esa funcin de poltica. Ahora, utilizamos esta funcin valor y la sustituimos en la parte derecha de la ecuacin de Bellman y
encontramos la funcin de poltica que resuelve el problema de maximizacin de
Bellman. Utilizando esta nueva funcin de poltica repetimos el proceso hasta
que las nuevas funciones de poltica sean prcticamente iguales.
La intucin es muy sencilla, el primer paso consiste en calcular la utilidad
cuando seguimos una funcon de politica arbitraria fija y que no podemos cambiar en ningun perodo. En el segundo paso lo que calculamos es el mejor control
en t = 0 dado que a partir de t = 1 estamos atados de las manos y debemos
utilizar la regla arbitraria con la que comenzamos. Al repetir el proceso varias
veces, lo que buscamos es que la funcin de poltica ptima en t se aprxime a
la funcin de poltica en t + 1.
1.
t ln ct
t=o
s.s :
ct + kt = Ak
k0 dado.
donde A > 0, 1 > > 0.
Suponga que la dinmica ptima del capital es: kt+1 = h0 (Akt ) para una
constante h0 (0, 1) . Aplicar el algoritmo de Howard para encontrar el
h0 que resuelve el anterior problema.
2.
Solucin 11 Primera parte. Sustituyendo en la funcin de retorno ct en trminos de la funcin de poltica sugerida, tenemos:
J0 (k0 ) =
X
t=0
t ln(Akt h0 Akt ) = B0 +
ln(k0 )
1
0
ma0 x ln(Ak k ) + B0 +
k
ln(k 0 )
1
X
t=o
t ln(Akt Akt )
Bibliografa
[1] Benveniste, L. Scheinkman, J. 1979. On the dierentiability of the value
function in dynamic models of economics. Econometrica 47: 727-732.
[2] De La Croix, D. Michel, P. 2002. A Theory of Economic Growth. Cambridge
University Press.
[3] Michel, P. 1990. Some Clarifications on the Transversality Conditions. Vol
58, No. 3, 705-723.
[4] Sargent, T. 1987. Dynamic Macroeconomic Theory. Harvard University
Press.
[5] Stokey, N. Lucas, R y Prescott, E. 1989. Recursive Methods in Economic
Dynamics. Harvard University Press.
[6] Bellman, R. 1957. Dynamic Programing. Princeton University Press.
57
58
BIBLIOGRAFA
Captulo 4
59
60
s.a
xt+1
ut
x0
:
= g(xt , ut , t+1 )
(xt )
X, dado,
61
exgenas que asumimos son independientes e idnticamente distribuidas y que
son la fuente de la incertidumbre de la economa.
Anotacin 17 Por el momento supondremos que el estado inicial x0 es un
valor especfico de X. Sin embargo, ms adelante vamos a generalizar al caso
en que la informacin inicial sobre los estados estada dada en la forma de una
distribucin inicial conocida.
Asociado al problema secuencial, tenemos el siguiente problema funcional:
v(xt ) =
sup
ut (xt )
62
X
t u (ct )
t=0
s.a
kt+1
ct , kt
:
= zt f (kt ) ct + (1 ) kt
0
k0 , z0 dados.
X
t log (ct )
t=0
s.a
kt+1
4 Por
:
= zt kt ct
k0 , dado.
63
Ahora, de manera informal, si utilizramos el mtodo iterativo para encontrar
la funcin valor, no es difcil sospechar, despus de un par de iteraciones, que
un buen candidato a ser la funcin valor es: v(k, z) = a + b log(k) + c log(z),
donde a, b y c son constantes que debemos determinar. Nos proponemos ahora
verificar que en efecto sta es la forma de la funcin valor. De la ecuacin
funcional, sabemos que debe cumplirse que:
a+b log(kt )+c log(zt ) =
sup
0ct zt kt
zt kt
1 + b
(1)(1)
(1)
1
(1)
1
1
ln(1 ) +
ln(), b =
yc=
son constantes que hacen nuestro
candidato a funcin valor satisfacer la ecuacin de Bellman. Luego, la funcin
de poltica es:
ct = (1 )zt kt
y la dinmica ptima del capital esta dada por:
kt+1 = zt kt
(4.1)
Z
Z
b
b
t+1 (b) = P zt
|
k
=
a
d
(a)
=
G(
)dt (a) ,
t
t
a
a
64
H (a, b) dt (a)
(4.2)
H (a, b) d (a) .
En este caso, decimos que la distribucin es invariante a la funcin de transicin H. La distribucin es nuestro anlogo estocstico al estado estacionario
en el caso determinstico.
Ejemplo 13 (Brock y Mirman [1972], el caso estocstico una vez ms) A diferencia del ejemplo anterior en donde nos preguntabamos por la distribucin invariante del stock de capital ahora, por simplicidad, calcularemos la distribucin
invariante
ln (zt )
de ln (kt ) converge
en algn sentido a una distribucin invariante N , 2 (obsrvese que
sera la distribucin invariante del logartmo del stock de capital. Anteriormente
encontramos que la dinmica ptima del capital es:
kt+1 = zt kt
Tomando logartmos, tenemos:
ln kt+1 = ln() + ln(zt ) + ln(kt ),
esto implica que:
ln kt+1 = (1 + ) ln() + ln(zt ) + ln(zt1 ) + 2 ln kt1 .
65
Si reemplazamos hacia atrs sucesivamente hasta llegar a la primera observacin de k, k0 , encontramos la siguiente expresin:
t
!
t
X
X
i
ln() +
i ln(zti ) + t+1 ln k0
(4.3)
ln kt+1 =
i=0
i=0
= V
" t
X
i=0
i ln(zti )
i=0
y como zt son variables aleatorias i.i.d, entonces cov [ln(zt ), ln(zti )] = 0 para
todo i 6= 0. Luego
t
!
X
2i 2
(4.5)
V [ln kt+1 ] =
i=0
1
t =
1 t+1 ln() + t+1 ln k0
1
1
2(t+1)
2t =
1
2
1 2
Ntese que si (0, 1) entonces:
lm t
lm 2t
ln()
1
2
1 2
66
s.a
xt+1
:
= Axt + But + t+1
x0 dado,
donde t es un proceso estocstico i.i.d con media cero y matriz de varianzacovarianza . El lector puede verificar fcilmente que la funcin valor de este
problema es:
v(x, ) = x0 P x +
tr(P ),
1
donde tr denota la traza de la matriz y P es la misma que tenamos en el
problema determinstico (i.e la solucin al problema de Riccati). De otra parte,
la funcin de poltica es:
ut = (R + B 0 P B)1 (B 0 P A + W 0 )xt = F xt
Luego, la dinmica ptima sta dada por: xt+1 = (A BF )xt + t+1 .Obsrvese
que la funcin de poltica es la misma funcin de poltica del caso determinstico.
Esta propiedad la llaman los economistas el principio de equivalencia determinstica y es una caracterstica muy particular de los problemas lineales-cuadrticos
y no una propiedad general de los problemas de optimizacin dinmica estocstica. El resultado depende de tres caractersticas de este ejemplo: La funcin
retorno es cuadrtica, la dinmica de transicin de las variables de estado es
lineal y E[t+1 | xt ] = 0
Ejemplo 15 El costo en bienestar de las fluctuaciones econmicas.7
El agente representativo:
"
#
X c1 1
t t
E
)
1
t=0
Supongamos que el consumo sigue el siguiente proceso estocstico:
1
ct = (1 + )(1 + )t exp( 2z )zt ,
2
donde ln(zt )N (0, 2z ). Luego E[ct ] = (1 + )(1 + )t .8 Obsrvese que el valor
esperado del consumo crece a un tasa y en ausencia de incertidumbre esta es la
6 Basado
en Sargent [1987].
en Lucas [1987].
8 Se sigue de: E[exp( 1 2 )z ] =
2 z t
U
1 2
1 t 2
1
exp( 2 z ) exp(t) 2 2 z exp( 2 ( z ) )dt,
2
U
1
1 t z 2
) ) = 1.
2
exp( 2 (
7 Basado
2 z
completando
cuadrados
obtenemos
67
tasa de crecimiento del consumo. La componente exp( 12 2z )zt es la responsable
de las fluctuaciones del consumo. De esta manera tenemos una interpretacin
clara de los parmetros y 2z . Ahora, definamos el bienestar de una economa
para parmetros dados , y 2z , como:
"
#
X t
U (ct )
W (, , 2z ) = E
t=0
u =
1 + 0
1+
E t=0
t 1
((1 + ) )
=0
1
(1 + )1 exp( 2z (1 ))E [exp((1 ) log zt )] = 1
2
1
1
(1 + )1 exp( 2z (1 )) exp( 2z (1 )2 ) = 1
2
2
1
(1 + )1 exp( 2z ((1 ) (1 )2 )) = 1
2
1
((1 + ) exp( 2z ))1 = 1
2
luego:
= exp
1 2
2 z
1'
1 2
2 z
Para tener una idea de las magnitudes, la siguiente tabla muestra los costos de
las fluctuaciones econmicas para varios grupos de pases y valores del parmetro
de aversin al riesgo . Los valores de las volatilidades son tomados de las
primeras notas. Utilizamos la volatilidad de la tasa de crecimiento del producto
como una proxy de la volatilidad de la componente cclica del consumo.
9 Ayuda:
d
t t = d
t=0
S
t=0
.
(1)2
68
z ( %)
Developing
4.13
Industrial
2.25
G7
2.11
1
0.09
0.025
0.02
5
0.45
0.1
0.1
10
0.9
0.2
0.2
Costo en bienestar en trminos de consumo anual ( %)
Los mayores valores que se observan corresponden al coeficiente ms alto de
aversin al riesgo. En este caso, lo que la tabla nos indica es que para los pases
en desarrollo el costo puede estar alrededor del 0.9 % y para los industrializados
alrededor del 0.2 %. Si bien estas magnitudes no resultan ser despreciables, s
son bastante inferiores a los efectos de cambiar de tasa de crecimiento, o a otros
costos como por ejemplo, el costo de un nivel de inflacin anticipado entre el
10 % y 30 %. Ms adelante calcularemos este costo para el caso colombiano.10
La versin estocstica del mtodo de Lagrange es una aplicacin de la frmula
de Benveniste y Scheinkman al caso estocstico. Informalmente:
" n
#
X v(g(xt , h(xt ), t+1 )) gk (xt , h(xt ), t+1 )
r (xt , h(xt ))
v (xt )
=
+ Et
,
xi
xi
xk
xi
k=1
Anotacin 20 Obsrvese que para todo i, k tal que xi , xk son variables de estat ), t+1 )
t ), t+1 )
= 0 y gk (xt ,h(x
=
do endgenas y exgenas respectivamente, gk (xt ,h(x
xi
uj
0 para todo j.
En lo que sigue ser til separar las variables de estado endgenas de las variables de estado exgenas. Denotemos por x las variables de estado endgenas y
por z las exgenas. Luego, si denotamos por gx las componentes de g que determinan la dinmica de de las variables endgenas, xt+1 = gx (xt , zt , t , t+1 ) y
por gz las componentes de g que determinan la dinmica de de las variables exgenas, zt+1 = gz (zt , t+1 ) entonces por la observacin anterior podemos escribir
las anteriores ecuaciones como:
"n
#
s
X
r (xt , zt , h(xt , zt ))
v (xt , zt )
v(xt+1 , zt+1 ) gx,k (xt , zt , h(xt , zt ), t+1 )
, i = 1, ...ns
=
+Et
xi
xi
xk
xi
k=1
1 0 El
69
y,
"n
#
s
X
v(xt+1 , zt+1 ) gx,k (xt , zt , h(xt , zt ), t+1 )
r (xt , zt , h(xt , zt ))
+Et
= 0, j = 1, ...m
uj
xk
uj
k=1
donde (xt+1 , zt+1 ) = (gx (xt , zt , h(xt , zt ), t+1 ), gz (zt , t+1 )).
v(x
t ,zt )
, i = 1, ...ns entonces estas dos ecuaciones se pueden
Sea i,t =
xi
reescribir como:
gx (xt , zt , ut , t+1 )
r(xt , zt , ut )
+ Et t+1
i,t = 0, i = 1, ...ns (4.6)
xi
xi
r(xt , zt , ut )
gx (xt , zt , ut , t+1 )
+ Et t+1
= 0, j = 1, ...m
uj
uj
(4.7)
(4.8)
r(x
x
t ,zt ,ut )
y sustituyendo en la segunda
Cuando g
xi = 0 entonces i,t =
xi
condicin de primer orden obtenemos las ecuaciones de Euler estocsticas.
Al igual que en el caso determinstico, una forma de obtener informalmente
estas ecuaciones es mediante la maximizacin del siguiente lagrangiano:
#
"
X
i
= Et
r(xt+i , zt+i , ut+i )
+Et
i=0
"
X
i=0
t+i+1 (gx (xt+i , zt+i , h(xt+i , zt+i ), t+i+1 ), gz (zt+i , t+i+1 )) xt+i+1 )
t (xt )
Si definimos t =
orden.
t
t
70
4.1.
Ejercicios y Soluciones
"
X
ln ct
t=0
s.a
ct + kt+1
:
6 zt kt
k0 , z0 dado,
= a0 (kt zt )
[0, 1] es una constante
(1)
"
X
ln (kt zt
t=0
kt+1 )
(2)
t=0
t=0
i=0
71
Como (0, 1) :
t1
X
1 t
ln kt = ln a0
i ln (zt1i )
+ t ln k0 +
1
i=0
ln ((1 a0 ))
+ ln(z0 ) +
1
!#
"
t1
X t
X
1 t
ln a0
i ln(zt1i )
E0
+ t ln(k0 ) +
1
t=0
i=0
ln(1 a0 )
ln(a0 )
ln k0
2
J0 () =
+
+
+
ln(z0 )
1
(1 ) (1 ) 1
1
Sean: A0 =
ln A(1a0 )
1
ln(Aa0 )
(1)(1) ;
A1 =
2
1
J0 () = A0 + A1 ln z0 +
entonces:
ln(k0 )
1
ln (kt+1 )
= m
ax ln (kt zt kt+1 ) + Et A0 + A1 ln (zt+1 ) +
kt+1
1
1
1
+
E
=0
t
kt zt kt+1
1 kt+1
72
1.
2.
= zt kt nt1 ct ,
k0 , z0 dados.
kt+1
0
0
k0
ln (z 0 )
6
6
=
=
c 6 zk n1 ,
n61
zk n1 c
ln (z) + 0
Iterando:
v0 (k, z) = 0
v1 (k, z) = M ax{ln(c) + (1 )ln(1 n)}
c,n
Como la funcin logaritmo es una funcin estrictamente creciente, la solucin ptima del consumo, c, est en el extremo, c = k n1 .
Adems, la solucin para la cantidad de trabajo, n, es interior; porque ln (1) =
0 y ln (0) = luego
v1 (k, z) =
=
06 n6 1
06 n6 1
=0
n
1n
y con un poco de lgebra se tiene:
n=
c = zk
(1 )
1
(1 )
1
73
luego:
(1 )
1
v1 (k, z) = ln (z) + ln (k) + (1 ) ln
+ (1 )ln
1
1
h
i
h
i
1
+ (1 ) ln 1
entonces:
Sea A1 = (1 ) ln (1)
1
v2 (k, z) =
M ax
{ln(c)+(1)ln(1n)+E [ln(z 0 ) + ln(k 0 ) + A1 ]}
1
0 6 c 6 zk n
06n61
M ax
{ln (c)+(1)ln(1n)+ln (z)+ln zk n1 c +A1 }
v2 (k, z) =
0 6 c 6 zk n1
06n61
Las soluciones son interiores y las condiciones de primer orden son:
[c] :
[n] :
=0
c zk n1 c
(1 )
+ 1
(1 ) zk n = 0
1n
zk n
c
n=
por lo tanto:
zk n1
1 +
(1 ) (1 + )
,
1 + (1 )
v (k, z) = aln(z) +
ln(k) + A
1
74
1 #
1
(1 )
A =
ln (1 )
1
1 + ( )
1
1 +
+
(1 ) ln
1
1 + ( )
"
1 #
1
(1 )
+
ln
1 (1 )
1 + ( )
(1 ) (1 )
a=
y la funcin de poltica es:
ct = 1 zt kt ,
donde:
1 = (1 )
(1 )
1 + ( )
kt+1 = zt kt n1
ct
t
luego:
kt+1 = 2 zt kt
donde:
2 =
(1 )
1 + ( )
Bibliografa
[1] Carvajal, A. y A. Riascos. 2005. Notas de Clase sobre Probabilidad.
http://www.webpondo.org/ariascos/Files/Probabilidad/ln2.pdf
[2] Epstein, L. y T. Wang. 1994. Intertemporal Asset Pricing under Knightian
Uncertainty. Econometrica, Vol 62, No 3, 283 - 322.
[3] Judge, G. Hill, R. Griths, W. Ltkepohl, H. Lee, T. 1988. Introduction
to the Theory and Practice of Econometrics. John Wiley & Sons. Segunda
edicin.
[4] King, R., Charles Plosser y Sergio Rebelo. 1988. Production Growth and
Business Cycles. I The Basic Neoclassical Model. Journal of Monetary Economics 21 (1988) 195-232.
[5] Long, John B.; Plosser,C. 1983. Real Business Cycles. Journal of Political
Economy, Vol 91, No 1. pp 39 - 69.
[6] Lucas, R. 1988. On the mechanics of Economic Development . JMT 22,
pginas 3-42.
[7] Sargent, T. 1987. Dynamic Macroeconomic Theory. Harvard University
Press.
[8] Stokey, N. Lucas, R y Prescott, E. 1989. Recursive Methods in Economic
Dynamics. Harvard University Press.
75
APUNTES DE CLASE
SEPTIEMBRE
2006
DE
CEDE
APUNTES DE CLASE
CEDE
ISSN 1909-4442
ISSN 1909-4442
9 771909 444004
01
CEDE
Centro de Estudios
sobre Desarrollo Econmico
Facultad de Economa
El CEDE tiene dentro de sus objetivos difundir los trabajos realizados por sus
investigadores en las reas mencionadas, as como otros trabajos de inters
acadmico y cientfico. Para el logro de tal propsito, se publica semestralmente la
revista Desarrollo y Sociedad, as como libros y la serie Documentos CEDE. Esta ltima
difunde entre la comunidad acadmica y la profesin los resultados de las principales
investigaciones desarrolladas en el CEDE. Por supuesto, las opiniones expresadas en
ellos son responsabilidad exclusiva de los autores.
1
SEPTIEMBRE
CEDE
DE
2006
Centro de Estudios
sobre Desarrollo Econmico
Facultad de Economa
Universidad de los Andes