Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Control Optimo DIAPOSITIVAS PDF
Control Optimo DIAPOSITIVAS PDF
1
5 Introducción al control óptimo
2
Estados
D I
7 3 G 2 3
B Z
4 8 J 1
2 5 E
A 3 4
4 2
2
C 6 5 H 6
F K
3
Decisión etapa 1: ¿transformar la materia prima A en el estado
intermedio B a un costo de $2 o en el estado intermedio C a
un costo de $4? En otros términos, ¿se elige el arco AB o AC?
4
En tiempo continuo y con continuo de estados:
Estado
0 T
t V1
y2(t) Z
A
t
Funcional = correspondencia de una curva a los reales.
Notación: V [ y (t )] o V [ y ] o V {y}
6
Notar: La funcional no es una función de función. No está
definido un mapa del tipo t → y → V . El valor V sólo está
definido en relación al sendero completo de y. Es el objeto y el
que recibe un valor.
7
Problema de horizonte temporal dado:
Z1
Z2
A
Z3
8
(b) Problema de estado final dado = problema de línea final
horizontal. Se fija el estado final, no el horizonte.
T1 T2 T3
9
(c) Problema de curva final.
Z = φ (T )
Z1
Z2
Z3
A
T1 T2 T3
Condición de transversalidad: los problemas de punto final
variable requieren una condición final o condición de
transversalidad que permiten seleccionar el sendero óptimo.
10
5.1.3 La funcional objetivo
El valor del sendero en el primer ejemplo con 5 etapas se
obtuvo sumando el costo de cada etapa representada por un
arco en el diagrama. ¿Cómo se representa el costo asociado al
arco en un caso de tiempo y estado continuos?
11
T
V [ y ] = ∫ F [t , y (t ), y ' (t )]dt
0
Y = F (K , L )
C = Y − I = Y − K'
U (C )
T T
El objetivo es maximizar: ∫ U (C )dt = ∫ U (F (K , L ) − K ')dt
0 0
La “función” de utilidad intertemporal es en realidad una
funcional que mapea del sendero de capital y trabajo a la
utilidad.
12
5.1.4 Diversas aproximaciones a la
optimización dinámica
a) Cálculo de variaciones
b) Control óptimo
c) Programación dinámica
13
b) Control óptimo (Pontryagin, 1950s y 1960s)
14
El sendero de la variable de estado debe quedar totalmente
determinado a partir de su valor inicial (y(0)) y de la variable
de control. Es decir que debe existir una ecuación de
movimiento o transición:
= f [t , y (t ), u (t )]
dy
dt
15
El problema general de control óptimo tiene la forma:
T
Maximizar V [u ] = ∫ F [t , y (t ), u (t )]dt
0
sujeto a : y ' (t ) = f [t , y (t ), u (t )]
u (t ) ∈U para 0 ≤ t ≤ T
y (0 ) = A ; y (T ) = Z ; A, Z , T dados
16
b) Programación dinámica (Bellman 1957)
17
Un ejemplo:
Estados
D I
7 3 G 2 3
B Z
4 8 J 1
2 5 E
A 3 4
4 2
2
C 6 5 H 6
F K
18
Descomponemos el problema de encontrar el procedimiento
(sendero) menos costoso para transformar A en Z en
problemas más chicos: ¿cuál es el procedimiento menos
costoso para transformar i=A, B, ..., Z en Z?
V * (I ) = 3 ; V * ( J ) = 1 ; V * (K ) = 2
19
V * (G ) = min{valor arco GI + V * (I ) ; valor arco GJ + V * ( J )}
= min{2 + 3 ; 8 + 1} = 5
20
Principio de optimalidad de Bellman: si y * [0, T ] es el
sendero óptimo entre 0 y T, entonces y* [t , T ], 0 ≤ t ≤ T , es el
sendero óptimo entre t y T.
21
5.2 Control óptimo y el principio del
máximo
(Chiang 2000, capítulos 7 y 8)
sujeto a : y& (t ) = f (t , y (t ), u (t ))
u (t ) ∈U para 0 ≤ t ≤ T
y (0 ) = A ; y (T ) libre ; A, T dados
(1)
22
Supuestos:
1) F() y f() son continuas.
2) F() y f() tienen primeras derivadas parciales respecto a t y y
continuas. Pueden no tener derivada continua en u.
3) u(t) puede no ser continua, sólo se requiere que sea
continua por tramos.
4) y(t) es continua, pero su derivada sólo tiene que ser
diferenciable por tramos (y(t) admite puntos angulosos).
23
u
t
y
0 t1 T t
24
El principio del máximo
H (t , y (t ), u (t ), λ (t )) ≡ F (t , y (t ), u (t )) + λ (t ) f (t , y (t ), u (t ))
λ (t ) es la variable de coestado.
25
La variable de coestado es similar a un multiplicador de
Lagrange, pero variable en el tiempo.
Max H (t , y, u , λ ) ∀t ∈ [0, T ]
u
∂H
y& = Ecuación de movimiento de y
∂λ
∂H
λ=−
& Ecuación de movimiento de λ
∂y
λ (T ) = 0 Condición de transversalidad
26
Notas:
Ejemplo: u ∈ U = [a, b]
a b u 27
c) Algunos ejemplos simples
Ejemplo 1:
Max V = ∫ − (1 + u 2 ) dt
T
12
sujeto a : y& = u
y (0 ) = A ; y (T ) libre ; A, T dados
H = −(1 + u )
2 12
+ λu
28
Notar:
(i) u no está acotada, así que la solución tiene que ser interior.
(ii) El Hamiltoniano es cóncavo.
∂H
= − (1 + u ) (2u ) + λ = 0
1 2 −1 2
∂u 2
==> u (t ) = λ (1 − λ )
2 −1 2
∂H
El principio del máximo establece que: λ& = −
∂y
29
En este ejemplo: ∂H ∂y = 0 ⇒ λ (t ) = cte
λ* (t ) = 0 Î u * (t ) = 0
De la ecuación de movimiento:
y& = u = 0 ⇒ y (t ) = cte
y * (t ) = A ; t ∈ [0, T ]
30
y
0 T t
31
d) Fundamentos del principio del máximo
(iii) Punto inicial dado, tiempo final dado, valor final del
estado libre (problema de línea final vertical).
T
Max V = ∫ F (t , y, u )dt
u
0
sujeto a : y& = f (t , y, u )
y (0 ) = y0 dado
32
Derivamos (informalmente) el principio del máximo en cuatro
pasos:
T
Por lo tanto, se cumple que: ∫ λ (t )[ f (t , y, u ) − y& ]dt = 0
0
33
Por construcción: V2 = V
Definimos el Hamiltoniano:
H (t , y, u, λ ) = F (t , y, u ) + λ (t ) f (t , y, u )
λ (t ) y& = [λ (t ) y (t )]'−λ&y (t )
Integrando:
T T
− ∫ λ (t ) y& dt = −[λ (t ) y (t )] T0 + ∫ λ&y (t )dt
0 0
T
= −λ (T ) y (T ) + λ (0) y (0 ) + ∫ λ&y (t )dt
0
Con lo cual la nueva funcional objetivo es:
35
V2 = ∫ [H (t , y, u , λ ) + y (t )λ& ]dt − λ (T ) y (T )+ λ (0 ) y (0 )
T
14243 14243
1444424444
0
3 Ω 2 Ω 3
Ω1
(2)
36
∂H
y& = ∀t ∈ [0, T ]
∂λ
u (t ) = u * (t ) + εp(t )
y (t ) = y * (t ) + ε q(t )
dT dy
Î = ΔT ; T = ΔyT
dε dε
(3)
Podemos entonces escribir la funcional de valor como función
de ε :
T (ε )
V2 = ∫ [H (t , y ]
+ εq(t ), u * + εp(t ), λ ) + λ& ( y * + εq(t )) dt
*
−λ (T ) y (T ) + λ (0 ) y (0)
38
T (ε )
dV2 ⎡ ∂H ∂H ⎤
dε
= ∫0 ⎢⎣ ∂y q(t ) + ∂u p(t ) + λq(t )⎥⎦ dt
&
dλ (T ) dT
+[H + λ&y ] t =T
dT dy
− λ (T ) T − yT
dε dε dT dε
Usando (3):
T (ε )
dV2 ⎡ ∂H ∂H ⎤
= ∫ ⎢ q(t ) + p(t ) + λq(t )⎥ dt
&
dε 0 ⎣
∂y ∂u ⎦
+[H + λ&y ] t =T ΔT − λ (T )ΔyT − yT λ& (T )ΔT
39
T (ε )
dV2 ⎡⎛ ∂H & ⎞ ∂H ⎤
dε
= ∫0 ⎢⎣⎜⎝ ∂y + λ ⎟⎠q(t ) + ∂u p(t )⎥⎦ dt
+[H ] t =T ΔT − λ (T )ΔyT = 0
(4)
Esta condición tiene tres sumandos que dependen de tres cosas
independientes y arbitrarias:
Sumando 1: las curvas perturbadoras p(t ), q(t )
Sumando 2: ΔT
Sumando 3: ΔyT
λ (T ) = 0
41
Diferentes condiciones finales
[H ]t =T =0
42
(iii) Curva final
[H ] t =T − λ (T )φ ' (T ) = 0
43
(iv) Línea final vertical truncada
yT ≥ ymin
λ (T ) ≥ 0 ; yT ≥ ymin ; ( yT − ymin )λ (T ) = 0
Es decir que tenemos una condición de holgura tipo Kuhn-
Tucker.
44
(v) Línea final horizontal truncada
45
5.3 Una interpretación económica del
principio del máximo
• Consideramos una empresa que maximiza beneficios en
[
el intervalo 0, T .]
• Controla una variable u (publicidad, política de
inventarios, etc.) que incide en (i) utilidades y (ii) tasa de
acumulación de capital.
46
T
Maximizar Π = ∫ π (t , K , u )dt
0
sujeto a : K& = f (t , K , u )
K (0 ) = K 0 ; K (T ) libre ; K 0 , T dados
47
La funcional objetivo para el problema de la empresa y
evaluada en los senderos óptimos es:
[ ]
Π * = ∫ H (t , K * , u * , λ* ) + K * (t )λ&* dt
T
−λ* (T )K * (T ) + λ* (0 )K (0 )
∂Π * ∂Π *
Î = λ* (0 ) ; = −λ* (T )
∂K (0 ) ∂K (T )
Por lo tanto:
48
(ii) λ* (T ) es el precio sombra de K*(T) = disminución (signo
menos) marginal de beneficios que se obtendría (en el óptimo)
con un aumento infinitesimal del capital final.
H = π (t , K , u ) + λ (t ) f (t , K , u )
∂H ∂π ∂f
= + λ (t ) = 0
∂u ∂u ∂u
∂π ∂f
Î = −λ (t )
∂u ∂u
50
Es decir que en el sendero óptimo la empresa iguala cualquier
aumento marginal del beneficio actual con una disminución
marginal del beneficio futuro.
51
5.3.4 Condiciones de transversalidad
Consideremos tres variantes del problema de la empresa:
λ (T ) = 0
52
La condición de transversalidad es:
λ (T ) ≥ 0 ; [K * (T ) − K min ]λ (T ) = 0
[H ]t =T =0
53
5.4 El Hamiltoniano en valor corriente
En muchas aplicaciones económicas tendremos un factor de
descuento involucrado:
F (t , y, u ) = G (t , y, u )e − ρt
sujeto a : y& = f (t , y, u )
condiciones inicial , final , etc.
H c = He ρt = G (t , y, u ) + mf (t , y, u )
m = λe ρt
Max H c
u
(5)
55
∂H c
y& =
∂m
(6)
∂H c
m& = − + ρm
∂y
(7)
Condiciones de transversalidad si el problema tiene:
m(T )e − ρT = 0
[H c ]t =T e − ρT =0
56
5.5 Condiciones suficientes
Hemos visto hasta ahora condiciones necesarias del óptimo.
Enunciamos ahora algunas condiciones suficientes.
sujeto a : y& = f (t , y, u )
y (0 ) = y0 ; y0 , T dados
(8)
57
Las condiciones necesarias del principio del máximo son
también suficientes para un máximo global de V si:
H 0 (t , y, λ ) = F (t , y, u * ) + λf (t , y, u * )
58
Donde u* es el sendero óptimo de la variable de control, pero
y no es y* Î H0 no es el Hamiltoniano evaluado en el óptimo.
59
5.6.1 Convergencia de la funcional objetivo
La funcional objetivo tiene la forma:
∞
V = ∫ F (t , y, u )dt
0
61
Para derivar el principio del máximo en horizonte finito
usamos la ecuación (4):
dV2
T
⎡⎛ ∂H & ⎞ ∂H ⎤
dε
= ∫0 ⎢⎣⎜⎝ ∂y + λ ⎟⎠q(t ) + ∂u p(t )⎥⎦ dt
+[H ] t =T ΔT − λ (T )ΔyT = 0
∞
dV2 ⎡⎛ ∂H & ⎞ ∂H ⎤
dε
= ∫0 ⎢⎣⎜⎝ ∂y + λ ⎟⎠q(t ) + ∂u p(t )⎥⎦ dt
144444244444 3
Ω1
62
Para satisfacer esta condición, los tres términos deben anularse
individualmente (dado que las perturbaciones son arbitrarias).
Las condiciones de transversalidad surgen de la anulación de
los últimos dos términos.
Con horizonte infinito:
ΔT ≠ 0 ⇒ Ω 2 = 0 ⇔ lim H = 0
t →∞
lim [H c ]t e − ρt = 0
t →∞
(9)
Acemoglu (2009, teorema 7.13) muestra que, bajo ciertas
condiciones adicionales, la condición de que el valor presente
del Hamiltoniano tienda a cero en el infinito implica que, en el
sendero óptimo, se cumplirá también que:
lim e − ρt m* (t ) y * (t ) = 0
t →∞
64
(10)
2) Si el estado final es fijo:
lim Δyt = 0 ⇒ Ω3 = 0
t →∞
65
En un problema de valor corriente, esta condición de
transversalidad sería:
lim m(t )e − ρt = 0
t →∞
66
5.6.3 Condiciones suficientes en problemas
de valor descontado con horizonte
infinito
Acemoglu (2009, teorema 7.14) propone condiciones
suficientes que “en esencia” incluyen:
H c0 (t , y, m ) = G (t , y, u * ) + mf (t , y, u * )
(11)
Es decir que H c0 debe ser cóncavo en y.
67
(ii) todos los senderos factibles de la variable de estado
verifican la siguiente condición:
[ ]
lim e − ρt m* (t ) y (t ) ≥ 0
t →∞
(12)
Notar:
(i) La variable de coestado está evaluada en el sendero óptimo.
(ii) Esta condición suficiente es diferente de la condición
necesaria para el óptimo (10) que reproduzco aquí:
lim e − ρt m* (t ) y * (t ) = 0
t →∞
69