Control Optimo

Estocastico
Lista 2
Michael Hurtado
October 6, 2016
0.1

Ejercicio 11.1

de HJB
Si satisface las condiciones del teorema 11.2.1 y si u existe, entonces la ecuacion
es la siguiente:

inf
u

(s, x )
(s, x ) 1 2 (s, x )
( ( x ) + u ) +
+u
+
s
x
2 x2
2

= 0;

(s, x ) R2

Reordenando:

inf
u

(s, x ) 1 2 (s, x )
(s, x )
+ es ( ( x )) +
+
(u ) + u
x
s
2 x2
2

El mnimo es alcanzado cuando:

2

u + 2(

es

(s,x )
x

)u

Alcanza su mnimo, y esto ocurre cuando:

1 (s, x )
u (s, x ) = es
2
x
En general, para un s = t y x = x cualquiera:

(s, x ) R2

1
u (t, x ) = et
2 x

= 0;

(s, x ) R2

0.2

Ejercicio 11.2

de difusion
consideramos valida para t s y le agregamos la condicion

En la ecuacion
inicial
Xs = x
Xt = Xts,x , t s, Si s = 0 entonces escribimos Xtx = Xt0,x . EscribiDenotamos la solucion
mos

J (s, x ) = E

s,x

et f 0 (u( Xt ), Xt )dt
sS
Z

= Es,x e(s+t) f 0 (u( Xs+t ), Xs+t )dt

0

s,x

= E e(s+t) f 0 u( Xss,x
+t ), Xs+t dt
0

donde E denota el esperado con respecto a la medida P0 y

J u (0, x ) = E et f 0 (u( Xtx ), Xtx ) dt

0

Luego
0 (s, x ) =

inf J u (s, x )
u

s,x

= inf E e(s+t) f 0 u( Xss,x
+t ), Xs+t dt
u

y como


 (s+t)
s,x 
f 0 (u( Xss,x
e
+t ), Xs+t )  dt <

Usando Fubini:

0 (s, x ) =

inf


s,x

e(s+t) E f 0 u( Xss,x
)
,
X
dt
+t
s+t

 de Borel acotada, junto con la propiedad de

Dado que e(s+t) f 0 (u, X ) es una funcion
Markov tenemos

 

s,x

s,x

m
E f 0 u( Xss,x
= E E f 0 u( Xss,x
+ t ), Xs + t
+ t ), Xs + t / F s
= E [ E [ f 0 (u( Xtx ), Xtx )]]
= E [ f 0 (u( Xtx ), Xtx )]
Por lo tanto
0 (s, x ) =

inf

e(s+t) E [ f 0 (u( Xtx ), Xtx )] dt

= e

inf

et E [ f 0 (u( Xtx ), Xtx )] dt

= es inf E et f 0 (u( Xtx ), Xtx ) dt

u

0.3

= e

= e

inf J (0, x )
u

(0, x )

Ejercicio 11.3

(a) Asumiendo que satisface las condiciones del Teorema 11.2.1 y que el control optimo

Markoviano u existe.
Luego
sup{ f v ( x ) + ( Lv )( x )} = 0
v

Pero
( x )
( x ) 1 2 2 2 2 ( x )
+ rvx
+ v x
t
x
2
x2
v
t
f (x) = e f0 (x)

Lv ( x ) =

Entonces

sup e
v

( x )
( x ) 1 2 2 2 2 ( x )
f0 (x) +
+ rvx
+ v x
t
x
2
x2

2 ( x )

=0

(1)

convexa
Si x2 > 0, como 2 x2 0 se tendra que f v ( x ) + ( Lv )( x ) es una funcion
en v, luego no tiene supremo. Por lo tanto:
como funcion
2 ( x )
0
x2
3

(b) Asumiendo que

2 ( x )
x2

< 0, derivamos f v ( x ) + ( Lv )( x ) respecto a v y obtenemos:

rx

( x )
2 ( x )
+ 2 vx2
=0
x
x2

De donde se obtiene:

r x(x)

u (t, x ) =

2 x

2 ( x )
x2

Ahora, reemplazaremos el control optimal Markoviano en (1) y se obtiene:

( x ) r2 ( x )2 1 r2 ( x )2
f0 (x) +

+
=0
2
t
2 2 2
2 x2
x2

Simplificando se tiene que:

 2


( x ) 2
2
2
t
r
2 e f 0 ( x ) +
=0
t
x
x2
(c) Si

2
x2

= 0, de (1) se tiene:


( x )
( x )
t
sup e f 0 ( x ) +
+ rvx
=0
t
x
v

Como es lineal con respecto a v, derivamos e igualamos a 0 para hallar el maximo.

rx

=0
x

Luego

=0
x

Entonces, reemplazamos (2) y la hipotesis

en (1), y se obtiene:

=0
t

et f 0 ( x ) +
(d) Se tiene que
(s, x ) = sup E

Z

s,x


f 0 ( Xt )dt

Luego
u

J (s, x ) = E

s,x

= E

s,x

= E

Z
s

Z


f 0 ( Xt )dt

(s+t)

f 0 ( Xs+t )dt

s,x
(s+t)
e
f 0 ( Xs+t )dt

Z

(2)

Entonces
u

J (0, x ) = E

Z
0

f 0 ( Xtx )dt

Z

Luego tenemos que:

u

(s, x ) = sup J (s, x ) = sup E

u

Como
E

Z
0

(s+t)

f 0 ( Xss,x
+t ) dt


 
 (s+t)
s,x 
f 0 ( Xs+t ) dt <
e

Usando Fubini, se tiene:

(s, x ) = sup



e(s+t) E f 0 ( Xss,x
+t ) dt

Dado que e(s+t) f 0 ( x ) es Borel acotada, y usando la propiedad Markoviana obtenemos:




 
s,x
m
E f 0 ( Xss,x
)
=
E
E
f
(
X
)
|
F
0
s
+t
s+t
= E [ E [ f 0 ( Xtx )]]
= E [ f 0 ( Xtx )]
Luego:
(s, x ) = sup
u

= e

= e

= e

Z
0



e(s+t) E f 0 ( Xss,x
+t ) dt
Z

et E [ f 0 ( Xtx )] dt
0
u
Z

s
t
x
= e sup E
e f 0 ( Xt )dt
sup

sup J (0, x )
u

(0, x )

Finalmente, si tomamos ( x ) = (0, x ), se tiene que

(t, x ) = et ( x )
De (b) se tiene


22 et f 0 ( x ) et ( x ) et 00 ( x ) r2 e2t 0 ( x )2 = 0
Simplificamos

22 ( f 0 ( x ) ( x )) 00 ( x ) r2 0 ( x )2 = 0
5

0.4

Ejercicio 11.6

(a) Dado que

(u)

Zt
(u)

(u)

= u(t) Zt

(u)

+ (1 u(t)) Zt

(u)

Donde u(t) Zt y (1 u(t)) Zt se refieren a las inversiones con riesgo y seguras,

mas riesgosa, la dinamica esta dada por:
respectivamente. Para la inversion
dX1 (t) = a1 X1 (t)dt + 1 X1 (t)dBt
De esto se tiene que
(u)

(u)

(u)

d(u(t) Zt ) = a1 (u(t) Zt )dt + 1 (u(t) Zt )dBt

segura
Analogamente, para la inversion
(u)
(u)
(u)
d[(1 u(t)) Zt ] = a0 [(1 u(t)) Zt ]dt + 0 [(1 u(t)) Zt ]d B t

Combinando las dos expresiones, se tiene

(u)

dZt

= Zt ( a1 u(t) + a0 (1 u(t)))dt + Zt (1 u(t)dBt + 0 (1 u(t))d B t )

"

(b) Definimos Yt =

s+t
(u)
Zt

Luego
"

dt
(u)
dZt

1
a1 u(t) + a0 (1 u(t))

dYt =

"


dt +

0
0
(u)
(u)
Zt 1 u(t) Zt 0 (1 u(t))

= b(t, Yt )dt + (t, Yt )d B t

Donde

b(t, Yt ) =

1
a1 u(t) + a0 (1 u(t))

"

0
0
(t, Yt ) =
(u)
(u)
Zt 1 u(t) Zt 0 (1 u(t))


Bt

Bt =
B t

#

dBt
d B t


Note que para y =

s
x

0
0
2
2
2
0 x [1 u (t) + 02 (1 u(t))2 ]

(t, y) (t, y) =

Zt = Zyu es una difusion

de Ito con
Como C02 (R R ), para cada u, la solucion
generador
( A)(y) = ( L(u) )(y)
Luego el generador de Yt es
L(u) (s, x ) =

1
2
+ x [ a1 u(t) + a0 (1 u(t))] + x2 [12 u2 (t) + 02 (1 u(t))2 ] 2
s
x 2
x

(c) De acuerdo al problema, tenemos que

G = {(s, x ) : s < t1 , x > 0}
y
T = inf{t > 0 : Yt
/ G}
Ademas, tenemos que
u

J (y) = J (s, x ) = E

s,x

Z
0

ur

f (r, Yr )dr + g( T, YT )[T <]

Vemos que f u 0 y g(s, x ) = x

HJB es
Luego la ecuacion
sup Av (y) = 0,

y G

(y) = g(s, x ) = x ,
(d) Consideremos

y G

F (v) = Lv (y) + f v (y)

Que puede ser expresado como:

F (v) =

1
2
+ x [ a1 v + a0 (1 v)] + x2 [12 v2 + 02 (1 v)2 ] 2
s
x 2
x

De acuerdo a las condiciones del teorema HJB(II), el valor maximo de F (v) es cero y
se alcanza en v = u (y). Para hallar u , hallamos el punto maximo de F (v).
Asumiendo
crticos.

2
x2

< 0, se tiene que F (v) es concava,

luego basta hallar sus puntos
F 0 ( v ) = x ( a1 a0 )

+ x2 [(12 + 02 )v 02 ] 2 = 0
x
x
7

De donde se tiene que:

2

x02 x2 ( a1 a0 ) x

v=u =

x (12 + 02 ) x2

Luego, v = u (y) nos da F (v) = 0, esto es

1
2
+ x [ a1 u (y) + a0 (1 u (y))] + x2 [12 u (y)2 + 02 (1 u (y))2 ] 2 = 0 (3)
s
x 2
x

Reemplazando el valor de u en

2
2

2
2
x 2 ( a1 a0 ) x 1 2 2 x0 x2 ( a1 a0 ) x

+ xa0
x ( a1 a0 ) 0 x
+ x 1
2
2
s
x
x 2
x ( 2 + 2 )
x ( 2 + 2 )
0 x2

2
2

2
x 2 ( a1 a0 ) x
2

+ 02 0 x
2 = 0,
2
x
x ( 2 + 2 )
1

0 x2

Para t < t1 , x > 0 y (t, x ) = x para t = t1 o x = 0.

Tomaremos
(s, x ) = f (s) x , con f (t1 ) = 1.
Como

2
x2

sugerida es concava

< 0, la funcion
en x. Luego
2
= f ( s ) ( 1 ) x 2
2
x

= f (s)x 1 ,
x
Reemplazamos y obtenemos

a1 a0 + 02 (1 )
u =
(12 + 02 )(1 )

el cual es constante.
Ahora, reemplazamos el valor de u en (3) y obtenemos
f 0 (s) = f (s)
Donde
=

1
(1 )[12 (u )2 + 02 (1 u )2 ] [ a1 u + a0 (1 u )]
2

Luego, como
(Yt1 ) = g(Yt1 )
se tiene
f ( t1 ) x = x
Entonces, f (t1 ) = 1, con lo cual f (s) = e(st1 )
Por lo tanto
(y) = (s, x ) = e(st1 ) x
8

0 x2

0.5

Ejercicio 11.7

De acuerdo al problema tenemos que

yt = (s + t, Xss,x
+ t ) t >0
G = {(s, x ) : x > 0, s < T }
G = in f {t > 0, yt
/ G } = T
Entonces


dyt
dy0

dt
=
dXt
 
s
=
x

De

1
ut


dt +

0
ut


dBt

(s, x ) = sup Es,x [( X ) ]

u R

Vemos que f v (y) = 0, y G y g(s, x ) = x

HJB asociada al problema de control optimo,

De la ecuacion
se tiene
sup{ f v (y) + ( Lv )(y)} = 0
v R


sup
v R

1 2
+ v + v2 2
s
x 2 x

y G

=0

Luego
F (v) =

1 2
+ v + v2 2
s
x 2 x

Si x2 < 0 entonces el maximo es alcanzado pues F (v) sera concava.

Luego necesaria0

mente F (u ) = 0, entonces

u =

x
2
x2

Tomamos de la siguiente forma

(s, x ) = f (s) x ,

0<<1

Reemplazando, tenemos
u =

f (s)x 1
x
=

2
1
f ( s ) ( 1) x
9

 HJB
Usando la ecuacion
x 1 f (s)
1
f 0 ( s ) x 2
=0
2 ( 1 ) x 2 f ( s )
De donde se tiene que
1
f (s)
f 0 ( s ) x + 2
=0
2 ( 1)
terminal
Con la condicion

y G

( y ) = g ( y ),
Luego

( T, x ) = f ( T ) x = g( T, x ) = x
Entonces
f (T ) = 1
Resolviendo
1
f (s)
f 0 ( s ) x + 2
2 ( 1)
f (T ) = 1
Se tiene que
f (t) = e

2 ( T t )
2(1 )

tT

(s, x ) = f (s) x satisface las condiciones de verificacion,

es la funcion

Como la funcion
que buscabamos.
el control optimo

Para esa funcion

es
u =

0.6

x
(1 )

Ejercicio 11.9

(a) Se definen las difusiones de Ito Zt e Yt por:


 



dt
1
0
dYt =
=
dt +
dBt , y0 = (s, x )
dXt
aut
ut



1
0
dYt

aut
dZt =
=
dt + 1 dBt , z0 = (y, w)
dWt
0
es xt2
Si y = (s, x ), entonces
(y) = inf E

Z

10

(s+t)

Xt2 dt


Definimos f (s, x ) y( Lv )(s, x ) a partir del problema de control optimo:
f (s, x ) = et x2

1 2
( Lv )(s, x ) =
+ av
+
s
x
2 x2
Usando el teorema 11.2.1
inf{ f v (y) + ( Lv )(y)} = 0
v

HJB sera
Luego, la ecuacion


1 2

s 2
inf
e x +
+ av
+
=0
s
x
2 x2
v[1,1]

0.7

Ejercicio 11.10

(a) Sea 1 (s, x ) = 1 es x, (s, x ) y 2 (s, x ) = 1 es x,

Luego, basta probar que

(s, x ).

J u (s, x ) i (s, x ) para i = 1, 2

Para 1 (s, x ) se tiene
f u (s, x ) + ( Lu ) (s, x ) = es f 0 ( x ) +

n
n

+ bi (s, x, u)
+ aij (s, x, u)
s i=1
xi i,j=1
xi x j

luego, dado f 0 ( x ) = x2 , b (s, x, u) = 0,

que

= 1 es , xi x
= 0, se tiene
= es x, x
i
j

J u (s, x ) = f u (s, x ) + ( Lu ) (s, x )

= es x2 es x
= et x (1 x )
entonces J u (s, x ) = f u (s, x ) + ( Lu ) (s, x ) 0, para 0 x 1, y por el teorema
HJB(II) se tiene que
J u (s, x ) 1 (s, x )
Para el caso de 2 (s, x ) se tiene
f0 (x)
b (s, x, u)

xi
2

xi x j

x
=
= 0

= es x
1 s 1/2
e x
2
1
= es x 3/2
4

11

Entonces
J u (s, x ) = f u (s, x ) + ( Lu ) (s, x )

1
= es x es x es x 3/2
4
1
= es x 3/2
4
entonces J u (s, x ) = f u (s, x ) + ( Lu ) (s, x ) 0, para x > 1, y por el teorema HJB(II)
se tiene que
J u (s, x ) 2 (s, x )
Entonces

J u (s, x ) (s, x )

12