Programacin Dinmica

La programacin dinmica surgi de manera

bastante independiente en los desarrollos de
Bellman en EEUU y de Pontriagin en la URSS en los
aos 50.

Surge como rama del problema de control
ptimo, y su fundamento matemtico es el calculo
variacional.

En 1966, George C. Nemhauser, expone los
principios de programacin dinmica de manera
sencilla en el libro "Introduction to Dynamic
Programming

Qu es la programacin Dinmica y cules son sus
fundamentos?

La programacin dinmica resuelve problemas de
optimizacin a multiples etapas y su fundamento es
el siguiente principio (Principio de Optimalidad
de Bellman):
"Una poltica optimal tiene la
propiedad de que cualesquiera que sean el
estado y decisiones iniciales ( es decir,
el control), las decisiones restantes
deben constituir una poltica optimal con
respecto al estado resultante de la
primera decisin."


Desarrollo

Una etapa de manera genrica se puede
representar como la siguiente caja:



En donde:
E
n
= Es la entrada a la etapa n
S
n
= la salida
d
n
= la decisin
g
n
= r
n
(E
n
,d
n
) el retorno.

Representando la serie tenemos:




etapa n
d
n
S
n
=t
n
(E
n
,d
n E
n
)
g
n
=r
n
(E
n
,d
n
)
Etapa 1 Etapa n-1
Etapa n Etapa N
S
E
n-
E
N
S
1
S
n-1
=E
n
S
n
=E
n+
g
n
g
n-1 g
1
d
n d
n-1
d
1
E
1
d
g
El objetivo es:

max(o min) g
1
g
2
g
n
g
N

S.A: E
1
= K
1

S
N
= K
N

E
n
= S
n-1

S
n
= t
n
(E
n
,d
n
)

Por lo que se tiene:
N
N-1
1
*
N N N N N d
*
N N N-1 N-1 N-1 N-1 N-1 d
N N-1 N-1 N-1
*
1 1 1 d
f (E ) Opt {r (E ,d )}
f (E ) Opt {r (E ,d ) f (E )
E t (E ,d )
:
:
:
f (E ) Opt {r (E
=
=
=
=
1 1 2 2
2 1 1 1
,d ) f (E )}
E t (E ,d )

=
}


Ejemplo 1:
2 2 2
1 2 3
1 2 3 1 2 3
Minimizar d d d
S.A. d d d k, k 0, d,d ,d 0
+ +
+ + > > >


Puesto en forma de programacin dinmica:
1 1 1 2 2 2 3 3 3
i i-1 i-1 i-1
1
3
2
i i
Minimizar: r (E ,d ) r (E ,d ) r (E ,d )
Sujeto a: E S t(E ,d ) ; i=2, 3
E k
S 0
en donde:
r =d

+ +
= =
>
>
i i i i
t(E ,d) =E d

Solucin:
3 3
2 2
2 2
* 2 2
3 3 3 3
d E
* 2 2
2 2 2 3
0 d E
2 2
2 2 2
0 d E
2
2 2 2
2 2 2
2
f (E ) min{d } E
f (E ) min {d E }
min {d (E d ) }
derivando la expresin entre llaves respecto a d e igualando a cero (0):
(E ,d )
2d 2(E d )( 1)
d

f o
o
=
s s
s s
= =
= +
= +
= +
1
1
2 2 2 2
* 2 2 2
2 2 2 2 2
* 2 2
1 1 1 2
k d
2 2
1 1 1
k d
1
1
4d 2E 0 d E
2
Asi, sustituyendo:
1 1 1
f (E ) E ( E ) E
4 4 2
1
f (E ) min{d E }
2
1
min{d (E d ) }
2
derivando la expresin entre llaves respecto a d e iguala
s
s
= = =
= + =
= +
= +
1 1 1
1 1 1
1
1 1 1 1
* 2 2 2
1 1 1 1 1
ndo a cero (0):
(E ,d )
2d (E d )( 1)
d
1
3d E 0 d E
3
Asi, sustituyendo:
1 1 2 1 1
f (E ) E ( E ) E k
9 2 3 3 3
f o
o
= +
= = =
= + = =


De esta manera se tiene que las decisiones y
entradas de la diversas etapas:
d
1
= (1/3)k E
2
= 2/3
d
2
= (1/3)k E
3
= 1/3
d
3
= (1/3)k


Ejemplo 2:

Supongamos que tenemos tres proyecto, en los
cuales invirtiendo cierta cantidad X tenemos un
retorno r
i
(i=1, 2, 3). La cantidad disponible a
invertir es 8.
Tabla 1
X
proyecto 0 1 2 3 4 5 6 7 8
r
1
1 0 10 20 28 45 55 64 72 80
r
2
2 0 12 21 30 47 59 66 74 81
r
3
3 0 11 22 32 40 60 7l 79 84


As que el problema es:
Maximizar r
1
+ r
2
+ r
3

S.A. q
1
+ q
2
+ q
3
8

Puesto en forma de programacin dinmica:

i
1 1 1 2 2 2 3 3 3
i i-1 i-1 i-1
1
3
i i i id
Maximizar: r (E ,d ) r (E ,d ) r (E ,d )
Sujeto a: E S t(E ,d ) ; i=2, 3
E k
S 0
en donde:
r (E ,d) =

M
+ +
= =
=
=
i i i i
t(E ,d) =E d


Solucin:
3 3
3 3
3 2
2 2
2 2
2 2
*
3 3 3E 3d
d E
*
2 2 3E 2d
0 d E
2d 3E d
0 d E
f (E ) max{M } M
f (E ) max {M M }
max {M M }
=
s s

s s
= =
= +
= +
2

Por lo que obtiene la siguiente tabla:
Tabla 2
E
2
0 1 2 3 4 5 6 7 8
d
2
0 1 1 1 4 0 1 1 2
E
3
0 0 1 2 0 5 5 6 6
*
2 2
f (E )
0 12 23 34 47 60 72 83 92

1
1 1
1
1 1
1
1 1
* *
1 1 2 2 1d
0 d E
*
2 1 1 1d
0 d E
*
2 1 1d
0 d E
f (E ) max {M f (E )}
max {M f (E d )}
max {M f (8 d )}
s s
s s
s s

= +
= +
= +


Combinando las tablas 1 y 2 obtenemos:
Tabla 3
d
1
0 1 2 3 4 5 6 7 8
E
2
8 7 6 5 4 3 2 1 0
1 1
f (d ) 92 93 92 88 92 89 87 83 80

Por lo cual se tiene:
d
1
= 1 E
2
= 7
d
2
= 1 E
3
= 6
d
3
= 6

con:
*
1 1
f (E )=93