Prof. Ing. Claudio L. R.

Sturla
PROGRAMACIN DINMICA
PARTE III
As, si compramos una mquina nueva cuando el tiempo es 2, deberamos conservarla hasta cuando el
tiempo sea 5 y venderla en ese momento.
Si la mquina nueva se comprara cuando el tiempo es 1, la podramos vender en el tiempo 2, 3 4.
Entonces
( )
( )
( )
( )

'

+ +
+ +
+ +

) 4 cuando (Venderla UM * 020 . 1 260 760 4

) 3 cuando (Venderla UM 060 . 1 520 540 3
) 2 cuando (Venderla UM * 020 . 1 760 260 2
mn 1
14
13
12
t g c
t g c
t g c
g
As, si se compra una nueva mquina cuando el tiempo es 1, se puede vender cuando el tiempo es 2 o
cuando es 4.
La mquina nueva que se compr cuando el tiempo es 0 se puede vender cuando el tiempo es 1, 2 3.
Entonces
( )
( )
( )
( )

'

+ +
+ +
+ +

) 3 cuando (Venderla UM * 280 . 1 520 760 3

) 2 cuando (Venderla UM 300 . 1 760 540 2
) 1 cuando (Venderla UM * 280 . 1 020 . 1 260 1
mn 0
03
02
01
t g c
t g c
t g c
g
La nueva mquina que se compr cuando el tiempo es 0 se debe reemplazar cuando el tiempo es 1 3.
En forma arbitraria decidamos que la vamos a reemplazar cuando el tiempo es 1.
Entonces la nueva mquina que compramos cuando el tiempo es 1 se puede vender cuando el tiempo es
2 o 4.
De nuevo, elegimos en forma arbitraria y reemplacmosla en el tiempo 2.
En ese caso, la mquina que se compr en el tiempo 2 se debe conservar hasta el tiempo 5, cuando se
vende a su valor de salvamento.
Con esta poltica de reemplazo incurriremos en un costo neto igual a ( ) UM 280 . 1 0 g .
El lector debe comprobar que tambin son ptimas las siguientes polticas: (1) venderlas cuando los
tiempos sean 1, 4 y 5, y (2) venderlas cuando los tiempos son 3, 4 y 5.
Hemos supuesto que todos los costos permanecen estables con respecto al tiempo.
Esta hiptesis slo se hizo para simplificar el clculo de las
tx
c
Si hubiramos modificado esa hiptesis, la nica complicacin habra sido que las
tx
c
habran sido ms
complicadas para calcularse.
Tambin observe que si se usa un horizonte de planificacin corto, la poltica ptima de reemplazo
puede ser muy sensible a dicha duracin.
Por lo tanto, se pueden obtener resultados ms significativos usando un horizonte de planificacin ms
distante.
Representacin en Forma de Red del Problema de Reemplazo de Equipo
El lector puede comprobar que la solucin del Ejemplo 7 es equivalente a encontrar el trayecto ms
corto del nodo 0 al nodo 5 en la red de la Figura 9.
La longitud del arco que une los nodos i y j es
ij
c
prog_dinamica-3.doc
51
Prof. Ing. Claudio L. R. Sturla
Figura 9
Representacin en red del problema del reemplazo de equipo
El problema de la Asignacin de Dinero a Diferentes reas para la
Comercializacin
Sean cuatro regiones econmicas I, II, III y IV donde se va a realizar una promocin de ventas.
Se dispone de una suma A para invertirla en las cuatro zonas.
Las ganancias por regin se suponen conocidas y son:
Ganancia
Inversin I II III IV
0 0 0 0 0
1 0,28 0,25 0,15 0,2
2 0,45 0,41 0,25 0,33
3 0,65 0,55 0,4 0,42
4 0,78 0,65 0,5 0,48
5 0,9 0,75 0,62 0,53
6 1,02 0,8 0,73 0,56
7 1,13 0,85 0,82 0,58
8 1,23 0,88 0,9 0,6
9 1,32 0,9 0,96 0,6
10 1,38 0,9 1 0,6
Suponemos A = 100 millones de UM, distribuidos en 10 unidades de 10 millones de UM cada una.
Una posibilidad es invertir:
3 en I, 1 en II, 5 en III y 1 en IV
0,65 + 0,25 + 0,62 +0,2 = 1,72
Existen 286 polticas posibles.
Llamaremos
4 3 2 1
y , , x x x x
a las inversiones en decenas de millones de UM en las zonas I, II, III y IV.
Llamaremos
( ) ( ) ( ) ( )
4 3 2 1
y , , x v x v x v x v
a las ganancias en las zonas correspondientes y
( )
4 3 2 1
, , , x x x x F
a
la ganancia total; con la restriccin
10
4 3 2 1
+ + + x x x x
i
x
toma valores enteros solamente entre 0 y 10
Hacemos:
prog_dinamica-3.doc
52
Prof. Ing. Claudio L. R. Sturla
A x u
u x u
u x x
+
+
+
4 2
2 3 1
1 2 1
Se puede escribir:
( ) ( ) ( ) ( ) ( )
2 4 1 2 3 1 1 2 1 1 2 1 1
, , , u A v u u v x u v x v A u u x F + + +
Comenzamos calculando para las dos primeras zonas juntas.
( ) ( ) ( ) [ ]
1 1 2 1 1
, , 2 , 1 , 0
1 2 , 1
1 1
mx x u v x v u f
u x
+

Que aplicada en forma sistemtica da:
( ) ( ) ( ) 0 0 0 0 0 0
2 1 1 2 , 1
+ + v v u f
ptima 0, 0
( ) ( ) ( ) ( ) ( ) [ ] ( ) 28 , 0 0 28 , 0 ; 25 , 0 0 mx 0 1 ; 1 0 mx 1
2 1 2 1 1 2 , 1
+ + + + v v v v u f
ptima 1, 0
( ) ( ) ( ) ( ) ( ) ( ) ( ) [ ] ( ) 53 , 0 0 45 , 0 ; 28 , 0 25 , 0 ; 41 , 0 0 mx 0 2 ; 1 1 ; 2 0 mx 2
2 1 2 1 2 1 1 2 , 1
+ + + + + + v v v v v v u f
ptima 1, 1
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) [ ]
( ) 7 , 0 65 , 0 0 ; 25 , 0 45 , 0 ; 41 , 0 28 , 0 ; 55 , 0 0
0 3 ; 1 2 ; 2 1 ; 3 0 3
2 1 2 1 2 1 2 1 1 2 , 1
+ + + +
+ + + +
mx
v v v v v v v v mx u f
ptima 2, 1
Y as siguiendo.
Los resultados se muestran en la tabla siguiente:
1 2 1
u x x ( )
1 1
x v ( )
2 2
x v ( )
1 2 , 1
u f Subpolticas ptimas para I y II
0 0 0 0 (0, 0)
1 0,28 0,25 0,28 (1, 0)
2 0,45 0,41 0,53 (1, 1)
3 0,65 0,55 0,7 (2, 1)
4 0,78 0,65 0,9 (3, 1)
5 0,9 0,75 1,06 (3, 2)
6 1,02 0,8 1,2 (3, 3)
7 1,13 0,85 1,33 (4, 3)
8 1,23 0,88 1,45 (5, 3)
9 1,32 0,9 1,57 (6, 3)
10 1,38 0,9 1,68 (7, 3)
Ntese que las columnas segunda y tercera son simple copia de los rendimientos en las reas I y II.
Ahora hacemos:
( ) ( ) ( ) [ ]
1 2 3 1 2 , 1
, , 1 , 0
2 3 , 2 , 1
2 1
mx u u v u f u f
u u
+

Por ejemplo:
prog_dinamica-3.doc
53
Prof. Ing. Claudio L. R. Sturla
( ) ( ) ( ) [ ] 0 0 0 0 0 mx 0
3 2 , 1
0
2 3 , 2 , 1
1
+ +

v f u f
u
ptima 0, 0, 0
( ) ( ) ( ) ( ) ( ) [ ]
( ) 28 , 0 0 28 , 0 ; 15 , 0 0 mx
0 1 ; 1 0 mx 1
3 2 , 1 3 2 , 1
1 , 0
2 3 , 2 , 1
1
+ +
+ +

v f v f u f
u
ptima 1, 0, 0
Y as siguiendo.
Los clculos completos se muestran en la tabla siguiente:
3 1
x u ( )
1 2 , 1
u f ( )
3 3
x v ( )
2 3 , 2 , 1
u f Subpolticas ptimas para I, II y III
0 0 0 0 (0, 0, 0)
1 0,28 0,15 0,28 (1, 0, 0)
2 0,53 0,25 0,53 (1, 1, 0)
3 0,7 0,4 0,7 (2, 1, 0)
4 0,9 0,5 0,9 (3, 1, 0)
5 1,06 0,62 1,06 (3, 2, 0)
6 1,2 0,73 1,21 (3, 2, 1)
7 1,33 0,82 1,35 (3, 2, 2)
8 1,45 0,9 1,48 (4, 3, 1)
9 1,57 0,96 1,6 (5, 3 1) (3, 3, 3)
10 1,68 1 1,73 (4, 3, 3)
Obsrvese que la tercera columna son las ganancias del rea III y que la segunda columna es el resul-
tado de la tabla anterior.
Ahora hacemos:
( ) ( ) ( ) [ ]
2 4 2 3 , 2 , 1
, , 2 , 1 , 0
4 , 3 , 2 , 1
2
mx u A v u f A f
A u
+

Por ejemplo:
( ) ( ) ( ) [ ] 0 0 0 0 0 mx 0
4 3 , 2 , 1
0
3 , 2 , 1
2
+ +

v f A f
u
ptima 0, 0, 0, 0
( ) ( ) ( ) ( ) ( ) [ ] ( ) 28 , 0 0 28 , 0 ; 0 0 mx 0 1 ; 1 0 mx 1
4 3 , 2 , 1 4 3 , 2 , 1
1 , 0
4 , 3 , 2 , 1
2
+ + + +

v f v f A f
u
ptima 1, 0, 0, 0
( ) ( ) ( ) ( ) ( ) ( ) ( ) [ ]
( ) 53 , 0 0 53 , 0 ; 2 , 0 28 , 0 ; 33 , 0 0 mx
0 2 ; 1 1 ; 2 0 mx 2
4 3 , 2 , 1 4 3 , 2 , 1 4 3 , 2 , 1
2 , 1 , 0
4 , 3 , 2 , 1
2
+ + +
+ + +

v f v f v f A f
u
ptima 1, 1, 0, 0
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) [ ]
( ) 73 , 0 0 7 , 0 ; 2 , 0 53 , 0 ; 33 , 0 28 , 0 ; 48 , 0 0 mx
0 3 ; 1 2 ; 2 1 ; 3 0 mx 3
4 3 , 2 , 1 4 3 , 2 , 1 4 3 , 2 , 1 4 3 , 2 , 1
3 , 2 , 1 , 0
4 , 3 , 2 , 1
2
+ + + +
+ + + +

v f v f v f v f A f
u
prog_dinamica-3.doc
54
Prof. Ing. Claudio L. R. Sturla
4 2
x u ( )
2 3 , 2 , 1
u f ( )
4 4
x v ( ) A f
A , 3 , 2 , 1
Subpolticas ptimas para I, II, III y IV
0 0 0 0 (0, 0, 0, 0)
1 0,28 0,2 0,28 (1, 0, 0, 0)
2 0,53 0,33 0,53 (1, 1, 0, 0)
3 0,7 0,42 0,73 (1, 1, 0, 1)
4 0,9 0,48 0,9 (3, 1, 0, 0) (2, 1, 0, 1)
5 1,06 0,53 1,1 (3, 1, 0, 1)
6 1,21 0,56 1,26 (3, 2, 0, 1)
7 1,35 0,58 1,41 (3, 2, 1, 1)
8 1,48 0,6 1,55 (3, 3, 1, 1)
9 1,6 0,6 1,68 (4, 3, 1,1) (3, 3, 1, 2)
10 1,73 0,6 1,81 (4, 3, 1, 2)
Los valores ptimos son
2 1 3 4
*
4
*
3
*
2
*
1
x x x x y la ganancia mxima 1,81
Se puede verificar que todas las subpolticas de 4, 3, 1, 2 son ptimas.
Si consideramos slo I, II y III
1 3 4
*
3
*
2
*
1
x x x es una subpoltica ptima que corresponde a 8
2
u
Otra Frmula Recursiva
Hay otra formulacin de la programacin dinmica del modelo de reemplazo de equipo.
Si definimos que la etapa sea el tiempo t y el estado en cualquier etapa sea la edad del analizador de
motor cuando el tiempo es t, entonces se puede deducir otra recursin de programacin dinmica.
Definamos f
t
(x) como el costo mnimo incurrido desde que el tiempo es t hasta que el tiempo es 5, dado
que cuando el tiempo es t el taller tiene un analizador de x aos de edad.
Como el problema termina cuando el tiempo es 5, vendemos la mquina en t = 5 y recibimos
x
s
Entonces
( )
x
s x f
5
para x = 0, 1, 2, 3, 4
( ) ( ) Vender 1 120 80 60 000 . 1 500 3
1 +
+ + + + +
t t
f f
(10)
( )
( )
( )

'

+
+ + +

+
+
Conservar 3 120
Vender 1 60 000 . 1 600
2
1
1
t
t
t
f
f
mn f
(10.1)
( )
( )
( )

'

+
+ + +

+
+
Conservar 2 80
Vender 1 60 000 . 1 800
mn 1
1
1
t
t
t
f
f
f
(10.2)
( ) ( ) Conservar 1 60 000 . 1 0
t t
f f + +
(10.3)
La lgica en la que se apoyan las Ecuaciones (10) a (10.3) es que si tenemos un analizador con 1 2
aos de edad debemos decidir entre reemplazar la mquina o conservarla otro ao.
En las Ecuaciones (10.1) y (10.2) comparamos los costos de esas dos opciones.
Para cada opcin, el costo total desde el tiempo t hasta 5 es la suma del costo durante el ao actual ms
los costos desde el tiempo t + 1 hasta 5.
Si tenemos un analizador de 3 aos de edad lo debemos cambiar. No hay alternativa.
prog_dinamica-3.doc
55
Prof. Ing. Claudio L. R. Sturla
El modo en que hemos definido el estado quiere decir que slo es posible estar en un estado 0 cuando
el tiempo es 0.
En este caso, debemos conservar el analizador durante el primer ao, incurriendo en un costo de 1.060
UM.
Desde este punto en adelante, se incurre en un costo total ( ) 1
1
f
As se deduce (10.3).
Como sabemos que
( ) ( ) ( ) 500 3 y 600 2 ; 800 1
5 5 5
f f f
, podemos calcular de inmediato todas
las ( )
4
f
Luego podremos calcular las
( )
3
f
Seguimos as hasta que se determina
( ) 0
0
f
; recuerde que comenzamos con un analizador nuevo.
A continuacin seguimos el mtodo acostumbrado para determinar la poltica ptima.
Es decir, si
( ) 0
0
f
se logra conservando la mquina, la conservamos durante un ao y, luego, durante el
ao 1 decidiremos la accin que alcance ( ) 1
1
f
Si continuamos de este modo podemos determinar para cada tiempo si cambiar o no la mquina.
Planteo de Frmulas Recursivas en la Programacin Dinmica
En muchos problemas de programacin dinmica, como los ejemplos del inventario y de la trayectoria
ms corta, una etapa dada consiste simplemente en todos los estados posibles que puede ocupar el sis-
tema en esa etapa.
Si ste es el caso, la ecuacin recursiva de programacin dinmica, para un problema de minimizacin,
se puede escribir con frecuencia en la forma siguiente:
( ) ( ) ( ) { } 1 etapa la en estado nuevo etapa la durante costo mn
1
+ +
+
t f t i f
t t
(11)
donde el mnimo es sobre todas las decisiones posibles, cuando el estado en la etapa t es i
En esta ecuacin,
( ) i f
t
es el costo mnimo incurrido de la etapa t hasta el final del problema (digamos
que el problema termina despus de la etapa T), dado que en la etapa t el estado es i
La Ecuacin (11) refleja el hecho de que el costo mnimo incurrido desde la etapa t al final del pro-
blema se debe alcanzar seleccionando una decisin permisible en la etapa t que minimice la suma de
los costos incurridos durante la etapa actual (etapa t) ms el costo mnimo en que se puede incurrir
desde la etapa t + 1 hasta el final del problema.
La formulacin correcta de una ecuacin recursiva de la forma (11) necesita que identifiquemos tres
aspectos importantes del problema:
Aspecto 1 El conjunto de decisiones que es posible para el estado y la etapa dados. Con
frecuencia, el conjunto de decisiones posibles depende tanto de t como de i. Por ejemplo,
en el caso del inventario

t
d
demanda durante el mes t

t
i
inventario al principio del mes t
En este caso, el conjunto de decisiones permisibles para el mes t (
t
x
es un nivel permisible de
produccin), consiste de los elementos de {0, 1, 2, 3, 4, 5} que cumplen con
( ) 4 0 +
t t t
d x i
. Observe cmo el conjunto de decisiones permisibles cuando el tiempo es t
depende de la etapa t y del estado cuando el tiempo es t, que es
t
i
Aspecto 2 Debemos especificar cmo depende el costo durante el periodo actual de tiempo
(etapa t) del valor de t, del estado actual y de la decisin tomada en la etapa t. Por ejemplo,
prog_dinamica-3.doc
56
Prof. Ing. Claudio L. R. Sturla
en el caso del inventario, supongamos que se selecciona un nivel de produccin
t
x
, durante
el mes t. Entonces, el costo durante el mes t est dado por
( ) ( )
t t t t
d x i x c +

,
_

+
2
1
Aspecto 3 Debemos especificar cmo depende el estado en la etapa t + 1 del valor de t, del
estado en la etapa t, y de la decisin tomada en la etapa t. De nuevo, el ejemplo del inventa-
rio, el estado del mes t + 1 es
t t t
d x i +
Una vez identificados el estado, la etapa y la decisin en forma correcta, entonces los aspectos 1 a 3 no
deberan ser difciles de tratar.
Sin embargo, una advertencia: no todas las ecuaciones recursivas tienen la forma de la Ecuacin (11).
Por ejemplo, la recursin de reemplazo de equipo se salt el tiempo t + 1
Esto pasa con frecuencia cuando la sola etapa aporta informacin suficiente para tomar una decisin
ptima.
Ejemplo 8
El dueo de un lago debe decidir cunto robalo pescar y vender cada ao.
Si vende
x
robalos durante un ao t, su utilidad es r(x)
El costo de pescar t robalos durante un ao es una funcin c(x, b) del nmero de peces atrapados du-
rante el ao y de b, el nmero de robalos en el lago al principio del ao.
Naturalmente, los robalos se reproducen.
Para hacer un modelo, suponemos que el nmero de robalos en el lago al principio de un ao es 20 %
ms que el que haba al final del ao anterior.
Supongamos que hay 10.000 robalos en el lago al principio del primer ao.
Deduzca una frmula recursiva de programacin dinmica que se pueda usar para elevar al mximo las
utilidades netas del propietario en un horizonte de T aos.
Solucin
En los problemas en los que se deben tomar decisiones en distintos puntos del tiempo con frecuencia se
tiene un equilibrio entre beneficios actuales contra beneficios futuros.
Por ejemplo, podramos pescar muchos robalos durante el primer ao, pero entonces el lago quedara
agotado en los aos posteriores y habra poca pesca.
Por otro lado, si pescamos ahora muy pocos robalos, no ganaremos mucho dinero pronto, pero pode-
mos ganarlo cerca del final del horizonte.
En los problemas intertemporales de optimizacin, se usa con frecuencia la programacin dinmica
para analizar estas complejas opciones.
Al principio del ao T, el dueo del lago no debe preocuparse del efecto que tendr la captura de roba-
los sobre la poblacin futura del lago. (En el tiempo T, no hay futuro.)
Por lo tanto, al principio del ao T es fcil resolver el problema.
Por esta razn haremos que el tiempo sea la etapa.
En cada etapa, el dueo del lago debe decidir cunto robalo pescar.
Definimos
t
x
como el nmero de robalos pescados durante el ao t
Para determinar un valor ptimo de
t
x
, el dueo del lago slo necesita conocer el nmero de robalos
(llammosle
t
b
) que hay en el lago al principio del ao t
Por lo tanto, el estado al principio del ao t es
t
b
Definimos
( )
t i
b f
a las utilidades netas mximas que se puede alcanzar de la pesca del robalo durante
los aos
T t t , , 1 , +
, dado que hay
t
b
robalos en el lago al principio del ao t
A continuacin veremos los aspectos 1 a 3 de la frmula recursiva.
prog_dinamica-3.doc
57
Prof. Ing. Claudio L. R. Sturla
Aspecto 1 Cules son las decisiones permisibles? Durante cualquier ao, no podemos pescar
ms robalo del que hay en el lago. Por lo tanto, en cada estado y para toda t, se debe cumplir
t t
b x 0
Aspecto 2 Cules son las utilidades netas obtenidas durante el ao t? Si se pescan
t
x
robalos
durante un ao en que hay
t
b
al inicio, la ganancia neta es
( ) ( )
t t t
b x c x r ,
Aspecto 3 Cul ser el estado durante el ao t + 1? Al final del ao t habrn
t t
x b
robalos en
el lago. Al iniciar el ao t + 1 estos robalos habrn aumentado 20 %. Esto significa que al prin-
cipio del ao t + 1, habr
( )
t t
x b 2 , 1
robalos en el lago. Por lo tanto, el estado del ao t + 1 ser
( )
t t
x b 2 , 1
Podemos ahora utilizar la ecuacin (11) para deducir la frmula recursiva adecuada.
Despus del ao T no hay ganancias futuras que tener en cuenta y, por lo tanto,
( ) ( ) ( ) { }
T T T T
x
T T
b x c x r b f
T
, mx
donde
T T
b x 0
Aplicando la Ecuacin (11) obtenemos
( ) ( ) ( ) ( ) ( ) { }
t t t t t t
x
t t
x b f b x c x r b f
t
+
+
2 . 1 , mx
1 (12)
en la que
t t
b x 0
Para iniciar los clculos, determinamos primero ( )
T T
b f para todo valor que se pueda presentar de
T
b
( ) ( )
1
1,2 10.000 ser podra
T
T
b , por qu?)
A continuacin aplicamos la Ecuacin (12) para regresar hasta haber calculado ( ) 000 . 10
1
f
Luego, para determinar una poltica ptima de pesca, comenzamos por elegir
1
x como cualquier valor
que alcance el mximo en la Ecuacin (12) para ( ) 000 . 10
1
f
Despus, el ao 2 comenzar con ( )
1
000 . 10 2 , 1 x robalos en el lago.
Esto quiere decir que se debe elegir
2
x entre cualesquiera de los valores que alcancen el mximo en la
Ecuacin (12) para ( ) ( )
1 2
000 . 10 2 , 1 x f
Se contina de este modo hasta que se hayan determinado los valores ptimos de
T
x x x , , ,
4 3

Incorporacin del valor del Dinero a Travs del Tiempo en Formulaciones de
Programacin Dinmica
Un punto dbil de este planteamiento es que a las ganancias recibidas durante los aos futuros se les da
el mismo peso que las que se reciben durante los primeros aos.
Las utilidades posteriores deben tener menos peso que las primeras.
Suponga que para alguna
1
se recibe 1 UM al principio del ao t + 1, que es equivalente a UM
recibidos al principio del ao t
Podemos incorporar esta idea a la frmula recursiva de la programacin dinmica replanteando la
Ecuacin (12) de la siguiente manera:
( ) ( ) ( ) ( ) ( ) { }
t t t t t
x
t t
x b b x c x r b f
t
+ 2 , 1 , mx
(12')
donde
t t
b x 0
prog_dinamica-3.doc
58
Prof. Ing. Claudio L. R. Sturla
Volvemos a definir
( )
t t
b f
como las utilidades netas mximas (en UM del ao t) que se pueden obtener
durante los aos
T t t , , 1 , +
Como
1 + t
f
se mide en UM del ao t + 1, si se multiplica por se convierte
( )
+ 1 t
f
a UM del ao t + 1,
que es justo lo que deseamos.
En el Ejemplo 8, una vez que hemos avanzado hacia atrs y determinado ( ) 000 . 10
1
f , se puede encon-
trar una poltica ptima de pesca aplicando el mismo mtodo que se explic antes.
Este mtodo se puede utilizar para tener en cuenta el valor del dinero a travs del tiempo en cualquier
formulacin de programacin dinmica.
Ejemplo 9
Una planta de energa elctrica pronostica que se necesitarn
t
r
kilovatio-horas (kwh) de capacidad de
generacin durante el ao t
El ao actual es el 1.
Cada ao, la empresa debe decidir cunto se debe aumentar la capacidad de generacin.
Cuesta
( ) x c
t
UM aumentar la capacidad de generacin x kwh durante el ao t
Como puede ser deseable reducir la capacidad, x puede ser negativa.
Durante cada ao, el 10 % de la capacidad generadora anterior se vuelve obsoleta e intil (la capacidad
no se vuelve obsoleta durante el primer ao de operacin).
A la empresa le cuesta
( ) i m
t
UM mantener i unidades de capacidad durante el ao t
Al inicio del ao 1, estn disponibles 100.000 kwh de capacidad de generacin.
Plantee una frmula recursiva de programacin dinmica que permita a la empresa reducir al mnimo el
costo total de cumplir con las necesidades de energa durante los siguientes T aos.
Solucin
Nuevamente haremos que el tiempo sea la etapa.
Al principio del ao t la empresa debe determinar la capacidad (llammosle
t
x
) por aadir durante el
ao t
Para seleccionar
t
x
en forma adecuada, todo lo que necesita conocer la empresa es la cantidad de capa-
cidad disponible al principio del ao t (llammosle
t
i
).
Por lo tanto, definiremos el estado al principio del ao t como el nivel actual de la capacidad.
Entonces podemos revisar los aspectos 1 a 3 de la formulacin.
Aspecto 1 Qu valores de
t
x
son posibles? Para cumplir con las necesidades de demanda
t
r
en
el ao t, se debe cumplir
t t t
r x i +
, o sea,
t t t
i r x
. Por lo tanto, las
t
x
posibles son aquellos
valores de
t
x
que satisfacen
t t t
i r x
Aspecto 2 En qu costo se incurre durante el ao t? Si se agregan
t
x
kwh durante un ao que
inicia con
t
x
kwh de capacidad disponible, entonces durante el ao t se incurre en un costo
( ) ( )
t t t t t
x i m x c + +
Aspecto 3 Cul ser el estado al inicio del ao t + 1? En ese momento, la empresa tendr
t
i 9 , 0

kwh de capacidad anterior de generacin ms los
t
x
kwh que se aadieron durante el ao t. Por
lo tanto, el estado al principio del ao t + 1 ser
t t
x i + 9 , 0
Podemos usar ahora la Ecuacin (11) para deducir la ecuacin recursiva adecuada.
Definamos
( )
t t
i f
como el costo mnimo en que incurre la empresa durante los aos
T t t , , 1 , +
, dado
que hay disponibles
t
i
kwh de capacidad al principio del ao t
Al principio del ao T no hay costos futuros qu tomar en cuenta, as que
prog_dinamica-3.doc
59
Prof. Ing. Claudio L. R. Sturla
( ) ( ) ( ) { }
T T T T T
x
T T
x i m x c i f
T
+ + mn
(13)
en la cual
T
x debe cumplir con
T T T
i r x
Para
T t
( ) ( ) ( ) ( ) { }
t t t t t t t t
x
t t
x i f x i m x c i f
t
+ + + +
+
9 , 0 mn
1 (14)
en ella
t
x
debe cumplir con
t t t
i r x
Si la empresa no inicia con exceso de capacidad, podemos suponer con seguridad que el nivel de capa-
cidad nunca ser mayor que
{ }
t
T t
MAX
r r
, , 2 , 1
mx

Esto quiere decir que slo necesitamos tener en cuenta los estados
MAX
r , , 2 , 1 , 0
Para iniciar los clculos, aplicamos (13) para estimar ( ) ( ) ( )
MAX T T T
r f f f , , 1 , 0
A continuacin empleamos (14) para avanzar marcha atrs hasta haber determinado ( ) 000 . 100
1
f
Para calcular la capacidad ptima que se debe agregar durante cada ao, se procede del siguiente modo:
durante el ao 1 se agrega una capacidad
1
x que alcance el mnimo en la Ecuacin (14) para
( ) 000 . 100
1
f
Luego la empresa iniciar el ao 2 con 90.000 +
1
x kwh de capacidad.
Despus, durante el ao 2, se deben aumentar
2
x kwh de capacidad, donde
2
x alcanza el mnimo en la
Ecuacin (14) para ( )
1 2
000 . 90 x f +
Se contina de este modo hasta haber determinado el valor ptimo de
T
x
Ejemplo 10
El granjero Jorge tiene 5.000 UM en efectivo y 1.000 quintales de trigo.
Durante el mes t, el precio del trigo es
t
p
Durante cada mes debe decidir cuntos quintales de trigo comprar o vender.
Hay tres restricciones para las transacciones de trigo en cada mes: (1) Durante cada mes, el dinero gas-
tado en trigo no puede ser mayor que el disponible en efectivo al principio del mes. (2) Durante cada
mes, no puede vender ms trigo del que tiene al principio de ese mes. (3) Debido a limitaciones de ca-
pacidad de almacenamiento, el inventario final del trigo en cada mes no puede ser mayor que 1.000
quintales.
Indique cmo usar la programacin dinmica para maximizar el efectivo que tendr el granjero Jorge
cuando finalice el 6 mes.
Solucin
Nuevamente haremos que el tiempo sea la etapa.
Al principio del mes t (el presente es el inicio del mes 1) el granjero debe decidir cunto vender del
trigo en existencia.
Definimos a
t
w
como la variacin en almacenamiento de trigo durante el mes
0 :
t
w t
corresponde
a una compra de trigo en el mes t, y
0
t
w
a una venta de trigo en el mes t
Para determinar un valor ptimo de
t
w
debemos conocer dos cosas: la cantidad de trigo en bodega al
principio del mes t (llammosle
t
w
), y el efectivo disponible al principio del mes t (llammosle
t
c
).
Definimos
( )
t t t
w c f ,
como la cantidad mxima de efectivo que puede obtener el granjero Jorge al final
del mes 6, dado que tiene
t
c
UM y
t
w
quintales de trigo al principio del mes t
Los aspectos 1 a 3 de la formulacin son:
prog_dinamica-3.doc
60
Prof. Ing. Claudio L. R. Sturla
Aspecto 1 Cules son las decisiones permisibles? Si
( )
t t
w c ,
es el estado en el tiempo t, enton-
ces las restricciones 1 a 3 hacen que
t
w
se comporte del siguiente modo:
( )
t
t
t t t t
p
c
w c w p bien o
que asegura que no se terminar el efectivo al final del mes t. La desigualdad
t t
w w
ase-
gura que durante el mes t no venderemos ms trigo que el que tenamos al principio del mes t, y
000 . 1 +
t t
w w
, o bien
t t
w w 000 . 1
, asegura que terminaremos el mes t con un mximo
de 1.000 quintales de trigo. Reuniendo estas tres restricciones vemos que

'

t
t
t
t t
w
p
c
w w 000 . 1 , mn
que asegura que se cumplan las restricciones 1 a 3 durante el mes t
Aspecto 2 Como el granjero Jorge desea maximizar su efectivo al final del mes 6, no se obtie-
nen utilidades durante los meses 1 a 5. En efecto, durante esos meses vemos la contabilidad para
seguir la posicin de los bienes del granjero. Despus, durante el mes 6, convertimos en efectivo
todos sus bienes.
Aspecto 3 Si el estado actual es
( )
t t
w c ,
y Jorge cambia en
t
w
su existencia de trigo en el mes
t, cul ser el nuevo estado al inicio del mes t + 1? El efectivo disponible aumentar
( )
t t
p w
,
y la existencia de trigo de Jorge aumentar
t
w
Por lo tanto, el estado del mes t + 1 ser
( ) ( )
t t t t t
w w p w c + ,
Podemos ahora usar la Ecuacin (11) para deducir la relacin recursiva adecuada.
Para maximizar su estado de efectivo al final del mes 6, Jorge debe convertir su trigo del mes 6 en
efectivo, vendindolo todo.
Esto significa que
6 6
w w
Con ello llegamos a la siguiente relacin:
( )
6 6 6 6 6 6
, p w c w c f +
(15)
Con la Ecuacin (11), obtenemos para
6 t
( ) ( ) ( ) { }
t t t t t t
w
t t t
w w p w c f w c f
t
+ +
+

, 0 mx ,
1 (16)
en la cual
t
w
debe cumplir con

'

t
t
t
t t
w
p
c
w w 000 . 1 , mn
Iniciamos los clculos determinando
( )
6 6 6
, w c f
para todos los estados que se puedan presentar durante
el mes 6.
Luego usamos la Ecuacin (16) para avanzar en reversa hasta haber calculado ( ) 000 . 1 , 000 . 5
1
f
A continuacin el granjero Jorge debe elegir
1
w para alcanzar el valor mximo de ( ) 000 . 1 , 000 . 5
1
f en
la Ecuacin (16), y un estado
( ) ( )
1 1
000 . 1 , 000 . 5 w w p
t
+
para el mes 2.
prog_dinamica-3.doc
61
Prof. Ing. Claudio L. R. Sturla
Jorge debe elegir luego
2
w para alcanzar el valor mximo de ( ) ( )
1 1 1 2
000 . 1 , 000 . 5 w w p f + en la
Ecuacin (16).
Continuamos de esta manera hasta que se haya determinado el valor ptimo de
6
w
Ejemplo 11
Sunco Oil necesita obtener la suficiente capacidad de refinacin para procesar 50.000 barriles de aceite
por da y 10.000 de gasolina, tambin por da.
Sunco puede aumentar la capacidad en cuatro lugares.
El costo de construccin de refinera en el lugar t que tiene la capacidad de refinacin de x barriles dia-
rios de aceite y y barriles de gasolina es
( ) y x c
t
,
Con programacin dinmica determine cunta capacidad debe estar ubicada en cada uno de los cuatro
lugares.
Solucin
Si Sunco slo tuviera un lugar dnde refinar, el problema sera fcil de resolver.
Luego, Sunco podra resolver un problema en el que se tuvieran dos lugares posibles de refinacin y,
por ltimo el problema con cuatro lugares.
Por esta razn, haremos que la etapa represente el nmero de lugares disponibles para refinacin.
En cualquier etapa, Sunco debe determinar cunta capacidad de aceite y de gasolina debe construir en
el lugar dado.
Para hacerlo, la empresa debe saber cunta capacidad de refinacin para cada tipo de producto debe
construir en los lugares disponibles.
A continuacin definimos
( )
t t t
g o f ,
como el costo mnimo de construccin de capacidad para
t
o
ba-
rriles diarios de refinacin de aceite y
t
g
barriles diarios de capacidad de refinacin de gasolina en los
lugares
4 , , 1 , + t t
Para determinar ( )
4 4 4
, g o f , ntese que si slo se dispone del lugar 4, Sunco debe construir una refine-
ra en ese lugar con
4
o barriles de capacidad de aceite y
4
g de gasolina.
Esto significa que ( ) ( )
4 4 4 4 4 4
, , g o c g o f
Para t = 1, 2, 3 podemos determinar
( )
t t t
g o f ,
notando que si construimos una refinera en el lugar t y
podemos refinar
t
x
barriles de aceite por da y
t
y
de gasolina por da, incurriremos en un costo
( )
t t t
g o c ,
en el lugar t
Entonces necesitamos construir una capacidad total de refinacin de aceite igual a
t t
x o
y de gasolina
igual a
t t
y g
en los lugares
4 , , 2 , 1 + + t t
Segn el principio de optimalidad, el costo de hacer lo anterior ser
( )
t t t t t
y g x o f
+
,
1
Como se debe cumplir con
t t t t
g y o x 0 y 0
, obtenemos la siguiente frmula recursiva:
( ) ( ) ( ) { }
t t t t t t t t t t t
y g x f g o c g o f +
+
, 0 , mn ,
1
(17)
en la cual
t t t t
g y o x 0 y 0
Como de costumbre, avanzamos hacia atrs hasta haber determinado ( ) 000 . 10 , 000 . 5
1
f
Entonces Sunco elige
1 1
e y x tales que se alcance el mnimo en la Ecuacin (17) para
( ) 000 . 10 , 000 . 5
2
f
Despus Sunco debe elegir
2 2
e y x hasta alcanzar el mnimo en la Ecuacin (17) para
( )
1 1 2
000 . 10 , 000 . 5 y x f
As contina Sunco hasta determinar los valores ptimos de
4 4
e y x
prog_dinamica-3.doc
62
Prof. Ing. Claudio L. R. Sturla
Programacin Dinmica Probabilstica
De nuestro estudio de la programacin dinmica determinista recordemos que muchas frmulas eran de
la forma:
( ) ( ) ( ) ( ) nuevo estado actual etapa la durante costos mx o mn actual estado
1
posibles decisiones las todas
+
+
t t
f f
Para los ejemplos vistos era suficiente una especificacin del estado y de la decisin actuales para de-
cirnos con certeza el estado nuevo y los costos durante el estado actual.
En muchos problemas prcticos es posible que no se conozca con certeza el costo del periodo actual o
el del siguiente periodo, aun cuando se conozcan el estado y la decisin actuales.
Por ejemplo, en el modelo de inventario supusimos que la demanda de cada periodo se conoca al inicio
del problema.
En la mayora de los casos ser ms real suponer que la demanda del periodo t es una variable aleatoria
cuyo valor no se conoce hasta despus de haber tomado la decisin de produccin de ese perodo.
Aun si conocemos el estado (nivel de inventario al inicio) actual del periodo, as como la decisin (pro-
duccin durante el periodo actual), el estado del siguiente periodo y el costo del periodo actual sern
variables aleatorias cuyos valores no se conocen hasta que se conozca el valor de la demanda del pe-
riodo t
Ahora explicaremos cmo usar la programacin dinmica para resolver problemas en los que el costo
del periodo actual o el estado del siguiente periodo son aleatorios.
A estos problemas se les llama de programacin dinmica probabilstica, o PDP.
En un PDP la meta de quien toma las decisiones es en general minimizar el costo incurrido esperado o
maximizar la recompensa esperada que se gana en un determinado horizonte de tiempo.
Ejemplo en el que son Inciertos los Costos de la Etapa Actual, pero est Determinado
el Estado del Perodo Siguiente
Aqu se conoce con certeza el estado del perodo siguiente, pero no se conoce con certeza la recom-
pensa que se gana durante el periodo actual, dado el estado y la decisin actuales.
Ejemplo 101
La cadena de supermercados Poroto compra a una lechera local, a un precio de 1 UM/l, 6 l de leche.
Cada l se vende en las tres tiendas de la cadena a 2 UM/l.
La lechera compra la leche sobrante a 0,5 UM/l al trmino del da.
Desgraciadamente para Poroto, es incierta la demanda en cada una de sus tres tiendas.
Los datos acumulados indican que la demanda diaria en cada tienda es como la que se muestra en la
Tabla 101.
DEMANDA DIARIA
(l)
PROBABILIDAD
Tienda 1 1 0,60
2 0
3 0,40
Tienda 2 1 0,50
2 0,10
3 0,40
Tienda 3 1 0,40
2 0,3
3 0,3
Tabla 101
prog_dinamica-3.doc
63
Prof. Ing. Claudio L. R. Sturla
Distribuciones de probabilidad para la demanda diaria de leche
Poroto desea asignar los 6 l de leche a las tres tiendas para maximizar la ganancia neta diaria (ingresos
menos costos) que da la leche.
Mediante la programacin dinmica determine cmo debe asignar Poroto los 6 l de leche entre sus
tiendas.
Solucin
Con excepcin del hecho de que la demanda (y, por lo tanto, la ganancia) es incierta, este problema es
muy semejante a los problemas de asignacin de recursos de la programacin dinmica determinstica.
Observemos que como los costos diarios de compra de Poroto siempre son 6 UM, podemos concentrar
nuestra atencin al problema de asignar la leche para elevar al mximo la ganancia diaria esperada de-
bida a los 6 l
Definiremos
( )
( ) 3 , , 1 , tiendas las a asignados l de esperada mxima ganancia
tienda la a asignados l de esperada ganancia
+

t t x x f
t g g r
t
t t t
Como
( ) x f
3
debe, por definicin, ser la ganancia mxima esperada por asignar x l de leche a la tienda
3, vemos que
( ) ( ) x r x f
3 3

Para t = 1, 2, podemos escribir
( ) ( ) ( ) { }
t t t t
g
t
g x f g r x f
t
+
+ 1
mx
(101)
en la que
t
g
debe ser miembro de {0, 1, , x}
La Ecuacin (101) se deduce porque para cualquier seleccin de
t
g
(el nmero de l asignados a la
tienda t), la ganancia esperada de la tienda
3 , , 1 , + t t
ser la suma de la ganancia esperada de la
tienda t si se asignan
t
g
l a ella, ms la ganancia mxima esperada que se puede obtener de las tiendas
3 , , 1 , + t t
cuando se asignan
t
g x
l a esas tiendas.
Para calcular la asignacin ptima de leche a las tiendas, comenzaremos por calcular
( ) ( ) ( ) 6 , , 1 , 0
3 3 3
f f f
A continuacin emplearemos la Ecuacin (101) para calcular ( ) ( ) ( ) 6 , , 1 , 0
2 2 2
f f f
Por ltimo calcularemos ( ) 6
1
f
Comenzaremos por calcular las
( )
t t
g r
Ntese que no tendra objeto asignar ms de 3 l a alguna tienda.
Por este motivo, calculamos las
( )
t t
g r
slo para x = 0, 1, 2 y 3.
Por ejemplo, calcularemos
( ) 2
3
r
, la recompensa esperada si se asignan 2 l a la tienda 3.
Si la demanda en esa tienda es de 2 o ms l, se vendern los dos l asignados a la tienda 3, y se tendr
una ganancia de 2 UM.
Si la demanda en la tienda 3 es 1 l, se vender 1 l a 2 UM y se obtendrn 0,50 UM por la leche de-
vuelta.
Por lo tanto, si la demanda en la tienda 3 es de 1 l, se obtendr una ganancia de 0,5 UM.
Como hay una probabilidad de 0,60 de que la demanda en la tienda 3 sea de 2 o ms l y una probabili-
dad de 0,40 de que sea por 1 l se concluye que
( ) ( ) + + 50 , 0 * 40 , 0 2 3 , 0 30 , 0 2
3
r
1,40 UM
Con clculos semejantes llegamos a los resultados siguientes:
prog_dinamica-3.doc
64
Prof. Ing. Claudio L. R. Sturla
( ) ( ) ( )
( ) ( ) ( ) UM 1,00 1 UM 00 , 1 1 UM 00 , 1 1
UM 0 0 UM 0 0 UM 0 0
1 2 3
1 2 3


r r r
r r r
( ) ( ) ( )
( ) ( ) ( ) UM 20 , 4 3 UM 35 , 4 3 UM 35 , 4 3
UM 10 , 3 2 UM 25 , 3 2 UM 40 , 1 2
1 2 3
1 2 3


r r r
r r r
Emplearemos ahora la Ecuacin (101) para determinar una asignacin ptima de la leche a la tienda.
Ser
( ) x g
t
una asignacin de la leche a la tienda t que obtiene
( ) x f
t
Entonces
( ) ( ) ( )
( ) ( ) ( ) 1 1 00 , 2 1 1
0 0 0 0 0
3 3 3
3 3 3


g r f
g r f
( ) ( ) ( )
( ) ( ) ( ) 3 3 35 , 4 3 3
2 2 40 , 3 2 2
3 3 3
3 3 3


g r f
g r f
No necesitamos calcular
( ) ( ) ( ) 6 5 , 4
3 3 3
f f f
porque la asignacin ptima no tendr ms de 3 l para
asignar a una sola tienda.
La demanda en cualquier tienda nunca es ms de 3 l.
Empleando la Ecuacin (101) para avanzar en reversa, obtenemos
( ) ( ) ( ) ( ) 0 0 0 0 0 0 0
2 3 2 2
+ g f r f
( )
( ) ( )
( ) ( )
( ) 1 0 1
* 00 , 2 1 1 1
* 00 , 2 0 1 0
mx 1
2
3 2
3 2
2

'

+
+
g
f r
f r
f
( )
( ) ( )
( ) ( )
( ) ( )
( ) 1 2
40 , 3 40 , 3 0 2 2 2
* 00 , 4 00 , 2 00 , 2 1 2 1
40 , 3 40 , 3 0 0 2 0
mx 2
2
3 2
3 2
3 2
2

'

+ +
+ +
+ +
g
f r
f r
f r
f
( )
( ) ( )
( ) ( )
( ) ( )
( ) ( )
( ) 1 3
35 , 4 0 35 , 4 3 3 3
25 , 5 00 , 2 25 , 3 2 3 2
* 40 , 5 40 , 3 00 , 2 1 3 1
35 , 4 35 , 4 0 0 3 0
mx 3
2
3 2
3 2
3 2
3 2
2

'

+ +
+ +
+ +
+ +
g
f r
f r
f r
f r
f
Ntese que al calcular ( ) ( ) ( ) 6 y 5 , 4
2 2 2
f f f no necesitamos tener en cuenta alguna asignacin de ms de
3 l a la tienda 2, o alguna que deje ms de 3 l para la tienda 3.
( )
( ) ( )
( ) ( )
( ) ( )
( ) 2 4
35 , 6 00 , 2 35 , 4 3 4 3
* 65 , 6 40 , 3 25 , 3 2 4 2
35 , 6 35 , 4 00 , 2 1 4 1
mx 4
2
3 2
3 2
3 2
2

'

+ +
+ +
+ +
g
f r
f r
f r
f
( )
( ) ( )
( ) ( )
( ) 3 5
* 75 , 7 40 , 3 35 , 4 3 5 3
60 , 7 35 , 4 25 , 3 2 5 2
mx 5
2
3 2
3 2
2

'

+ +
+ +
g
f r
f r
f
( ) ( ) ( ) ( ) 6 * 70 , 8 35 , 4 35 , 4 3 6 3 6
2 3 2 2
g f r f + +
Por ltimo,
prog_dinamica-3.doc
65
Prof. Ing. Claudio L. R. Sturla
( )
( ) ( )
( ) ( )
( ) ( )
( ) ( )
( ) 2 1 6
60 , 9 40 , 5 20 , 4 3 6 3
* 75 , 9 65 , 6 10 , 3 2 6 2
* 75 , 9 75 , 7 00 , 2 1 6 1
70 , 8 70 , 8 0 0 6 0
mx 6
1
2 1
2 1
2 1
2 1
1

'

+ +
+ +
+ +
+ +
g
f r
f r
f r
f r
f
O sea, podemos asignar 1 o 2 l a la tienda 1.
Supongamos que elegimos arbitrariamente asignar 1 l a la tienda 1.
Entonces tenemos 6 1 = 5 l para las tiendas 2 y 3.
Como ( ) 5
2
f se alcanza con ( ) 3 5
2
g , asignamos 3 l a la tienda 2.
Entonces quedan disponibles 5 3 = 2 l para asignar a la tienda 3.
Como
( ) 2 2
3
g
, asignamos 2 l a la tienda 3.
Ntese que aunque esta poltica saca la ganancia mxima esperada, ( ) 75 , 9 6
1
f UM, la ganancia total
que se recibe en realidad en un da determinado puede ser mayor o menor que 9.75 UM.
Por ejemplo, si la demanda en cada tienda fuera 1 l, la ganancia total seria 3*2 + 3*0,50 = 7,50 UM,
mientras que si la demanda en cada tienda fueran 3 l, toda la leche se vendera a 2 UM/l y la ganancia
total sera 6*2 = 12.00 UM.
Modelo Probabilstico de Inventario
En esta seccin modificaremos el modelo de inventario visto en programacin dinmica determinstica
para permitir demanda incierta.
Con ello se vern las dificultades que se presentan al resolver un PDP para el cual es incierto el estado
durante el siguiente periodo, dado el estado actual y la decisin actual.
Ejemplo 102
Se tiene el siguiente problema de inventario en tres periodos: Al principio de cada periodo una empresa
debe determinar cuntas unidades producir durante el periodo actual.
Durante un periodo en el que se producen x unidades, se incurre en un costo de produccin ( ) x c , donde
c(0) = 0, y para x > 0, ( ) x x c 2 3+
La produccin durante cada periodo se limita a un mximo de 4 unidades.
Despus de producir, se observa la demanda aleatoria del periodo.
La demanda de cada periodo puede ser de 1 2 unidades, con igual probabilidad.
Despus de satisfacer la demanda del periodo actual con la produccin y el inventario actuales, se eva-
la el inventario de fin de periodo y se carga un costo de almacenamiento de 1 UM por unidad.
Debido a lo limitado de la capacidad, el inventario al final de cada periodo no puede ser mayor que 3
unidades.
Se necesita satisfacer a tiempo toda la demanda.
Cualquier inventario que se tenga al final del periodo 3 se puede vender a 2 UM por unidad.
Al inicio del periodo 1, la empresa tiene 1 unidad en inventario.
Utilice la programacin dinmica para determinar una poltica de produccin que minimice el costo
neto esperado incurrido durante los tres periodos.
Solucin
Definimos
( ) i f
t
como el costo neto esperado en que se ha incurrido durante los periodos
3 , , 1 , + t t
dado que el inventario al inicio del periodo t es i unidades.
Entonces
( ) ( ) ( ) ( ) ( ) ( )

'

,
_

,
_

,
_

+ +

,
_

+ 2 2
2
1
1 2
2
1
2
2
1
1
2
1
mn
3
x i x i x i x i x c i f
x
(102)
prog_dinamica-3.doc
66
Prof. Ing. Claudio L. R. Sturla
donde x debe pertenecer a { } 4 , 3 , 2 , 1 , 0 y debe cumplir con ( ) ( ) i x i 4 2
Se llega a la Ecuacin (102) porque si se producen x unidades durante el periodo 3, el costo neto du-
rante ese periodo es
(costo esperado de produccin) + (costo esperado de almacenamiento) - (valor de recuperacin
esperado)
Si se producen x unidades, el costo esperado de produccin es ( ) x c y hay probabilidad 1/2 de que el
costo de almacenamiento del periodo 3 sea i + x 1, y probabilidad 1/2 de que ese costo sea i + x 2
Entonces, el costo esperado de almacenamiento del periodo 3 ser
( ) ( ) 2 / 3 2
2
1
1
2
1
+ +

,
_

+ +

,
_

x i x i x i
Razonamientos semejantes indican que el valor esperado de recuperacin (que es un costo negativo) al
final del periodo 3 ser
( ) ( ) 3 2 2 2 2 2 2
2
1
1 2
2
1
+ + +

,
_

+ +

,
_

x i x i x i x i
Para asegurar que se satisface la demanda del periodo 3, debemos tener 2 + x i , o sea i x 2
Igualmente, para asegurar que el inventario al final del periodo 3 no sea mayor que 3 unidades, debe-
mos tener que 3 1 + x i , o sea i x 4
Para t = 1, 2 podemos deducir una relacin recursiva para
( ) i f
t
si notarnos que para cualquier nivel de
produccin x en el mes t, los costos esperados en que se incurre durante los periodos
3 , , 1 , + t t
son
la suma de los costos esperados incurridos durante el periodo t y los incurridos durante los periodos
3 , , 2 , 1 + + t t
Como antes, si se producen x unidades durante el mes t, el costo esperado durante ese mes ser
( ) ( ) ( ) 2
2
1
1
2
1
+

,
_

+ +

,
_

+ x i x i x c
Ntese que durante los periodos 1 y 2 no se recibe valor de recuperacin.
Si se producen x unidades durante el mes t, el costo esperado durante los periodos
3 , , 2 , 1 + + t t
se
calcula como sigue: la mitad de las veces, la demanda durante el periodo t ser 1 unidad y el inventario
al inicio del periodo t + 1 ser i + x 1
En este caso, los costos esperados en que se incurre durante los periodos
3 , , 2 , 1 + + t t
, suponiendo
que actuamos de manera ptima durante esos periodos, es
( ) 1
1
+
+
x i f
t
Igualmente, hay probabilidad 1/2 de que el inventario al inicio del periodo t + 1 sea i + x 2
En este caso, el costo esperado incurrido durante los periodos
3 , , 2 , 1 + + t t
, ser
( ) 2
1
+
+
x i f
t
En resumen, el costo esperado durante los periodos
3 , , 2 , 1 + + t t
ser
( ) ( ) 2
2
1
1
2
1
1 1
+

,
_

+ +

,
_

+ +
x i f x i f
t t
Con lo anterior in mente, podernos escribir, para t = 1, 2,
( ) ( ) ( ) ( ) ( ) ( )
1
]
1

,
_

+ +

,
_

+ +

,
_

+ +

,
_

+
+ +
2
2
1
1
2
1
2
2
1
1
2
1
mn
1 1
x i f x i f x i x i x c i f
t t
x
t
(103)
en la cual x debe pertenecer a { } 4 , 3 , 2 , 1 , 0 y debe cumplir con ( ) ( ) i x i 4 2
Generalizando el razonamiento que condujo a la Ecuacin (103) se obtiene la siguiente observacin
importante acerca de la formulacin de los PDP: Supongamos que los estados posibles durante el pe-
riodo t + 1 son
n
s s s , , ,
2 1

y que la probabilidad de que el estado del periodo t + 1 sea
i
s
es
i
p
prog_dinamica-3.doc
67
Prof. Ing. Claudio L. R. Sturla
Entonces el costo mnimo esperado en que se incurre durante los periodos t + 1, t + 2, ..., trmino del
problema, es
( )

+
n i
i
i t i
s f p
1
1
donde
( )
i t
s f
1 +
es el costo mnimo esperado en que se incurre desde el periodo t + 1 hasta el final del
problema, dado que el estado durante el periodo t + 1 es
i
s
Definimos
( ) i x
t
como un nivel de produccin en el perodo t que alcance el mnimo de la Ecuacin
(103) para
( ) i f
t
Ahora se debe ir hacia atrs hasta determinar ( ) 1
1
f
Los clculos importantes se resumen en las Tablas 3, 4, y 5.
Como el inventario final de cada perodo debe ser no negativo y no puede ser mayor de 3 unidades, el
estado durante cada perodo debe ser 0, 1, 2 3.
i x ( ) x c
COSTO ESPERADO
DE
ALMACENAMIENTO
( ) 2 / 3 + x i
COSTO ESPERADO
DE
RECUPERACIN
( ) 3 2 2 + x i
COSTO
ESPERADO
TOTAL
( )
( ) i x
i f
3
3
3 0 0 3/2 3 3/2*
3 1 5
5/2 5
5/2
( )
( ) 0 3
2 / 3 3
3
3

x
f
2 0 0 1/2 1 1/2*
2 1 5 3/2 3 7/2
2 2 7 5/2 5 9/2
( )
( ) 0 2
2 / 1 2
3
3

x
f
1 1 5 1/2 1 9/2*
1 2 7 3/2 3 11/2
1 3 9 5/2 5 13/2
( )
( ) 1 1
2 / 9 1
3
3

x
f
0 2 7 1/2 1 13/2*
0 3 9 3/2 3 15/2
0 4 11 5/2 5 17/2
( )
( ) 2 0
2 / 13 0
3
3

x
f
prog_dinamica-3.doc
68
Prof. Ing. Claudio L. R. Sturla
Tabla 103
Clculos para
( ) i f
3
i x ( ) x c
COSTO ESPERADO
DE
ALMACENAMIENTO
( ) 2 / 3 + x i
COSTO ESPERADO
FUTURO
( )
( ) 2
2
1
1
2
1
3
3
+

,
_

+ +

,
_

x i f
x i f
COSTO
ESPERADO
TOTAL
PERODOS
2 Y 3
( )
( ) i x
i f
2
2
3 0 0 3/2 2 7/2*
3 1 5 5/2 1 13/3
( )
( ) 0 3
2 / 7 3
2
2

x
f
2 0 0 1/2 11/2 6*
2 1 5 3/2 2 17/2
2 2 7 5/2 1 17/2
( )
( ) 0 2
6 2
2
2

x
f
1 1 5 1/2 11/2 11
1 2 7 3/2 2 21/2*
1 3 9 5/2 1 21/2*
( )
( ) 3 2 1
2 / 21 1
3
2

x
f
0 2 7 1/2 11/2 13
0 3 9 3/2 2 25/2*
0 4 11 5/2 1 25/2*
( )
( ) 4 3 0
2 / 25 0
2
2

x
f
Tabla 104
Clculos para ( ) i f
2
x ( ) x c
COSTO ESPERADO
DE
ALMACENAMIENTO
( ) 2 / 3 + x i
COSTO ESPERADO
FUTURO
( )
( ) 2
2
1
1
2
1
2
2
+

,
_

+ +

,
_

x i f
x i f
COSTO
ESPERADO
TOTAL
PERODOS
1 A 3
( )
( ) 1
1
1
1
x
f
1 5 1/2 23/2 17
2 7 3/2 33/4 67/4
3 9 5/2 19/4 65/4*
( )
( ) 3 1
4 / 65 1
1
1

x
f
Tabla 105
Clculos para
( ) 1
i
f
Comenzamos por producir ( ) 3 1
1
x unidades durante el perodo 1.
Sin embargo, no podemos determinar el nivel de produccin del perodo 2 hasta que se observe la de-
manda del perodo 1.
Asimismo el nivel de produccin del perodo 3 no se puede determinar hasta que se observe la de-
manda del perodo 2.
Para mostrar esta idea, determinaremos el programa ptimo de produccin si las demandas durante los
perodos 1 y 2 son ambas de 2 unidades.
Como ( ) 3 3
1
x , se producirn 3 unidades durante el periodo 1.
Entonces el periodo 2 comenzar con un inventario de 1 + 3 2 = 2 unidades y, por lo tanto se deben
producir ( ) 0 0
2
x unidades.
prog_dinamica-3.doc
69
Prof. Ing. Claudio L. R. Sturla
Despus de satisfacer la demanda de 2 unidades del periodo 2, comenzar el periodo 3 con 2 2 = 0
unidades en existencia.
O sea que en el perodo 3 se producirn
( ) 2 0
3
x
unidades.
Por el contrario, supongamos que las demandas durante los periodos 1 y 2 son ambas de 1 unidad.
Como antes, se producirn ( ) 3 1
1
x unidades durante el periodo 1.
Entonces el periodo 2 se iniciar con 1 + 3 1 = 3 unidades y se producirn ( ) 0 3
2
x unidades du-
rante el periodo 2.
Entonces el periodo 3 se iniciar con 3 1 = 2 unidades en existencia y se producirn
( ) 0 2
3
x
uni-
dades durante ese periodo.
Ntese que la poltica ptima de produccin se ha adaptado a la baja demanda al reducir la produccin
del periodo 3.
Este ejemplo muestra un aspecto importante de las soluciones de programacin dinmica en las que no
se conocen los estados futuros con certeza al inicio del problema: Si un factor aleatorio (como la de-
manda aleatoria) influye las transiciones del estado del periodo t al estado del periodo t + 1, la accin
ptima para el periodo t no se puede determinar hasta que se conozca el estado t.
Actualizado al 11/7/2.003
D:\INVESTIGACIN OPERATIVA\DINMICA 3
prog_dinamica-3.doc
70