Programación Dinámica

Probabilística (PDP).
Programación Dinámica
Probabilística (PDP).
• La PDP Se caracteriza porque el valor
asociado a los arcos es un valor probable, y
por lo tanto el valor de las rutas posibles desde
el estado inicial hasta el estado final tiene un
valor asociado a la probabilidad de ocurrencia
de ella. Estando en un estado s cualquiera en
cualquiera de las etapas del problema, los
arcos que de ese estado s salen tienen una
probabilidad de ocurrencia, que puede ser
igual para todos o tener valores diferentes.
• En este tipo de problemas de la PDP se
distinguen: -estados, -etapas, -estado
inicial, -estado final -valor al horizonte,
-función objetivo, -política óptima, -arcos,
-valor asociado a los arcos (estos son
probables y no determinísticos), -óptimo,
-solución óptima, -ruta óptima.
• Presentemos otros conceptos asociados a
estos problemas de PDP mediante un
ejemplo y su solución asociada.
Ejemplo 1. (PDP)
• Una empresa ha recibido el encargo de construir un
artículo, que, por las características exigidas por el
cliente deberá pasar controles de calidad altos. Esto hace
que la empresa estime que la probabilidad de que un
artículo producido salga bueno es 2/3 (66,6667%) y de
1/3 (33,3333%) que salga malo sin posibilidad de
recuperarlo o arreglarlo. El plazo que tiene la empresa
para obtener al menos un artículo bueno es de 3 días, y
la producción del artículo implica ocupar el día en hacer
andar la línea de producción, fabricarlos y finalmente
ver si salieron buenos; por lo que la empresa tiene 3
intentos de fabricación para obtener el artículo bueno.
• Por contrato con el cliente se acuerda que si la
empresa no obtiene el artículo bueno en los 3 días, en
los 3 intentos, la empresa deberá pagar una multa de
$200 al cliente por indemnización o perdida de
tiempo.
• También la empresa sabe que cada día que decide
elaborar ese producto incurre en un costo fijo de $20
por iniciar toda la línea de producción ese día , y tiene
un costo de $5 por cada unidad que decida fabricar.
• Se pide encontrar la política óptima a seguir por la
empresa en cuanto a la producción de este artículo,
para hacer mínimo el costo total de producción y
obtener al menos un artículo de buena calidad, según
lo exigido.
El Modelo y sus partes
• Las etapas. En este problema estarán asociadas a los
dias de producción. Por lo que el problema tiene 3
etapas. La Etapa 1 es el proceso de decidir si produce o
no produce el día 1; y si decide producir, cuántas
unidades producir. De manera similar se entienden las
etapas 2 y 3.
• Los estados: En este problema se pueden distinguir 2
estados posibles dentro de cada etapa, y son: "la
cantidad de artículos buenos que se tiene la obligación
de obtener en esa etapa". Se indicarán por 0 y 1. Por lo
que el estado inicial es 1 y los estados finales posibles
son 0 y 1.
• Es decir, el estado:
• 0 : indica que en esa etapa no se tiene la
necesidad obligada de obtener un
artículo bueno.
• 1 : indica que en esta etapa sí se tiene la
necesidad obligada de obtener un
artículo bueno.
• Las variables de decisión : Son las decisiones
que cada día deberá tomarse, y son: la cantidad
de artículos que se deberá fabricar ese día. Por
lo que son 3 variables de decisión: x1, x2, x3,
donde: x1 es la cantidad de artículos a fabricar el
día 1, x2 es la cantidad de artículos a fabricar el
día 2, y x3 es la cantidad de artículos a fabricar
el día 3.
• Es claro que si un día tiene el estado 0, fabricará
0 artículos, y ese día tendrá un costo de $0. Si un
día tiene el estado 1, deberá fabricar algunos
artículos (si es lo más conveniente), e incurrirá
en un costo de $5 por unidad más $200 fijos.
 • El costo de producción de cada día esta
dado por:
200 ; si xi > 0
Costo por dia: = ; Donde
5xi + K(xi) K(xi) =
<
0 ; si xi = 0
• Para cada artículo que se produzca la
probabilidad de que salga bueno es 2/3, y que
salga malo es 1/3 (datos del problema).

• Por lo que, si produce 2 artículos la

probabilidad de que los 2 salgan malos es:
(1/3)*(1/3) = (1/3)2. Si decide producir 3
artículos, la probabilidad de que los 3 salgan
malos es de (1/3)3 , asi también se tendrá que
si fabrica 4 es (1/3)4 = 0,0123 la
probabilidad de que los 4 salgan malos.
Generalizando, si se decide fabricar xi
artículos, entonces la probabilidad de que
todos salgan malos es: (1/3) xi.
Probabilidades de cada
uno de los casos finales,
si se decide producir 3
artículos.
Los 3 malos tiene
probabilidad de
ocurrencia de: (1/3)3.
y para xi artículos a
fabricar la Probab. será
de: (1/3)xi de que todos
salgan malos.
• La función objetivo, para cualquiera de las
etapas contendrá lo que representa el costo
de esa etapa más el costo probable de la
etapa siguiente si todos hubiesen salido
malos, y más el costo probable de la etapa
siguiente si no todos hubiesen salidos
malos (al menos uno salió bueno). Y en la
etapa n-ésima tendremos el estado 0 y el
estado 1. Tomenos el estado 1 para f.
 donde:
• K(xn ) es el costo de producción fijo de $0 o de
$200, según ese día produzca artículos o no.
• 5*xn : representa el costo de $5 por unidad que
se decida producir.
• (1/3)xn : representa la probabilidad de que los xn
artículos salgan malos.
• fn+1(1) : es el costo que se tendrá en la etapa
siguiente, si se llega a ella con la obligación de
obtener un artículo bueno. Este valor es: f
*n+1(1).
• (1/3)xnfn+1(1) : es el costo probable desde la
etapa siguiente en adelante, si todos los de esta
etapa salen malos.
• (1- (1/3)xn) : es la probabilidad de que no todos
los xn artículos salgan malos; alguno sale bueno.
• fn+1(0) : es el costo en que se incurrirá desde la
etapa siguiente, si se llega a ella al estado 0, es
decir sin la necesidad de producir un artículo
bueno, porque ya se obtuvo. Es f *n+1(0)
• (1-(1/3)xn)fn+1(0) : es el costo probable desde la
etapa siguiente, si en esta etapa sale alguno de los
artículos bueno.
• En el problema aquí dado, se tiene que f *n+1( 0 )
es cero, porque es cero el costo más bajo si no se
tiene la obligación de producir un artículo bueno,
en cualquiera de las etapas. La etapa 1 tiene como
estado inicial: 1; es decir, en la etapa 1 se tiene la
obligatoriedad de obtener un artículo bueno.
• Los cálculos: 

n=3,
• f3(1,0) = 0 + 5*0 + (1/3)0*200 = 200
• f3(1,1) = 20 + 5*1 + (1/3)1*200 = 91.666
• f3(1,2) = 20 + 5*2 + (1/3)2*200 = 52.222
• f3(1,3) = 20 + 5*1 + (1/3)3*200 = 42.407
• f3(1,4) = 20 + 5*1 + (1/3)4*200 = 42.469
• f3(1,5) = 20 + 5*1 + (1/3)5*200 = 45.82
• (Se calcula hasta que, para valores de x3,
la f.o. empiece a aumentar de valor, luego
de haber ido descendiendo. En este caso
nos interesa el menor valor de la f.o.).

s \ x3 0 1 2 3 4 5 f *3 x*3

0 0 -- -- -- -- -- 0 0

1 =200 = =52.222 =42.40 =42.46 =45.82 42.407 3

91.666 7 9
n=2,
• f2(1,0) = 0 + 5*0 + (1/3)0*42.407 =
42.407
• f2(1,1) = 20 + 5*1 + (1/3)1*42.407 =
39.1356
• f2(1,2) = 20 + 5*2 + (1/3)2*42.407 =
34.7119
• f2(1,3) = 20 + 5*3 + (1/3)3*42.407 =
36.5706
• f2(1,4) = 20 + 5*4 + (1/3)4*42.407 =
40.5235
s \ 0 1 2 3 4 f *2 x*2
x2
0 0 -- -- -- -- 0 0
1 42.40 39.14 34.71 36.57 40.52 34.711 2
7 9

n=1,
f1(1,0) = 0 + 5*0 + (1/3)0*34.7119 = 34.7119
f1(1,1) = 20 + 5*1 + (1/3)1*34.7119 = 36.5706
f1(1,2) = 20 + 5*2 + (1/3)2*34.7119 = 33.8568
f1(1,3) = 20 + 5*3 + (1/3)3*34.7119 = 36.2856
f1(1,4) = 20 + 5*4 + (1/3)4*34.7119 = 40.4285
s \ 0 1 2 3 4 f *1 x*1
x2

1 34.71 36.57 33.857 36.29 40.43 33. 2

857

Respuesta: Costo Mínimo Probable: 33. 857

Solución óptima: x1 = 2 , x2 = 2 , x3 = 3

El costo mínimo probable para obtener al menos un

producto bueno es de $ 33. 857; y el día 1 se debe
producir 2, y si los 2 salen malos el día 2 se deben
producir 2, y si salen malos el día 3 se deben producir
3.
• Con más detalles, la política óptima, y costos, en cuanto
al lote de producción es:
• - Que el día 1 fabrique 2 artículos, y si al menos uno de
ellos sale bueno, el día 2 y día 3 no fabrica, y tiene un
costo total de $20 + $5*2 = $30.
• - Si todos los artículos del día 1 salen malos, entonces el
día 2 se deben fabricar 2 nuevos arículos. Si al menos uno
de ellos sale bueno, el día 3 no fabricar, y tiene un costo
total de $60. ($30 el dia 1 más $30 el día 2).
• - Si todos los artículos del día 2 salen malos, entonces el
día 3 se deben fabricar 3 artículos más. Si todos los del
día 3 salen malos, tendrá un costo total de $295. ($30 el
dia 1 + $30 el día 2 + $35 el dia 3 + $200 de multa). Si al
menos uno del día 3 sale bueno, tendrá un costo total de
$95, dado por $30 el día 1 + $30 el día 2 + $35 el día 3.
 Otras preguntas:
*) ¿Cuál es el costo total en los 3 días?.
• No se sabe de ese costo a priori, y no se sabe cual será en
cada ocasión que se deba fabricar uno de estos artículos,
porque no se sabe si se obtendrá el día 1 con un costo de $30,
o el día 2 con un costo de $60, o el día 3 con un costo de $95,
o bien deberá pagar la multa de $200 con un costo de $295.
El costo del día 1 es seguro, los demás son costos probables.
• *) ¿De que modo se puede obtener un costo total mínimo de
$33. 857 ?.
• En este caso, de ninguna manera se tendrá en alguna ocasión
un costo de $33. 857. Según lo ya indicado, el dia 1 hay un
costo de $30, si debe fabricar el día 2 el costo es de $60, y si
fabrica el día 3, el costo es de $95, y si todos salen malos,
tiene un costo total con multa de $295.
• *)Tomando en cuenta los resultados y valores de los costos ya
indicados, ¿cuál debiese ser el mínimo valor al que convendría
vender ese artículo de calidad exigente?.
• El costo mínimo probable de $33. 857 es aquel costo al que se
tenderá, si se tiene muchos pedidos de este artículos, y cada vez se
toma la política de producción que ya se indicó (x1=2, x2=2, x3=3).
Como el día 1 tiene un costo de $30, (cerca de $33.857), se puede
concluir que casi siempre, (en el 88,89% porque: 1 - (1/3)*(1/3) =
0,888 ) el artículo bueno se obtiene el primer día, lográndolo con un
costo de $30. En muy pocas ocasiones pasa al día 2 con un costo de
$60. (11,11%), y casi nunca pasará al día 3. ( (1/3)^4 = 0,0123; el
1,2 % ). Muy rara vez pagará la multa y tendrá un costo de $295,
( (1/3)^7 = 0,00045724737082 ; un 0,045% ).
• Por lo que el piso para el precio de venta que se debe considerar es
de $ 33.857, que es el costo al que tenderá si se tiene muchos
pedidos de este tipo.