Documentos de Académico
Documentos de Profesional
Documentos de Cultura
DOCENTE:
CURSO:
PROGRAMACIN DINMICA
OBJETIVOS:
TABLAS DE POLTICAS
Para los procesos en los cuales la aleatoriedad existe en los estados asociados
con las decisiones, una poltica puede exhibirse como una tabla de polticas
similar a la siguiente tabla N01.
( ) = 1,2, , ; = 1,2,
Tabla
N01
a1
a2
a3
d1(a1)
d1(a2)
d1(an)
d2(a1)
dn(a1)
d2(a2)
dn(a2)
d2(an)
dn(an)
PROBLEMA 01
BARRICAS
0
1
2
3
4
5
PROBABILIDADES DE DEMANDA
TIENDA 1
TIENDA 2
TIENDA 3
0.1
0
0.1
0.2
0.2
0.3
0.3
0.6
0.2
0.2
0
0.2
0.1
0.2
0
0.1
0
0.2
= , .
=
f1(x)
0,00
16,60
28,80
36,00
39,60
41,40
41,40
41,40
41,40
f2(x)
0,00
20,00
36,00
40,00
44,00
44,00
44,00
44,00
44,00
f3(x)
0,00
18,90
31,50
39,90
44,10
48,30
48,30
48,30
48,30
TABLA N02
Etapa 1, U=1,2,8
f1(1)=
0 x 0,1
18 x 0,9
f1(2)=
0 x 0,1
18 x 0,2
36 x 0,7
f1(3)=
f1(4)=
f1(5)=
f1(6)=
0x
0x
0x
0x
0,1
0,1
0,1
0,1
+
+
+
+
18
18
18
18
0,2
0,2
0,2
0,2
+
+
+
+
36
36
36
36
0,3
0,3
0,3
0,3
+
+
+
+
54 x
54 x
54 x
54 x
0,4
0,2
0,2
0,2
=
+
+
+
36,00
72 x 0,2
72 x 0,1
72 x 0,1
=
+
+
39,60
90 x 0,1
90 x 0,1
=
=
41,40
41,40
f1(7)=
0 x 0,1
18 x 0,2
36 x 0,3
54 x 0,2
72 x 0,1
90 x 0,1
41,40
f1(8)=
0 x 0,1
18 x 0,2
36 x 0,3
54 x 0,2
72 x 0,1
90 x 0,1
41,40
x
x
x
x
16,20
x
x
x
x
28,80
Etapa 2, U=1,2,8
f2(1)=
0x 0
20 x 1
f2(2)=
0x 0
20 x 0,2
40 x 0,8
f2(3)=
0x 0
20 x 0,2
40 x 0,6
60 x 0,2
f2(4)=
f2(5)=
f2(6)=
f2(7)=
f2(8)=
0x
0x
0x
0x
0x
+
+
+
+
+
20
20
20
20
20
+
+
+
+
+
40
40
40
40
40
+
+
+
+
+
60 x
60 x
60 x
60 x
60 x
+
+
+
+
+
0
0
0
0
0
x
x
x
x
x
0,2
0,2
0,2
0,2
0,2
20,00
x
x
x
x
x
0,6
0,6
0,6
0,6
0,6
36,00
0
0
0
0
0
40,00
80 x
80 x
80 x
80 x
80 x
0,2
0,2
0,2
0,2
0,2
=
+
+
+
+
44,00
100 x
100 x
100 x
100 x
0
0
0
0
=
=
=
=
44,00
44,00
44,00
44,00
Etapa 3, U=1,2,8
f3(1)=
f3(2)=
f3(3)=
f3(4)=
f3(5)=
f3(6)=
f3(7)=
f3(8)=
0x
0x
0x
0x
0x
0x
0x
0x
0,1
0,1
0,1
0,1
0,1
0,1
0,1
0,1
+
+
+
+
+
+
+
+
21
21
21
21
21
21
21
21
x
x
x
x
x
x
x
x
0,9
0,3
0,3
0,3
0,3
0,3
0,3
0,3
=
+
+
+
+
+
+
+
18,90
42
42
42
42
42
42
42
x
x
x
x
x
x
x
0,6
0,2
0,2
0,2
0,2
0,2
0,2
=
+
+
+
+
+
+
31,50
63 x
63 x
63 x
63 x
63 x
63 x
0,4
0,2
0,2
0,2
0,2
0,2
=
+
+
+
+
+
39,90
84 x
84 x
84 x
84 x
84 x
0,2
0
0
0
0
=
+
+
+
+
44,10
105 x
105 x
105 x
105 x
m3(7) = max ( f3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) + f3 ( 4 ) + f3 ( 5 ) + f3 ( 6 ) + f3 ( 7 ) )
max (
max ( 48,30 )
d3(7) =
0,2
0,2
0,2
0,2
=
=
=
=
48,30
48,30
48,30
48,30
m3(6) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) + f3 ( 4 ) + f3 ( 5 ) + f3 ( 6 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 + 44,10 + 48,30 + 48,30 )
max ( 48,30 )
d3(6) = 5
m3(5) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) + f3 ( 4 ) + f3 ( 5 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 + 44,10 + 48,30 )
max ( 48,30 )
d3(5) = 5
m3(4) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) + f3 ( 4 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 + 44,10 )
max ( 44,10 )
d3(4) = 4
m3(3) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) + f3 ( 3 ) )
max ( 0,00 + 18,90 + 31,50 + 39,90 )
max ( 39,90 )
d3(3) = 3
m3(2) = max ( f 3 ( 0 ) + f3 ( 1 ) + f3 ( 2 ) )
max ( 0,00 + 18,90 + 31,50 )
max ( 31,50 )
d3(2) = 2
m3(1) = max ( f3 ( 0 ) + f3 ( 1 ) )
max ( 0,00 + 18,90 )
max ( 18,90 )
d3(1) = 1
m3(0) = max ( f3 ( 0 ) )
max ( 0,00 )
max ( 0,00 )
d3(0) = 0
n= 2 u= 8
m2(8) = max ( f2 ( 0 ) + m3 ( 8 - 0 ); f2 ( 1 ) + m3 ( 8 - 1 ); f2 ( 2 ) + m3 ( 8 - 2 ); f 2 ( 3 ) + m3 ( 8 - 3 ); f2 ( 4 ) + m3 ( 8 - 4 ); f2 ( 5 ) + m3 ( 8 - 5 ); f2 ( 6 ) + m3 ( 8 - 6 ); f2 ( 7 ) + m3 ( 8 - 7 ); f2 ( 8 ) + m3 ( 8 - 8 ) )
max ( 0,00 + 48,30
max ( 88,30 )
d2(8) =
20,00 + 48,30
36,00 + 48,30
40,00 + 48,30
44,00 + 44,10
44,00 + 39,90
44,00 + 31,50
44,00 + 18,90
m2(7) = max ( f2 ( 0 ) + m3 ( 7 - 0 ); f2 ( 1 ) + m3 ( 7 - 1 ); f2 ( 2 ) + m3 ( 7 - 2 ); f 2 ( 3 ) + m3 ( 7 - 3 ); f2 ( 4 ) + m3 ( 7 - 4 ); f2 ( 5 ) + m3 ( 7 - 5 ); f2 ( 6 ) + m3 ( 7 - 6 ); f2 ( 7 ) + m3 ( 7 - 7 ) )
max (
0,00 + 48,30
20,00 + 48,30
36,00 + 48,30
40,00 + 44,10
44,00 + 39,90
44,00 + 31,50
44,00 + 18,90
44,00 + 0,00
max ( 84,30 )
d2(7) =
m2(6) = max ( f2 ( 0 ) + m3 ( 6 - 0 ); f2 ( 1 ) + m3 ( 6 - 1 ); f2 ( 2 ) + m3 ( 6 - 2 ); f 2 ( 3 ) + m3 ( 6 - 3 ); f2 ( 4 ) + m3 ( 6 - 4 ); f2 ( 5 ) + m3 ( 6 - 5 ); f2 ( 6 ) + m3 ( 6 - 6 )
max ( 0,00 + 48,30 ;
20,00 + 48,30 ;
36,00 + 44,10 ;
40,00 + 39,90 ;
44,00 + 31,50 ;
44,00 + 18,90 ;
44,00 + 0,00
)
max ( 80,10 )
d2(6) = 2
m2(5) = max ( f2 ( 0 ) + m3 ( 5 - 0 ); f2 ( 1 ) + m3 ( 5 - 1 ); f2 ( 2 ) + m3 ( 5 - 2 ); f2 ( 3 ) + m3 ( 5 - 3 ); f2 ( 4 ) + m3 ( 5 - 4 ); f2 ( 5 ) + m3 ( 5 - 5 )
max ( 0,00 + 48,30 ;
20,00 + 44,10 ;
36,00 + 39,90 ;
40,00 + 31,50 ;
44,00 + 18,90 ;
44,00 + 0,00
)
max ( 75,90 )
d2(5) = 2
m2(4) = max ( f2 ( 0 ) + m3 ( 4 - 0 ); f2 ( 1 ) + m3 ( 4 - 1 ); f2 ( 2 ) + m3 ( 4 - 2 ); f2 ( 3 ) + m3 ( 4 - 3 ); f2 ( 4 ) + m3 ( 4 - 4 )
max ( 0,00 + 44,10 ;
20,00 + 39,90 ;
36,00 + 31,50 ;
40,00 + 18,90 ;
44,00 + 0,00
)
max ( 67,50 )
d2(4) = 2
m2(3) = max ( f2 ( 0 ) + m3 ( 3 - 0 ); f2 ( 1 ) + m3 ( 3 - 1 ); f2 ( 2 ) + m3 ( 3 - 2 ); f2 ( 3 ) + m3 ( 3 - 3 )
max ( 0,00 + 39,90 ;
20,00 + 31,50 ;
36,00 + 18,90 ;
40,00 + 0,00
)
max ( 54,90 )
d2(3) = 2
44,00 + 0,00 )
m2(2) = max ( f2 ( 0 ) + m3 ( 2 - 0 ); f2 ( 1 ) + m3 ( 2 - 1 ); f2 ( 2 ) + m3 ( 2 - 2 )
max ( 0,00 + 31,50 ;
20,00 + 18,90 ;
36,00 + 0,00
)
max ( 38,90 )
d2(2) = 1
m2(1) = max ( f2 ( 0 ) + m3 ( 1 - 0 ); f2 ( 1 ) + m3 ( 1 - 1 )
max ( 0,00 + 18,90 ;
20,00 + 0,00
)
max ( 20,00 )
d2(1) = 1
m2(0) = max ( f2 ( 0 ) + m3 ( 1 - 0 )
max ( 0,00 + 0,00
)
max ( 0,00 )
n= 1 u= 8
m1(8) = max ( f1 ( 0 ) + m3 ( 8 - 0 ); f1 ( 1 ) + m3 ( 8 - 1 ); f1 ( 2 ) + m3 ( 8 - 2 ); f1 ( 3 ) + m3 ( 8 - 3 ); f1 ( 4 ) + m3 ( 8 - 4 ); f1 ( 5 ) + m3 ( 8 - 5 ); f1 ( 6 ) + m3 ( 8 - 6 ); f1 ( 7 ) + m3 ( 8 - 7 ); f1 ( 8 ) + m3 ( 8 - 8 ) )
max ( 0,00 + 88,30 ;
16,60 + 84,30 ;
28,80 + 80,10 ;
36,00 + 75,90 ;
39,60 + 67,50 ;
41,40 + 54,90 ;
41,40 + 38,90 ;
41,40 + 20,00 ;
41,40 + 0,00 )
max ( 111,90 )
d1(8) = 3
TABLA N03
0
u
4
m3(u)
0,00
18,90
31,50
39,90
44,10
48,30
48,30
48,30
48,30
d3(u)
m2(u)
0,00
20,00
389,00
54,90
67,50
75,90
80,10
84,30
88,30
d2(u)
m1(u)
111,90
d1(u)
La poltica
PTIMA:
X1*=
d1(8)=
X2*=
d2(8-X1*)=
X3*= d3(8-X1*-X2*)=
PROGRAMACIN DINMICA
PROBABILSTICA
En la programacin dinmica probabilstica, la transicin al estado de una etapa
siguiente no se determina por el estado de la decisin poltica en la etapa actual.
Despus de la decisin, quiz la transicin al estado de la etapa siguiente dependa del
azar; esto es, de una variable aleatoria que sigue una distribucin de probabilidad y
que puede estar condicionada por el estado, etapa y decisin poltica de la etapa
actual. O simplemente, en j=t(n,i,k), la funcin t es una variable aleatoria en el
sentido de que la transicin (n,i,k) -> (n+1,j), que se representa en el siguiente
esquema, tiene la probabilidad , , .
ETAPA N+1
ETAPA N
1 , ,
i
Decisin K
C(n,i,k)
(n,i,k
)
2 , ,
, ,
f*(n+1,1)
f*(n+1,2)
f*(n+1,m)
Transicin
probabils
tica de un
problema
de
programa
dinmica.
Cuando se expande el diagrama para incluir todos los estados y decisiones posibles en
todas las etapas, se obtiene un rbol de decisin del problema.
ecuacin:
, , = , , +
, , ( + 1, )
=1
PROBLEMA 02
Una unidad de cierto producto puede fabricarse en una semana. El comprador hace
un pedido de una unidad que deber entregarse al final de la primera semana y
otro de ms de una unidad que se entregar al final de la segunda. Al ser entregado
el artculo al final de la primera semana, el comprador lo somete a un control de
calidad. De acuerdo con el control realizado, el comprado decide adquirirlo y pagar
la cantidad de 600 u.m. en la siguiente semana. En caso de no superar el
procedimiento de control, lo rechazar, lo cual constituir una prdida total para el
productor.
Para la produccin de un artculo en una semana, quiz se utilice 1 o 2 unidades de
produccin, cada una de ellas a un costo total de 100 u.m. (maquinaria, mano de
obra, materia prima, entre otros), y son independientes entre s. Una unidad de
produccin tiene la probabilidad igual a 0,5 para fabricar un artculo que supere un
control de calidad del comprador. Estos datos de costo y probabilidad se refieren a
las condiciones actuales para la produccin de la primera semana.
Para la segunda semana, las unidades de produccin sufrirn un ajuste tecnolgico
que elevar la probabilidad de conformidad, para cada una, a 0,65 y tambin
elevar el costo total de una unidad de proceso al 50%.
Represente el diagrama del problema y determine la mejor decisin poltica al inicio
de cada semana de produccin y en todas las situaciones.
-200
0
K=
-100
K=
(0,7
5)
(0,2
5)
(0,5
0)
(0,5
0)
300
450
-300
-150
Programacin dinmica
probabilstica
(0,877
5)
K=
(0,122
5)
(0,6
5)
K=
(0,3
5)
600
i/k
0
casos.
1
f(1,i,k)
i/k
0
1
1
240,00
840,00
2
226,50
826,50
K*
1
1
f*(1,i)
240,00
840,00
1
2
K*
1
Por240,00
lo tanto226,50
obtenemos
840,00
826,50
1
el
f*(1,i)
240,00
840,00
f(1,i,k)
i/k
0
1
440,00
2
490,00
K*
2
f*(1,i)
490,00
As las decisiones ptimas son ubicar dos unidades de produccin para la primera
f(1,i,k)
ronda
(semana
0)2 y nicaK*unidadf*(1,i)
de produccin para la siguiente (semana 1), el
i/k
1
margen
de que 490,00
el artculo2 sea aceptado
o no.
0
440,00
490,00
En una urna para sorteo contiene 5 bolas, 4 verdes y 1 roja. Un candidato del auditorio gana
160 u.m. por participar y el presentador le explica que puede quedarse con el dinero si
desistir del juego o participar en el sorteo y elegir una bola de la urna. Si acepta, el
participante pierde el dinero que ya gan si saca la bola roja, o gana 50% ms sobre el valor
de lo que ya tiene si sale la verde. En este ltimo caso, el participante decidir de nuevo
entre desistir o continuar con las mismas condiciones. La bola que ya extrajo no se repone.
Este proceso puede repetirse varias veces. Represente el diagrama del problema del
candidato y determine la mejor decisin poltica para l en cada momento que debe tomar
una decisin (vase el siguiente diagrama).
2
D
ETAPA 1
160
0
D
P (1/5)
1
G (4/5)
ETAPA 2
240
P (1/4)
G (3/4)
ETAPA 3
360
ETAPA 4
2
A
540
D
P (1/3)
G (2/3)
P (1/2)
G (1/2)
ETAPA 5
SOLUCIN
Cada etapa n representa la n-sima respuesta que el candidato debe dar al
presentador para decidir entre continuar (C) o desistir (D) del juego. As, las decisiones
C o D.
Los estados de cada etapa, a partir de n=2, son dos:
1. El candidato juego y toma una decisin (C o D).
2. El candidato sale del juego en la etapa anterior.
As, por ejemplo, la funcin de recurrencia en n=4 e i=1 se calcula con:
f(4,1,D)= 540
f(4,1,C)= 0,5x810+0,5x0= 405
f(4,i,k)
4,2 = 0
ETAPA 4
1
2
C
405
-
1
2
C
360
-
D
540
0
K*
D
D
f*(4,i)
540
0
D
360
0
K*
DoC
D
f*(3,i)
360
0
f(3,i,k)
ETAPA 3
f(3,1,D)= 360
f(3,1,C)= 1/3x0+2/3x540= 360
3,2 = 0
f(2,1,D)= 240
f(2,1,C)= 1/4x0+3/4x360= 270
2,2 = 0
ETAPA 2
f(1,1,D)= 160
f(1,1,C)=
1/5x0+4/5x540= 432
1,2 = 0
f(2,i,k)
1
2
C
270
-
1
2
C
216
-
D
240
0
K*
C
D
f*(2,i)
270
0
D
160
0
K*
C
D
f*(1,i)
216
0
f(1,i,k)
ETAPA 1
As, las decisiones ptimas son continuar en el juego en las dos primeras etapas,
indiferencia entre continuar o desistir en la tercera y desistir en la cuarta decisin.
BIBLIOGRAFIA