1

Problemas de decisin
Tipo particular de problemas de optimizacin
Sistemas que evolucionan con el tiempo
Se toman decisiones en momentos sucesivos de
tiempo
Decisiones dependen del estado del sistema
Polticas ptimas: mejores decisiones para un
estado dado
Programacin dinmica
2
Problema de inventarios
Demanda prevista para los prximos 12 meses:
250 200 200 250 300 300 350 300 250 250 200 350
Costes
Costes de pedido - fijos: 200
- variables: 10
Costes de inventario: 2
Costes de ventas perdidas: 25
Ejemplo 1
3
Variables:
Meses en los que se hace un pedido
Tamao del pedido
Supondremos que los valores posibles son prefijados:
0 100 200 300 400 500
Funcin objetivo:
Coste total de operacin del sistema
Restricciones:
Tamao de los inventarios, ventas perdidas
Ejemplo 1
4
Generacin de energa elctrica
Precios estimados para prximas 12 horas
45 45 47 49 51 49 51 47 45 49 52 49
Variables
Niveles de produccin de una unidad
Objetivo
Mximo beneficio
Ejemplo 2
5
Costes de generacin
C () = 41

E + 0.015

E
2

Zona de operacin permisible:
100 300 Mwh
Coste de arranque:
20000
Costes de cambios en el nivel de generacin:
150
Mxima tasa de cambio:
50 Mwh/h
Ejemplo 2
6
Variables:
Niveles de generacin
Supondremos los siguientes valores aceptables
0 - 100 - 150 - 200 - 250 - 300
Restricciones:
Mximo cambio en los niveles de generacin
Mximo/mnimo nivel de generacin
Incluido en los valores aceptables
Ejemplo 2
7
Formulacin del problema
Elementos del problema
Variables de estado
Informacin necesaria para conocer la situacin del
sistema, x
t

Variables de decisin
Acciones a tomar para modificar el estado, y
t

Ley de movimiento
Relacin entre variables de estado y de decisin
x
t+1
= g
t
( x
t
, y
t
)
8
Formulacin del problema
Elementos del problema (ii)
Funcin de costes

t
|
t
f
t
( x
t
, y
t
) + +( x
T
)
Factor de descuento, |
t

Medida de preferencia por ingresos actuales frente a
ingresos futuros
Solo es importante para horizontes largos
Valor final, +( x
T
)
Preferencia por que el sistema termine en un estado u otro
T , horizonte de planificacin
9
Formulacin del problema
Problema de programacin matemtica
Min
t
|
t
f
t
( x
t
, y
t
) + +( x
T
)
s.a x
t+1
= g
t
( x
t
, y
t
)
y
t
e Y
Se quiere calcular la poltica ptima
Funciones y
t
= a
t
( x
t
) que proporcionen el ptimo
para el problema anterior
No solo los valores ptimos de las variables
Solucin ms robusta
10
Clculo de soluciones
Demasiado costoso explorar todas las alternativas
Seleccionar algunas alternativas:
Principio del mximo
Solo algunas alternativas satisfacen condiciones
necesarias para estar en un mximo
Se estudian distintas partes de la solucin
Todas ellas deben parecer ser parte del ptimo
Principio del Mximo
11
Variables de estado:
Situacin del sistema en cada periodo
Inventarios, nivel de generacin
Variables de control:
Decisiones a tomar
Momentos de pedido, tamaos de pedido, cambios en
niveles de generacin
Principio del Mximo
12
Descripcin
Problema a resolver en un intervalo de tiempo
[0,T ] partiendo de x
0

Trayectoria ptima de variables de estado,
x
t
*
, t e [0,T ]
Propiedad de la trayectoria ptima:
Si empezamos desde x
t
*
, obtenemos la misma
trayectoria
Principio del Mximo
13
Consecuencias:
Construir una trayectoria ptima a partir de partes
pequeas
El problema se reduce a una serie de problemas de menor
tamao
Ventajoso si costes de solucin crecen ms rpido que
linealmente
Problemas menores: para un periodo nico
Limitacin:
Como x
t
*
no se conoce, probar todos los valores
Principio del Mximo
14
Ilustracin
x
t T
x
0

Principio del Mximo
15
Ilustracin
x
t+1 T t
x
t

x
t

1
2
1>2?
Principio del Mximo
16
Aplicacin
Partimos de la situacin en T
Para cada estado, coste del estado V
T
(x

)
Para cada periodo de tiempo y cada estado,
calculamos:
accin ptima en t
compatible con costes ptimos de t +1 a T
Principio del Mximo
17
Aplicacin
Formalmente, calculamos una funcin de valor
V
t
(

x

) = min
y
{ f
t
( x

, y

) + V
t+1
(g
t
( x

, y

)) }
para cada valor de x

y de t
Una vez obtenidos los valores para t = 0
Seleccionar valor correspondiente a estado inicial
Reconstruir camino de mnimo coste
Principio del Mximo
18
Principio del Mximo
Procedimiento de solucin
1. Se calcula el valor de la funcin V
T
(

x

) = +( x

)
2. Para el periodo T 1 se calcula V
T-1
(

x

) como
V
T-1
(

x

) = min
y
{ f
T-1
( x

, y

) + V
T
(g
T-1
( x

, y

)) }
Para cada valor de x se calcula el valor de
f
T-1
( x

, y

) + V
T
(g
T-1
( x

, y

))
para todos los valores de y
Se selecciona el menor y se conserva el valor de y(x) que
corresponde al mnimo (poltica ptima)
19
Principio del mximo
Procedimiento de solucin
3. Se repite el proceso hasta t = 0
Se obtiene V
0
(

x
0
)
4. Se reconstruye la trayectoria ptima a partir de
los valores de y(x)
Se parte de

x
0
y se obtiene

y
0
= y(x
0
)
Se calcula

x
1
= g
0
( x
0
, y
0
)
Se repite el proceso hasta obtener x
T

20
Gestin de inventarios
Estado: nivel de inventario
Variables de control: pedidos
Objetivo: costes
Horizonte de tiempo: 12 periodos
Valor final
Valoracin inventarios periodo 13
V
13
(I
13
) = -10I
13

Ejemplo 1
21
Aplicacin del procedimiento
Para el periodo 12,
V
12
(I

) = min
P
{f (I,P

) + V
13
(I
13
(I

,P

))}
I
13
(I

,P

) = max (0, I +

P

- D
12
)
Clculo de valores (I = 100, P = 300):
I
13
= I +

P

- D = 100 + 300 - 350 = 50
f (I,P

) = K + cP + hI = 100 + 10300 + 2100 = 3300
V (I,P

) = f (I,P

) + V

(I
13
) = 3300 - 500 = 2800
Ejemplo 1
22
Valores para I = 100,
Valor ptimo para I = 100,
V
12
(100) = 2800, si P = 300 400
Valores ptimos
Ejemplo 1
P 0 100 200 300 400
V 3950 3550 3050 2800 2800

I 0 50 100 150 200 250 300
V 3600 3200 2800 2400 2000 1600 1200
P 400 400-300 400-300 400-200 400-200 400-100 400-100

23
Repetir proceso para otros periodos
Clculos para I = 150, P = 0, t = 11:
I
12
=I +P

-D = 150 + 0 - 200 = -50, I
12
= 0
f (I,P

)= hI + sD

= 2150 + 2550 = 1550

V (I,P

)=f (I,P

)+V

(I
12
)=1550+3600=5150
Valor ptimo para I = 150, t = 11:
V
11
(150) = 4600, si P = 100
Ejemplo 1
24
Resultados
Inicio del periodo 7
Qu sucedera si I
7
= 200?
Ejemplo 1
I 0 50 100 150 200 250 300
V
13
0 -500 -1000 -1500 -2000 -2500 -3000
V
12
3600 3200 2800 2400 2000 1600 1200
V
11
5700/2 5400/2 4900/1 4600/1 4000/0 3700/0 3400/0
V
10
8500/3 7900/2 7700/2 7100/1 6850/1 6200/0 6000/0
V
9
11000 10700 10200 9900 9400 9000 8500
V
8
14100 13900 13300 13100 12500 12250 11600
V
7
17950 17300 17150 16500 16350 15700 15450

25
Solucin ptima para I
7
= 200
Calcular valores a partir del periodo 7
Usando el tamao ptimo de pedido, calcular el
inventario en el periodo 8
Repetir hasta el periodo 13
Ejemplo 1
Periodo 7 8 9 10 11 12 13
Inventario 200 0 0 50 0 0 50
Pedido 100 300 300 200 200 400
26
Qu sucedera si I
7
= 50?
Utilizar la informacin en tabla ptima
Repetir el procedimiento para obtener
Ejemplo 1
Periodo 7 8 9 10 11 12 13
Inventario 50 0 0 50 0 0 50
Pedido 300 300 300 200 200 400
27
Generacin de energa elctrica
Estado: nivel de generacin
Variables de control: cambio de nivel
Objetivo: beneficio
Horizonte de tiempo: 12 horas
Valor final: valoracin de nivel de generacin
500 si P
13
> 0
V
13
(P
13
) =
0

si P
13
= 0
Ejemplo 2
28
Clculos
Para t = 12,
V
12
(P

) = max
A
{f

(P , A) + V
13
(P
13
(P,A))}
P
13
(P , A) = P + A, A = 0 , 50
Valores para P = 100, A = 50:
P
13
= P + A = 150
f

(P,A)=pP - aP - bP
2
- c = 61.6 (P = 125)
V

(P,A)=f

(P , A)+V

(P
13
)=61.6+500=561.6
Ejemplo 2
29
Otros clculos
Para P = 100,
Valor ptimo para P = 100,
V
12
(100) = 565, si A = 0
Valores ptimos
Ejemplo 2
A -50 0 50
V 21.25 565 561.5
P 0 100 150 200 250 300
V 0 565 586.3 600 606.3 605
30
Resultados
Inicio del periodo 7
Qu sucede si P
7
= 200?
Ejemplo 2
P 0 100 150 200 250 300
V
13
0 500 500 500 500 500
V
12
0 565 586.6 600 606.3 605
V
11
0 685.3 731.6 762.8 787.5 800
V
10
0 793.1 841.9 876.6 893.8 905
V
9
0 853.4 885.6 896.6 900 890
V
8
0 922.2 941.9 956.6 956.3 936.6
V
7
0 1028.4 1070.6 1096.6 1112.5 1102.8

31
Solucin ptima para P
7
= 200
De los valores en la tabla ptima
Valores de las variables de control
Cdigo de colores en la tabla
Ejemplo 2
Hora 7 8 9 10 11 12 13
Generacin 200 200 200 200 250 250 250
Cambio 0 0 0 50 0 0
32
Renovacin de equipos
Coste de compra: 100
Costes de operacin:
Ejemplo 3
Ao Coste Valor residual
1 9 75
2 10 55
3 12 35
4 15 20
5 20 10
6 25 2

33
Encontrar poltica de renovacin ptima
Para un horizonte de 6 aos
Para un horizonte de 7 aos
Para un horizonte infinito
Factor de descuento: 0.95
Condicin inicial: edad del equipo
Problema adicional: horizonte infinito
Ejemplo 3
34
Formulacin del problema:
Variable de estado:
Edad del equipo
Variable de decisin:
Renovar o no en un periodo dado
Costes: operacin, compra, valor residual
Funcin de valor: coste total
Ejemplo 3
35
Solucin
Suponiendo un horizonte a 5 aos:
V
6
(e

) = V
r
(e

)
Periodo 5:
V
5
(e

) = min { C
a
- V
r
(e

) + C
o
(1) + |V
6
(2) ,
C
o
(e

) + |V
6
(e

+ 1) }
Ejemplo 3
36
Resultados
Si el equipo tiene una edad de dos aos
Horizonte a 6 aos:
Renovar pasados 5 aos
Horizonte a 7 aos:
Renovar pasados 4 aos
Como seleccionar entre ambas opciones?
Resolver con horizonte infinito
Ejemplo 3
37
Para que el problema tenga solucin
Datos estacionarios
Definir y trabajar con coste por periodo
Frmula de solucin
J (x

) = min
u
{c (u

) + | J

(y (x

,u

))}
Procedimientos de solucin:
Iteraciones sucesivas
Iteracin en polticas
Horizonte Infinito
38
Clculos para horizonte infinito
J
0
= 0, J
k+1
= min
u
{c
u
+ | P
u
J
k
}
J
100
= ( 530 548 567 584 599 610 )
Decisiones:
( NR NR NR NR NR R )
Poltica ptima:
Renovar tras 6 periodos

Ejemplo 3
39
Extensiones:
Datos aleatorios
Se optimiza el valor esperado
V
t
(x

) = min
u
E {c
t
(u
t
,w
t
) + V
t+1
(x
t+1
(x

,u
t
,w
t
))}
Tiempo continuo
Solucin directa solo es posible en casos especiales
Discretizar el tiempo
Principio del Mximo
40
Resumen
Tcnica potente pero compleja
Existen herramientas computacionales eficientes
Tanto para formulacin como para solucin
Soluciones no son siempre intuitivas
Herramientas adaptadas a propiedades del
modelo
Programacin lineal
Programacin dinmica
41
Ejemplo 4
Hillier y Lieberman
Un estudiante tiene 10 das para
preparar los exmenes de 4 cursos
Asignar das de estudio a cada curso
Cada da asignado a un nico curso
Estimacin de mejoras en
calificaciones
Optimizando la mejora en las
calificaciones

A B C D
1 2 3 2 3
2 4 3 3 4
3 5 4 5 5
4 6 5 6 7
42
Ejemplo 5
Hillier y Lieberman
Se quiere disear un sistema
que requiere de cuatro
componentes
Para mejorar la fiabilidad se
pueden instalar varias
unidades de cada
componente en paralelo
Las probabilidades de
funcionamiento correcto y los
costes se dan en las tablas
siguientes
El presupuesto disponible es
de 1000
C1 C2 C3 C4
1 0,55 0,6 0,7 0,5
2 0,65 0,7 0,8 0,65
3 0,85 0,8 0,9 0,8
C1 C2 C3 C4
1 100 200 100 200
2 200 400 300 300
3 300 500 400 400
43
Ejemplo 6
Valoracin de opciones
Te ofrecen una opcin para comprar acciones
Vencimiento en 3 meses
Precio de ejercicio 24
Estimacin del comportamiento de la accin
Promedio de cambio semanal 0,5
Desviacin tpica 1
En realidad estos valores debieran darse sobre las tasas
de cambio
Valor de la opcin en funcin del valor de la accin
44
Ejemplo 7
Hillier y Lieberman
Campaa de publicidad
3 etapas: ofertas especiales, anuncios y fidelizacin
Etapa 1:
m = 10 x
1
- x
1
2

Etapa 2:
f
2
= 0.4 + 0.1 x
2

Etapa 3:
f
3
= 0.6 + 0.07 x
3

Presupuesto total: 4 M
Maximizar m f
2
f
3