16/03/2013

Caractersticas de un Problema de Programacin Dinmica

Para que un problema pueda ser resuelto con la tcnica de programacin dinmica, debe cumplir con ciertas caractersticas:

Programacin Dinmica
Simulacin y Teora de Decisiones

Naturaleza secuencial de las decisiones: El problema puede ser dividido en transiciones (o estados). Cada etapa tiene un numero de estados asociados a ella La decisin ptima de cada etapa depende solo del estado actual y no de las decisiones anteriores. La decisin tomada en una etapa determina cual ser el estado de la etapa siguiente. En sntesis, la poltica ptima desde un estado s de la etapa k a la etapa final esta constituida por una decisin que transforma s en un estado s0 de la etapa k +1 y por la poltica ptima desde el estado s0 hasta la etapa final.

Objetivo Programacin Dinmica

El objetivo de la Programacin Dinmica es de encontrar cul es la poltica optima para cada una de las etapas en las que evoluciona el sistema. La poltica para una determinada etapa es la decisin ptima en cada uno de las posibles transiciones (o estados) del sistema
Determinar

Problemas que se han resuelto a travs de Programacin Dinmica

Problemas

sobre destinos.

Viajes Tursticos Distribucin de medicinas.

Asignacin Problemas

de recursos Matemticos:

Nmeros de Fibonnacci

las Polticas ptimas para generas las mximas Ganancias Determinar las Polticas ptimas para generas los mnimos Costos

Desarrollo

de Algoritmos

Aplicacin de la Programacin Dinmica usando Cadenas de Markov.

Aplicacin de la Programacin Dinmica usando Cadenas de Markov.

Se utiliza la Programacin Dinmica para optimizar el comportamiento a corto plazo de un Proceso de Markov, en la que se tiene que tomar decisiones sobre sus polticas. Vector de Rendimientos Iniciales Esperados (Ingresos/costos)

Vector en funcin del Vector ptimo de Rendimientos : fi(n+1)K = Vik+ .

Donde:
f(i+1)k

k =
Donde:

k k .

P = Matriz de Transicin i, j en la poltica k R = Matriz de Rendimiento i, j en la poltica k (Ingresos/Costos) V= Vector de Rendimientos del sistema de los i estados, para la poltica k

= Vector optimizado para i estados para la poltica k Vo = Vector ptimo entre las k polticas. P = Matriz de Transicin i, j en la poltica k V= Vector de Rendimientos del sistema de los i estados, para la poltica k

Ojo: El vector resultante es de 3x1 (es decir vertical)

Encontrar a partir de ah Fo(i+1)

Ojo: Los vectores resultantes son de 3x1 (es decir vertical)

16/03/2013

Ejemplo
Una empresa de trasporte, planifica implementar algn tipo de poltica para el mantenimiento de sus camiones. Se desea calcular el costo esperado ptimo, y se tiene dos polticas a analizar.

Ejemplo

POLITICA 1: No hacer reparaciones, solo mantenimiento.

MATRIZ DE TRANSICIN
BUEN 20% 0% 0% REGULAR 60% 75% 0% MAL 20% 25% 100%

POLITICA 2: Hacer Reparaciones y Mantenimiento

MATRIZ DE TRANSICIN
BUEN 35% 20% 10% REGULAR 60% 50% 55% MAL 5% 30% 35%

La primera es que no hacer reparaciones solo mantenimiento, independiente del estado de los camiones. La segunda es hacer reparaciones y mantenimiento, independiente del estado de los camiones.

Estado BUEN REGULAR MAL

Estado BUEN REGULAR MAL

MATRIZ DE COSTOS (miles)

Estado BUEN REGULAR MAL BUEN REGULAR 15.00 30.00 30.00 MAL 35.00 35.00 35.00

MATRIZ DE COSTOS (miles)

Estado BUEN REGULAR MAL BUEN REGULAR 20.00 35.00 20.00 30.00 40.00 30.00 MAL 40.00 40.00 40.00

Actualmente, los camiones suelen categorizarse de la siguiente manera: Bueno, regula y mal funcionamiento. Al realizar los estudios correspondientes se encontraron las matrices de transicin y sus costos relacionados.

Cul sera su sugerencia para optimizar el uso de ests polticas en la flotilla de camiones?

Solucin Ejemplo
Estados

Para cada poltica calcular Vector de k k Costos esperados: k = .

POLITICA 1
Estado BUEN REGULAR MAL Vi1 28.00 31.25 35.00

i:

1 = Buen Funcionamiento 2 = Regular Funcionamiento 3 = Mal Funcionamiento

POLITICA 2
Estado BUEN REGULAR MAL Vi2 30.00 31.00 34.50

Vect
Estado BUEN REGULAR MAL

Polticas

1 = Poltica 1 2 = Poltica 2

Encontrando Vector del Costo Optimo ( Voi) entre ambas polticas Vector ptimo (Vo i )
Estado BUEN REGULAR MAL Vi1 Vi2 Min Vo K

2 3 3

REALIZANDO LOS CALCULOS!

Para cada poltica calcular funcin en base Vector Optimo de Costos: f(i+1)K = Vik+ .
POLITICA 1
fi+11

POLITICA 2

Estado BUEN 59.10 REGULAR 63.13 MAL 69.50

Estado fi+12 BUEN 60.13 REGULAR 62.45 MAL 66.43

Encontrando Foi+1 entre ambas polticas

Funcin ptima (Fo i+1 )

Estado BUEN REGULAR MAL fi+11 fi+12 Min Foi+1 K

Funcin ptima (Fo i+1 )

Estado BUEN REGULAR MAL fi+11 59.10 63.13 69.50 fi+12 Min Foi+1 K 60.13 59.10 Poltica 1 62.45 62.45 Poltica 2 66.43 66.43 Poltica 2