PROGRAMACIN DINMICA 1.

1 CARACTERSTICAS DE LOS PROBLEMAS DE PROGRAMACIN DINMICA: ETAPAS, ESTADOS, FRMULA RECURSIVA, PROGRAMACIN EN AVANCE Y EN RETROCESO La programacin dinmica es una tcnica matemtica que se utiliza para la solucin de problemas matemticos seleccionados, en los cuales se toma una serie de decisiones en forma secuencial. Proporciona un procedimiento sistemtico para encontrar la combinacin de decisiones que maximice la efectividad total, al descomponer el problema en etapas, las que pueden ser completadas por una o ms formas (estados), y enlazando cada etapa a travs de clculos recursivos. La programacin dinmica es un enfoque general para la solucin de problemas en los que es necesario tomar decisiones en etapas sucesivas. Las decisiones tomadas en una etapa condicionan la evolucin futura del sistema, afectando a las situaciones en las que el sistema se encontrara en el futuro (denominadas estados), y a las decisiones que se plantearan en el futuro. La programacin dinmica parte de una pequea porcin del problema y llega a la solucion optima para esa pequena parte del problema, entonces gradualmente se agranda el problema hallando la solucion optima en curso a partir de la anterior. Este proceso se repite hasta obtener la solucion optima del problema original. E problema de la diligencia es un prototipo literal de los problemas de programacion dinamica. Por tanto una manera de reconocer una situacion que se puede formular como un problema de programacion dinamica es poder identificar una estructura analoga a la del problema de la diligencia. Caractersticas bsicas. 1.- El problema se puede dividir en etapas que requieren una politica de decision en cada una de ellas. 2.- Cada etapa tiene cierto numero de estados asociados con su inicio. Los estados son las distintas condiciones posibles en las que se puede encontrar el sistema en cada etapa del problema. 3.- El efecto de la politica de decision en cada etapa es transformar el estado actual en un estado asociado con el inicio de la siguiente etapa. 4.- El procedimiento de solucion esta disenado para encontrar una politica optima para el problema completo. 4 5.- Dado el estado actual, una politica optima para las etapas restantes es independiente de la politica adoptada en etapas anteriores. Este es el principio

de optimalidad para programacion dinamica. 6.- El procedimiento de solucion se inicia al encontrar la politica optima para la ultima etapa. 7.- Se dispone de una relacion recursiva que identifica la politica optima para la etapa n, dada la politica optima para la etapa n+1. La forma precisa de relacion recursiva difiere de un problema a otro de programacion dinamica, pero usaremos una notacion analoga a la siguiente: N = numero de etapas. n = etiqueta para la etapa actual ( n = 1,2,...,N) sn = estado actual para la etapa n xn = variable de decision para la etapa n xn* = valor optimo de xn (dado sn) fn(sn,xn) = contribucion a la funcion objetivo de las etapas n, n+1,...,N, si el sistema se encuentra en el estado sn en la etapa n, la decision inmediata es xn y en adelante se toman decisiones optimas. fn*(sn) = fn(sn,xn*) La relacion recursiva siempre tendra la forma: fn*(sn) = min fn(sn,xn) o fn*(sn) = max fn(sn,xn) 8.- Cuando se usa esta relacion recursiva, el procedimiento de solucion comienza al final y se mueve hacia atras etapa por etapa, hasta que encuentra la politica optima desde la etapa inicial.

PROGRAMACION DINMICA PROBABILISITCA (PDP)

En este captulo se explica cmo usar la programacin dinmica para resolver problemas en los que el costo del periodo actual o el estado del siguiente periodo son aleatorios. A estos problemas se les conoce como problemas de programacin dinmica probabilstica (PDP). En una PDP, por lo general el

objetivo de quien toma la decisin es minimizar el costo esperado en que se incurre o maximizar la recompensa esperada obtenida en un determinado horizonte de tiempo.

La programacin dinmica probabilstica difiere de la determinstica en que los estados y los retornos o retribuciones en cada etapa son probabilsticos. La programacin dinmica probabilstica se origina en especial en el tratamiento de modelos estocsticos de inventario y en los procesos markovianos de decisin.

1.3 PROGRAMACIN DINMICA DETERMINSTICA

Los problemas determinsticos de programacin dinmica son aquellos en los cuales el estado asociado en la etapa siguiente est totalmente determinado por el estado y la poltica de decisin de la etapa actual. La siguiente figura describe el funcionamiento de la programacin dinmica determinstica. Los problemas de programacin dinmica determinstica son aquellos en los que el estado en la etapa siguiente queda completamente determinado por el estado y la poltica en la etapa actual.

1.4 PROGRAMACIN DINMICA PROBABILSTICA

La programacin dinmica probabilstica difiere de la programacin dinmica determinstica en que el estado de la etapa siguiente no queda completamente determinado por el estado y la decisin de la poltica en el estado actual. En lugar de ello existe una distribucin de probabilidad para lo que ser el estado siguiente. Sin embargo, esta distribucin de probabilidad todava est completamente determinada por el estado y la decisin de la poltica del estado actual. En la siguiente figura se describe diagramticamente la estructura bsica que resulta para la programacin dinmica probabilstica, en donde N denota el nmero de estados posibles en la etapa n+1.

1.5 PROBLEMA DE DIMENSIONALIDAD EN PROGRAMACIN DINMICA

La programacin dinmica tradicional permite obtener las trayectorias optimas de control para procesos no lineales, variantes, con cualquier tipo de funcional o ndice de desempeo y con restricciones en las variables. Los algoritmos pueden ser programados en cualquier sistema de cmputo digital ampliamente disponibles en la actualidad. La aplicacin de estos algoritmos a sistemas continuos exige la discretizacion de las ecuaciones diferenciales que modelan el proceso o sistema, asi como la cuantificacion de las variables de estado, de las variables de decision o control y del tiempo.