Unided 5 Seg Cah oe Gonzales J. (Coord.), Juricek, L., Ortiz, . (1984) Investigacion de Operaciones He Angenlors de Sistemas. Paginas 21 a BASES TEORICAS Pat FINITO DE TAPAS,’ MODELOS DETERMINiSTICOS CON UN NUMERO Analizar el principio de oj ptimalidad de Bell i idir si problema de optimizacion con hr fe Bellman, el cual permite decidir si un Dinamica. n M-etapas puede resolverse ono mediante Programacion Manejar las ecuacion: i eS recursi i i eee de la Programacién Dindmica para la Experiencia de Aprendizaje PRINCIPIO DE OPTIMALIDAD DE BELLMAN Determinar por medio de! principio de optimalidad de Bellman, la clase de problemas de optimizaciér: 20n N-etapas que se pueden resolver mediante la Programacién Dinamica. La programacién Dinémica se aplica solamente a una clase particular de problemas de optimizacién con N-etapas; estos problemas veriican el “principio de Optimalidad de Bellman” lo que equivale a imponer condiciones especiales sobre la funcién objetivo del problema (propiedad de descomposicion). El principio de Bellman permite construir progresivamente wna politica optima generando asi las ecuaciones recursivas de la Programacién Dindmica, las cuales Geben establecerse para cada problema particular. Seccién 1 NOCIONES SOBRE TEORIA DE SISTEMAS: studia las relaciones entre los atributos del sistema que les pero no i or onte (las entradas) y 108 atributos observab| motif abe vat cinente (las salidas). En general, la relacién entre las entradas y las dificables ae tema no es una funcidn; es decir, awe misma entrada corresponden salgas Chas dependiendo el estado inicial (0 condiciones inicales) del sistema. La Teoria de Sistemas e oca entre la entrada u y la salida v, se parametriza nv : Para obtener una relacion mn ai istema. Asi en el instante { tenemos: cada par (u,v) por el ‘estado x(t0) ini vit) = gett), uCt)) 205Modo Ser Esta relacion entrada-salida-estad ; 10 induce una ecuacion de estado del sistema G9 la forma: x(t) = hix(0), uy.) donde Uj») denota la entrada aplicada al sistema - en el intervalo [t,,t) : Los sistemas se clasifican en: { Sistemas continuos y sistemas discretos Seguin el cardcter continuo o discreto del espacio de los estados del sistema Sistemas deterministicos y sistemas estocasticos. En un sistema deterministico, SS la salida v(t) en el instante t esta univocamente defirida por el estado inicial x(t0) del “= sistema ya entrada u,, por el contrario, en un sistema estocastico la salda es Para » todo t una variable aleatoria. Yo En consecuencia, por una parte la relacin entrada-salida-estado de un sistema *\deterministica esta reemplazada por una relacién entre la entrada, el setae, y la Gistribucién de probabilidad de la salida; por otra parte, la ecuacion de estado de un Sistema deterministico esta reemplazada para todo t por la distribucion condicional de Probabilidad del estado x(t), dado x(10) y Uy... Sistemas en tiempo continuo y sistemas en tiempo discreto segin el carécter continuo © discreto de la variable tiempo, Para un sistema en tiempo, sin y n+! son observaciones consecutivas del sistema, si u""” es la entrada aplicada en el periodo (0. n*1) y x” el estado inicial del sistema, el estado dei sistema al final del petiodo (n, n+1) es: X= Pel UO”) ‘ecuacién de estado del periodo (n, n+1) Dado un estado x" decimos que un estado X es alcanzable a partir de x°, si existe Ne Ny una secuencia (u’,...,u°) de entradas tales que: x" sh, ("un =0,...,(7—1) x° dado Un estado X es alcanzable a partir de x° en un periodo si: X es alcanzable y =1, Obviamente si X es alcanzable a partir de x°, y X es aloanzable a pari de X. entonces X es alcanzable a partir de x°. Observaciones: Lanocién de estado alcanzable a partir de otro estado, esté fuertemente vinculada con la ecuacién de estado del sistema. Hasta el momento la ecuacion de estado del periodo (n, n+1) ha sido: XPT Shy (XU) Co) ‘Siendo x""' el estado del sistema al final de! periodo, x" su estado de inicio del periodo y ula entrada aplicada en el periodo; el andlisis se desarrolla en el sentido usual del tiempo: del pasado al futuro. | 206Unidad 5 Es decir, S:(x°) es @| i Conjunto di gel periodo (0,1). Estos e © todo los posi cerveda aplicada en el ie Se obtienen a | al eats del sistema al final considerado, estado inicial x° al variar la Reciprocamente, S (x! none, S,(X’) sea x! consideramos x’ como estado istom ; . : alconjunto de todos los esladoe hie ele penoda (01) podemes seta cuales x’ es alcanzable en un period econ anise del Periodo (0,1) parr de tos = 5]? ' S,X')=fe ix! $0? NF Un estado del si al andlisis Se desarrolla entonces en el sentido del futuro al pasad: pasado, Si la euacion de estado d lel sistema es “invertible” (p,n+1) podemos expresar el estado xn del sistema cry de su estado x’ ; es decir, si para todo periodo al final s inicio del period como funcién al del periodo y de la entrada u™" aplicada en el pericdo, o sea Fala") 7 Entonces S,(x') es el conj - junto de estados alcanzables a partir . periodo, al utilizar (2) como ecuacién de estado del sistema. ane og Aun mismo par de estado x", x”! pueden corr ft 5 esponder obien (2) ponder varios u"" verificando (1) SECCION 2 PROBLEMAS DE OPTIMIZACION EN N-ETAPAS En un problema de optimizacién 0 de decision, el sistema se lama modelo, las entradas son las variables de decisién y los parametros del modelo constituyen el estado inicial del sistema: en el caso deterministico a todo estado iniciel xi y toda decision u corresponde al estado final xf = h(x’, u) (1) Ademas, para poder comparar las diferentes decision®s, £& define una funcion objetivo cuyo valor depende de la decision y de 10s estados iniciales y finales del sistema. izacion, la variable de tiempo puede o no figurar En los problemas de optimizacion, f 0 explictamente por ejemplo, enlosproblemas de gestion deinventarios periddicamente se toman decisiones, la seouencia de estas constituye una politica. ignacid tidad x de recursos a N ema de asignacion de una can ee raat! Gare la cantidad de recursos asignada e 7 aaa i y (x) su rendimiento, tenemos que resol Wer el problema: max("s(%) 207Ky tant ky =X x20 i= dese atom? 7° aparece explicitamente. Sin embargo, cada vez que podamos jescomponer un problema de este tipo en una secuencia de problemas mas simples, la variable tiempo se introducira de modo muy natural. Asi, el problema de asignacion mencionado se puede descomponer en N asignaciones hechas una detrés de la otra. _ Por consiguiente, serdn sinénimos los términos etapas y periodos, siendo el Periodo n comprendido entre las fechas o instantes ((n-1),n). Un problema de optimizacién en N etapas consiste pues de N problemas de optimizacién de la siguiente forma: en la etapa n, dado x™', estado del sistema al inicio de la etapa, se toman decisiones un; al par (x™',u") corresponden un estado x" al final del periodo, x" = hn(x™,u") y un valor vn(x"™",u"). En general, en cada etapa n, las decisiones u, deberan escogerse de un conjunto U, definido por las restricciones del problema y llamado conjunto de decisiones admisibles para el periodo n U, depende por lo general de x”’. it restricciones sobre los estados ___ Ademéas, segun el problema, pueden exis iniciales 0 finales del sistema, o bien sobre los estados iniciales x” o finales x, de los diferentes periodos. ‘Supongamos que se han fijado los estados inicial X° y final x" del sistema entonces una politica admisible se define como una secuencia (u',...,u%) de decisiones tales que: 2. Lasecuencia correspondiente de estados a partir de x x® sh, (x"\u") n= 4, wN verifica: x" = Observacione: Una politica admisible depende no sélo de las restricciones del problema sobre las decisiones en cada etapa, sino también de las restricciones sobre los estados del sistema. Si los estados X°y X" son fijados, denotamos a una politica admisible por 3(X°,") y al conjunto de las politicas admisibles por P(x°,X*). Como para un mismo par de estados x", x" pueden existir varias decisiones u® tales que x° = hn(x”,u"), debemos considerar ambas secuencias: decisiones admisibles y estados generados, para definir una politica admisible. ‘A toda politica admisible corresponde un valor de la funcién objetivo teed (1) S)AQ(R?,U"),V2(X',U?) nul VU")