PRESENTACIÓN:

El pres
presen
ente
te in
info
form
rme
e fu
fue
e elab
elabor
orad
ado
o con
con la fifina
nalilida
dad
d de am
ampl
plia
iarr nues
nuestr
tros
os
cono
conoci
cimie
mient
ntos
os so
sobr
bre
e la Pr
Prog
ogra
rama
maci
ción
ón Diná
Dinámi
mica
ca y en es
espe
peci
cial
al sobr
sobre
e la
Progra
Programac
mación
ión Din
Dinámi
ámica
ca Proba
Probabil
bilíst
ística
ica,, el último
último vie
viene
ne adj
adjunt
untado
ado con un
ejercicio simple y sencillo de entender y resolver.
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

INTRODUCCIÓN:

La Programación Dinámica es un mtodo de optimi!ación de e"traordinaria

versat
versatilid
ilidad.
ad. #i bie
bien
n fue desar
desarrol
rollad
lada
a especi
especialm
alment
ente
e par
para
a la resolu
resolució
ción
n de
prob
proble
lema
mass en Proc
Proces
esos
os de Deci
Decisi
sión
ón en $ú
$últltip
iple
less Pa
Paso
sos,
s, di
dife
fere
rent
ntes
es

investigaciones %an mostrado &ue las mismas ideas pueden utili!arse en otro
tipo de problemas de matemática aplicada, e incluso pueden ser útiles en el
planteo de algunas cuestiones teóricas. 'abiendo surgido en los inicios de la
poc
poca
a de las
las comp
comput
utad
ador
oras
as,, la Prog
Progra
rama
maci
ción
ón Diná
Dinámi
mica
ca fue,
fue, ad
adem
emás
ás,,
concebida con un ojo puesto en esta potente %erramienta.

La Ecuación (uncional &ue se obtiene, para cada problema, a travs del uso
del Principio de )ptimalidad de *ellman permite, con mayor o menor esfuer!o
dependiendo del caso, establecer una recurrencia &ue es, en sí misma, un
algoritmo &ue resuelve el problema en cuestión.

El objetivo de esta monografía es brindar un panorama relativamente amplio de

la
lass aplic
aplicac
acio
ione
ness de la Pr
Prog
ogra
rama
maci
ción
ón Diná
Dinámic
mica,
a, de ma
mane
nera
ra &u
&ue
e resu
resulte
lte
accesible para cual&uier estudiante de Licenciatura, incluso para a&uellos &ue
no estn familiari!ados con las áreas específicas de dic%as aplicaciones.

Persiguiendo este fin, procuramos, en la medida en &ue el espacio lo permitió,

e"pone
e"ponerr todos
todos los pasos
pasos de cad
cada
a ra!ona
ra!onamie
miento
nto y los elemen
elementos
tos teó
teóric
ricos
os
básicos para su comprensión.

Porr ello
Po ello,, prime
primero
ro se de
desa
sarr
rrol
olla
lará
rán
n co
conc
ncep
epto
toss bá
bási
sico
cos,
s, ca
cara
ract
cter
erís
ístic
ticas
as y
elementos &ue posee la programación dinámica. En la segunda parte se detalla
to
todo
do so
sobr
bre
e la pr
prog
ogra
rama
maci
ción
ón diná
dinámi
mica
ca pr
prob
obab
abilí
ilíst
stic
ica,
a, en co
conj
njun
unto
to co
con
n un
ejemplo.

2
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

ÍNDICE:

PRESENTACIÓN:






22
INTRODUCCIÓN:







!
!
1. PROG
PROGRA
RAMA
MACI
CIÓN
ÓN DINÁ
DINÁMICA::"
MICA

1.1. CONCEPTO:"
1.2..
1.2 DISEÑO
DISEÑO DEL
DEL ALGOR
ALGORITM ITMO O DE PROG
PROGRA RAMAMACIÓCIÓN N DINÁ
DINÁMICMICA: A:"
1.
1.3.
3. COND
CONDIC
ICIO
IONE
NES
S QUE
QUE HA DE CUMPLIR::
CUMPLIR 


#
#
1.
1.4.
4. CONT
CONTRA
RAST
STE
E CON LA
LA PROG
PROGRA
RAMA
MACI
CIÓN
ÓN LINEAL::#
LINEAL
2. PRIN
PRINC
CIPIO
IPIO DE
DE OPTI
OPTIMA
MALI
LIDAD:
DAD:




#
#
3. CARA
CARACT
CTER
ERÍS
ÍSTICAS:$
TICA
3.1. ETAPAS:







 $
3.2.
.2. ESTA
STADOS AS
ASOCIA
OCIADOS:$
DOS:
3.3.
.3. POLÍT
OLÍTIC
ICA
A DE
DE D
DEC
ECIS
ISIÓN:$
IÓN
3.
3.4.
4. PRIN
PRINCI
CIPI
PIO
O DE LA OPTI
OPTIMA
MALI
LIDAD:$
DAD:
3.5.
.5. INIC
INICIO
IO DE
DE LA SOLU
SOLUC
CIÓN
IÓN:



%
%
3.6.
3.6. RELA
RELACI
CIÓN
ÓN RECU
RECURS
RSIVA:
IVA 





%%
3.. RETROCESO:





 %
4. EN!OQUES:







%%
5. TIPO
TIPOS
S DE PROGR
PROGRAM
AMAC
ACIÓN
IÓN DI
DINÁ
NÁMICA::%
MICA
6. PROGR
PROGRAMA
AMACIÓ
CIÓN
N DINÁ
DINÁMIC
MICA
A PRO"A
PRO"A"IL
"ILÍSTICA::%
ÍSTICA
6.1. CONCEPTO:%
6.2.
6.2. ESTR
ESTRUC
UCTU
TURA
RA "ÁSI
"ÁSICA
CA DEL PDP:&
DEL PDP:
6.
6.3.
3. CARA
CARACT
CTER
ERÍST
ÍSTICA
ICAS
S DE PRO"
PRO"LE
LEMA
MAS PDP:'(
S PDP:
6.4. E#EMPLOS:





'(
'(
EJEMPLO 1:







''
''
EJEMPLO 2:







'"
'"
. CONCLUSIONES:





 '$
$. IA:
"I"LIOGRA!IA: 






 '$

!
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

PROGRAMACIÓN DINÁMICA PRO"A"ILÍSTICA

1. PR
PROGRA
OGRAMAC
MACIÓN
IÓN DINÁ
DINÁMICA
MICA::

1.1.CONCEPTO:

+cnica de pro
rog
gra
ram
mación matemátic
ica
a &ue proporci
rciona un
procedimiento sistmico para determinar la combinación óptima de una
serie de decisiones interrelacionadas.

La programación dinámica determina la solución óptima de un problema

de n variables descomponindola en n etapas, con cada incluyendo un
subproblema de una sola variable. La principal contribución de la PD es
el principio de optimalidad, el cual establece &ue una política óptima
cons
consis
iste
te de su
subp
bpol
olít
ític
icas
as ópti
óptima
mas,
s, un ma
marc
rco
o de refe
refere
renc
ncia
ia pa
para
ra
descomponer el problema en etapas.

#e ut
utilili!
i!an
an en situ
situac
acio
ione
ness &u
&ue
e se ne
nece
cesi
sita
tan
n toma
tomarr un
una
a se
seri
rie
e de
deci
decisi
sion
ones
es co
cons
nsec
ecut
utiv
ivas
as.. En el área
área de inv
inven
enta
tari
rios
os %a
%ayy al
algu
guna
nass
situaciones en donde la política de producción &ue optimi!a el costo de
inventario en un mes dado, entonces minimi!a el costo de inventario
para todo el ao.

La programación dinámica no sólo tiene sentido aplicarla por ra!ones

de ef
efic
icie
ienc
ncia
ia,, sino
sino por&
por&ue
ue adem
además
ás pres
presen
enta
ta un m
mto
todo
do capa
capa!! de
resolver de manera eficiente problemas cuya solución %a sido abordada
por otras tcnicas y %a fracasado.

La solución de problemas mediante esta tcnica se basa en el llamado

principio de óptimo enunciado por *ellman en -/0 y &ue afirma1 2Es
una secuencia de decisiones óptima subsecuencia %a de ser tambin
óptima3. #in embargo, este principio no siempre es aplicable y por tanto
es necesario verificar &ue se cumple para el problema en cuestión.

1.2. DISEÑO DEL ALGORIT

ALGORITMO
MO DE PROGRAMACIÓN DINÁMICA:

)
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

• Planteamiento de la solución con una sucesión de decisiones.

• Definición recursiva de la solución.

• 4álculo del valor de la solución óptima mediante una tabla en

donde se almacenan soluciones a problemas.

• 4ons
4onstr
tru
ucc
cció
ión
n de la so
solu
lucció
ión
n óptim
ptima
a %ac
acie
ien
ndo uso de la
información contenida.

1.3. CONDICIONES QUE HA DE CUMPLIR:

• La solución %a de ser alcan!ada a travs de una secuencia de

decisiones, una en cada etapa.

• Dic%a secuencia de decisiones %a de cumplir el principio

1.4. CONTRASTE CON LA P

PROGRAMACIÓN
ROGRAMACIÓN LINEAL:

5o se cuenta con una formulación concreta matemática estándar para

el problema a resolver. #e trata de un enfo&ue de tipo general para la
solución de problemas y las ecuaciones específicas &ue se usan deben
desarrollar para &ue representen cada situación individual.

2. PRI
PRINCI
NCIPIO
PIO DE OPT
OPTIMA
IMALIDA
LIDAD:
D:

4uan
4uando
do %abla
%ablamo
moss de optim
optimi!
i!ar
ar nos
nos re
refe
feri
rimo
moss a bu
busc
scar
ar al
algu
guna
na de la
lass
mejores soluciones de entre muc%as alternativas posibles.

Dic%o proceso de optimi!ación puede ser visto como una secuencia de

decisiones &ue nos proporcionan la solución correcta.

#i, dada una subsecuencia de decisiones, siempre se conoce cuál es la

decisió
decisión
n &ue deb
debe
e tomars
tomarse
e a con
contin
tinuac
uación
ión par
para
a obt
obtene
enerr la sec
secuen
uencia
cia

"
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

óptima, el problema es elemental y se resuelve trivialmente tomando una

decisión detrás de otra, lo &ue se conoce como estrategia vora!.

En otros casos, aun&ue no sea posible aplicar la estrategia vora!, se

cumple el principio de optimalidad de *ellman &ue dicta &ue 6dada una
secuencia óptima de decisiones, toda subsecuencia de ella es, a su ve!,
óptima7.

En este caso sigue siendo posible el ir tomando decisiones elementales, en

la confian!a de &ue la combinación de ellas seguirá siendo óptima, pero
será entonces necesario e"plorar muc%as secuencias de decisiones para
dar con la correcta, siendo a&uí donde interviene la programación dinámica.

4ontemplar un problema como una secuencia de decisiones e&uivale a

dividirlo en problemas más pe&ueos y por lo tanto más fáciles de resolver 

como %acemos en Divide y 8encerás, tcnica similar a la de programación

dinámica.

La programación dinámica se aplica cuando la subdivisión de un problema

conduce a1

• 9na enorme cantidad de problemas.

• Problemas cuyas soluciones parciales se solapan.

:rupos de problemas de muy distinta complejidad.

3. CA
CARA
RACT
CTERÍ
ERÍST
STICA
ICAS:
S:

3.1. ETA
ETAPA
PAS:
S:

El problema se puede dividir en etapas &ue re&uieren una política de

decisión en cada una de ellas.

3.2. ESTA
ESTADOS
DOS ASOCIADOS:

4ada etapa tiene cierto número de estados asociados con su inicio.

#
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

3.3. POLÍTICA DE DECISIÓN:

El efecto de la política de decisión en cada etapa es transformar el

estado actual en un estado asociado con el inicio de la siguiente etapa.

3.4. PRINCIPIO DE LA OPTIMALIDAD:

Dado el estado actual, la política óptima para las etapas restantes es

independiente de la política adoptada en etapas anteriores. La decisión
inmediata óptima depende sólo del estado actual.

3.5. INICIO DE LA SOLUCIÓN:

#e inicia al encontrar una política óptima para la última etapa.

3.6. RELACIÓN RECURSIVA

RECURSIVA::

;dentifica la política óptima para la etapa n, dada cada política óptima

para la etapa n<-.

3..RETROCESO:

4uando se use esta relación recursiva, el procedimiento de solución

comien!a la final y se mueve %acia atrás etapa por etapa, encontrando
cada ve! la política óptima para esa etapa %asta &ue se encuentre la
política óptima para la etapa inicial.

4. EN!OQUES:

• +op=
p=do
do>n
>n11 El pr
prob
oble
lema
ma se divi
divide
de en subp
subpro
robl
blem
emas
as,, y es
esto
toss se
resu
resuel
elve
ven
n re
reco
cord
rdan
ando
do la
lass solu
soluci
cion
ones
es po
porr si fuer
fueran
an ne
nece
cesa
sari
rias
as
nuevamente. Es una combinación de memori!ación y recursión.

• *ottom=
*ottom=up1
up1 +odos los pro
proble
blemas
mas &ue pu
pueda
edan
n ser nec
necesa
esario
rioss se
resu
resuel
elve
ven
n de ante
antema
mano
no y de
desp
spu
uss se usan
usan pa
para
ra reso
resolv
lver
er la
lass
soluciones a problemas mayores. Este enfo&ue es ligeramente mejor 
en consumo de espacio y llamadas a funciones, pero a veces resulta

$
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

poco
poco intuit
intuitivo
ivo encont
encontrar
rar tod
todos
os los su
subpr
bprob
oblem
lemas
as necesa
necesario
rioss par
para
a
resolver un problema dado.

5. TIP
TIPOS
OS DE P
PROG
ROGRA
RAMAC
MACIÓN
IÓN D
DINÁ
INÁMICA
MICA::

• Programación dinámica determinística

• Programación dinámica probabilística

6. PROG
PROGRAMA
RAMACIÓN
CIÓN DINÁ
DINÁMICA
MICA PRO"A
PRO"A"ILÍST
"ILÍSTICA:
ICA:

6.1.CONCEPTO:

La pr
prog
ogra
rama
maci
ción
ón di
diná
námi
micca pr
prob
obab
abililís
ístitica
ca ?PDP
?PDP@@ es un
una
a tcn
tcnic
ica
a
mate
matemá
mátitica
ca út
útilil pa
para
ra la to
toma
ma de de
deci
cisi
sion
ones
es in
inte
terr
rrel
elac
acio
iona
nada
das,
s, se
presenta cuando el estado en la siguiente etapa no está determinado
por completo por el estado y la política de decisión de la etapa actual.

En su lugar e"iste una distribución de probabilidad para determinar cuál

será el siguiente estado. #in embargo, esta distribución de probabilidad
sí &ueda bien determinada por el estado y la política de decisión en la
etapa actual.

Por otro lado, cabe resaltar, &uA cuando el estado en la siguiente etapa
está determinado por completo por el estado y la política de decisión de
la etapa actual, entonces este problema corresponde a programación
dinámica determinística ?PDD@.

6.2. ESTRUCTURA "Á

"ÁSICA
SICA DEL PDP:

%
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

6.3. CARACTERÍSTICAS DE PRO

PRO"LEMAS
"LEMAS PDP:

• El pr
prob
oble
lema
ma se pu
pued
ede
e di
divi
vidi
dirr en etap
etapas
as &u
&ue
e re&u
re&uie
iera
ran
n un
una
a
política de decisión en cada una de ellas.
• 4ada etapa tiene cierto número de estados asociados con su
inicio.

• El efecto de la política de decisión en cada etapa es transformar 

el esta
estado
do actu
actual
al en un es
esta
tado
do as
asoc
ocia
iado
do co
con
n el in
inic
icio
io de la

sig
igui
uie
ent
nte
e et
etap
apa
a ?Bui
?Bui!!á seg
según con un
una
a dis
istr
trib
ibu
ució
ión
n de
probabilidad@.

• El procedimiento de solución está diseado para encontrar una

política óptima para el problema completo, es decir, una receta
para la política de decisión óptima en cada etapa para cada uno
de los estados posibles.
• Dado
Da do el esta
estado
do actu
actual
al,, un
una
a po
polílític
tica
a óp
óptim
tima
a pa
para
ra la
lass etap
etapas
as
restantes es independiente de la política adoptada en etapas
anteriores. Por lo tanto, la decisión inmediata óptima depende
solo del estado actual y no de cómo se llegó a%í. Cste es el

&
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

principio de optimalidad para programación dinámica ?#ea PDD

óPDP@.
• El procedimiento de solución se inicia al encontrar la política
óptima para la última etapa
• #e dispone de una relación recursiva &ue identifica la política
óptima para la etapa n, dada la política óptima para la etapa n< -

• 4uando
4uando se usa esta
esta relac
relación
ión rec
recurs
ursiva
iva,, el proced
procedimi
imient
ento
o de
solución comien!a al final y se mueve %acia atrás, etapa por 
etapa ?Encuentra cada ve! la política óptima para esa etapa@
%asta &ue encuentra la política óptima desde la etapa inicial.

• Esta política óptima lleva de inmediato a una solución óptima

para el problema completo, a saber, n para el estado inicial
despus para el estado &ue resulta, luego para el estado &ue se

obtiene, y así sucesivamente %asta para el estado resultante.

6.4.E#EMPLOS:

(Ejercicio propuesto 11.4-2 del libro Investigación de operaciones - Hiller,Frederick .

!ieber"an, #erald $. %

EJEMPLO 1:

;magine &ue tiene  /. para invertir y &ue tendrá la oportunidad de

%acerlo en cual&uiera de dos inversiones ?F ó *@ al principio de cada uno
de los pró"imos aos.

E"iste incertidumbre respecto al rendimiento de ambas inversiones. #i

se invierte en F, se puede perder todo el dinero o ?con probabilidad más
alta@ obtener -. ?una ganancia de  /.@ al final del ao.

#i se invierte en *, se pueden obtener los mismos  /. ó ?con

probabilidad más baja@  -. al terminar el ao.

Las probabilidades para estos eventos son las siguientes1

'(
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

#e le permite %acer ?a lo sumo@ una inversión al ao y sólo puede

invert
invertir
ir  /
/ca
cada
da ve!.
ve!. ?4u
?4ual&
al&uie
uierr can
cantid
tidad
ad de din
dinero
ero acu
acumul
mulada
ada
&ueda inútil@

a@ 9tilice programación dinámica para encontrar la política de inversión

&ue ma"imice la cantidad de dinero esperada &ue tendrá despus de
los tres aos.

b@ 9tilice programación dinámica para encontrar la política de inversión

&ue ma"imice la probabilidad de tener por lo menos  - despus
de los tres aos.

''
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

Por tanto la política óptima es invertir siempre en F, con una fortuna de

espera despus de tres aos de  G.

'2
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

'!
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

Por lo tanto las políticas óptimas son ?4on los números en los arcos

para representar el retorno de la inversión@.

H la má"ima probabilidad de tener al menos  - al final de tres

aos es .0/0.

')
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

EJEMPLO 2:

9na estudiante universitaria cuenta con 0 días para preparar los e"ámenes
finales de I cursos y &uiere asignar su tiempo de estudio de la manera más
eficiente posible. 5ecesita por lo menos un día para cada curso y &uiere
concentrarse solo en un curso cada día por lo &ue &uiere asignar -, J, K ó I
días a cada curso. 4omo %ace tiempo tomo un curso de ;nvestigación de
)per
)p erac
acio
ione
nes,
s, de
deci
cide
de ap
aplilica
carr pr
prog
ogra
rama
maci
ción
ón di
diná
námi
mica
ca pa
para
ra %a
%ace
cerr es
esta
tass
asignaciones &ue ma"imicen el total de puntos obtenidos en los I cursos.
Estima &ue las distintas opciones en días de estudio le redituaran puntos de
calificación según la siguiente tabla1

Número Puntos de califcación

de días estimados
Curso
1 2 3 4
0 ( ( ( (
1 ! " 2 #
2 " " ) $
3 # # $ &
4 $ & % &
*esuelva este +roblema con Programación Dinámica

Eta+a )

,) -).,/ 0)
' # '
2 $ 2
! & !
) & )

Eta+a !

,!1! ' 2 ! ) -!.,!/ 0!

'
2 23#4% % '
! 23$4& )3#4'( '( 2
) 23&4'' )3$4'' $3#4') '! !
" 23&4'' )3&4'! $3$4') %3#4') ') !5)

Eta+a 2

,212 ' 2 ! ) -2.,/ 02

'
2
! "3%4'! '! '
) "3'(4'" "3%4'! '" '
" "3'!4'% "3'(4'" #3%4') '% '
# "3')4'& "3'!4'% #3'(4'# &3%4'$ '& '

'"
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

Eta+a '

,'1' ' 2 ! ) -'.,/ 0'

$ !3'&422 "3'%42! #3'"42' $3'!42( 2! 2

,67UCI6N:

Curso' Curso2 Curso! Curso)

2 ' ! '

'#
 

Universidad A
An
ndina d
de
el C
Cu
usco Programación D
Diinámica P
Prrobabilística

. CO
CONC
NCLU
LUSI
SION
ONES
ES::

• La programación dinámica ?#ea PDD ó PDP@ es una tcnica muy útil

para tomar una sucesión de decisiones interrelacionadas.

•
e&uiere la formulación de una relación recursiva apropiada para
cada problema individual. #in embargo, proporciona grandes a%orros
computac
computacionale
ionaless en comp
comparac
aración
ión con la enumerac
enumeración
ión e"%a
e"%austiv
ustiva
a
para
para encont
encontrar
rar la mejor
mejor com
combin
binaci
ación
ón de dec
decisio
isiones
nes,, en es
espec
pecial
ial
cuando se trata de problemas grandes.

• Es práctica para aplicarlas en programas como el solver en E"cel, de

fácil utili!ación para %allar las rutas más óptimas en el proceso de
fabricación, ejecución, etc.

• #irve como ayuda para la facilidad de obtención de información en el

estudio de mercados.

$. "I
"I"L
"LIO
IOGR
GRA
A!IA
!IA:

• %ttp1MM>eb.ing.puc.clMNjabaierMiicJ//JMprogdin.pdf 

• %ttp1MM>>>.Oonradloren!.edu.coMi
%ttp1MM>>>.Oonradloren!.edu.coMimagesMstoriesMsumadigitalm
magesMstoriesMsumadigitalmatema
atema
ticasMProgramacionQJDinamica.PD(

• %ttp1MM>>>.lcc.uma.esMNavMLibroM4FP/.pdf 

• %ttp1MMeprints.uanl.m"MKRM-M-J0/GR.PD(

• %ttps1MMes.scribd.comMdocM/IGRRGMProgramacion=dinamica=
probabilistica

• %ttp1MM>>>.escuelauniversitaria.clMapuntesMProgramacionDina
%ttp1MM>>>.escuelauniversitaria.clMapuntesMProgramacionDinamica.pdf 
mica.pdf 

'$