Programación Dinámica

Probabilística

Modelos Probabilísticos
 Contenido
• Introducción
• Un juego de azar
• Referencias

Programación Dinámica
Página 2 Probabilística 01 feb 2007
 Introducción
• La programación dinámica probabilística
(PDP) difiere de la programación dinámica
determinística (PDD) en que
– Las condiciones y resultados en cada etapa no son
fijos, sino que tienen un componente de
aleatoriedad
– Se hace uso de conceptos de probabilidad en la
obtención de su solución
• Presentaremos la PDP mediante algunos
problemas ejemplos

Programación Dinámica
Página 3 Probabilística 01 feb 2007
 Un juego de azar
• Una variante del juego de ruleta requiere que se gire
una rueda marcada con los números de 1 a n
• La probabilidad de que la rueda se detenga en un
número i después de hacerla girar es pi
• Un jugador paga $x para tener derecho a girar la
rueda hasta m veces
• El jugador obtiene como ganancia el doble del
número que obtiene cuando gira por última vez
• Suponiendo que el juego se repite un número grande
de veces, queremos diseñar una estrategia óptima
para el jugador
Programación Dinámica
Página 4 Probabilística 01 feb 2007
 Planteamiento general
• Para poner el problema en términos de
PD, consideremos lo siguiente:
– La etapa i corresponde a la i-ésima vuelta
de la rueda, i = 1, 2, …, m
– En cada etapa hay dos alternativas: se gira
la rueda una vez más o se termina el juego
– El estado j del sistema en la etapa i es el
número que se obtuvo la última vez que se
giró la rueda, el cual está entre 1 y n

Programación Dinámica
Página 5 Probabilística 01 feb 2007
 Planteamiento general
• Sea fi(j) = Ganancia máxima esperada
dado que el juego está en la etapa i y
que el resultado de la última vuelta fue
j, entonces

2 j, si termina
fi  j   max  n
 k 1 pk fi 1  k , si continúa


Programación Dinámica
Página 6 Probabilística 01 feb 2007
 Planteamiento general
• La ecuación recursiva es entonces
fm1  j   2 j


2 j, si termina
fi  j   max  n , i  2,..., m
 k 1 pk fi 1  k , si continúa


n
f1  0    pk f 2  k 
k 1

Programación Dinámica
Página 7 Probabilística 01 feb 2007
 Planteamiento general
• Los cálculos comienzan con fm+1 y
terminan con f1, de modo que hay m+1
etapas
• f1(0) representa el rendimiento
esperado de las m vueltas, así que el
rendimiento esperado neto, Rn, es
Rn  f1  0  x

Programación Dinámica
Página 8 Probabilística 01 feb 2007
 Ejemplo
• Supongamos que la ruleta está marcada con
los números 1 a 5 y que las probabilidades de
que se detenga en cada número son p1 =
0.30, p2 = 0.25, p3 = 0.20, p4 = 0.15, p5 =
0.10
• El jugador paga $5 por un máximo de cuatro
vueltas
• Determine la estrategia óptima para cada una
de las cuatro vueltas y encuentre el
rendimiento esperado neto asociado
Programación Dinámica
Página 9 Probabilística 01 feb 2007
Ejemplo
Etapa 5 f5(j) = 2j
Resultado de la
vuelta 4 Solución óptima
j f5(j) Decisión
1 2 Terminar
2 4 Terminar
3 6 Terminar
4 8 Terminar
5 10 Terminar

Programación Dinámica
Página 10 Probabilística 01 feb 2007
Ejemplo
f4(j) = max{2j,
Etapa 4 Suma(pkf5(k))}
=
max{2j,5}
Resultado de Rendimiento Solución
la vuelta 4 esperado óptima
j Terminar Girar f4(j) Decisión

1 2 5 5 Girar

2 4 5 5 Girar

3 6 5 6 Terminar

4 8 5 8 Terminar

5 10 5 10 Terminar

Programación Dinámica
Página 11 Probabilística 01 feb 2007
Ejemplo
f3(j) = max{2j,
Etapa 3 Suma(pkf4(k))}

= max{2j,6.15}
Resultado de la
vuelta 3 Rendimiento esperado Solución óptima

j Terminar Girar f4(j) Decisión

1 2 6.15 6.15 Girar

2 4 6.15 6.15 Girar

3 6 6.15 6.15 Girar

4 8 6.15 8 Terminar

5 10 6.15 10 Terminar
Programación Dinámica
Página 12 Probabilística 01 feb 2007
 Ejemplo Etapa 2
f2(j) = max{2j,
Suma(pkf3(k))}

= max{2j,6.8125}
Resultado de la
vuelta 3 Rendimiento esperado Solución óptima

j Terminar Girar f4(j) Decisión

1 2 6.8125 6.8125 Girar

2 4 6.8125 6.8125 Girar

3 6 6.8125 6.8125 Girar

4 8 6.8125 8 Terminar

5 10 6.8125 10 Terminar

• En la etapa 1 debe girar. Su ganancia esperada es de 7.31

Programación Dinámica
Página 13 Probabilística 01 feb 2007
Ejemplo
Vuelta número Estrategia óptima

1 Comienza el juego. Gire

Continúe si la vuelta 1 produce 1,2,

2 o 3; de otra forma, termine

Continúe si la vuelta 2 produce 1, 2

3 o 3; de otra forma, termine

Continúe si la vuelta 3 produce 1 o

4 2. De otra forma, termine

Programación Dinámica
Página 14 Probabilística 01 feb 2007
 Referencias
• Taha, Hamdy A. Investigación de
operaciones. Una introducción. Pearson
Educación. 6ª edición. México, 1997

Programación Dinámica
Página 15 Probabilística 01 feb 2007