PROGRAMACIÓN DINÁMICA PROBABILISTICA

1. Un jugador tiene 2 dólares. Se le permite participar cuatro veces en un juego de azar,

y su meta es maximizar su probabilidad de terminar con al menos 6 $. Si el jugador
apuesta b dólares en una jugada, entonces gana con probabilidad 0.4y aumenta su capital
en b dólares; pierde con probabilidad 0.6 y disminuye su capital en b dólares. En cualquier
jugada no puede apostar más dinero del que dispone. Determinar una estrategia de apuesta
que maximice la probabilidad del jugador de alcanzar un capital de al menos 6 dólares al
final del cuarto juego. Suponemos que se permiten apuestas de 0 dólares, esto es, no
apostar.

2. Vladimir Ulanowsky juega un partido de ajedrez de dos juegos con Keith Smithson. El
ganar un juego, acredita un punto, el empatar acredita ½ punto. Después de los dos juegos
se declara campeón al jugador con más puntos. Si los dos jugadores empatan después de
dos juegos, continuarán jugando hasta que alguien gane el juego. Quien gane ese juego
será el campeón. Durante cada juego Ulanowsky puede jugar de dos maneras: agresiva o
conservadoramente. Si juega en forma agresiva, tiene una probabilidad de ganar el juego
de 45% y 55% de perderlo. Si juega en forma conservadora tiene una probabilidad de
90% de empatar y 10% de perderlo. La meta de Ulanowsky es elevar al máximo la
probabilidad de ganar el encuentro. Utilizar la programación dinámica para ayudarle a
lograr su meta.

3. Juan tiene dos dólares y va a tirar dos monedas cargadas (0,4 probabilidad de cara en
cada moneda) tres veces. Antes de cada tirada puede apostar cualquier cantidad, hasta lo
que tiene en ese momento (cantidades enteras). Si salen caras, Juan gana igual cantidad
de lo que apostó. Si salen cruces pierde la cantidad que apostó. Si sale una cara y una cruz
gana la mitad de lo que apostó.
Determine una estrategia que maximice la probabilidad de Juan de terminar con al menos
$5 al término del juego.

4. En un juego de cartas Juan tiene 80$ para apostar. Considera que tiene una probabilidad
de 0,4 de ganar en cada partida, 0,5 de perder y 0,1 de empatar. Juan jugará tres partidas
y quiere maximizar su probabilidad de tener al menos 100$ al término del juego. Qué
política de apuesta debe seguir, si en cada partida puede apostar cualquier cantidad entre
1 y lo que tiene (cantidades enteras). (Si apuesta 5 y gana recupera sus 5 y 5 más)

5. Al inicio de cada día, una máquina puede estar en funcionamiento o descompuesta. Si

la máquina funciona durante todo el día, gana $100 de ingresos. Si se descompone, la
máquina no gana ingresos durante ese día. Si la máquina funciona al principio del día
podemos llevar a cabo un mantenimiento para disminuir la probabilidad de
descompostura. Si se da un mantenimiento, una máquina en funcionamiento tiene una
probabilidad de 0,4 de descomponerse; si no se da mantenimiento, una máquina en
servicio tiene probabilidad de 0,7 de descomponerse durante el día. El costo de
mantenimiento es de 20$. Si la máquina está descompuesta al inicio del día, se debe
reparar o cambiar. Tanto el cambio o la reparación se puede hacer en forma instantanea a
fin de utilizar la máquina durante ese día. La reparación de una máquina descompuesta
cuesta 40$ y hay una probabilidad de 0,4 de que la máquina reparada se descomponga en
el transcurso del día. Reemplazar una máquina descompuesta cuesta 90$, pero se
garantiza que la máquina trabajará dos días consecutivos sin descomponerse.
Use programación dinámica para determinar la política de reparación, reemplazo y
mantenimiento que maximice la ganancia esperada que se obtiene al cabo de un periodo
de cinco días. Se supone que la máquina está funcionando al principio del primer día.

6. Soy concursante de un programa de preguntas de TV. Durante la ronda de ganancias

se me preguntarán cuatro cosas. Por cada una que conteste en forma correcta gano
determinada cantidad de dinero; sin embargo, una respuesta incorrecta significa que
pierdo todo el dinero que había ganado antes y termina el juego. Si opto por pasar, o sea
no contestar una pregunta puedo ir a la siguiente pregunta sin perder ni ganar nada. El
dinero que gane por cada respuesta correcta y la probabilidad que tengo de contestar en
forma correcta cada pregunta aparecen en la siguiente tabla.

PROBABILIDAD DE
PREGUNTA CONTESTARLA PREMIO($)
EN FORMA CORECTA
1 0.6 10 000
2 0.5 20 000
3 0.4 30 000
4 0.3 40 000

¿Cuál debe ser mi estrategia en el juego, si mi deseo es maximizar el efectivo esperado

que obtenga?