CADENAS DE MARKOV.

EJERCICIOS.

1) Suponga que la probabilidad de lluvia mañana es de 0.5 si hoy llueve, y que la

probabilidad de un día claro (sin lluvia) mañana es de 0.9 si hoy está claro.
Suponga además que estas probabilidades no cambian si también se proporciona
información sobre el clima de días anteriores a hoy.
a) Formule la evolución del clima como una cadena de Markov, definiendo sus
estados y su matriz de transición de un paso.
b) Genere su diagrama de transición de estados correspondiente.
c) Encuentre la matriz de transición de dos pasos.
d) Encuentre la matriz de transición de cuatro pasos.
Si el día de hoy es claro...
e) Encuentre la distribución de probabilidades del clima del día de mañana.
f) Encuentre la distribución de probabilidades del clima de dentro de una semana.

2) El departamento de admisiones de una universidad ha modelado la trayectoria

general de los estudiantes en esa institución como una cadena de Markov:
1er año 2o año 3er año 4o año sale termina
1er año 0.1 0.8 0 0 0.1 0
2o año 0 0.1 0.85 0 0.05 0
3er año 0 0 0.15 0.8 0.05 0
4o año 0 0 0 0.1 0.05 0.85
sale 0 0 0 0 1 0
termina 0 0 0 0 0 1
Se observa el estado de cada estudiante al principio de cada otoño. Si al inicio de
una generación hay 65 estudiantes...
a) ¿Cuántos de ellos estarán en segundo año 2 años después?
b) ¿Cuántos de ellos estarán en tercer año 4 años después?
c) ¿Cuántos de ellos estarán en cuarto año 3 años después?

3) Un gerente de crédito estima que el 95% de aquellos que pagan sus cuentas a
tiempo un mes también lo harán el siguiente mes. Sin embargo, de aquellos que se
tardan sólo la mitad pagarán a tiempo la próxima vez.
En promedio, ¿cuál es la proporción de cuentas pagadas a tiempo y qué proporción
se pagan tarde?

4) La agencia de alquiler de automóviles Rent-A-Bucket tiene dos oficinas en el área

metropolitana. Los autos pueden devolverse a cualquiera de las oficinas. Por
experiencia se sabe que el 80% de los autos alquilados en la oficina 1 se devuelven
ahí mismo, y el 70% de los autos alquilados en la oficina 2 se devuelven ahí.
¿Cómo debe asignar la flotilla entre las dos oficinas?
5) La siguiente matriz incluye dos estados absorbentes:
De \ a S1 S2 S3 S4
S1 0.2 0.4 0.3 0.1
S2 0.1 0.6 0.2 0.1
S3 0 0 1 0
S4 0 0 0 1
a) ¿Cuáles son los estados absorbentes?
b) Para cada estado no absorbente, encuentre la probabilidad de terminar en cada
estado absorbente.

6) Un inversionista adquirió acciones de cierta inversión especulativa a $38 y ha dado

órdenes a un corredor de que las venda en cuanto su precio suba a $40 o más, o
bajo a $37 o menos. A partir de observaciones con esta inversión durante las
últimas semanas, el inversionista estima que la probabilidad de que el precio suba
en $1 es de 0.5 y la probabilidad de que baje $1 es 20%, por cada día.
a) Determínese la matriz de transición de estados para este proceso.
b) ¿Cuáles estados son transitorios y cuáles son absorbentes?
c) ¿Cuál es la probabilidad de que el corredor venda unas acciones recién
adquiridas dentro de 4 días?
d) ¿Cuál es la ganancia o pérdida neta esperada por acción cuando el corredor
venda durante estos 4 días, si las condiciones de venta se cubren o al precio
que sea el actual al final del cuarto día?

7) Un proceso de producción incluye una herramienta que se deteriora con cierta

rapidez tanto en la calidad como en la cantidad de producción con el trabajo, por lo
que se inspecciona al final de cada día. Inmediatamente después de la inspección,
se clasifica la condición de la herramienta dentro de cuatro estados posibles:
Estado Condición
0 Tan buena como nueva
1 Operable – deterioro mínimo
2 Operable – deterioro mayor
3 Inoperable y reemplazada por una tan buena como
nueva
El proceso se puede modelar como una cadena de Markov, con una matriz de
transición de un paso, dada por:
Estado 0 1 2 3
0 0 7/8 1/16 1/16
1 0 3/4 1/8 1/8
2 0 0 1/2 1/2
3 1 0 0 0
a) Encuentre las probabilidades de estado estable.
b) Si los costos diarios por encontrarse en los estados 0, 1, 2, 3 son 0, $1000,
$3000 y $4000, respectivamente, ¿cuál es el costo diario esperado a la larga?
c) Encuentre el tiempo de recurrencia esperado para el estado 0. Esto es, el
tiempo esperado que una herramienta se puede usar antes de tener que
reemplazarla.
8) Una tienda local de artesanías que vende tapices a los turistas puede producir un
tapiz al día. El artesano nunca produce un tapiz que sea idéntico a alguno que
todavía permanezca sin venderse en la tienda. Por esta razón, la variedad de
tapices aumenta de acuerdo con el número de tapices no vendidos y la selección
aumenta las posibilidades de venderlos. La experiencia anterior muestra que si sólo
se dispone de un tapiz, las posibilidades son de 1 entre 3 de que el tapiz se venda.
Si están disponibles dos tapices, las oportunidades son de ½ de que al menos uno
se venda y de ¼ de que ambos se vendan. Para 3 tapices, las probabilidades son
de 2/3 de que al menos uno se venda, 1/3 de que al menos dos se vendan y 1/5 de
que se vendan los tres. Si al principio del día quedan tres tapices sin venderse, el
artesano toma el día libre; esto es, no fabrica un tapiz ese día, sino que sólo trata
de venderlos.
a) Defínanse los estados de ese proceso y determínense las probabilidades
asociadas de transición.
b) ¿Cuál es la fracción promedio de días en que el artesano tendrá sólo un tapiz
durante ese día?
c) ¿Cuál es la fracción de días que el artesano no dedica a la producción?
d) Si cada tapiz arroja un beneficio neto de $40, ¿cuál será el beneficio diario
promedio?

9) A Archie Connelly le gusta experimentar con recetas nuevas de cocina. Uno de sus
experimentos recientes resultó bastante bueno (muchos han sido malos). Tan
bueno en realidad, que Archie cree haber descubierto un nuevo producto para
botana. Los que lo han probado piensan que es bueno y lo están animando a entrar
en el negocio. Archie está considerando la posibilidad de venderlo en los corredores
de un centro comercial. Ha decidido llamarlos “quarks”.
Mediante algunas investigaciones, Archie descubrió que un espacio pequeño pero
bien localizado en un centro comercial cercano cuesta $125 por semana. También
estimó que sus gastos varios ascenderán a otros $50 semanales. El gerente del
centro comercial le informó que puede esperar que pasen 10,000 personas al día
por ese lugar. El centro comercial opera 365 días al año.
Si Archie cobra 25 centavos por cada quark, tendrá una ganancia bruta de 5
centavos en cada quark. Además, piensa subjetivamente que el 5% de los que
pasen (y no conocen el producto) comprarán uno, Sin embargo, esto no es
suficiente para cumplir con su objetivo de ganancia, que es de $300 a la semana.
¿Qué proporción de clientes debe regresar a comprar para que Archie alcance su
objetivo de ganancias? (suponga que cada cliente compra un quark).
10) Una estación de servicio de inmigración del aeropuerto Heathrow de Londres tiene
un comportamiento que se puede modelar como una cadena de Markov, veamos:
 Solamente hay una persona que atiende a los que llegan a dicha estación de
servicio.
 Si llega un cliente y el empleado está ocupado (atendiendo a otro cliente que
llegó antes), tiene que esperar es una pequeña sala acondicionada para dicha
función.
 Existe una limitación de cupo. Específicamente, el máximo número de clientes
que puede haber en dicha estación de servicio (en espera + el que está siendo
atendido) es de 9 clientes. Si un cliente que llega encuentra la sala saturada, no
puede entrar a la estación, y tiene que buscar otra (o regresar después).
 La probabilidad de que un cliente entre durante los siguientes 10 minutos es de
0.25 (no existe probabilidad de que llegue más de 1 cliente en dicho lapso de
tiempo). Además, la probabilidad de que un cliente que está siendo atendido
termine de serlo durante los siguientes 10 minutos es de 0.35. Nunca se da que
en un lapso de 10 minutos entre y salga una persona.
a) Encuentre la matriz de transición de estados de 1 paso.
b) ¿Es una cadena ergódica? En caso afirmativo, encuentre las probabilidades de
estado estable.