TALLER No 2: MARKOV 2016 1 ESTUDIANTES

Integrantes:
Mabel Correa
Adriana Mendoza
Cristian de la Cruz
Danny Duran

Docente:
Luis Alvarado Atencio

Fecha: 29/04/16

Universidad del magdalena 2016-I

2. Una patrulla policiaca vigila un vecindario conocido por sus
actividades pandilleriles.
Durante un patrullaje hay 60% de probabilidades de llegar a tiempo al
lugar donde se re-
quiere la ayuda; si no sucede algo, continuará el patrullaje regular.
Después de recibir una
llamada, hay 10% de probabilidades de cancelación (en cuyo caso el
patrullaje normal se
reanuda), y 30% de probabilidad de que la unidad ya esté respondiendo
a la llamada ante-
rior. Cuando la patrulla llega a la escena del suceso, hay 10% de
probabilidades de que los
instigadores hayan desaparecido (en cuyo caso reanuda su patrullaje), y
40% de probabili-
dades de que se haga una aprehensión de inmediato. De otro modo, los
oficiales rastrearán
el área. Si ocurre una aprehensión, hay 60% de probabilidades de
trasladar a los sospecho-
sos a la estación de policía, de lo contrario son liberados y la unidad
regresa a patrullar.
Exprese las actividades probabilísticas de la patrulla en la forma de una
matriz de transición y encuentra la matriz estable.
Estados:

1- Patrullaje normal
2- Que llegue a tiempo al suceso
3- Que respondan a la llamada anterior
4- Que arreste a los ladrones
5- trasladan a los ladrones

La matriz no se puede estabilizar porque tiene un estado absorbente.

 4. En un día soleado, MiniGolf puede tener ingresos de $2000. Si el día
está nublado, los in-
gresos se reducen 20%. Un día lluvioso reducirá los ingresos en 80%. Si hoy
está soleado
hay 80% de probabilidades de que mañana esté soleado sin amenaza de
lluvia. Si está
nublado, hay 20% de probabilidades de que mañana llueva, y 30% de
probabilidades de
que esté soleado. Seguirá lloviendo hasta el día siguiente con una
probabilidad de .8, pero
con 10% de probabilidades de que esté soleado.
(a) Determine los ingresos diarios esperados para MiniGolf.
(b) Determine el promedio de días que no estarán soleados.
Estados:

1. Día soleado (DS)

2. Día nublado (DN)
3. Día lluvioso (DL)

0,80DS + 0,36 DN + 0,10 DL = DS

0,20 DS + 0,50 DN + 0,10 DL = DN
0 DS + 0,2' DN + 0,80 DL = DL

DS = ½ DN= ¼ DL= ¼

a) Los ingresos esperados por MiniGolf

200*1/2 + 1.600* ¼ + 400*1/4 = 1.500

b) El promedio de días que no estará soleado será de 15 días.

ç
6. Algunos exconvictos pasan el resto de su vida libre en juicio, en la cárcel,
o en libertad
condicional. Al inicio de cada año, las estadísticas muestran que hay 50% de
probabilida-
des de que un exconvicto libre cometa un nuevo delito y de que sea
procesado. El juez
puede enviar al exconvicto a la cárcel con una probabilidad de .6, u otorgarle
la libertad
condicional con probabilidad de .4. Un vez que están en la cárcel, 10% de
los exconvictos
serán puestos en libertad por buena conducta. De los que están en libertad
condicional,
10% cometen nuevos delitos y son arraigados para ser procesados, 50%
regresarán para
cumplir su sentencia por violar las órdenes de libertad condicional, y 10%
serán puestos
en libertad por falta de pruebas. Los contribuyentes solventan el costo
asociado con el
castigo de los exconvictos. Se estima que un juicio costará aproximadamente
$5000, una
sentencia de cárcel promedio costará $20,000, y un periodo de libertad
condicional pro-
medio costará $2000.
(a) Determine el costo esperado por exconvicto.
(b) ¿Con qué frecuencia regresa un exconvicto a la cárcel?
(a) Determine el costo esperado por exconvicto.

(b) ¿Con qué frecuencia regresa un exconvicto a la cárcel?

Estados

1. Libre (L)
2. Juicio (J)
3. Cárcel ©
4. Liberad condicional (LC)
8. Hay tres categorías de filtro del impuesto sobre la renta en los Estados
Unidos: los que
nunca evaden impuestos, lo que en ocasiones lo hacen, y los que
siempre lo hacen. Un
examen de las declaraciones de impuestos auditadas de un año al
siguiente muestra que
de los que no evadieronP{D}
impuestos el año.1 pasado,
.3 .495%.2continuará en la
misma categoría
este año; 4% se moverá a la categoría “a veces”, y el resto se moverá a
la categoría “siem-
pre”. Para los que a veces evaden impuestos, 6% se moverá a “nunca”,
90% permanecerá
igual, y 4% se moverá a “siempre”. Por lo que se refiere a los evasores
de “siempre”, los
porcentajes respectivos son 0, 10 y 90%.
(a) Exprese el problema como una cadena de Markov.
A la larga, ¿cuáles serían los porcentajes de las categorías de evasión de
impuestos
de “nunca”, “a veces” y “siempre”?
Las estadísticas muestran que un contribuyente en la categoría “a veces”
evade im-
puestos que suman aproximadamente $5000 por declaración y en la
categoría “siem-
pre” suman aproximadamente $12,000. Suponiendo que la población de
contribu-
yentes es de 70 millones y la tasa del impuesto sobre la renta promedio es
12%,
determine la reducción anual de los impuestos recolectados debido a la
evasión.
a) Estados

1. Nunca evaden los impuestos (NE)

2. Los que en ocasiones evaden impuestos (OE)
3. Los que siempre evaden los impuestos (SE)

(c)
B)

0,95 NE + 0,06 OE + 0 SE = NE
0,01 NE + 0,90 OE + 0,10 SE = OE
0,1 NE + 0,04 OE + 0,90 SE = SE
 NE + OE + SE = 1

-0,05 NE + 0,06 OE + 0 = 0
0,04 NE + 0,10 OE + 0,10 = 0
1 + 1 + 1= 1

NE= 0,44118
DE = 0,36765
SE = 0,19118

Los porcentajes de los contribuyentes que nunca, aveces y siempre

evaden impuestos serán respectivamente 44,12 % 36,76 % y 19,12%

10. La dinámica de la población se ve afectada por el continuo

movimiento de personas que
busca una mejor calidad de vida o un mejor empleo. La ciudad de
Mobile tiene una pobla-
ción citadina interna, una población suburbana y una población rural
circundante. El
censo levantado a intervalos de 10 años muestra que 10% de la
población rural se traslada
a los suburbios y 5% al interior de la ciudad. En cuanto a la población
suburbana, 30% se
traslada a las áreas rurales y 15% al interior de la ciudad. La población
del interior de la
ciudad no se cambiaría a los suburbios, pero 20% sí se cambiaría a la
quieta vida rural.
(a) Exprese la dinámica de la población como una cadena de Markov.
(b) Si el área metropolitana de Mobile en la actualidad incluye 20,000
residentes rurales,
100,000 suburbanos, y 30,000 habitantes citadinos, ¿cuál será la
distribución de la po-
blación en 10 años? ¿En 20 años?
Determine el panorama de la población de Mobile a largo plaz

Solucion
A)
1:población citadina interna :pc(1)
2: población suburbana:ps(2)
3:población rural circundante:pr(3)
 1 2 3

1 0,8 0 0,2

2 0,15 0,55 0,30

3 0,05 0,10 0,85

Sistema de ecuaciones

0,80pc+0,15ps+0,05pr=pc

0pc+0,55ps+0,10pr=ps

0,2pc+0,30ps+0,85pr=pr

1 2 3

1 -0,2 0,15 0,05 pc=0.2542=25.42%

2 0 -0,45 0,10 ps=0.1355=13.55%

3 1 1 1 pr=0.6101=61.01%

B) total habitantes de mobile: 150.000 (actualidad), en 10 años habran :

En el sector rural:150.000*0.6101=91515

En el sector suburbano:150.000*0.1353=20295

En el sector citadino:150.000*0.2542=38130

B) En 20 años:

1 2 3

1 0,65 0,02 0,33

M2= 2 0,2175 0,37 0,45

3 0,0975 0,14 0,7625

Sistema de ecuaciones:
0,65pc+0,2175ps+0,0975pr=pc

0,02pc+0,37ps+0,14pr=ps

0,33pc+0,45ps+0,7625pr=ps

Pc=0.2559=25.59%

Ps=0.1419=14.19%

Pr=0.6021=60.21%

12. Una librería repone las existencias de un libro popular a nivel de

100 ejemplares al inicio
de cada día. Los datos de los últimos 30 días proporciona las siguientes
posiciones de in-
ventario al final del día:
1,2,0,3,1,0,0,3,0,1,1,3,2,3,3,2,1,0,2,0,1,3,0,0,3,2,1,2,2.
(a) Represente el inventario diario como una cadena de Markov.
(b) Determine la probabilidad de estado estable de que la librería se quede
sin libros en
cualquier día.
Determine el inventario diario esperado.
(d) Determine el promedio de días entre inventarios cero sucesivos.
14. El gobierno
federal trata de
promover las
actividades de las
pequeñas empresas
otorgan-
do concesiones
anuales para
proyectos. Todas las
licitaciones son
competitivas, pero la
probabilidad de
recibir una concesión
es máxima si el
propietario no ha
recibido alguna
durante los
últimos tres años, y
mínima si se dieron
otorgamientos en
cada uno de los úl-
timos tres años.
De manera específica,
la probabilidad de
obtener una concesión
si no se
ha recibido
ninguna en los
últimos tres años es
de .9. Se reduce a .8
si se recibió una, a .7
si se recibieron
dos, y de sólo .5 si se
recibieron tres.
(a) Exprese la
situación como una
cadena de Markov.
(b) Determine la
cantidad esperada de
otorgamientos por
propietario por año.
Solución:
A) Estados:
0-0-0:1 1-0-0:2
0-1-0:3 0-0-1:4
1-1-0:5 1-0-1:6
0-1-1:7
1-1-1:8
1
2 3 4 5
6 7 8
1 0.1
0 0.9 0 0
0 0 0
2 0.2
0 0 0.8 0
0 0 0
3 0
0.2 0 0 0
0.8 0 0
M= 4 0
0 0.2 0 0
0 0.8 0
 5 0
0.3 0 0 0
0.7 0 0
6 0
0 0.3 0 0
0.7 0 0
7 0
0 0 0.3 0
0 0.7 0
8 0
0 0 0 0.5
0 0 0.5
B)estados:
0-0-0= 0.0148
1-0-0= 0.0668
0-1-0= 0.0668
0-0-1= 0.0668
1-1-0= 0.1783
1-0-1= 0.1783
0-1-1= 0.1783
1-1-1= 0.2496
Otorgamientos en 3
años:
X3=1( 0.0668*3) +
2(0.1783*3) +
3(0.2496)=2.019
Otorgamientos pòr
año:
X=2.019/3=0.673
2
16. Un laberinto se compone de las rutas mostradas en la figura 17.3. La
intersección 1 es la
entrada al laberinto, y la intersección 5 es la salida. En cualquier
intersección, el ratón
tiene probabilidades iguales de seleccionar cualquiera de las rutas
disponibles. Cuando el
ratón llega a la intersección 5, el experimento se repite volviendo a entrar
al laberinto
por la intersección 1.
(a) Exprese el laberinto como una cadena de Markov.
(b) Determine la probabilidad de que, comenzando en la intersección 1, el
ratón llegue a
la salida después de tres intentos.
Determine la probabilidad a largo plazo de que el ratón localice la
intersección de salida.
(d) Determine el promedio de intentos necesario para llegar al punto de
salida desde la
intersección 1.
Solucion:
Probabilidades iniciales:
1-1
2-0
3-0
4-0
5-0
1 2 3 4 5
1 0 0.33 0.33 0.33 0
2 0.33 0 0.33 0 0.33
3 0.33 0.33 0 0 0.33
4 0.5 0 0 0 0.5
5 0 0.33 0.33 0.33 0
Estados: vector de probabilidad
1-0.2142
2-0.2142
3-0.2142
4-0.1428
5-0.2142
B) p¿315 =0.074

C) P=0.2142
D) Ppromedio15=4.66
 17.6 Análisis de los estados 587
absorbentes
20. Los clientes pueden ser
leales a marcas de productos
pero pueden ser persuadidos
me-
diante publicidad y
mercadotecnia inteligentes para
que cambien de marcas.
Considere el
caso de tres marcas: A, B y C.
Los clientes que se
“mantienen” leales a una marca
dada se
estiman en 75%, con un margen
(c) de sólo 25% para que sus
competidores hagan un cam-
bio. Los competidores lanzan
sus campañas publicitarias una
vez al año. Para los clientes
de la marca A, las
probabilidades de que cambien
a las marcas B y C son de .1 y .
15, res-
pectivamente. Los clientes de la
marca B son propensos a
cambiar a las marcas A y C,
con las siguientes
probabilidades: .2 y .05
respectivamente. Los clientes
de la marca C
pueden cambiar a la marcas A y
B con probabilidades iguales.
(a) Exprese la situación como
una cadena de Markov.
(b) A largo plazo, ¿qué tanto
segmento del mercado
dominará cada marca?
¿Cuánto tiempo en promedio le
llevará a un cliente de la marca
A cambiar a la
marca B?
Solución
A)

A B
C

A 0,75 0,1
0,15

B 0,2 0,75
0,05

C 0,125 0,125
0,75

(b)
 ESTADO ESTADO ES
A 0.394737
B 0.307018
C 0.298246

A:39.%B:30.%C:29.%

(I - N)-1

A
C B

A 5.71429
3.42857 A 9.14286

C 2.85714
5.71429 C 8.57143

1 2
C

A 5.88235
2.35294 A 8.23529

B 4.70588
5.88235 B
1.5882

(C)

A B: 9.14 años

A C: 8.23 años
30. Escribir una matriz de
transición para una cadena de
Markov que tenga un espacio
de estados S =1, 2, 3, 4, 5, 6,
7, 8, 9, donde los estados 1, 4
y 7 forman una clase que tiene
periodicidad 2, los estados 2,
3 y 5 forman una clase
aperiódica, el estado 9 es
absorbente y el resto de los
estados son transitorios.
Solución:
0 0.3 0 0.1 0. 2 0.2 0 0.2 0

[
0. 4 0.1 0 0.1 0 0 0.2 0 0.2
0.1 0.2 0 0. 2 0 0. 3 0.2 0 0
0.1 0.1 0.1 0.2 0 0 0.3 0 0.2
0 0 0 0.3 0 0 0.2 0 0.5
0 0 0 0 0 0.3 0.5 0 0.2
0 0.3 0.2 0 0.1 0 0 0.1 0
0 0 0 0 0. 4 0. 1 0 0 0.5
0 0 0 0 0 0 0 0 1

32. Cada mañana una persona

sale de su casa y va a correr.
Puede salir de su casa por la
puerta delantera o por la
puerta trasera con igual
probabilidad. Al salir de casa,
elige un par de zapatillas o
bien sale a correr descalzo si
no hay zapatillas en la puerta
que elige para salir de casa. A
su regreso, escoge para entrar
la puerta trasera o la delantera
con igual probabilidad, donde
dejará sus zapatillas (si las
llevaba). Si posee un total de k
pares de zapatillas, ¿Qué
proporción de veces correrá
descalzo?.
Solución:
Estados:

0 = no zapatos en la puerta
delantera

1= hay un par de zapatos en la

puerta delantera

2= hay dos pares de zapatos en

la puerta delantera

K= hay K pares de zapatos en

la puerta delantera

Matriz de transición

3 1
4 4
0 0

1 1
M= 4 2
1
0
4

1
0
4
1 1
2 4

0 0
0 1
36. Suponemos que la
predicción de lluvia para un
día depende del tiempo en los
tres días anteriores:
a) lluvia - lluvia -
lluvia: lluvia con
prob. 0.8
b) sol - sol -sol: sol
con prob. 0.7
c) cualquier otra
combinación:
lluvia con prob. 0.4
Determinar el espacio de
estados y la matriz de
probabilidades de transición.
Si el primer y segundo día han
sido lluviosos y el tercero
soleado, di cómo harías el
cálculo de la probabilidad de
sol para el séptimo día. ¿Y
para el noveno día?
Solucion
1=LLL
2=SSS
3=LLS
4=LSS
5=SSL
6=SLL

¿1 2 3 4 5 6 7 8
1 0.8 0 0.2 0 0 0 0 0

[ ]
2 0 0.6 0 0 0.4 0 0 0
3 0 0 0 0.6 0 0 0.4 0
4 0 0.6 0 0 0.4 0 0 0
5 0 0 0 0 0 0.4 0 0.6
6 0.4 0.6 0 0 0 0 0 0
7 0 0 0 0 0 0.4 0 0.6
8 0 0 0 0.6 0 0 0.4 0

38. dos switches tienen las

posiciones de ON y OFF. En
el día n-ésimo, cada switch
actúa independientemente y
estará en ON con probabilidad
[1+ número de switches en
ON el día (n-1)-ésimo] / 4

En el límite, ¿qué proporción

de días están ambos en ON?
¿Y ambos en OFF?
Estados:

1= on-on
2= on-off
3= off-on
4= off-off

9/16 3/16 3 /16 1 /16

[ 1/4 1 /4 1/ 4 1/4
1/4 1 /4 1/ 4 1/4
1/16 3 /16 3 /16 9 /16
]

40. El Servicio Hidrológico

de la Comunidad Autónoma de
X planea construir un embalse
para regular la cuenca de uno de
sus rios con el objetivo de
satisfacer los requerimientos de
agua para regadío. La capacidad
máxima del embalse previsto
será de 4.000.000 m3, o, de
manera abreviada 4 unidades de
agua (1 unidad de agua =
1.000.000 m3 ).
Antes de
proceder a la construcción
el Servicio desearia tener
alguna idea sobre la
efectividad del mismo a
largo plazo. Para ello se
ha llevado a cabo un
estudio sobre los
volúmenes semanales de
agua aportados por el río,
encontrándose con que
ppueden aproximarse por
medio de la siguiente
distribución de
probabilidad discreta:

Aportación
semanal
en unidades
de agua 2 3
4 5
-------------------
--------------------------------
----------------
Probabilidad
0.3 0.4 0.2 0.1
El Servicio está considerando la
posibilidad de contratos de
regadío que requeriran el
consumo de 2 unidades de agua
por semana, pero
adicionalmente, para mantener
los estándares de calidad del
agua para otros usos, deberá
dejar salir al menos 1 unidad de
agua por semana. Por lo tanto el
objetivo semanal será dejar salir
3 unidades de agua. Si el estado
del embalse (nivel del embalse)
más la aportación de agua del
rio es menor que esta cantidad
se tendrá que dejar salir menos
agua, afectando la carencia a
los regadios. Si el embalse está
lleno, cualquier exceso será
vertido por los aliviaderos. El
nivel mínimo admitido del
embalse (estado mínimo) no
podrá ser inferior a una unidad
de agua.
a) Representar el
diagrama de
transiciones,
encontrar la
matriz de
probabilidades de
transición, y
comprobar que se
trata de un
proceso
markoviano.
 b) ¿Cual será el
número medio de
semanas
transcurrido
desde que el
embalse se
encuentra en el
estado con 2
unidades de agua
hasta que esté
totalmente lleno?
c) Supuesto el
embalse en el
estado mínimo
con 1 unidad de
agua, ¿Cuantas
semanas tardará,
en promedio, en
volver a estar en
la misma
situación?
d) Suponiendo que
la primera
semana partimos
de una situación
en la que se
embalsaban 3
unidades de agua
¿Cual es la
probabilidad de
que dos semanas
después se
encuentre al
mínimo?.
Solución:
 a) Tendremos un estado
para cada posible nivel
del embalse, esto es, S
= {1, 2, 3, 4}. El DTE
Será:

0.7
1 2
0.3 0

0.1
0.2

0.1
0.2 0.3

0.7
4 3
0.3

0.3

La matriz de probabilidades de
transición correspondiente es:

0,7 0,2 0,1 0

0,3 0,4 0,2 0,1

Q= 0 0,3 0,4 0,3

0 0 0,3 0,7

b. Como la cadena de Markov

es finita y ergódica, podemos
afirmar que existe la
distribución estacionaria, que
es precisamente lo que nos
piden. Para calcularla,
planteamos el siguiente
sistema de ecuaciones:

P1 P1

P2 P2

P3 =QT P3

P4 P4

P1+P2+P3+P4 = 1

El sistema puede resolverse,

por ejemplo, fijando p1=1 y
normalizando luego. La
solución final es:

P1=1/5 , P2=1/5 , P3=

4/15 , P4= 1/3

Ésta es la distribución de
probabilidad del estado del
embalse, a la larga.

C. Según las ecuaciones de

Chapman-Kolmogorov, se
trata de calcular uno de los
elementos de Q2

(2)
q36=0*0,7+0,3*0.3+0,4*0+0,3*0=0
,09

48. En la urna 1 tenemos 9

bolas blancas y 1 bola negra.
En la urna 2 tenemos 9 bolas
negras y una blanca. 
Extraemos una bola al azar de
la urna 1. Si es negra, la
regresamos a la urna. Si es
blanca, la cambiamos por otra
bola de la urna 2 que se extrae
al azar.

Sea x(t), t = 0, 1, 2… el
número de bolas en la urna 1
después de cada experimento.
Demostrar que x(t) es una
cadena de Markov.
Dibujar el gráfico de estados.
Hallar la distribución límite.

Solución:

a. X(t) es una cadena de

Markov ya que el color
de las pelota que se
vaya a sacar de alguna
de las dos urnas
dependerá del suceso
que haya ocurrido
anteriormente. Es
decir, que el estado
futuro del proceso Xn
depende solo del
estado presente Xn-1 y
es independiente de los
estados pasados.

b.
  

50.. Juan y Pedro tienen 2

monedas cada uno. Se
disponen a enfrentar un juego
en que, en cada oportunidad,
cada jugador lanza una
moneda de sus monedas. Si
ambas coinciden, gana Juan y
se queda con la moneda de
Pedro. En caso contrario, gana
Pedro. El juego termina
cuando uno de los jugadores
gana las 4 monedas.

a) Obtenga la distribución
de probabilidades del
número de jugadas
necesarias hasta que
Juan logre tener 3
monedas por primera
vez.
b. Explique cómo obtendría la distribución
de probabilidades del número de jugadas
hasta que el juego termina

solución:

a.- Se debe encontrar

F k ( 2,3 )
que corresponde a
la probabilidad de que se vaya
 por primera vez del estado 2 a
estado 3 en un número k de
etapas. Por lo tanto :

F k ( 2,3 )=??

Para obtener esta probabilidad

se debe construir el modelo
detalladamente, es decir
encontrar el rango de n , X
la matriz P y opcionalmente el
gráfico de red.

Rango de la variable de estado

Xn : Ω X ={ 0,1,2,3,4 }
n ,

Matriz P

11 11 11
|1 0000¿| 0 00¿| 0 0 0¿| 0 0 0 |¿¿
22 22 22
P= ¿

1 0,5 0,5 0,5

0 0,5 1 0,5 2 0,5 3

Gráfico de red de la matriz P

Entonces volvamos de nuevo
con F k ( 2,3 )

1
F1 ( 2,3 )=
2 ;
F2 ( 2,3 )=0 ;
111 1
F3 (2,3 )= p21 p12 p 23= =
222 8
; F 4 ( 2,3 )=0

11 21
2
F5 (2,3 )=( p21 p 12 ) p 23=
22 2 ( )
Término general:
k −1
2
F k ( 2,3 )=( p 21 p12 ) ; k=2,4,6 , . ..( pa

b.- El juego termina cuando se

llega a que Juan tiene 0 ó 4
monedas. Lo que se pregunta
entonces, es la probabilidad de
que ocurra alguno de estos dos
eventos, que son excluyentes.
Además Juan tiene al inicio
del juego 2 monedas. Luego lo
que se pregunta es:
∞
∑ F k (2,0 )+ F
k =2

Del estado 2 al estado 0 y al

estado 4 se puede llegar en
etapas múltiplos de 2
solamente. Luego :
 k k
11 1
( ) ()
F k ( 2,0 )=
22
=
4
; k =2,4,6 , ..

k k
11 1
F ( 2,4 )=( ) =( )
k ; k=2,4,6 ,. .
22 4
∞
1 2j ∞ 1 2j
¿ par ¿¿ ∞¿ F k ( 2,0 ) +F k ( 2,4 ) =∑
j=1
() ()
+∑
4 j=1 4
=∑