TALLER N°2

CADENAS DE MARKOV

2012
INGENIERIA INDUSTRIAL

UNIVERSIDAD DEL
MAGDALENA
TALLER N°2 DE INVESTIGACION DE OPERACIONES II
“CADENAS DE MARKOV”

KAREN MARGARITA ALVAREZ ESPINOZA

VICTORIA MILENA BARROS FERREIRA
HECTOR JUNIOR MARTINEZ ARAQUE

ING. NESTOR CAICEDO

Docente
INVESTIGACION DE OPERACIONES II

UNIVERSIDAD DEL MAGDALENA

FACULTAD DE INGENIERÍA
PROGRAMA DE INGENIERÍA INDUSTRIAL
SANTA MARTA
2012 –II
 TALLER DE INVESTIGACION DE OPERACIONES II CADENAS DE MARKOV

1. Un inversionista extranjero desea invertir su capital en el mercado accionario

nacional. De acuerdo a un estudio que realizó, el comportamiento mensual de este
mercado puede clasificarse en 3 categorías: En alza (A), estable (E) y en baja (B).
Además, este comportamiento mensual es una variable aleatoria que depende
únicamente del comportamiento en el mes anterior. La siguiente matriz representa
las probabilidades de transición en el mercado accionario:

A E B

A 0,2 0,7 0,1

E 0,3 0,2 0,5

B 0,5 0,1 0,4

El inversionista tiene la posibilidad de ubicar su capital en otro país, por lo que ha

decidido observar el mercado nacional. La política de inversión que seguirá es tal que
si durante 3 meses consecutivos observa al mercado nacional en alza, invierte sin
retirar su dinero, sin embargo, si durante 2 meses consecutivos observa que el
mercado está en baja invierte en el extranjero sin la posibilidad de reconsiderar su
decisión. Si invierte en el mercado accionario nacional obtendrá un ingreso esperado
mensual de MA [$], ME [$] o MB [$], si el comportamiento es en alza, estable o baja
respectivamente.
Si inicialmente el mercado accionario nacional se encuentra estable:

a) Explique por qué este problema de inversión puede formularse como una
cadena de Markov. Represéntelo con un grafo, identifique y clasifique sus
estados.

b) ¿Existen probabilidades estacionarias?.

c) Suponga que el inversionista finalmente invierte en el mercado nacional,

¿Cómo cambia su respuesta de la parte anterior?, ¿Cuál es el ingreso promedio
mensual que espera obtener el inversionista en esta situación?.

Solución
Estados: 3

A= alza, E= estable, B= baja

a)

0,2
0,2

0,3

A 0,7
E
0,5
0,1
0,1
0,5

B
0,4

Este problema se puede representar como un modelo de cadena de Markov porque se

esta presentando un comportamiento mensual con una variable aleatoria que depende
únicamente del comportamiento en el mes anterior.

b)

Si existen probabilidades estacionarias, las cuales son:

π 1=0,2 π 1+ 0,3 π 2 +0,3 π 3 (1)

π 2=0,7 π 1 +0,2 π 2+ 0,1 π 3 (2) π 1+ π 2+ π 3 =1(4)

π 3=0,1 π 1+ 0,5 π 2 +0,4 π 3 (3)

 Reduciendo términos tenemos:

De la ecuación (1) y (2) eliminamos π 1

π 1=0,2 π 1+ 0,3 π 2 +0,3 π 3 (1)

0=0,2 π 1 +0,3 π 2 +0,3 π 3−π 1

0=−0,8 π 1+ 0,3 π 2 +0,3 π 3 (5)

π 2=0,7 π 1 +0,2 π 2+ 0,1 π 3 (2)

0=0,7 π 1+ 0,2 π 2 +0,1 π 3−π 2

0=0,7 π 1−0,8 π 2+ 0,1 π 3 (6)

De la ecuación (5) y (6) tenemos:

0=−0,8 π 1+ 0,3 π 2 +0,3 π 3 x 0,7=0,8

0=0,7 π 1−0,8 π 2+ 0,1 π 3 ( 87 ) x=

8
7
32 4
−0,8 π 1− π2+ π 3
35 35

Sumamos términos semejantes:

−43 43
π 2+ π 3 (7)
70 70

De la ecuación (2) y (3) eliminamos π 1

π 2=0,7 π 1 +0,2 π 2+ 0,1 π 3 (2)

0=0,7 π 1+ 0,2 π 2 +0,1 π 3−π 2

0=0,7 π 1−0,8 π 2+ 0,1 π 3 (6)

 π 3=0,1 π 1+ 0,5 π 2 +0,4 π 3 (3)

0=0,1 π 1 +0,5 π 2 +0,4 π 3−π 3

0=0,1 π 1 +0,5 π 2−0,6 π 3 (8)

De la ecuación (6) y (8) tenemos:

0=0,7 π 1+ 0,8 π 2 +0,1 π 3 x 0,1=0,7

0=0,1 π 1 −0,5 π 2 −0,6 π 3 ( – 7 ) x=7

7 21
−0,7 π 1− π 2 + π 3
2 5

Sumamos términos semejantes:

−43 43
π 2+ π 3 (9)
10 10

De la ecuación (9) y (7) podemos deducir que:

−43 43
π 2+ π 3
70 70

43 43
π3= π2
70 70

π 3=π 2

−43 43
π 2+ π 3
10 10

+ 43 43
π3= π2
10 10

π 3=π 2
De la ecuación (4) despejamos π 1

π 1+ π 2+ π 3 =1(4)

π 1=1−π 2 −π 3

π 1=1−2 π 2 (10)

En la ecuación (2) remplazamos la ecuación (10) y tenemos:

π 2=0,7 π 1 +0,2 π 2+ 0,1 π 3 (2)

π 2=0,7 (1−2 π 2)+0,2 π 2+ 0,1 π 2

π 2=0,7−1,4 π 2 +0,2 π 2+0,1 π 2

π 2 +1,4 π 2−0,2 π 2−0,1 π 2 =0,7

π 2 +1,4 π 2−0,2 π 2−0,1 π 2 =0,7

2,1 π 2=0,7

0,7
π 2=
2,1

1
π 2=
3

1
Como π 3=π 2, entonces: π 3=
3

Remplazo en la ecuación (10) el valor de π 3 o π 2

π 1=1−2 π 2 (10)

π 1=1−2 ( 13 )
1
π 1=
3

c)
 P(ni +m) =∑ P(n) (m )
ik P kj
k

1 1
m11=
= =3
 π1 1
3
 m 12=1+ P13 m 32+ P 11 m12

 m13=1+ P12 m23+ P11 m13

 m 21=1+ P23 m 31+ P 22 m 21

1 1
m22= = =3
 π2 1
3

 m 23=1+ P21 m 13 + P22 m 23

 m 31=1+ P32 m 21+ P33 m 31

 m32=1+ P31 m12+ P33 m32

1 1
m33= = =3
 π3 1
3

Remplazamos los valores de las probabilidades de un estado a otro y tenemos:

1 1
m11=
= =3
 π1 1
3
 m 12=1+0,1 m32 +0,2 m 12

 m13=1+0,7 m23+ 0,2 m13

 m 21=1+0,5 m 31+0,2 m 21
 1 1
m22= = =3
 π2 1
3
 m23=1+0,3 m13+ 0,2m23

 m31=1+0,1 m21 +0,4 m31

 m 32=1+0,5 m 12+0,4 m32

1 1
m33= = =3
 π3 1
3

Hallando el valor de cada m, tenemos para m 12 y m 32

m 12=1+0,1 m32 +0,2 m 12

0,8 m12=1+0,1 m32

Despejamos m 32 de la ecuación:

m 32=1+0,5 m 12+0,4 m32

0,6 m32=1+0,5 m12

1+ 0,5 m12
m 32=
0,6

5 5
m 32= + m12
3 6

Remplazamos m 32 en la ecuación de m 12

m 12=1+0,1 ( 53 + 56 m )+0,2 m
12 12

1 1
m 12=1+ + m 12+ 0,2m 12
6 12

1 1
m 12− m12−0,2m 12=1+
12 6

43 7
m12=
60 6
 7
6
m 12=
43
60

70
m 12=
43

Remplazo el resultado de m 12 en la ecuación despejada anteriormente de m 32

1+ 0,5 m12
m 32=
0,6

m32=
1+ 0,5 ( 7043 )
0,6

130
m 32=
43

Hallando el valor de cada m, tenemos para m 13 y m23

m13=1+0,7 m23+ 0,2 m13

0,8 m 13=1+0,7 m 23

Despejamos m23 de la ecuación:

m23=1+0,3 m13+ 0,2m23

0,8 m23=1+0,3 m13

1+ 0,3 m13
m 23=
0,8

5 3
m 23= + m13
4 8

Remplazamos m23 en la ecuación de m 13

m 13=1+0,7 ( 54 + 38 m )+0,2 m
13 13

7 21
m 13=1+ + m13 +0,2 m 13
8 80
 21 7
m 13− m 13 −0,2 m 13=1+
80 8

43 15
m13=
80 8

15
8
m 13=
43
80

150
m 13=
43

Remplazo el resultado de m 13 en la ecuación despejada anteriormente de m23

1+ 0,3 m13
m 23=
0,8

m23=
1+ 0,3 ( 150
43 )
0,8

110
m 23=
43

Hallando el valor de cada m, tenemos para m 21 y m 31

m 21=1+0,5 m 31+0,2 m 21

0,8 m 21=1+0,5 m31

Despejamos m 31 de la ecuación:

m 31=1+0,1 m21 +0,4 m31

0,6 m31=1+0,1 m21

1+ 0,1m 21
m 31=
0,6

5 1
m 31= + m21
3 6

Remplazamos m 31 en la ecuación de m21

m 21=1+0,5 ( 53 + 61 m )+0,2 m
21 21

5 1
m 21=1+ + m 21+ 0,2 m21
6 12

1 5
m 21− m 21−0,2m 21=1+
12 6

43 11
m21=
60 6

11
6
m 21=
43
60

110
m 21=
43

Remplazo el resultado de m 21 en la ecuación despejada anteriormente de m 31

1+ 0,1m 21
m 31=
0,6

m31=
1+ 0,1 ( 110
43 )
0,6

90
m 31=
43

Resumiendo los resultados de la m en una tabla tenemos:

m Resultado

m 11 3

70
m 12
43

150
m 13
43

110
m 21
43
 m 22 3

110
m23
43

90
m 31
43

130
m 32
43

m 33 3

Los ingresos generados durante el transcurso del tiempo son:

I =[ M ( A ) m11 + m12 +m 13 ]+ [ M ( E) m 21+m 22 +m 23 ]+ [ M (B)m 31+ m 32+m 33 ]

70 150 110 110 90 130

[
I = M ( A ) 3+ +
43 43 ][
+ M (E)
43
+3+
43
+ M (B) + ][
43 43
+3 ]
349 349 349
M ( A) + M ( E) + M ( B)
43 43 43
I=
1047
43

2. Un hotel opera en un paraje montañoso de elevado atractivo turístico. Cada tarde

puede llegar un nuevo cliente solicitando una habitación, lo cual ocurre con
probabilidad p, o bien puede no llegar ninguno (con probabilidad q = 1 − p. Una
fracción α de los clientes se queda en el hotel sólo una noche (llegan una tarde y se
van en la mañana siguiente), mientras que una fracción β = 1 − α, decide quedarse
una noche más disfrutando del hermoso paisaje (i.e. llegan una tarde y se van en la
mañana del día subsiguiente). Nadie pasa más de 2 noches en el hotel.

a) ¿Cuál es el máximo número de habitaciones que pueden estar ocupadas

simultáneamente?.

b) Modele el estado de ocupación del hotel para cada noche (cuántas

habitaciones están ocupadas) como una cadena de Markov. Defina
adecuadamente los estados, e indique las probabilidades de transición entre
ellos. Justifique la existencia de probabilidades estacionarias y calcúlelas.

c) Suponga que el hotel le cobra a sus clientes A [$] por la primera noche de
estadía y B [$] por noche adicional (B < A). ¿Cuál es el valor esperado del
 ingreso por noche en el largo plazo?. ¿Cuál es el número promedio de
habitaciones ocupadas?.

d) Suponga que el día que un cliente llega al hotel se realiza un sanitizado de la

habitación que ocupará, además se le regala un mapa de la zona y un pequeño
objeto de artesanía típica del lugar (con el logo del hotel), y se le ofrece una
bebida por cuenta de la casa. Todo lo anterior tiene un costo de C [$]. ¿Qué
relación deben cumplir A, B y C para que el hotel pueda financiarse en el largo
plazo?.

Solución

2 1 0

2 0 0 1

[
1 0
0 1−α
1−α α
α 0 ]
π 1=( 1−α ) π 3 (1)

π 2=( 1−α ) π 2+ α π 3 (2)

π 3=π 1 +α π 2 (3)

π 1+ π 2+ π 3 =1(4)

De la ecuación (2) obtenemos

π 2=( 1−α ) π 2+ α π 3

π 2=π 2−α π 2+ α π 3

π 2−π 2 +α π 2=α π 3

α π 2 +α π 3

π 2 +π 3

De la ecuación (1) tenemos

π 1=( 1−α ) π 3

π1
π 3=
(1−α )

De la ecuación (4) hallamos

π 3=1−π 1−π 2

π 3=1−( 1−α ) π 3−π 3

π 3 +π 3+ ( 1−α ) π 3=1

1
π 3= ( 3−α )
1
π 1=( 1−α ) ( 3−α )
1−α
π 1=
3−α

a)

1−α 1
π 2 +π 3= +
3−α 3−α

1−α
π 2 +π 3=
¿¿
b)

m12=1+ p13 m32+ p 11 m12=1+m32

m 13=1+ p12 m 23 + p 11 m13 =1

m21=1+ p22 m21+ p 23 m31=1+ ( 1−α ) m21 +α m31

m 31=1+ p32 m 21+ p 23 m 31=1+ α m 21

m32=1+ p31 m12+ p33 m32=1+ (1−α ) m 12

1
m 23=1+ p21 m 13 + p 22 m 23=1+ ( 1−α ) m23=
α
m 32=1+ ( 1−α ) m12

m32=1+ ( 1−α ) (1+m¿¿ 32) ¿

¿ 1+1+m 32−α −α m 32=2 m32

¿ 1+1−α

¿ 2−α

2α
m 32=
α

2 2−α 2
m 12= + =
α α α

m21=1+ ( 1−α ) m21 +α m 31

m 21=1+ ( 1−α ) m21 +α (1+α m21)

α ( 1−α ) m21=1+α

1+α
m21=
α (1−α )

1−α 1+α
m 31= +
1−α 1−α

1+ α
m 31=
1−α

c)
Ingresos esperados por noche

A ( $ ) m 01+ B ( $ ) m11 +2 A ( $ ) m 02
m01 +m 11 +m 02

IEN=
A ( $) ( 2−α
α ) + B ( $ )( 3−α )+ 2 A ( $ )
2
1−α

( 2−α
α )+ ( 3−α ) +
2
1−α

¿ Promedio de habitacionesocupadas
 m 12+m 31+ m32 +m 11 +m 22
m11 +m 12 +m 13+ m 21+m 22+ m 23+m 31+ m32 +m 33

d)
A+ B>C pero A > B

2−α 2
[ ( ) ][
A ($ )
α [
−C ( $ ) + B ( $ ) ( 3−α )−C $ ] + 2 A ( $ )
1−α ]
−C($) >0

3. Una empresa de transporte cuenta con una flota de 2 camiones destinados para
traslados y fletes. La demanda diaria que enfrenta la empresa es aleatoria, con la
siguiente ley de probabilidades:

P r[D = 0] = 0,3
P r[D = 1] = 0,6
P r[D = 2] = 0,1

Al comienzo del día, se reciben los pedidos por fletes de acuerdo a la distribución
anterior y se debe tener en cuenta que un camión sólo puede atender un pedido por
día. Un camión que durante un día ha realizado un flete tiene una probabilidad 0.5 de
requerir mantención después del traslado, en cuyo caso al día siguiente no estar
disponible para realizar fletes. Le mantenimiento de un camión demora exactamente
un día y tiene un costo de $10.

a) Defina Nk como el número de camiones disponibles para realizar fletes al

comienzo del día k. Muestre que Nk (k = 1, 2,...) puede modelarse como una
cadena de Markov. Defina los estados y determine las probabilidades de
transición de un período.

b) Determine las probabilidades estacionarias.

 c) A partir de la respuesta de la parte anterior, ¿Cuál es el número esperado de
fletes que realizaría esta empresa en estado estacionario?. ¿Cuál es el costo
diario promedio por concepto de mantención?. ¿Cuánto es lo mínimo que esta
empresa está dispuesta a cobrar por cada flete?.

Solución

1 2 0

1 0,6 0,1 0,3

|
2 0,3 0,1 0,6
0 0,5 0,5 0 |
a)

π 1=0,6 π 1 +0,3 π 2+0,5 π 3 (1)

π 2=0,1 π 1+ 0,1 π 2+0,5 π 3 (2)
π 3=0,3 π 1 +0,6 π 2 (3)
π 1=π 1 +π 2+ π 3 =1(4)

De la ecuación (3) despejamos π 2

π 3=0,3 π 1 +0,6 π 2 (3)

π 2=1−π 1 −π 3 (5)

De la ecuación (3) tenemos.

π 3=0,3 π 1 +0,6 ¿ )
π 3=0,3 π 1 +0,6−0,6 π 1−0,6 π 3
π 3=−0,3 π 1 +0,6−0,6 π 3
1.6 π 3=−0,3 π 1 +0,6

1.6 π 3 −0.6
=π 1
−0.3

1.6 π 3 −0.6
π 1=
−0.3
 De la ecuación (1) tenemos que:

π 1=0,6 π 1 +0,3 π 2+0,5 π 3

−0.4 π 1 +0,3 π 2+0,5 π 3=0

1.6 π 3 −0.6
−0.4 (−0.3 )
+0,3 (1−π 1−π 3 )+0,5 π 3=0

32 4
π 3− + 0,3−0.3 π 1−0.3 π 3+0,5 π 3=0
15 5
32 4 1.6 π 3−0.6
15
π 3− + 0,3−0.3
5 ( −0.3 )
−0.3 π 3 +0,5 π 3=0

32 4 8
π 3− + 0,3+ π 3−0.6−0.3 π 3+0,5 π 3=0
15 5 5

59
π =1.1
15 3

1.1 33
π 3= =
59 118
15

π 1=1.6 ¿ ¿
π 2=1−π 1 −π 3

30 33 25
π 2=1− − =
59 118 118

b)

m12=1+ ( 0.6 ) m12+(0.3)m32

m 13=1+ ( 0.6 ) m 13+(0,1)m 23

m21=1+ ( 0.2 ) m21 +(0.6)m31

m 23=1+ ( 0.1 ) m 23+(0.3)m 13

 m 31=1+ ( 0.5 ) m 21

m32=1+ ( 0.5 ) m12

Con m 13 podemos calcular el valor de m 23

m13=1+ ( 0.6 ) m13 + ( 0,1 ) m23

0,4 m13=1+(0,1)m23

1+(0,1) m23
m 13=
0,4

m23=1+ ( 0.1 ) m23+(0.3) ( 1+(0,1)m

0,4
23
)
0,9 m 23=1+ ( 34 )+( 403 ) m 23

( 3340 )m =( 74 )
23
7
4 70
m23= =
33 33
40

m13=
1+(0,1) ( 7033 ) = 100
0,4 33

Con m 12 podemos calcular m 32

m 12=1+ ( 0.6 ) m 12+(0.3)m 32

0,4 m12=1+(0.3)m32

1+(0.3) m32
m 12=
0,4
m32=1+ ( 0.5 ) ( 1+( 0.3)m
0,4 ) 32

5 3
m 32=1+ + m 32
4 8
5 5
m =1+
8 32 4
9
4 18
m32= =
5 5
8

m12=
1+(0.3) ( 185 ) = 26
0,4 5

Con m 21 podemos calcular el valor de m 31

m 21=1+ ( 0.2 ) m21 +(0.6)m 31

0,8 m21=1+(0.6)m31

1+(0.6)m31
m 21=
0,8

m31=1+ ( 0.5 ) ( 1+(0.6)

0,8
m
) 31

m 31=1+ ( 58 )+( 38 ) m 31

13
m =
( 8 ) 13
=
31
5 8
(8)
1 1 59
m11= = =
π 1 30 30
59
 1 1 118
m22= = =
π 2 25 25
118

1 1 118
m33= = =
π 3 33 33
118

m Resultado

59
m 11
30

26
m 12
5

100
m 13
33

16
m 21
5

118
m 22
25

70
m 23
33

13
m 31
8

18
m 32
5

118
m 33
33

c)
Hallando los costos tenemos

$ 10 ( m13 ) +$ 10 (m 23)
costo=
m13 +m 23
 costo=
$ 10 ( 100
33 ) 70
+ $ 10 ( )
33
=$ 10.
100 70
+
33 33

El costo mínimo seria

costo minimo=$ 10 ( m13 ) +20( m23 )

costo minimo=$ 10 ( 100

33 )
70
+20 ( ) =$ 72,72
33

4. En un juego participan dos jugadores, A y B. En cada turno, se lanza una moneda al

aire. Si sale cara, A le da 1 dólar a B. Si sale cruz, B le da 2 dólares a A. Al principio, A
tiene dólares y B tiene 4 dólares. El juego continúa hasta que alguno de los dos se
arruine. Calcular:

a) La probabilidad de que A termine arruinándose.

b) La probabilidad de que B termine arruinándose.
c) El número medio de tiradas que tarda en acabar el juego

Solución

Jugador A tiene 2 Dolores

0 1 2 3 4 5 6 7
0 1 0 0 0 0 0 0 0

[ ]
1 0.5 0 0 0.5 0 0 0 0
2 0 0.5 0 0 0.5 0 0 0
3 0 0 0.5 0 0 0.5 0 0
P=
4 0 0 0 0.5 0 0 0.5 0
5 0 0 0 0 0.5 0 0 0.5
6 0 0 0 0 0 0 1 0
7 0 0 0 0 0 0 0 1

Jugador B tiene 4 Dolores

0 1 2 3 4 5 6
 0 1 0 0 0 0 0 0

[ ]
1 0.5 0 0.5 0 0 0 0
2 0.5 0 0 0.5 0 0 0
P= 3 0 0.5 0 0 0.5 0 0
4 0 0 0.5 0 0 0.5 0
5 0 0 0 0.5 0 0 0.5
6 0 0 0 0 0 0 1

Ahora procedemos a descomponemos la matriz P y tenemos

Jugador A

1 2 3 4 5 0 6 7
1 0 0 0.5 0 0 0.5 0 0

[ ]
2 0.5 0 0 0.5 0 0 0 0 Matriz R
3 0 0.5 0 0 0.5 0 0 0
4 0 0 0.5 0 0 0 0.5 0
P=
5 0 0 0 0.5 0 0 0 0.5
0 0 0 0 0 0 1 0 0 Matriz I
6 0 0 0 0 0 0 1 0
7 0 0 0 0 0 0 0 1
Jugador B

1 2 3 4 5 0 6
1 0 0.5 0 0 0 0.5 0

[ ]
2 0 0 0.5 0 0 0.5 0
Matriz R
3 0.5 0 0 0.5 0 0 0
P= 4 0 0.5 0 0 0.5 0 0
5 0 0 0.5 0 0 0 0.5
0 0 0 0 0 0 1 0 Matriz I
6 0 0 0 0 0 0 1

a) La probabilidad de que A termine arruinándose es

1 0 −0.5 0 0

[−0.5
I-P= 0
0
0
1
−0.5
0
0
0
1
−0.5
0
−0.5
0
1
−0.5
0
−0.5
0
1
]
 1.2 0.4 0.8 0.4 0.4

[ 0.7
I-P-1 = 0.4
0.2
0.1
1.4
0.8
0.4
0.2
0.8
1.6
0.8
0.4
0.9
0.8
1.4
0.7
0.4
0.8
0.4
1.2
]
0 6 7
1 0.6 0.2 0.2
2
(I- P-1 )R=3
4
5
[ 0.35 0.45 0.2
0.2 0.4 0.4
0.1 0.7 0.2
0.05 0.35 0.6
]
La ruina de A esta representada por el estado 0, que es el segundo estado
absorbente. Como empezamos en el tercer estado transitorio (A empieza con 2
dolares ), debemos consultar la segunda fila, y la primera columna de (I- P -1 )
R, la cual nos da una probabilidad de 0.35 de que A empiece con dos dólares y
termine en la ruina

b) la probabilidad de que B termine arruinándose.

Como es el suceso contrario de A, entonces su probabilidad será

1-0.35= 0.65.

C) Promedio de tiradas en que se tarda de acabar el juego.

Para halla el promedio de la tiradas en que se tarda de acabar el juego,

súmanos los números medios de etapas que se estará en cualquier estado
transitorio antes de la absorción, suponiendo que empezamos en el segundo
estado transitorio. Dichos números medios son los que toma la segunda fila de
la matriz I-P-1.

El promedio es: 0.4+1.4+0.8+0.4+0.2= 3.2 tiradas

5. El Departamento de Marketing Cuantitativo de un prestigioso banco nacional
está desarrollando un modelo basado en Cadenas de Markov discretas, para estimar
el número de clientes en el estrato ABC1. El planteamiento es el siguiente:

Sea X n el número de clientes pertenecientes al segmento ABC1 el primer día hábil del
mes n. En el banco existen solamente dos segmentos para clasificar a los clientes
ABC1 y C2.
En total hay N clientes en el banco y que la probabilidad de que un cliente pase de
ABC1 a C2 es P1 y de C2 a ABC1 es P2. Suponga que los clientes no se retiran del
banco, ni tampoco ingresan nuevos clientes. Si se sabe que el primer día hábil de un
mes hay n1 personas en el segmento ABC1:
Cuál es la probabilidad de que en el primer día hábil del mes siguiente hayan n2
clientes en el mismo segmento?

Solución

ABC1 C2

ABC 1 1−p 1 p1
P=
C2 [
p2 1− p 2 ]
ABC1 C2

2 ABC 1
P= ¿
C2

6. El profesor de este curso ha decidido dedicarse a la música, y junto a unos

amigos formó´ el grupo “Los Markovianos del Son”. Actualmente se limitan a tocar los
fines de semana en algunos sitios siendo uno más de los desconocidos en el medio.
Cada mes existe una probabilidad q que un empresario de algún sello musical nacional
los escuche y decida apoyarlos para grabar y realizar giras para cantar en todo el país.
Si tal cosa ocurre pasarían a ser conocidos a nivel nacional.
Un grupo que es conocida a nivel nacional corre el riesgo de perder el apoyo de la
disquera nacional que los patrocina, con lo cual volverían a ser desconocidos. Cada
mes, la probabilidad que esto ocurra es r. Por otro lado, un grupo conocida a nivel
nacional puede llegar a llamar la atención del representante de un sello musical
internacional, el cual podría decidir patrocinarlos. De ser así el grupo pasaría a ser
conocido a nivel internacional. Cada mes existe una probabilidad s que esto ocurra (s
+ r < 1).
Una orquesta que es conocida internacionalmente nunca dejará de serlo. Sin embargo
podemos distinguir dos categorías entre ellas: las que están de moda y las que no.
Una orquesta internacionalmente conocida que está de moda en un mes dado seguirá
estando de moda al mes siguiente con probabilidad t. Una conocida a nivel
internacional que no está de moda en un mes dado pasará a estar de moda al mes
siguiente con probabilidad u. El primer mes que una orquesta se hace conocida a nivel
internacional nunca está de moda. Una orquesta sólo percibe utilidades (equivalentes
a K[$]) en los meses que es conocida internacionalmente y está de moda (parte de
esas utilidades corresponden a una satisfacción de su ego).
Suponga 0 < x <1 ∀ x∈ {q, r, s, t, u}.

a) Construya una cadena de Markov que represente la trayectoria de la orquesta y

que permita predecir si en un mes dado percibirán utilidades o no (defina
estados adecuados, dibuje el grafo indicando las probabilidades de transición o
bien escriba la matriz de prob. de transición).

b) ¿Llegarán “Los Markovianos del son” a tener ´éxito algún día?.

c) ¿Admite la cadena una ley de probabilidades estacionarias?.

d) ¿Qué estados tienen necesariamente una probabilidad estacionaria igual a 0?.

Calcule las probabilidades estacionarias.

e) ¿Cuál es (aprox.) el valor esperado de las utilidades percibidas por la orquesta

en febrero del año 2027?.

Solución

a)

1. Banda desconocida
2. Banda conocida nacionalmente
3. Banda conocida internacionalmente sin moda
4. Banda conocida internacionalmente con moda

1−q q 0 0

[
A= r 1−(r+ s) s 0
00
00
1−u u
1−t t
]
b) si ya que existe la probabilidad de que esta alcance su máximo estado.

c)
 q ( x , y, z ,w)

1−q q 0 0

[
q=q∗A ( x , y , z , w )∗
r 1−(r + s) s 0
00
00
1−u u
1−t t
]
1. x + y + z+ w=1
2. x=( 1−q )∗x+r∗y
3. y=q∗x+ ( 1−( r + s ) )∗y
4. z=s∗y + ( 1−u )∗z+ ( 1−t )∗u
5. w=z∗u+ t∗w

En (2)
x−( 1−q )∗x=r∗ y y=(q∗x )/r

En (3)
q∗x= y∗(1−( 1−( r + s ) ))

Igualamos (2) y (3)

( q∗x )∗( r + s )
=q∗x x=0 y=0
r

Entonces asi queda (1)

z +w=1

En (5)
z∗u
w−( t∗w )=z∗uw=
1−t

Remplazamos (5) en (1)

1
z∗u z= 1−t
z+ =1 u z=
1−t 1+ 1+u−t
1−t

Entonces en 1
1−t 1−t u
+ w=1w=1− w=
1+ u−t 1+u−t 1−t

d) Las probabilidades estacionarias igual a 0, son x y y. puesto que estas siempre

buscaran fama y moda internacional.

1−t u
z=
1+u−t
^ w=
1−t
e) En el 2048 la función de utilidad seria esta
K ($) – u=Wk ($)