EJERCICIOS CADENAS DE MARKOV

1.- Realice una planeacin para 5 aos por programacin dinmica.

r

0 .2
0
0
0.3
0.1
0.05

0 .5
0 .5
0

0.3
0.5
1

0.6
0.6
0.4

0.1
0.3

0.55

6
7
6

7
0
0
5
4
3

6
5
0

3
1
1

1
0
2

PROGRAMACIN DINMICA.
vi = Pij Rij
1
v1 = 0.2 * 7 + 0.5 * 6 + 0.3 * 3 = 5.3
v2 = 0 * 0 + 0.5 * 5 + 0.5 * 1 = 3
v3 = 0 * 0 + 0 * 0 + 1 * (-1) = -1
2
v1 = 0.3 * 6 + 0.6 * 5 + 0.1 * (-1) = 4.7
v2 = 0.1 * 7 + 0.6 * 4 + 0.3 * 0 = 3.1
v3 = 0.05 * 6 + 0.4 * 3 + 0.55 * (-2) = 0.4
f(i)=max{vi}
f(1) = 5.3
f(2) = 3.1
f(3) = 0.4
f(i) = max{vi + Pij fn+i(j)}
En este primer ao se debe fertilizar slo si el sistema se
encuentra en los estados 2 o 3 de terreno regular o deficiente.

Para el 2 ao de produccin:
1
S1 = 5.3 + 0.2 * 5.3 + 0.5 * 3.1 + 0.3 * 0.4 = 8.03
S2 = 3 + 0 * 5.3 + 0.5 * 3.1 + 0.5 * 0.4 = 4.75
S3 = -1 + 0 * 5.3 + 0 * 3.1 + 1 * 0.4 = -0.6
2
S1 = 4.7 + 0.3 * 5.3 + 0.6 * 3.1 + 0.1 * 0.4 = 8.19
S2 = 3.1 + 0.1 * 5.3 + 0.6 * 3.1 + 0.3 * 0.4 = 5.61
S3 = 0.4 + 0.05 * 5.3 + 0.4 * 3.1 + 0.55 * 0.4 = 2.13
f(i)=max{vi}
f(1) = 8.19
f(2) = 5.61
f(3) = 2.13
En el segundo ao se debe fertilizar sin importar el estado del
sistema.
Para el 3 ao de produccin:
1
S1 = 5.3 + 0.2 * 8.19 + 0.5 * 5.61 + 0.3 * 2.13 = 10.382
S2 = 3 + 0 * 8.19 + 0.5 * 5.61 + 0.5 * 2.13 = 6.87
S3 = (-1) + 0 * 8.19 + 0 * 5.61 + 1 * 2.13 = 1.13
2
S1 = 4.7 + 0.3 * 8.19 + 0.6 * 5.61 + 0.1 * 2.13 = 10.736
S2 = 3.1 + 0.1 * 8.19 + 0.6 * 5.61 + 0.3 * 2.13 = 7.924
S3 = 0.4 + 0.05 * 8.19 + 0.4 * 5.61 + 0.55 * 2.13 = 4.225

f(i)=max{vi}
f(1) = 10.736
f(2) = 7.924
f(3) = 4.225
Para el tercer ao, se debe fertilizar sin importar el estado del
sistema.
Para el 4 ao de produccin:
1
S1 = 5.3 + 0.2 * 10.736 + 0.5 * 7.924 + 0.3 * 4.225 = 12.677
S2 = 3 + 0 * 10.736 + 0.5 * 7.924 + 0.5 * 4.225 = 9.075
S3 = (-1) + 0 * 10.736 + 0 * 7.924 + 1 * 4.225 = 3.225
2
S1 = 4.7 + 0.3 * 10.736 + 0.6 * 7.924 + 0.1 * 4.225 = 13.098
S2 = 3.1 + 0.1 * 10.736 + 0.6 * 7.924 + 0.3 * 4.225 = 10.196
S3 = 0.4 + 0.05 * 10.736 + 0.4 * 7.924 + 0.55 * 4.225 = 6.430
f(i)=max{vi}
f(1) = 13.098
f(2) = 10.196
f(3) = 6.430
Para el cuarto ao, se debe fertilizar sin importar el estado del
sistema.
Para el 5 ao de produccin:
1
S1 = 5.3 + 0.2 * 13.098 + 0.5 * 10.196 + 0.3 * 6.430 = 14.947
S2 = 3 + 0 * 13.098 + 0.5 * 10.196 + 0.5 * 6.430 = 11.313

S3 = (-1) + 0 * 13.098 + 0 * 10.196 + 1 * 6.430 = 5.43

2
S1 = 4.7 + 0.3 * 13.098 + 0.6 * 10.196 + 0.1 * 6.430 = 15.39
S2 = 3.1 + 0.1 * 13.098 + 0.6 * 10.196 + 0.3 * 6.430 = 12.456
S3 = 0.4 + 0.05 * 13.098 + 0.4 * 10.196 + 0.55 * 6.430 = 8.670
f(i)=max{vi}
f(1) = 15.39
f(2) = 12.456
f(3) = 8.670
En el quinto ao, se debe fertilizar sin importar el estado del
sistema.
b) Realice el clculo de solucin ptima si el descuento = 0.6 .
Cuales sern las soluciones ptimas para el terreno: Fertilizar o no
fertilizar.
r

0 .2
0
0

0.3
r 2 0.1
0.05

0 .5
0 .5
0

0.3
0.5
1

0.6
0.6
0.4

0.1
0.3

0.55

= 0.6
PROGRAMACIN DINMICA.
vi = Pij Rij
1
v1 = 0.2 * 7 + 0.5 * 6 + 0.3 * 3 = 5.3
v2 = 0 * 0 + 0.5 * 5 + 0.5 * 1 = 3
v3 = 0 * 0 + 0 * 0 + 1 * (-1) = -1

6
R 2 7
6

7
0
0
5
4
3

1
0
2

6
5
0

3
1
1

2
v1 = 0.3 * 6 + 0.6 * 5 + 0.1 * (-1) = 4.7
v2 = 0.1 * 7 + 0.6 * 4 + 0.3 * 0 = 3.1
v3 = 0.05 * 6 + 0.4 * 3 + 0.55 * (-2) = 0.4
f(i)=max{vi}
f(1) = 5.3
f(2) = 3.1
f(3) = 0.4
En este primer ao se debe fertilizar slo si el sistema se
encuentra en los estados 2 o 3 de terreno regular o deficiente.
f(i) = max{vi + Pij fn+i(j)}
Para el 2 ao de produccin:
1
S1 = 5.3 + 0.6*(0.2 * 5.3 + 0.5 * 3.1 + 0.3 * 0.4) = 6.938
S2 = 3 + 0.6*(0 * 5.3 + 0.5 * 3.1 + 0.5 * 0.4) = 4.05
S3 = (-1) + 0.6*(0 * 5.3 + 0 * 3.1 + 1 * 0.4) = -0.76
2
S1 = 4.7 + 0.6*(0.3 * 5.3 + 0.6 * 3.1 + 0.1 * 0.4) = 6.794
S2 = 3.1 + 0.6*(0.1 * 5.3 + 0.6 * 3.1 + 0.3 * 0.4) = 4.606
S3 = 0.4 + 0.6*(0.05 * 5.3 + 0.4 * 3.1 + 0.55 * 0.4) = 1.435
f(i)=max{vi}
f(1) = 6.938
f(2) = 4.606
f(3) = 1.435

En el segundo ao se debe fertilizar slo si el sistema se encuentra

en los estados 2 o 3 de terreno regular o deficiente.
Para el 3 ao de produccin:
1
S1 = 5.3 + 0.6*(0.2 * 6.938 + 0.5 * 4.606 + 0.3 * 1.435) = 7.773
S2 = 3 + 0.6*(0 * 6.938 + 0.5 * 4.606 + 0.5 * 1.435) = 4.812
S3 = (-1) + 0.6*(0 * 6.938 + 0 * 4.606 + 1 * 1.435) = -0.139
2
S1 = 4.7 + 0.6*(0.3 * 6.938 + 0.6 * 4.606 + 0.1 * 1.435) = 7.693
S2 = 3.1 + 0.6*(0.1 * 6.938 + 0.6 * 4.606 + 0.3 * 1.435) = 5.433
S3 = 0.4 + 0.6*(0.05 * 6.938 + 0.4 * 4.606 + 0.55 * 1.435) = 2.187
f(i)=max{vi}
f(1) = 7.773
f(2) = 5.433
f(3) = 2.187
Para el tercer ao, se debe fertilizar slo si el sistema se encuentra
en los estados 2 o 3 de terreno regular o deficiente.
Para el 4 ao de produccin:
1
S1 = 5.3 + 0.6*(0.2 * 7.773 + 0.5 * 5.433 + 0.3 * 2.187) = 8.256
S2 = 3 + 0.6*(0 * 7.773 + 0.5 * 5.433 + 0.5 * 2.187) = 5.286
S3 = (-1) + 0.6*(0 * 7.773 + 0 * 5.433 + 1 * 2.187) = 0.312

2
S1 = 4.7 + 0.6*(0.3 * 7.773 + 0.6 * 5.433 + 0.1 * 2.187) = 8.186

S2 = 3.1 + 0.6*(0.1 * 7.773 + 0.6 * 5.433 + 0.3 * 2.187) = 5.916

S3 = 0.4 + 0.6*(0.05 * 7.773 + 0.4 * 5.433 + 0.55 * 2.187) = 2.659
f(i)=max{vi}
f(1) = 8.256
f(2) = 5.916
f(3) = 2.659
Para el cuarto ao, se debe fertilizar slo si el sistema se encuentra
en los estados 2 o 3 de terreno regular o deficiente.
Para el 5 ao de produccin:
1
S1 = 5.3 + 0.6*(0.2 * 8.256 + 0.5 * 5.916 + 0.3 * 2.659) = 8.544
S2 = 3 + 0.6*(0 * 8.256 + 0.5 * 5.916 + 0.5 * 2.659) = 5.573
S3 = (-1) + 0.6*(0 * 8.256 + 0 * 5.916 + 1 * 2.659) = 0.595
2
S1 = 4.7 + 0.6*(0.3 * 8.256 + 0.6 * 5.916 + 0.1 * 2.659) = 8.475
S2 = 3.1 + 0.6*(0.1 * 8.256 + 0.6 * 5.916 + 0.3 * 2.659) = 6.204
S3 = 0.4 + 0.6*(0.05 * 8.256 + 0.4 * 5.916 + 0.55 * 2.659) = 2.945
f(i)=max{vi}
f(1) = 8.544
f(2) = 6.204
f(3) = 2.945
En el quinto ao, se debe fertilizar en caso slo si el sistema se
encuentra en los estados 2 o 3 de terreno regular o deficiente.

1.

S1 =
S2 =
S3 =
Para
S1 =
S2 =
S3 =

S1 : Oferta de 6 millones de pesos.

S2 : Oferta de 6 14 millones de pesos.
S3 : Oferta de 7 millones de pesos.
f(i)=max{vi}
f(1) = 6
P(f1) = 6/10 = 0.6
f(2) = 6.25
P(f2) = 3/10 = 0.3
f(3) = 7
P(f3) = 1/10 = 0.1
= 0.85
f(i) = max{vi + Pij fn+i(j)}
6 + 0.85*(0.6 * 6 + 0 * 6.25 + 0 * 7) = 9.06
6.25 + 0.85*(0 * 6 + 0.3 * 6.25 + 0 * 7) = 7.84
7 + 0.85*(0 * 6 + 0 * 6.25 + 0.1 * 7) = 7.60
el Segundo mes de rechazo de la oferta o espera.
6 + 0.85*(0.6 * 9.06 + 0 * 7.84 + 0 * 7.60) = 10.62
6.25 + 0.85*(0 * 9.06 + 0.3 * 7.84 + 0 * 7.60) = 8.25
7 + 0.85*(0 * 9.06 + 0 * 7.84 + 0.1 * 7.60) = 7.65

La poltica ptima que minimizan el costo total esperado es

aceptar la oferta de 7 millones por vender su negocio en el primer mes,
posteriormente se incrementan los costos totales.
2.

S1
S2
S3
En
S1
S2

S1 : Costo de 3 millones de pesos.

S2 : Costo de 4 millones de pesos.
S3 : Costo de 5 millones de pesos.
f(i)=max{vi}
f(1) = 3
P(f1) = 1/6 = 0.17
f(2) = 4
P(f2) = 2/6 = 0.33
f(3) = 5
P(f3) = 3/6 = 0.50
= 0.9
R = $ 350
D = $ 200
f(i) = max{vi + Pij fn+i(j)}
= 3 + 200 + 350 + 0.9*(0.17 * 3 + 0.33 * 4 + 0.5 * 5) = 556.897
= 4 + 200 + 350 + 0.9*(0.17 * 3 + 0.33 * 4 + 0.5 * 5) = 557.897
= 5 + 200 + 350 + 0.9*(0.17 * 3 + 0.33 * 4 + 0.5 * 5) = 558.897
el Segundo da de espera o de no compra los costos sern.
= 3 + 200 + 350 + 0.9*(0.17 * 556.897 + 0.33 * 557.897 + 0.5 *
558.897) = 1055.4043
= 4 + 200 + 350 + 0.9*(0.17 * 556.897 + 0.33 * 557.897 + 0.5 *
558.897) = 1056.4043

S3 = 5 + 200 + 350 + 0.9*(0.17 * 556.897 + 0.33 * 557.897 + 0.5 *

558.897) = 1057.4043
A la persona se conviene comprar una casa lo ms antes posible
pues sus costos se incrementan enormemente da a da a los costos
originales, por tanto la poltica ptima es comprar el primer da cuando
la casa cuesta 3 millones.

3. Una investigacin recientemente realizada con suscriptora de una

revista de viajes, muestra que el 65% de ellos tienen al menos
una tarjeta de crdito de alguna lnea area. Comparando estos
resultados con una investigacin similar efectuada hace 5 aos,
los datos indican que 40% de aquellos individuos que no tenan
una tarjeta de crdito de alguna lnea area, obtuvieron
posteriormente una, mientras que el 10% de aquellas que posean
alguna de estas tarjetas, hace 5 aos, ya no lo hacen.
Considerando que estas tendencias continen en el futuro,
determnese la proporcin de suscriptores que poseern tarjetas
de crdito de lneas areas:
a) dentro de 10 aos.
b) A largo plazo
SOLUCIN
Sean los estados:
S1 : Suscriptores con tarjeta de crdito.
S2 : Suscriptores sin tarjeta de crdito.
a)

x 0 x1 x 2
x 0 0.65 0.35
S1

S2

S1 0.90 0.10
S2 0.40 0.60
Para n = 10 aos
x 10 P 0 P 10

0.90 0.10

0.40 0.60
0.85 0.15

0.6

0.825 0.175

0.7

0.813 0.188

0.75 0.25
0.806 0.194
0.806
0.775 0.194
0.225

b
5
b
6

0.775 0.225
0.803 0.197

0.788 0.213
0.802 0.198

b
b

0.794 0.206

0.801 0.199

0.797 0.203
0.8
0.2

10

0.798 0.202
0.8
0.2

b
b

ab
x

10

P P
0

10

0.3

0.4

10

0.799 0.201

= 0.65

0.8 0.2
0.90
0.35
0.40

0.10
0.60

10

= [0.8 , 0.2]

Dentro de 10 aos el 80 % de las personas tendrn tarjeta de

crdito y el 20 % de las personas carecern de ellas.
b)

x1

0.90
0.40

x 2

0.10
x1
0.60

0.90x 1 0.40x 2 x 1

0.10 x 1 0.60 x 2 x 2
0.10x 1 0.40 x 2 0

0.10 x 1 0.40 x 2 0

x2

x1 x 2 1
x 2 1 x1
0.10 x 1 0.40(1 x 1 ) 0

0.10x 1 0.40 0.40x 1 0

0.50x 1 0.40
x1

0.40
0.50

x 1 0.8
x 2 1 x 1 1 0 .8
x 2 0.2
A largo plazo se espera que el 80 % tenga la tarjeta de crdito y
por ende el 20 % no la tenga.
7. Las uvas del valle de Sonoma, se clasifican como superiores,
regulares o malas. Despus de una cosecha superior, las
probabilidades de tener durante el siguiente ao, una cosecha
superior, regular y mala son de 0, 0.8 y 0.2 respectivamente.
Despus de una cosecha regular, las probabilidades de que la
siguiente cosecha sea superior, regular y mala son: 0.2, 0.6 0.2.
despus de una mala cosecha, las probabilidades de una cosecha
superior, regular y mala son de 0.1, 0.8 y 0.1. Determnese las
probabilidades de una cosecha superior para cada uno de los
siguientes aos, si la cosecha ms reciente fue regular.
SOLUCIN
S1 : Cosecha Superior.
S2 : Cosecha Regular.
S2 : Cosecha Mala.
Para la cosecha ms reciente regular tenemos la probabilidad 1
inicialmente.

x 0 x1 x 2 x 3
x 0 0 1 0

S1 S2
S1 0.0 0.8
S2 0.2 0.6
S3 0.1 0.8

S3
0 .2
0.2
0.1

Para n = 5 aos
x 5 P0P5

( 0.2 0.6 0.2 )

0.0 0.8 0.2

0.2 0.6 0.2

0.1 0.8 0.1

ab

0.14 0.68 0.18

0.18 0.64 0.18

0.14 0.68 0.18

0.17 0.64 0.19

ab
2

0.154 0.664 0.182

0.146 0.672 0.182

0.154 0.664 0.182

0.147 0.672 0.181

ab
3

0.151 0.667 0.182

0.153 0.666 0.182

4

0.151 0.667 0.182

0.153 0.666 0.182

ab
4

0.152 0.667 0.182

0.151 0.667 0.182

0.152 0.667 0.182

0.151 0.667 0.182

ab
5

0.151 0.667 0.182

Para el primer ao la cosecha superior ser de 0.14 = 14 %

Para el segundo ao la cosecha superior ser de 0.154 = 15.4 %
Para el tercer ao la cosecha superior ser de 0.151 = 15.1 %
Para el cuarto ao la cosecha superior ser de 0.152 = 15.2 %
Para el quinto ao la cosecha superior ser de 0.151 = 15.1 %