División de estudios de Posgrado e

investigación

Maestría en ciencias de la computación

Procesos de decisión de Markov

Alejandro Estrada Padilla

 Ingreso Actual (Etapa 3):
Acción 1: Tratamiento 1

Condición del suelo el próximo año

1 2 3
Condición
1
𝑃 =¿ del suelo 1 0.2 0.5 0.3
en este año 2 0 0.5 0.5
3 0 0 1

1 2 3
𝑉 11 =( 0.2 ∗7 )+ ( 0.5 ∗6 ) + ( 0.3 ∗3 )=5.3
1 1 7 6 3
𝑅 =¿ 𝑉 21=( 1 ∗0 )+ ( 0.5 ∗5 )+ ( 0.5 ∗1 )=3
2 1 5 1
𝑉 31=( 0 ∗ 8 )+ ( 0 ∗6 )+ (1 ∗ −1 )=− 1
3 8 6 -1
 Ingreso Actual (Etapa 3):
Acción 2: Tratamiento 2

Estado del sistema en el año próximo

1 2 3
Estado del
2
𝑃 =¿ sistema en 1 0.3 0.60 0.10
Este año 2 0.10 0.60 0.30
3 0.05 0.40 0.55

1 2 3 𝑉 12=( 0.3 ∗ 6 ) + ( 0.60 ∗ 5 ) + ( 0.10 ∗ −1 )=4.7

2 1 6 5 -1
𝑅 =¿ 𝑉 22=( 0.10 ∗ 7 ) + ( 0.60 ∗ 4 ) + ( 0.30 ∗ 2 )=3.7
2 7 4 2
𝑉 32=( 0.05∗ 6 )+ ( 0. 40 ∗ 3 ) + ( 0.55 ∗− 2 )=0.4
3 6 3 -2
Ingreso Actual (Etapa 3):

i Solución Optima
Estado(i) K=1 K=2 f 3 (i) K*
1 5.3 4.7 5.3 1
2 3 3.7 3.7 2
3 -1 0.4 0.4 2
Ingreso en Etapa 2:

i Solución Optima
Estado(i) K=1 K=2 f i (i) K*
1 5.3 + = 8.33 4.7 +8.55 8.55 2
2 3 + = 5.05 3.7 + = 6.57 6.57 2
3 -1 + = -0.6 0.4 + = 2.365 2.365 2
Ingreso en Etapa 1:

i Solución Optima
Estado(i) K=1 K=2 f i (i) K*
1 5.3 + = 11.0045 4.7 + 11.4435 11.4435 2
2 3 + = 7.4675 3.7 + = 9.2065 9.2065 2
3 -1 + = 1.365 0.4 + = 4.75625 4.75625 2
Solució n Optima:
Estado (i) K*(etapa 3) K*(etapa 2) K*(etapa 1) Ingreso
esperado
total
1 1 2 2 11.4435

2 2 2 2 9.2065

3 2 2 2 4.75625