TEORIA DE LAS DECISIONES

Unidad 3. Procesos de decisión de Markov

PRESENTADO POR:

JORGE HILARIO LEON ARENAS

ANDRES FABIAN FONSECA TELLEZ

GIANDRY CASTRO

PRESENTADO A :

RICARDO JAVIER PINEDA

UNIVERSIDAD NACIONAL ABIERTA Y ADISTANCIA – UNAD

ESCUELA DE CIENCIAS BÁSICAS TECNOLOGÍA E INGENIERÍA

INGENIERÍA INDUSTRIAL

BARRANCABERMEJA

ABRIL/2020
A – UNAD

NGENIERÍA
 INTRODUCCIÓN

La presente actividad estará contenida por el desarrollo de cinco (5) ejercicios que refieren a
ejemplos en los que se aplica la Cadenas de Markov y sus diferentes métodos resolutivos.

Con el desarrollo de los ejercicios, se podrá expresar el modelo de programación dinámica

de etapa finita e infinita.

Al finalizar, se determinarán las probabilidades en la toma de decisiones donde se podrá

demostrar la garantía existente en el desarrollo y la continuidad de un proceso de decisión
sobre los problemas de producción y gestión de una empresa u organización.
 EJERCICIO 1: CADENA DE MARKOV

La compañía de seguros XYZ cobra a sus clientes de acuerdo con su historial de accidentes. Si no ha tenido acc
nueva póliza $ 530,000 (estado 0); si ha tenido un accidente en cada uno de los últimos dos años, se le cobrará $
de los últimos dos años, se le cobrará $ 517,000 (estado 2) y si tuvo un accidente, el segundo de los últimos
comportamiento histórico de cada estado viene dado por los siguientes casos de accidente, tomados en cuatro e

E0 Si no ha tenido accidentes, los últimos dos años $5

E1 Si ha tenido un accidente en cada uno de los últimos dos años $7
E2 Si tuvo accidentes el primero de los últimos dos años, $5
E3 Si tuvo un accidente, el segundo de los últimos dos años se le cobrará $7

ACCIDENTES EN EL AÑO
ESTADOS E0 E1 E2
E0 1230 820 1025
E1 990 1155 495
E2 1125 1575 1800
E3 780 780 1300

ESTADOS E0 E1 E2
E0 0.30 0.20 0.25
E1 0.30 0.35 0.15
E2 0.25 0.35 0.40
E3 0.15 0.15 0.25

a. ¿Cuál es la matriz de transición resultante de la proporcionalidad según el historial de accide

Matriz de probabilidad de tra

W 0.30 0.20
X P= 0.30 0.35
Y 0.25 0.35
Z 0.15 0.15
 EC1 0,3W-W + 0,3X + 0,25Y + 0,15Z =0
EC2 0,2W + 0,35X-X + 0,35Y + 0,15Z =0
EC3 0,25W + 0,15X + 0,4Y-Y + 0,25Z =0
EC4 0,25W + 0,2X + 0Y + 0,45Z-Z =0
EC5 W + X + Y + Z-1 =0

EC1 -0,7W + 0,3X + 0,25Y + 0,15Z =0

EC2 0,2W - 0,65X + 0,35Y + 0,15Z =0
EC3 0,25W + 0,15X -0,6Y + 0,25Z =0
EC4 0,25W + 0,2X + 0Y -0,55Z =0
EC5 W + X + Y + Z-1 =0

b. ¿Cuál es la prima promedio pagada por un cliente en Payoff, según la tasa histórica de accid

R/ La prima pagada por cada poliza es de 630.426 por cada pol

ARKOV

historial de accidentes. Si no ha tenido accidentes, los últimos dos años se cobrarán por la
uno de los últimos dos años, se le cobrará $ 719,000 (Estado 1); Si tuvo accidentes el primero
vo un accidente, el segundo de los últimos dos años se le cobrará $ 778,000 (Estado 3). El
tes casos de accidente, tomados en cuatro eventos diferentes.

ños $ 530,000
s últimos dos años $ 719,000
dos años, $ 517,000
os dos años se le cobrará $778,000

EL AÑO
E3 TOTAL
1025 4100
660 3300
0 4500
2340 5200

E3
0.25 1
0.20 1
0.00 1
0.45 1

cionalidad según el historial de accidentes?

Matriz de probabilidad de transición

∑
0.25 0.25 = 1
0.15 0.20 = 1 q=
0.40 0.00 = 1
0.25 0.45 = 1
 p*q
EC1 0,3W + 0,3X +0,25Y + 0,15Z =W
EC2 0,2W + 0,35X + 0,35Y + 0,15Z =X
EC3 0,25W + 0,15X + 0,4Y + 0,25Z =Y
EC4 0,25W + 0,2X + 0Y + 0,45Z =Z
EC5 W+X+Y+Z =1

E0 E1 E2 E3
W X Y Z
0.2548 0.2690 0.2625 0.2137

MATRIZ DE COEFICIENTES
W X Y Z
-0.70 0.30 0.25 0.15
0.20 -0.65 0.35 0.15
0.25 0.15 -0.60 0.25
0.25 0.20 0.00 -0.55
1 1 1 1

ayoff, según la tasa histórica de accidentes?

da poliza es de 630.426 por cada poliza

W X Y Z
INDEP IGUAL A
0 -3.05311331771918E-16
0 -5.55111512312578E-17
0 2.84494650060196E-16
0 8.32667268468867E-17
-1 0

$ 630,425.8
$ 530,000.00
$ 719,000.00
$ 517,000.00
$ 778,000.00
En Colombia hay 5 operadores móviles principales como Tigo, Comcel, Movistar, ETB y U
llamaremos estados. La siguiente tabla resume las probabilidades de que cada cliente teng
permanecer en su operador actual o hacer un cambio de compañía

STATE TIGO COMCEL MOVISTAR ETB UFF

TIGO 0.25 0.15 0.35 0.1 0.15
COMCEL 0.2 0.35 0.15 0.1 0.2
MOVISTAR 0.35 0.2 0.2 0.2 0.05
ETB 0.15 0.25 0.05 0.25 0.3
UFF 0.15 0.25 0.3 0.15 0.15

Los porcentajes actuales de cada operador en el mercado actual son para Tigo 0.2 para C
0.3, para Movistar 0.3, para ETB 0.1 y 0.1 para Uff (estado inicial).

Según la Tabla 2, aplicando los criterios de Markovian, resuelva la multiplicación del vec
estado inicial (cuota de mercado) por la matriz de probabilidad (matriz de transición)

X1 0.2 0.3 0.3 0.1 0.1

X2 0.245 0.245 0.21 0.15 0.15

0.245 0.245 0.210 0.150 0.150

X3 0.22875 0.2395 0.217 0.151 0.16375

 0.229 0.240 0.217 0.151 0.164

X4 0.22825 0.240225 0.2160625 0.1525375 0.162925

a. Encuentre la probabilidad de que cada usuario permanezca con la compañía móvil durante

Rta: solo los usuarios de tres (3) compañias permanecerán durante los tres (3
demas compañías, cambiarán de operador en ese mismo periodo.
Comcel, Movistar, ETB y Uff, que
s de que cada cliente tenga que
a

1
1
1
1
1

l son para Tigo 0.2 para Comcel

a la multiplicación del vector de

triz de transición)

0.3 0.2 0.4 0.1 0.2

0.2 0.4 0.2 0.1 0.2
0.4 0.2 0.2 0.2 0.1
0.2 0.3 0.1 0.3 0.3
0.2 0.3 0.3 0.2 0.2

0.3 0.2 0.4 0.1 0.2

0.2 0.4 0.2 0.1 0.2
0.4 0.2 0.2 0.2 0.1
0.2 0.3 0.1 0.3 0.3
0.2 0.3 0.3 0.2 0.2
 0.3 0.2 0.4 0.1 0.2
0.2 0.4 0.2 0.1 0.2
0.4 0.2 0.2 0.2 0.1
0.2 0.3 0.1 0.3 0.3
0.2 0.3 0.3 0.2 0.2

la compañía móvil durante los 3 próximos períodos X1

X2
necerán durante los tres (3) periodos, los usuarios de las X3
smo periodo. X4
PERMANECE
 TIGO COMCEL MOVISTAR ETB UFF
0.2 0.3 0.3 0.1 0.1
0.245 0.245 0.21 0.15 0.15
0.22875 0.2395 0.217 0.151 0.16375
0.22825 0.240225 0.2160625 0.1525375 0.162925
PERMANECE CAMBIA CAMBIA PERMANECE PERMANECE
 En Colombia hay 6 operadores móviles principales como Avantel, Tigo, Comcel, Movistar, ET
estados. La siguiente tabla resume las probabilidades de que cada cliente tenga que perm
actual o hacer un cambio de compañía.

STATE TIGO COMCEL MOVISTAR ETB AVANTEL

TIGO 0.1 0.2 0.4 0.1 0.1
COMCEL 0.1 0.2 0.1 0.2 0.3
MOVISTAR 0.1 0.3 0.2 0.2 0.2
ETB 0.1 0.3 0.2 0.1 0.1
AVANTEL 0.1 0.15 0.35 0.1 0.1
UFF 0.1 0.2 0.2 0.3 0

Los porcentajes actuales de cada operador en el mercado actual son para Tigo 0.1 para C
0.3, para ETB 0.1, Avantel 0.1 y 0.2 para Uff (estado inicial).

Según la Tabla 3, aplicando los criterios de Markovian, resuelva la multiplicación del vector d
mercado) por la matriz de probabilidad (matriz de transición).

0.1 0.2 0.3 0.1 0.1 0.2

X1= 0.1 0.235 0.215 0.19 0.15 0.11

0.1 0.235 0.215 0.19 0.15 0.11

X2 0.1 0.233 0.219 0.167 0.1575 0.1235

 0.1 0.233 0.219 0.167 0.1575 0.1235

X3 0.1 0.230725 0.220325 0.1699 0.15615 0.1229

0.1 0.230725 0.220325 0.1699 0.15615 0.1229

X4 0.1 0.231215 0.22035 0.169685 0.1558875 0.1228625

a. Encuentre la probabilidad de que cada usuario permanezca

con la compañía de telefonía móvil durante los próximos 4
períodos.

Rta: Los clientes de solo dos (2) empresas cambiarán de

operador durante el periodo de cuatro (4) meses; las demás
mantendrán su número de clientes activos sin que haya riesgo de
que cambien de operador.
 go, Comcel, Movistar, ETB y Uff, que llamaremos
a cliente tenga que permanecer en su operador

UFF
0.1 1
0.1 1
0 1
0.2 1
0.2 1
0.2 1

on para Tigo 0.1 para Comcel 0.2, para Movistar

multiplicación del vector de estado inicial (cuota de

0.1 0.2 0.4 0.1 0.1 0.1

0.1 0.2 0.1 0.2 0.3 0.1
0.1 0.3 0.2 0.2 0.2 0
0.1 0.3 0.2 0.1 0.1 0.2
0.1 0.15 0.35 0.1 0.1 0.2
0.1 0.2 0.2 0.3 0 0.2

0.1 0.2 0.4 0.1 0.1 0.1

0.1 0.2 0.1 0.2 0.3 0.1
0.1 0.3 0.2 0.2 0.2 0
0.1 0.3 0.2 0.1 0.1 0.2
0.1 0.15 0.35 0.1 0.1 0.2
0.1 0.2 0.2 0.3 0 0.2
 0.1 0.2 0.4 0.1 0.1 0.1
0.1 0.2 0.1 0.2 0.3 0.1
0.1 0.3 0.2 0.2 0.2 0
0.1 0.3 0.2 0.1 0.1 0.2
0.1 0.15 0.35 0.1 0.1 0.2
0.1 0.2 0.2 0.3 0 0.2

0.1 0.2 0.4 0.1 0.1 0.1

0.1 0.2 0.1 0.2 0.3 0.1
0.1 0.3 0.2 0.2 0.2 0
0.1 0.3 0.2 0.1 0.1 0.2
0.1 0.15 0.35 0.1 0.1 0.2
0.1 0.2 0.2 0.3 0 0.2

TIGO COMCEL MOVISTAR ETB AVANTEL

X1= 0.1 0.235 0.215 0.19 0.15
X2 0.1 0.233 0.219 0.167 0.1575
X3 0.1 0.230725 0.220325 0.1699 0.15615
X4 0.1 0.231215 0.22035 0.169685 0.1558875
PERMANECE CAMBIA PERMANECE CAMBIA PERMANECE
 UFF
0.11
0.1235
0.1229
0.1228625
PERMANECE
 Supongamos que se obtienen 4 tipos de refrescos en el mercado: colombiano, Pepsi Co
comprado colombiano, existe la probabilidad de que continúe consumiendo el 40%, el 20
compra Fanta y 30% que consume Coca Cola; cuando el comprador consume actualmente
comprando 30%, 20% colombiano, 20% que Fanta consume y 30% Coca Cola; Si Fanta se
siga consumiendo es del 20%, el 40% compra colombiano, el 20% consume Pepsi Cola y
Coca Cola, la probabilidad de que continúe consumiendo es del 50%, el 20% compra colom
que se pasa a Fanta

COLOMBIANA PEPSI COLA FANTA

COLOMBIANO 40 20 10
PEPSI COLA 20 30 20
FANTA 40 20 20
COCACOLA 20 20 10

En la actualidad, cada marca colombiana, Pepsi Cola, Fanta y Coca Cola tienen los siguie
porcentajes en participación de mercado respectivamente (30%, 20%, 10% y 40%) duran
semana 3

30 20 10

COLOMBIANA PEPSI COLA FANTA

COLOMBIANO 0.4 0.2 0.1
PEPSI COLA 0.2 0.3 0.2
FANTA 0.4 0.2 0.2
COCACOLA 0.2 0.2 0.1

0.3 0.2 0.1

a. Matriz de transición

0.3 0.2 0.1 0.4

X4 0.28 0.22 0.13 0.37

0.28 0.22 0.13 0.37

 X5 0.282 0.222 0.135 0.361

0.282 0.222 0.135 0.361

X6 0.2834 0.2222 0.1357 0.3587

0.2834 0.2222 0.1357 0.3587

X7 0.28382 0.22222 0.13579 0.35817

b. Encuentre la probabilidad de que cada usuario permanezca con la marca o cambie a otro du

X4
X5
Rta: Solo una de las empresas (Coca-Cola) sufrirá cambio de X6
usuarios durante el periodo evaluado; las demás se mantendrán X7
conforme a las variables diagnosticadas.
 colombiano, Pepsi Cola, Fanta y Coca Cola cuando una persona ha
miendo el 40%, el 20% de los cuales comprará Pepsi Cola, 10% que
onsume actualmente Pepsi Cola, existe la probabilidad de que continúe
oca Cola; Si Fanta se consume actualmente, la probabilidad de que se
onsume Pepsi Cola y el 20% va a Coca Cola. Si actualmente consume
el 20% compra colombiano, el 20% que consume Pepsi Cola y el 10%

COCA COLA
30 100
30 100
20 100
50 100

Cola tienen los siguientes

%, 10% y 40%) durante la

40 100

COCA COLA
0.3 1
0.3 1
0.2 1
0.5 1

0.4 1

sición

0.4 0.2 0.1 0.3

0.2 0.3 0.2 0.3
0.4 0.2 0.2 0.2
0.2 0.2 0.1 0.5

0.4 0.2 0.1 0.3

 0.2 0.3 0.2 0.3
0.4 0.2 0.2 0.2
0.2 0.2 0.1 0.5

0.4 0.2 0.1 0.3

0.2 0.3 0.2 0.3
0.4 0.2 0.2 0.2
0.2 0.2 0.1 0.5

0.4 0.2 0.1 0.3

0.2 0.3 0.2 0.3
0.4 0.2 0.2 0.2
0.2 0.2 0.1 0.5

rca o cambie a otro durante los períodos S 4, 5, 6 y período 7

COLOMBIANA PEPSI COLA FANTA COCA COLA

0.28 0.22 0.13 0.37
0.282 0.222 0.135 0.361
0.2834 0.2222 0.1357 0.3587
0.28382 0.22222 0.13579 0.35817
PERMANECE PERMANECE PERMANECE CAMBIE
Suponga que obtiene 6 tipos de marcas de jeans en el mercado colombiano: marca 1,
que continúe usando la misma marca o la cambie

STATE BRAND 1 BRAND 2 BRAND 3 BRAND 4

BRAND 1 0.18 0.18 0.15 0.21
BRAND 2 0.14 0.18 0.2 0.19
BRAND 3 0.13 0.16 0.15 0.21
BRAND 4 0.22 0.16 0.18 0.2
BRAND 5 0.15 0.17 0.15 0.17
BRAND 6 0.17 0.15 0.17 0.19

En la actualidad, la marca, tiene los siguientes porcentajes en participación de m

respectivamente (20%, 15%, 17%, 15%, 13% y 20%) durante la semana 4

20 15 17 15 13

a. Matriz de transición

X4 0.2 0.15 0.17 0.15

X5 0.1656 0.1663 0.166 0.1963

0.1656 0.1663 0.166 0.1963

X6 0.166302 0.16712 0.16678 0.195055

 0.166302 0.16712 0.16678 0.195055

X7 0.16624479 0.16710719 0.16681633 0.19512601

b. Encuentre la probabilidad de que cada usuario permanezca con la marca o cambie a otro d

MARCA 1 MARCA 2
X4 0.2 0.15
X5 0.1656 0.1663
X6 0.166302 0.16712
X7 0.16624479 0.16710719
CAMBIA SE QUEDA

RESPUESTA:
La marca 1 disminuyó de 0,2 a 0,1662 en aceptación, por lo que se puede inferir que cambiará d
La marca 2 aumentó de de 0,15 a 0,1671 en aceptación. Hay probabilidad que de continúe con l
La marca 3 disminuyó de 0,17 a 0,1668 en aceptación, por lo que se puede inferir que cambiará d
La marca 4 aumentó de de 0,15 a 0,1951 en aceptación. Hay probabilidad que de continúe con l
La marca 5 aumentó de de 0,13 a 0,1743 en aceptación. Hay probabilidad que de continúe con l
La marca 6 disminuyó de 0,2 a 0,1303 en aceptación, por lo que se puede inferir que cambiará d
mercado colombiano: marca 1, marca 2, marca 3, marca 4, marca 5 y marca 6. La siguiente tabla muestra la

BRAND 5 BRAND 6
0.18 0.1 1
0.15 0.14 1
0.2 0.15 1
0.18 0.06 1
0.15 0.21 1
0.19 0.13 1

entajes en participación de mercado

la semana 4

20 100

0.13 0.2
0.18 0.18 0.15 0.21 0.18
0.14 0.18 0.2 0.19 0.15
0.13 0.16 0.15 0.21 0.2
0.22 0.16 0.18 0.2 0.18
0.15 0.17 0.15 0.17 0.15
0.17 0.15 0.17 0.19 0.19
0.177 0.1288

0.177 0.1288
0.18 0.18 0.15 0.21 0.18
0.14 0.18 0.2 0.19 0.15
0.13 0.16 0.15 0.21 0.2
0.22 0.16 0.18 0.2 0.18
0.15 0.17 0.15 0.17 0.15
0.17 0.15 0.17 0.19 0.19
0.174309 0.130434
 0.174309 0.130434
0.18 0.18 0.15 0.21 0.18
0.14 0.18 0.2 0.19 0.15
0.13 0.16 0.15 0.21 0.2
0.22 0.16 0.18 0.2 0.18
0.15 0.17 0.15 0.17 0.15
0.17 0.15 0.17 0.19 0.19
0.17439707 0.13030861

a con la marca o cambie a otro durante los períodos S 4, 5, 6 y período 7

MARCA 3 MARCA 4 MARCA 5 MARCA 6

0.17 0.15 0.13 0.2
0.166 0.1963 0.177 0.1288
0.16678 0.195055 0.174309 0.130434
0.16681633 0.19512601 0.17439707 0.1303086
CAMBIA SE QUEDA SE QUEDA CAMBIE

lo que se puede inferir que cambiará de marca.

Hay probabilidad que de continúe con la marca.
r lo que se puede inferir que cambiará de marca.
Hay probabilidad que de continúe con la marca.
Hay probabilidad que de continúe con la marca.
lo que se puede inferir que cambiará de marca.
uiente tabla muestra las probabilidades de

0.1
0.14
0.15
0.06
0.21
0.13

0.1
0.14
0.15
0.06
0.21
0.13
 0.1
0.14
0.15
0.06
0.21
0.13
 BIBLIOGRAFÍA

Sharma, J. (2016). Operations Research : Theory and Applications. (pp. 650-665),

New Delhi: Laxmi Publications Pvt Ltd, v. Sixth edition. Retrieved
from http://bibliotecavirtual.unad.edu.co/login?
url=http://search.ebscohost.com/login.aspx?
direct=true&db=nlebk&AN=1950625&lang=es&site=eds-
live&scope=site&ebv=EB&ppid=pp_C

Pineda, R. (2017). Virtual learning object Unit 3 - Optimization models with Markov
chains. [Video File]. Retrieved from http://hdl.handle.net/10596/13271

Piunovskiy, A. (2012). Examples In Markov Decision Processes: Singapore: Imperial

College Press Optimization Series. Retrieved
from http://bibliotecavirtual.unad.edu.co:2051/login.aspx?
direct=true&db=nlebk&AN=545467&lang=es&site=eds-live
0-665),

Markov

Imperial