CADENAS O PROCESOS DE MARKOV

Introducción: Uso de las cadenas de Markov para tomar mejores decisiones.

Las cadenas de Markov proporcionan un sistema muy útil para crear e implementar un proceso de toma de
decisiones que aprecie posibles escenarios permitiendo predecir comportamientos futuros. Precisamente, el
trabajo teórico del matemático Andrey Markov, consiste en un proceso de decisión de control estocástico, es
decir con componente aleatoria, en las que el valor de la variable en el futuro depende del valor de la variable
en el presente. En este sentido, una cadena de Markov consiste en una serie de estados, en los cuales la
probabilidad de que un evento ocurra depende del estado inmediatamente anterior, y no de la secuencia de
estados que le preceden. Estos cambios de estados se llaman transiciones. Cada proceso tiene un estado
inicial y una matriz de transiciones que muestra todas las posibles transformaciones futuras a partir de él.

Las cadenas de Markov tienen muchas aplicaciones en el mundo real, destacando su uso en negocios, política,
finanzas, deportes, salud, genética, física, economía, como:
 análisis de los movimientos de los precios de artículos de consumo
 preferencias de los clientes
 procesos físicos
 procesos meteorológicos

A modo de presentación del tema se analiza la siguiente situación:

Situación 1: “Competencia en el mercado entre tres proveedores de marcas identificadas por: A, B, C”

Un estudio de mercado obtiene la siguiente información relativa a las preferencias de los compradores
respecto a tres marcas identificadas como A, B y C: los compradores que hoy compran un producto de la
marca A, en un determinado periodo de tiempo un 30% volverá a comprar esta marca, un 40% cambiará a la
marca B y un 30% a la marca C. Estos datos juntos a los de B y C se muestran en la siguiente matriz:
A B C
A 0.30 0.40 0.10
B (0.40 0.10 0.30)
C 0.30 0.50 0.60

Esta matriz se denomina MATRIZ DE TRANSICIÓN la llamaremos matriz P = (pij) y cada uno de sus elementos pij
representa la probabilidad de que el proceso pase del estado j al estado i.
Por ejemplo: p32 = 0.50 indica que en un determinado período de tiempo los compradores de la marca B
pasarán de consumir la marca C.

1
A modo de predecir la participación en el mercado de las marcas A, B y C en un período siguiente, dicho
estudio de mercado informa sobre las participaciones actuales en el mercado de A, B y C, resultando: 40%,
50% y 10%, respectivamente. Esto significa que, actualmente, el 40% del total de compradores eligen la marca
A; análogamente para la marca B y C.

0.40
Organizando estos datos en la siguiente matriz: 𝑋0 = (0.50)
0.10

En un periodo de tiempo siguiente, las participaciones en el mercado de A, B y C será:

Para A: 0,3 ⋅ 0,4 + 0,4 ⋅ 0,5 + 0,1 ⋅ 0,1 = 33%
Para B: 0,4 ⋅ 0,4 + 0,1 ⋅ 0,5 + 0,3 ⋅ 0,1 = 24%
Para C = 0,3 ⋅ 0,4 + 0,5 ⋅ 0,5 + 0,6 ⋅ 0,1 = 43%

Empleando notación matricial y operaciones entre matrices se expresa la situación en este nuevo período de
la siguiente manera:
0.30 0.40 0.10 0.40 0.33
X1 = P X0 = (0.40 0.10 0.30) (0.50) = (0.24)
0.30 0.50 0.60 0.10 0.43

Si se necesita predecir la situación en un segundo período, se debe considerar como situación inicial a la
matriz:
0.33
X1 = (0.24)
0.43
Luego:
0.30 0.40 0.10 0.33 0.238
X2 = P X1 = (0.40 0.10 0.30) (0.24) = (0.285)
0.30 0.50 0.60 0.43 0.477
o bien

0.30 0.40 0.10 0.30 0.40 0.10 0.40 0.238

) 2
X2 = P X1 = P(P X0 = P X0 = (0.40 0.10 0.30) (0.40 0.10 0.30) (0.50) = (0.285)
0.30 0.50 0.60 0.30 0.50 0.60 0.10 0.477
En general:

Xt+1 = P Xt o Xt = Pt X0

Se formalizarán los conceptos surgidos en la situación 1 mediante las siguientes definiciones:

-CADENA DE MARKOV es un proceso con las siguientes características

 Existe un número finito “n” de estados posibles 1, 2,....., n dentro de un mismo sistema.
 En un tiempo dado el proceso está en uno y solamente en uno de los estados dados.

2
  Que el proceso se encuentre en un determinado estado, depende únicamente del estado
inmediatamente anterior en el que estuvo.

-MATRIZ DE TRANSICIÓN: Se denomina matriz de transición de estados a la matriz:

 p11 p12 ... p1n 
 
 p 21 p 22 ... p 2n 
 . . . . 
P 
 . . . . 
 . . . . 
 
 p n1 p n2 ... p nn 
Donde cada elemento pij de la matriz representa la probabilidad de que el proceso pase del estado j al estado
i.
En particular, si i = j, pij representa la probabilidad de que estando el proceso en el estado i, siga
permaneciendo en dicho estado.

Los elementos de una matriz de transición de estados cumplen dos condiciones:

a) 0  pij  1  i = 1,..., n y  j = 1,..., n .
b) La suma de los elementos pij de cada columna de la matriz es igual a 1.

-VECTOR DE CONDICIONES INICIALES: es una matriz columna de orden n x 1 cuyos elementos indican la
situación inicial en que se encuentra el sistema.
 x 10 
 
 x 02 
Se representa por: X0 =   . Por ejemplo en la situación 1 analizada anteriormente el elemento 𝑥02
...
 
xn 
 0
representa fracción de compradores que eligen la marca B actualmente (0.50).

-VECTOR DE ESTADO es una matriz de orden n x 1 cuyos elementos indican la situación del sistema
 x 1t 
 
x2 
transcurrido un determinado tiempo t. Se representa por Xt =  t 
 ... 
xn 
 t 
En la siguiente situación 2, se identificarán los “n” estados del proceso, la matriz de transición de estados, el
vector de condiciones iniciales para luego generaran nuevos conceptos.

Situación 2: Las autoridades de tránsito han realizado estudios que predicen el porcentaje de quienes utilizarán

3
el sistema de transporte urbano de pasajeros y el de quienes seguirán manejando su propio automóvil de un
año al siguiente año.
Se obtiene la siguiente información: el 70% de las personas que utilizaban el transporte urbano de pasajeros
en un determinado año lo seguirán usando al año siguiente, mientras que el 20% de las personas que
utilizaban automóvil al año siguiente utilizarán transporte urbano de pasajeros.

Los datos de la siguiente tabla nos informan las probabilidades de los cambios de estado:

TRANSPORTE AUTOMOVIL

TRANSPORTE 0,7 0,2

AUTOMÓVIL 0,3 0,8

Se obtiene la siguiente matriz de transición de un año al siguiente donde los distintos estados son:

T = utiliza transporte urbano de pasajeros A = utiliza automóvil propio

Presente año
T A
T  0.7 0.2 
El próximo año  
A  0.3 0.8 

La matriz de transición de estados, muestra las probabilidades de pasar de un estado a otro estado, del presente
año al siguiente año.

Además el estudio realizado cuenta con el dato del comportamiento de la situación actual:
 0.55 
Vector de condiciones iniciales es X0 =  
 0.45 
Con esta información interesa responder:
a) ¿Qué porcentaje de la población utilizará transporte urbano de pasajeros al cabo de un año?
b) ¿Qué porcentaje de la población utilizará transporte urbano de pasajeros después de 2 años?

 0,7 0,2   0,55   0,475 

a) X1 = P X0 =     =  
 0,3 0,8   0, 45   0,525 
Esto significa que el 47,5% de los personas utilizan transporte urbano de pasajeros al cabo de un año y el 52,5% u
automóvil.

b) El vector que representa el comportamiento al cabo de dos años, identificado como X2 es:

X2 = P X1 = P (P X0 ) = (P P) X0 = P2 X0
4
  0,7 0,2   0,475   0,4375 
X2 =     =  
 0,3 0,8   0,525   0,5625 
Lo cual significa que el 43,75 % de las personas utilizarán transporte y el 56.25% de las personas automóvil, al cabo
de dos años.

Análogamente, si se multiplica por P al vector X2 se obtiene X3:

 0,41875 
X3 = P X2 = P (P X1) = P P P X0 = P3 X 
0= 

 0,58125 

Para obtener el vector de estado dentro de 10 años, X10:

 0,7 0,2   0,55   0,4001464843

10

X10 = P10 X0 =     =
 0,5998535156 
 0,3 0,8   0, 45   

La siguiente tabla que muestra la distribución esperada de la población según el tipo de transporte.

Año (t) T (transporte urbano) A(auto)

1 0,475 0,525
2 0,4375 0,5625
3 0,41875 0,58125
4 0,409375 0,590625
5 0,4046875 0,5953125
6 0,40234375 0,59765625
7 0,401171875 0,598828125
8 0,4005859375 0,5994140625
9 0,4002929687 0,5997070312
10 0,4001464843 0,5998535156

Se observa que los números que se encuentran en cada columna se aproximan a 40% y 60% respectivamente
a medida que transcurre el tiempo:
 0,40 
X5 = 
 0,60   X6  X7  X8  X9  X10
 
Es decir que es posible predecir “valores estables o de equilibrio” después del quinto período.

5
En general la condición de equilibrio se cumple si el vector de estado en el tiempo t es igual al vector de
estado en el tiempo t + 1. En forma simbólica:
Xt+1 = P Xt = Xt

En la situación 2, se obtiene:

 x1t 1   0,7 0,2   x t   x1t 

1
 2      
 x  =  0,3 0,8   x 2  =  2.
 t 1     t  xt 
Este sistema de ecuaciones se puede expresar como:

0,7 x 1t + 0,2 x 2t = x 1t

 0,3 x t  0,8 x t  x t
1 2 2

Considerando además que: xt1 + xt2 = 1, se obtiene el siguiente sistema de ecuaciones lineales:
 0,7x 1t  x 1t  0,2x 2t  0

0,3x t  0,8x t  x t  0
1 2 2

  t 1
1 2
 x t x
- 0,3x1t  0,2x 2t  0

 0,3x t  0,2x t  0
1 2

 x 1t  x 2t  1

Como la ecuación 2 del sistema es equivalente a la ecuación 1 E1=(-1).E2


0.3xt  0.2 xt  0
1 2

El sistema se reduce a  1

 xt  xt  1
2

Resolviendo el sistema se obtiene como solución: xt1 = 0,4 y xt2 = 0,6.

En este caso el sistema es compatible determinado y su solución expresa la existencia de una condición de
equilibrio del problema dado, pero no nos informa en qué momento (cantidad de períodos) se da esa
condición de equilibrio.
En general:
La CONDICIÓN DE EQUILIBRIO PARA UN MODELO DE MARKOV se puede plantear en términos de la
existencia de un vector columna, de probabilidad fijo, no nulo identificado por “X” que satisfaga
PX=X

6
 siendo P la matriz de transición, y con la condición adicional de que la suma de las componentes del vector X
sea igual a uno. Para el caso de dos estados resulta que:
 PX  X
Si el sistema:  es compatible determinado, su solución expresa la existencia de la condición de
x 1  x 2  1
equilibrio del problema dado.
Observación: Se puede generalizar para n estados.

7
ACTIVIDADES: CADENAS DE MARKOV para realizar en Taller

Actividad 1: El lenguaje de las cadenas de Markov

Recordemos que las cadenas de Markov proporcionan un sistema muy útil para crear e implementar un
proceso de toma de decisiones que aprecie posibles escenarios permitiendo predecir comportamientos
futuros. Para producir modelos cadenas de Markov es fundamental incorporar los conceptos propios de esta
teoría, ellos son: Matriz de Transición, Vector de Condiciones Iniciales, Vector de Estado y Condición de
Equilibrio.
Esta actividad tiene por objeto que comprendas, identifiques y apliques estos conceptos:

1) Considerando la siguiente matriz de transición entre dos estados A y B, explica el significado de cada uno de
los elementos a11, a12, a21, a22
0,7 0,1
(aij) =( )
0,3 0,9
2) En un día determinado de la semana, una maquina hidráulica puede funcionar correctamente o romperse.
Si hoy la maquina funciona correctamente, la probabilidad de que mañana siga funcionando correctamente se
estima en un 98%; si la máquina está rota hoy, la probabilidad de que mañana funcione correctamente es del
25%.
a) Construir la matriz de transición de estados.
b) Sabiendo que la máquina hoy está rota, determina:
b1) la probabilidad de que dentro de un día siga rota. Identificando el vector de condiciones iniciales y el
vector de estados.
b2) la probabilidad de que dentro de tres días siga rota. ¿Y en 30 días? ¿Y en 90 días? (Puedes resolver
empleando herramientas tecnológicas como PC o aplicaciones para Smartphone).
b3) el modelo de condición de equilibrio de esta cadena de Markov.

Actividad 2: Resuelve cada uno de las siguientes situaciones:

3) En el último censo de población se clasificó a los habitantes del país en dos categorías: residentes en zonas
urbanas y residentes en zonas rurales.
El censo tomó en consideración las comparaciones entre el domicilio actual y el domicilio que tenía en el
momento de efectuarse el censo anterior, y este censo reveló que, de los que habitan en zonas urbanas un
85% permanece en ellas y de los que habitan en zonas rurales el 75% permanece en ellas. Con estos datos:
a) Construye la matriz de transición de estados que refleje los movimientos de la población.
b) Si el 70% de la población actualmente habita zonas urbanas, estima los porcentajes que habrá cuando se
realice el próximo censo.
c) Determina, si existe, cuál es el estado de equilibrio del sistema.

4) Un día, en una ciudad, puede presentarse soleado, nublado o lluvioso. Si hoy el día está soleado, existe una
probabilidad del 70% de que continúe mañana de la misma manera y una probabilidad del 10% de que sea
lluvioso. Si hoy el día está nublado, mañana podrá estar soleado, nublado o lluvioso con probabilidades de
20%, 60%, 20%, respectivamente. Por último si hoy el día es lluvioso, para mañana hay probabilidades de 40%
y 20% de que sea soleado o nublado, respectivamente.
8
a) Construye la matriz de transición de estados.
b) Si hoy el día es lluvioso, ¿qué probabilidad existe de que dentro de tres días esté soleado?

5) La siguiente tabla expresa las preferencias de los clientes por la compra bianual de dos marcas de
televisores: M1 y M2
Marca M1 Marca M2
Marca M1 0,9 0,3
Marca M2 0,1 0,7
a) Si hoy el cliente compró la marca M1, ¿Cuál es la probabilidad que dentro de dos años lo cambie por la
marca M2?
b) ¿Cuáles serán las preferencias de los clientes dentro de cuatro años si sólo se mantienen estas dos marcas
en el mercado?

6) Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar desplazamientos innecesarios
está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día siguiente, si no tiene
suficiente trabajo. Después de estar trabajando un día en C, la probabilidad de tener que seguir trabajando en
ella al día siguiente es 0.4, la de tener que viajar a B es 0.4 y la de tener que ir a A es 0.2. Si el viajante duerme
un día en B, con probabilidad de un 20% tendrá que seguir trabajando en la misma ciudad al día siguiente, en
el 60% de los casos viajará a C, mientras que irá a A con probabilidad 0.2. Por último si el agente comercial
trabaja todo un día en A, permanecerá en esa misma ciudad, al día siguiente, con una probabilidad 0.1, irá a B
con una probabilidad de 0.3 y a C con una probabilidad de 0.6.
a) Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en C al cabo de
cuatro días?
b) ¿Cuáles son los porcentajes de días en los que el agente comercial está en cada una de las tres ciudades?

7) En un barrio de una ciudad se entrevistó a 200 familias para determinar su preferencia en cuanto a la
compra en tres grandes panaderías de la zona: A, B y C. Los entrevistados dieron el nombre de la panadería
donde la familia había realizado sus compras la semana anterior y donde prefirió hacerlo durante esta
semana. La siguiente tabla resume las respuestas:
A B C
A 40 15 12
B 20 30 18
C 20 15 30
Total 80 60 60
Considerando que los resultados son representativos de las tendencias generales de los clientes y que no
existen en el barrio más que esas panaderías:
a) Construye la matriz de transición de estados.
b) ¿Cuáles fueron las fracciones de clientes que la semana pasada compraron en las panaderías A, B y C?
c) Si una familia compra en la panadería A, ¿qué probabilidad hay de que vuelva a comprar dentro de dos
semanas en la misma panadería?

9
8) En una pequeña ciudad existen dos casas de ventas de repuestos de automóviles que controlan el mercado
0.9 0.2
que designaremos con E1 y E2 si la matriz de cambio de estados es P= ( ) . Estudiar si existe estado de
0.1 0.8
equilibrio.

9) Interesa analizar la participación de mercado y la lealtad de los clientes para los dos únicos supermercados
A y B de una pequeña ciudad. Se supone que un cliente realiza una compra semanal en un supermercado,
pero no en ambos.
Como parte de un estudio de investigación de mercado, se recopilan datos respecto de 100 compradores. De
esos datos se desprenden que, de todos los clientes que compraron en el supermercado A, en una
determinada semana, el 90% compró en ese mismo supermercado la semana siguiente y que, de todos los
clientes que compraron en el supermercado B en una determinada semana, el 80% compró en el mismo
supermercado B la semana siguiente.
a) Determina la matriz de transición.
b) Suponiendo que la última visita del cliente fue al supermercado A: ¿Cuál es la probabilidad de que
cambie de supermercado la próxima semana?¿Cuál es la probabilidad que dentro de 3 semanas siga
comprando en el mismo?
c) Determina cuál es el estado de equilibrio del sistema.

10) El departamento de estudios de mercado de una fábrica estima que el 20% de la gente que compra un
producto un mes, no lo comprará el mes siguiente. Además, el 30% de quienes no lo compren un mes lo
adquirirá al mes siguiente. En una población de 1000 individuos, 100 compraron el producto el primer mes.
a) ¿Cuántos lo comprarán al mes próximo? ¿Y dentro de dos meses?
b) Determina la condición de equilibrio de este problema

11) Una empresa está considerando utilizar Cadenas de Markov para analizar los cambios en las preferencias
de los usuarios por tres marcas distintas de un determinado producto. El estudio ha arrojado la siguiente
estimación de la matriz de probabilidades de cambiarse de una marca a otra cada mes:

0.80 0.03 0.20

P = (0.10 0.95 0.05)
0.10 0.02 0.75

a) Indica el significado de p23

b) Si en la actualidad la participación de mercado es de 45%, 25% y 30%, respectivamente. ¿Cuáles serán
las participaciones de mercado de cada marca en dos meses más?
c) Determina, si existe, cuál es el estado de equilibrio del sistema.

10
RESPUESTAS. ACTIVIDADES CADENAS DE MARKOV

2) Orden: funciona - rota

0.98 0.25
a) ( )
0.02 0.75
0
b) x0 = ( ) b1) 0.75 b2) 0.434275 (3 días) 0.741476 (30 días) 0.740741 (90 días).
1
𝑥1 + 𝑥2 = 1
b3) {
0.02𝑥1 − 0.25𝑥2 = 0

3) Orden: Residentes en zonas urbanas – Residentes en zonas rurales

0.85 0.25
a) ( )
0.15 0.75
b) 67% en zona urbana y el 33% en zona rural
c) Existe estado de equilibrio 62.5% en zona urbana y el 37.5% en zona rural

4) Orden soleado -nublado -lluvioso

0.7 0.2 0.4
a)(0.2 0.6 0.2)
0.1 0.2 0.4
b) soleado 48.8%

0.9 0.2
5) Orden: marca M1-marca M2 ( )
0.1 0.8
a) en 2 años la probabilidad de que cambie por la marca M1 es 0.1
b) en 4 años la marca M1 0.84 la marca M2 0.16

0.1 0.2 0.2

6) Orden: ciudad A - ciudad B - ciudad C (0.3 0.2 0.4)
0.6 0.6 0.4
a) al cabo de 4 días la probabilidad de que siga trabajando en C es 50,08%
0.181818
b) (0.318182)
0.5

7) Orden: Panaderia A – panadería B – Panaderia C

0.5 0.25 0.2
a)(0.25 0.5 0.3)
0.25 0.25 0.5
b) Panadería A 80/200 = 0.4
Panadería B 60/200 = 0.3
Panadería C 60/200 = 0.3
c) 36.25%

11
 2/3
8) ( )
1/3

9) Orden: A - B
0.9 0.2
a) ( )
0.1 0.8
b) 10% es la probabilidad de que cambia al supermercado B
Siga en comprando en el supermercado A es 78.10%
c) Equilibrio supermercado A: 2/3 del mercado , supermercado B: 1/3 del mercado

10) Orden: C compra- NC no compran

0.8 0.3
( )
0.2 0.7
a) El próximo mes compraran 350 personas y no compraran 650 y en 2 meses compraran 475 personas y no
compraran 525.
b) El equilibrio resulta en 600 personas comprando y 400 no.

0,405925 0,237113
11) a) x2 = (0,339125) b) (0,618557)
0,25495 0,14433

12
13