Unidad III: Cadenas de Markov

Objetivo: Determinar las distintas clases de procesos Markovianos, así

como también aplicar su uso en distintas situaciones.
Se conoce como cadena de Markov aquel proceso de transición de probabilidades para
la ocurrencia de un(os) evento(s) en común, con la particularidad que el hecho depende
de los sucesos de periodos anteriores.
Un ejemplo podría ser la probabilidad que el motor de un vehículo (con problemas en la
batería) arranque en el primer intento, las probabilidades que esto pase se irán reduciendo
(probabilidades estacionares) para cada día (periodo) si no le hacemos el correspondiente
mantenimiento. Esto indica que a medida que pase el tiempo la probabilidad será casi nula
hasta que ya no podamos encender el vehículo. (A esta probabilidad nula se le conoce
como estado estable).
Otro ejemplo consiste en la probabilidad que un cliente siempre compre el mismo producto
de una marca en particular (Articulo A), pero de repente siente la curiosidad de probar el
mismo producto pero de otra marca (Articulo B). En este caso existen probabilidades de
cambiar de marca ó quedarse fiel a una sola marca. Por otro lado, un cliente que
compraba solo el articulo B tiene la probabilidad de cambiar al artículo A ó quedarse con el
B.
Analicemos entonces el siguiente gráfico llamado “Gráfico de flujo de probabilidades”

0.8

0.3 0.2

0.7
Lo anterior indica que la probabilidad que un cliente se mantenga fiel al producto A es 0.8,
contra una probabilidad del 0.2 que cambie por el producto B. Por otro lado los que se
mantienen fiel a la compra del producto B es 0.7, contra una probabilidad de 0.3 que elija
el producto A.
El gráfico anterior se puede representar también de la siguiente manera:
Tabla de probabilidades

A B ∑
A 0.8 0.2 1
B 0.3 0.7 1
Observe que la suma de probabilidades para cada fila siempre debe sumar 1. Esta es una
condición fundamental en los procesos de transición de probabilidades.
Consideremos ahora la necesidad de determinar las probabilidades sucesivas ó el cambio
en el proceso de transformación de cada estado, hasta llegar a las probabilidades de
estado estable.
Sea: PAA : Probabilidad de elegir A y quedarse siempre con A.
PAB : Probabilidad de elegir A y cambiarse a B.
PBB : Probabilidad de elegir B y quedarse siempre con B.
PBA : Probabilidad de elegir B y cambiarse hacia A.

El periodo corresponderá a la frecuencia de compra de los productos (digamos que los

productos correspondientes sea un tipo de pasta dental, y que la frecuencia de compra
es cada mes). Entonces, para nuestro ejemplo el periodo corresponde a cada mes.

“Otra condición fundamental es definir el estado inicial: para nuestro caso el estado
inicial corresponderá al producto A, por lo tanto se elige los valores de la fila A de la
tabla de probabilidades para el resultado del primer periodo.

Periodo PA PB ∑
1 0.8 0.2 1
2

Los valores del segundo periodo se calculan así:

PA = PA(PAA) + PB(PBA) La probabilidad de quedarse en A (PA) será igual a la suma de
probabilidades de dos estados: probabilidad de estar en A (PA) por la
probabilidad de estar en A y seguir en A (PAA) más la probabilidad de
estar en B (PB) por la probabilidad de estar en B y pasar hacia A (PBA).
Observación: Dado que estamos calculando la probabilidad de
quedar en A (PA) la suma de las probabilidades iniciales (PA y PB) se
multiplican por los corrientes flujos (PAA y PBA) que son los que
conducen al estado A final.
Retomando los valores de la tabla anterior y del diagrama de flujo
tenemos entonces:
PA = 0.8(0.8) + 0.2(0.3) = 0.7
De igual forma calculamos PB
PB = PA(PAB) + PB(PBB) La probabilidad de quedarse en B (PB) será igual a la suma de
probabilidades de dos estados: probabilidad de estar en A (PA) por la
probabilidad de estar en A y pasar a B (PAB) más la probabilidad de
estar en B (PB) por la probabilidad de estar en B y seguir siempre en
B (PBB).
Observación: Dado que estamos calculando la probabilidad de
quedar en B (PB) la suma de las probabilidades iniciales (PA y PB) se
multiplican por los corrientes flujos (PAB y PBB) que son los que
conducen al estado final B.
Retomando los valores de la tabla anterior y del diagrama de flujo
tenemos entonces:
PB = 0.8(0.2) + 0.2(0.7) = 0.3

Entonces la tabla nos quedaría:

Periodo PA PB ∑
1 0.8 0.2 1
2 0.7 0.3 1
3

Para el cálculo del tercer periodo, retomamos los valores PA y PB del último periodo ó
anterior (o sea el periodo 2)

PA = PA(PAA) + PB(PBA) = 0.7(0.8) + 0.3(0.3) = 0.65

PB = PA(PAB) + PB(PBB) = 0.7(0.2) + 0.3(0.7) = 0.35
Los valores de PAA, PBA, PAB y PBB se mantienen invariables para todos los cálculos de los
Periodos.

Entonces, tendríamos:
Periodo PA PB ∑
1 0.8 0.2 1
2 0.7 0.3 1
3 0.65 0.35 1
La Sumatoria ∑ siempre tiene que dar 1.
Continuando el procedimiento para los demás periodos, manteniendo invariables los
valores de PAA, PBA, PAB y PBB. y trabajando con los valores PA y PB del periodo anterior
para el siguiente, tendríamos:

TABLA DE PROBABILIDADES DE TRANSCISIÓN

Periodo PA PB ∑
1 0.8 0.2 1
2 0.7 0.3 1
3 0.65 0.35 1
4 0.625 0.375 1
5 0.6125 0.3875 1
6 0.60625 0.39375 1
7 0.60313 0.396875 1
8 0.60156 0.3984375 1
9 0.60078 0.39921875 1
10 0.60039 0.39960938 1
11 0.6002 0.39980469 1
12 0.6001 0.39990234 1
13 0.60005 0.39995117 1
14 0.60002 0.39997559 1
15 0.60001 0.39998779 1
16 0.60001 0.3999939 1
17 0.6 0.39999695 1
18 0.6 0.39999847 1
19 0.6 0.39999924 1
20 0.6 0.39999962 1
21 0.6 0.39999981 1
22 0.6 0.3999999 1
23 0.6 0.39999995 1
24 0.6 0.39999998 1
25 0.6 0.39999999 1
26 0.6 0.39999999 1
27 0.6 0.4 1
28 0.6 0.4 1
29 0.6 0.4 1
30 0.6 0.4 1

Lo anterior indica que a partir del periodo 27 los valores se mantendrían constantes hasta
el cálculo infinito, y las probabilidades PA y PB tienden a 0.6 y 0.4 respectivamente. Estas
probabilidades (a partir del mes 27) se conocen como probabilidades de estado estable.
En resumen: A largo plazo el 60% de los clientes se quedarán con el producto A, y el 40%
con el producto B. Estos cambios se podrán observar a partir del mes 27 de compra del
artículo.