CADENAS DE MARKOV

Una cadena de markov consta de unos estados E1 E2 E3 E4…..En. que inicialmente en un

tiempo 0 o paso 0 se le llama estado inicial, además de esto consta de una matriz de
transición que significa la posibilidad de que se cambie de estado en un próximo tiempo o
paso.
MATRIZ DE TRANSICIÓN:
Una matriz de transición para una cadena de Markov de n estado es una matriz de n X n
con todos los registros no negativos y con la propiedad adicional de que la suma de los
registros de cada columna (o fila) es 1.
Por ejemplo: las siguientes son matrices de transición.

REPRESENTACIÓN GRAFICA DE UNA MATRIZ  DE TRANSICIÓN:

Es el arreglo numérico donde se condensa las probabilidades de un estado a otro. A través
de una grafica de matriz de transición se puede observar el comportamiento estacionario
representado por una cadena de Markov tal que los estados representan la categoría en que
se encuentre clasificado. Como se aprecia a continuación:

PROPIEDADES:
1- la suma de las probabilidades de los estados debe ser igual a 1.
2- la matriz de transición debe ser cuadrada.
3- las probabilidades de transición deben estar entre 0 y 1
La mejor manera de entender que es una cadena de markov es desarrollando un ejemplo
sencillo de estas mismas como el siguiente.
Ej. 1.
En un país como Colombia existen 3 operadores principales de telefonía móvil como lo son
tigo, Comcel y movistar (estados).
Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4
para Comcel 0.25 y para movistar 0.35. (estado inicial)
Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad de
permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la
actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel
del 0.5 de que esta persona se cambie a tigo 0.3 y que se pase a movistar de 0.2; si el
usuario es cliente en la actualidad de movistar la probabilidad que permanezca en movistar
es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3.
Partiendo de esta información podemos elaborar la matriz de transición.

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1

Po= (0.4 0.25 0.35) → estado inicial

También se puede mostrar la transición por un método grafico

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se realiza
multiplicando la matriz de transición por el estado inicial y asi sucesivamente pero
multiplicando por el estado inmediatamente anterior.

Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi insignificante

podemos decir que ya se a llegado al vector o estado estable.

Ej 2.
Suponga que en el mercado se consiguen 3 tipos de gaseosas colas que son: coca cola,
Pepsi cola y big cola cuando una persona a comprado coca cola existe una probabilidad de
que la siga consumiendo de el 75%, un 15% de que compre Pepsi cola y un 10% de que
compre big cola; cuando el comprador actualmente consume Pepsi existe una probabilidad
de que la siga comprando de 60%, un 25% que compre coca cola y un 15% big cola; si en
la actualidad consuma big cola la probabilidad de que la siga consumiendo es del 50%, un
30% que compre coca cola y 205 pepsi cola.
En la actualidad cada marca cocacola, Pepsi y big cola tienen los siguientes porcentajes en
participación en el mercado respectivamente (60% 30% 10%)
 Elaborar la matriz de transición

 Hallar la probabilidad que tiene cada marca en el periodo 5

Respuesta
Matriz de transición

NOTA: estos ejercicios se pueden realizar en Excel utilizando la función de multiplicar

matrices.

Entonces
Ej. 3
Almacenes éxito, Carrefour y Sao han investigado la fidelidad de sus clientes y han
encontrado los siguientes datos:
E1: Exito
E2: Carrefour
E3: Sao
Hallar el estado estable (L)
Enviar por correo electrónicoEscribe un blogCompartir con TwitterCompartir con
FacebookCompartir en Pinterest
Suscribirse a: Entradas (Atom)

Cadenas de Markov (Ejercicios Resueltos)

Por GEO Tutoriales el 31/08/2015 en Cadenas de Markov 1

Un proceso estocástico en tiempo discreto se denomina una Cadena de Markov en tiempo

discreto si y solo sí se satisface la Propiedad Markoviana (esto es básicamente que el
futuro t=n+1 es independiente del pasado dado el presente t=n) y Propiedad Estacionaria
(la probabilidad de pasar de un estado i a un estado j al cabo de una etapa no depende de la
etapa n). A continuación presentamos un conjunto de problemas resueltos de Cadenas de
Markov que sirvan de complemento para los estudios de nuestros usuarios.

Ejercicios Resueltos de Cadenas de Markov

Ejercicio N°1: Una empresa esta considerando utilizar Cadenas de Markov para analizar
los cambios en las preferencias de los usuarios por tres marcas distintas de un determinado
producto. El estudio ha arrojado la siguiente estimación de la matriz de probabilidades de
cambiarse de una marca a otra cada mes:

Si en la actualidad la participación de mercado es de 45%, 25% y 30%,

respectivamente. ¿Cuales serán las participaciones de mercado de cada marca en dos
meses más?.

En primer lugar definimos la variable aleatoria que representa la marca que adquiere un
cliente cualquiera en el mes n. Dicha variable aleatoria puede adoptar los valores 1,2,3 en el
mes n=0,1,2,3,..

Adicionalmente conocemos cuál es la distribución inicial y la matriz de probabilidades de

transición en una etapa tal como se observa a continuación:

Luego para conocer la distribución de las participaciones de mercado al cabo de 2 meses (2

etapas) podemos utilizar la fórmula :
Se concluye que las cuotas de mercado (participaciones de mercado) en dos meses a
cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un 30% a un 25.50%, para
las marcas 1,2 y 3 respectivamente.

Ejercicio N°2: ¿Cuál es la cuota de mercado en el largo plazo para cada una de las
marcas descritas en el Ejercicio N°1?.

La Cadena de Markov del Ejercicio N°1 es irreducible (es decir todos los estados se
comunican entre sí) con estados recurrentes positivos y aperiódicos. Lo anterior se
concluye luego de la Clasificación de Estados de una Cadena de Markov en Tiempo
Discreto. Verificado lo anterior podemos obtener la Distribución Límite de una Cadena
de Markov en Tiempo Discreto a través del siguiente sistema de ecuaciones:

La solución del sistema corresponde a: ,  y  , que

representan las cuotas de mercado en el largo plazo para las marcas 1,2 y 3,
respectivamente. Notar que las actuales participaciones de mercado difieren
significativamente de las cuotas obtenidas en el largo plazo lo cual sugiere que de alguna
manera deban ser corregidas las probabilidades de transición.

Ejercicio N°3: En una Unidad de Cuidados Intensivos en un determinado hospital, cada

paciente es clasificado de acuerdo a un estado crítico, serio o estable. Estas clasificaciones
son actualizadas cada mañana por un médico internista, de acuerdo a la
evaluación experimentada por el paciente. Las probabilidades con las cuales cada paciente
se mueve de un estado a otro se resumen en la tabla que sigue:

¿Cuál es la probabilidad que un paciente en estado crítico un día Jueves esté estable el
día Sábado?.

Sea  la variable aleatoria que indica el estado que se encuentra un paciente cualquiera en
el hospital en el día n. Los valores posibles para dicha variable son C, S y E, representando
los estados crítico, serio y estable, respectivamente. Un grafo que representa dicho proceso
estocástico dada la tabla anterior es:

La probabilidad de que un paciente esté en estado crítico el día Jueves y que el día Sábado
esté estable, esta dado por: , es decir, la probabilidad de pasar del estado crítico al
estado estable al cabo de 2 etapas (días).

Notar que de forma equivalente se pueden utilizar las ecuaciones

matriciales  :

Se comprueba que la probabilidad de pasar del estado crítico al estado estable al cabo de 2
etapas es de un 17%.

¿Cuál es la probabilidad que un paciente que está en estado estable el Lunes

experimente alguna complicación y no esté estable nuevamente el Miércoles?.
En este caso cambia la distribución inicial respecto al escenario anterior (ahora el paciente
está en estado estable), no obstante, también resulta de nuestro interés analizar qué sucede
al cabo de 2 etapas.

Con color verde se marca la probabilidad de que comenzando en un estado estable al cabo
de 2 días un paciente se encuentre en estado crítico o serio. La suma de dichas
probabilidades es un 66% que da respuesta a la interrogante anterior.

¿Qué porcentaje de la Unidad de Cuidados Intensivos usted diseñaría y equiparía para

pacientes en estado crítico?.

Naturalmente se desea estimar la probabilidades de estado en el largo plazo independiente

de la distribución inicial. La cadena es irreducible con estados recurrentes positivos
aperiódicos. Utilizando las ecuaciones de estado estable presentadas en el Ejercicio N°2 se
obtiene que  ,  y  , que representan la probabilidad
de que un individuo se encuentre en estado crítico, serio y estable, respectivamente.

El software Interactive Operations Research Tutorial (IORTutorial) permite estimar las

probabilidades de largo plazo luego de ingresar la matriz de probabilidades de transición
según se muestra a continuación:
Comentarios: En el Blog hemos desarrollado otros ejercicios resueltos que recomendamos
revisar, entre ellos uno que aborda una Política de Gestión de Inventarios a través de
Cadenas de Markov en Tiempo Discreto y Ejemplo de una Cadena de Markov en
Tiempo Discreto. Adicionalmente en la categoría de contenidos de Cadenas de Markov
periódicamente estamos publicando nuevo material didáctico sobre dicha materia.
Esperamos que este material sea de utilidad para tus estudios y te agradecemos puedas
ayudarnos a difundir éste a través de las redes sociales.