CADENAS DE MARKOV

Luz Carime Urbano Guerrero, MSc.

Investigación de Operaciones 2
 CLASIFICACIÓN DE LOS ESTADOS EN UNA CM
Un estado es ALCANZABLE desde el estado i si hay una trayectoria que conduzca de i a j.
Si Si→ Sj y Sj→ Sk Si→ Sk

Dos estados i y j se COMUNICAN, si j es alcanzable desde i y también el estado i es alcanzable desde j.

(no necesariamente en un paso).

0,7
Los estados 1 y 2 se comunican
(de 1 a 2 y de 2 a 1. 0,3
0,5 0,4
3
0,6
4
0,8
0,4 1
0,5 0,5 2
5 0,1
El estado 5 es alcanzable desde el
0,5 estado 3 (vía trayectoria 3-4-5).
0,2
Un conjunto de estados S en una CM es un CONJUNTO CERRADO si ningún estado fuera de S es
alcanzable desde algún estado en S.

En la figura anterior, S1 = {1, 2} y S2 ={3, 4, 5} son conjuntos cerrados.

Un estado i es un estado ABSORBENTE si pii=1. Siempre que se llegue a un estado absorbente, nunca se
saldrá de él. Por supuesto, un estado absorbente es un conjunto cerrado que contiene sólo 1 estado.

Un estado i es un estado TRANSITORIO si existe un estado j que es alcanzable desde i, pero el estado i
no es alcanzable desde j.
En otras palabras, un estado i es transitorio si hay una forma de salir del estado i que nunca regrese al
estado i.

Si un estado no es transitorio, se llama RECURRENTE.

 CLASIFICACIÓN DE LOS ESTADOS EN UNA CM

Un estado i es PERIÓDICO con periodo k>1 si k es el número más pequeño tal que las trayectorias
que conduzcan del estado i de regreso a i tienen longitud múltiplo de k.

1 1
0 1 0 Sin importar donde
Q= 0 0 1 1 2 3 estemos, se tiene la
1 0 0 seguridad de volver 3
periodos después.
1

Si un estado recurrente no es periódico, se conoce como APERIÓDICO.

 CLASIFICACIÓN DE LOS ESTADOS EN UNA CM

Si los estados en una cadena son recurrentes, aperiódicos y se comunican entre sí, se dice que la cadena es
ERGÓDICA.

1 1
1/3 2/3 0 0 0 1/4 1/2 1/4
2 2
P 1= 1/2 0 1/2 1 1 P2 = 2/3 1/3 0
0 0 0 2/3 1/3
0 1/4 3/4 P3 = 2 2
2 1
0 0
3 3
1 3
0 0
4 4
 PROBABILIDADES DE ESTADO ESTABLE
Se utiliza este cálculo para describir el
comportamiento a Largo Plazo de las Cadenas de
Markov. 𝜋 = π𝑃 En forma matricial

𝑠 lim 𝑃𝑖𝑗 (𝑛) = 𝜋𝑗

𝜋 = [𝜋1 , 𝜋2 , … , 𝜋𝑠 ] 𝑛→∞
𝜋𝑗 = 𝜋𝑘 𝑝𝑘𝑗
𝑘=1 Para cualquier estado inicial i
Distribución de estado estable o
distribución de equilibrio para CM.

Para n grande, Pn tiende a ser una matriz con renglones idénticos para cada columna.
Después de un largo tiempo, la CM SE ESTABILIZA (independientemente del estado inicial i)
hay una probabilidad πj de que se está en el estado j.
 EJEMPLO #4
0,8 0,2
Encontrar las probabilidades en estado estable para el ejemplo #4, de la bebida de cola. P=
0,3 0,7

𝜋 = π𝑃 0,8 0,2
[π1 𝜋2 ] = [π1 𝜋2 ] .
0,3 0,7
1 𝜋1 = 0,8𝜋1 + 0,3𝜋2
2 𝜋2 = 0,2𝜋1 + 0,7𝜋2 Ecuación de Restricción: condición de
3 𝜋1 + 𝜋2 = 1 las probabilidades

Como queda un sistema de tres ecuaciones y dos incógnitas (𝜋1 y 𝜋2 ), eliminamos una de las ecuaciones (cualquiera,
excepto la ecuación de restricción (sumatoria de probabilidades igual a1).

En el ejemplo, se elimina la 2 y se obtiene el sistema: Interpretación: Con el pasar del tiempo,

en el largo plazo, el 60% de las veces, el
𝜋1 = 0,8𝜋1 + 0,3𝜋2 𝜋1 = 0,6 y comprador escogerá Cola 1 y el 40% de las
Se resuelve:
𝜋2 = 0,4 veces preferirá Cola 2.
𝜋1 + 𝜋2 = 1
 EJEMPLO #6
El ascensor de un edificio con sótano y dos pisos realiza viajes de uno a otro piso. El
piso en el que finaliza el viaje n-ésimo del ascensor sigue una cadena de Markov. Se
sabe que la mitad de los viajes que parten del sótano se dirigen a cada uno de los
otros dos pisos, mientras que si un viaje comienza en el primer piso, sólo el 25% de
las veces finaliza en el segundo. Por último, si un trayecto comienza en el segundo
piso, siempre finaliza en el sótano. Se pide:

a. Calcular la matriz de probabilidades de transición de la cadena

b. ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada

uno de los tres pisos.
Los estados de la cadena los denotaremos por S = { 0, 1 , 2}:
• Estado 0 = Sótano
• Estado 1 = Piso 1
• Estado 2 = Piso 2

𝑃00 𝑃01 𝑃02 0 0,50 0,50

a) Matriz de Probabilidades de
P = 𝑃10 𝑃11 𝑃12 = 0,75 0 0,25
Transición
𝑃20 𝑃21 𝑃22 1 0 0

0,5
b) Grafo asociado c) los valores de las
probabilidades estacionarias:
0 0=47,06% ; 1=23,53% y 2=29,41%.
0,75 1
0,5 0,47058824 0,23529412 0,29411765
1
P^16 0,47058824 0,23529412 0,29411765
0,25
2 0,47058824 0,23529412 0,29411765
 EJEMPLO #7
Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar desplazamientos
innecesarios está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día
siguiente, si no tiene suficiente trabajo. Después de estar trabajando un día en C, la probabilidad de
tener que seguir trabajando en ella al día siguiente es 0,4, la de tener que viajar a B es 0,4 y la de tener
que ir a A es 0,2. Si el viajante duerme un día en B, con probabilidad de un 20% tendrá que seguir
trabajando en la misma ciudad al día siguiente, en el 60% de los casos viajará a C, mientras que irá a A
con probabilidad 0,2. Por último si el agente comercial trabaja todo un día en A, permanecerá en esa
misma ciudad, al día siguiente, con una probabilidad 0,1, irá a B con una probabilidad de 0,3 y a C con
una probabilidad de 0,6.

a) Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en C al cabo
de cuatro días?

b) ¿Cuales son los porcentajes de días en los que el agente comercial está en cada una de las tres
ciudades?
 EJEMPLO #8

0,6 0,4 Encuentre el vector de estado

P= estable de esta Cadena de Markov
0,35 0,65
e interprete los resultados.

𝜋1 = 0,4667 y
𝜋1 = 0,5333
 EJEMPLO #9
En el ejemplo # 4, suponga que cada cliente realiza una compra de
refresco de cola una vez a la semana (52 semanas = 1 año). Suponga
que hay 100 millones de clientes que consumen refresco de cola. A la
compañía le cuesta 1 dólar producir un refresco de cola y lo vende en 2
dólares. Por $500 millones al año, una empresa publicitaria garantiza
disminuir de 20 a 15% la fracción de clientes que cambian de Cola 1 a
cola 2 después de una compra.

¿Debe la compañía que fabrica cola 1 contratar a la empresa

publicitaria?
 TALLER
1. Una compañía dedicada a la producción de materiales para oficina (escritorios,
mesas, sillas, etc.) tiene varias máquinas que se encargan de realizar una parte del
proceso productivo. Esta empresa lamentablemente utiliza métodos de
mantenimiento correctivo y no preventivo, por lo tanto actualmente muchas
máquinas están saliendo para reparación, ocasionando demoras o paradas
innecesarias de la producción. El jefe de producción de la empresa con base en la
información y reportes que tiene, estima que 30% de las máquinas que hoy están
bien, mañana presentarán algún tipo de avería y 50% de las máquinas que están
dañadas hoy mañana estarán funcionando normalmente.
a. Si 80% de las máquinas están bien hoy, ¿qué porcentaje estarán dañadas
mañana?
b. Si existe una máquina averiada el lunes, ¿cuál es la probabilidad de estar dañada
el miércoles?
 TALLER
2. La cervecería más importante del mundo (Guiness) lo ha contratado a usted como Analista de Investigación de
Operaciones para analizar su posición en el mercado. Están preocupados en especial por su mayor competidor
(Heineken). Usted piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres
estados, los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y
el estado I representa todas las demás marcas. Los datos se toman cada mes y usted ha logrado construir la siguiente
matriz de transición de los datos históricos.

a) ¿Cuáles son los porcentajes de mercado en el estado estable para las dos cervecerías grandes?
b) ¿Cuántos meses podrían pasar para que los clientes que compraron Heineken compren Guiness por primera
vez?
c) ¿Cuántos meses deben pasar para que los clientes que consumieron Guiness inicialmente, compren de nuevo
la misma marca?