Investigación de

Operaciones II

7. CADENAS DE MARKOV
Ing. Mgp. Grover Sánchez Eid
Docente ® 2021
 Contenido

7.1 Conceptos básicos sobre procesos dinámicos

7.2 Cadenas de Markov
7.3 Cadenas de Markov de primer orden
7.4 Estado estable en una cadena de Markov
7.5 Estados absorbentes
7.6 Aplicaciones
7.7 Bibliografía
 Conceptos

PROCESOS DINAMICOS
- Los Sistemas no son estáticos, cambian todo el tiempo por
sus interacciones internas y su relación con el entorno.
- Estos fenómenos son Estocásticos y Dinámicos.
- El cambio es un Proceso que puede ser conceptualizado
por variables que definen el ESTADO en cada Etapa de este
cambio.
- Las ETAPAS pueden ser estudiadas tanto como el paso a
una siguiente etapa o PROCESO de CAMBIO de ESTADO.
- Entendemos una CADENA como la vinculación de varias
ETAPAS y sus PROCESO.
 Cadenas de Markov
Las cadenas de Markov son una visión o forma de ver de
algunas situaciones dinámicas de cambio de estado. Tienen
como característica la presencia de variables estocásticas
vinculadas a los procesos de cambio de estado. Entonces
estas CM, pueden usarse como modelo para representar un
proceso físico o económico de cambio de estado.

El nombre de estas teorías se debe a Andrei Andreivich

Markov (1856-1922), científico que estudio los procesos que
podrían circunscribirse a los denominados procesos
markovianos de decisión. Estos describen situaciones
estocásticas cuyo futuro depende solo del estado actual
independientemente de su pasado.
 Cadenas de Markov

E0 E1 Ek
En

n0 n1 nk nn
t=0 t=1 t=k t=n

Un cambio de estado se produce en un paso, y existen n pasos

analizados

Paso = tiempo u otra condición de espacio

n = número de pasos
n0 = tiempo presente
nk = tiempo k
nk+1 = tiempo siguiente a k

Ek = Estado en el tiempo k
 Cadenas de Markov

En un proceso Markoviano la descripción de la transición de estados

esta dada por:

Un suceso individual representado por ei o denominado estado

i = 1,2,......m

El estado pertenece al conjunto de estados

E = (e1 , e2 ,..........ei ..........em)

El estado ei0 indica la situación i en el tiempo t = 0, n0

El estado ejk indica la situación j en el tiempo t = k, nk

Es un proceso exhaustivo, es decir los estados y número de estados

es constante

El proceso de cambio de estado es aleatorio, es decir vinculado a la

probabilidad
 Aplicaciones de CM
A) Control de existencias o de inventarios: Para analizar los estados
futuros de las existencias en un almacén. Por ejemplo:

Notación Descripción del estado

e1 Abarrotado I > La
e2 Aceptable Lc < I ≤ La
e3 Crítico 0 < I ≤ Lc
e4 Deficit I ≤ 0

B) Análisis de mercados: Para analizar los estados futuros de las

preferencias en las compras. Por ejemplo:

Notación Descripción del estado

e1 Compra la marca A
e2 Compra la marca B
e3 Compra la marca C
e4 Compra la marca D
 Aplicaciones de CM
C) Análisis de fallas: Para analizar los estados futuros de un proceso
de mantenimiento o reemplazo. Por ejemplo::
Notación Descripción del estado
e1 Equipo funcionando
e2 Equipo parado por falla
e3 Equipo parado preventivo
e4 Equipo en reparación falla
e5 Equipo en reparación preventiva
D) Análisis de líneas de espera: Para analizar los estados futuros de
un proceso de llegadas en un sistema con retardo. Por ejemplo:
Notación Descripción del estado
e1 Sistema vacío
e2 Una unidad en el S
e3 Dos unidades en el S
ei (i-1) unidades en el S
en (n-1) unidades en el S
Cadenas de Markon de 1º Orden
Un cambio de Estado esta vinculado a una probabilidad de
ocurrencia

CONDICIONES:

1) El conjunto de sucesos posibles es finito

E: { e1, e2, e3,…….ei,………..em}

2) La probabilidad del siguiente suceso depende solamente

del suceso inmediatamente anterior

3) Las probabilidades permanecen constantes en el tiempo

 Matriz de transición
P = matriz de transición P = [pij]

 p11 p12 .... p1m   v1 

 p 21   v2 
 p 22 .... p 2m   
=
 .... .... .... ....   
   
 pm1 pm 2 .... pmm  vm 

Un vector fila Vk: [pk1 pk2 pk3..............pkm] ofrece la

probabilidad completa (exhaustiva) de cambio de estado
para un estado k de partida.
 Matriz de transición
EJEMPLO

Compra actual Siguiente compra n = 1

n=0
Samsung Nokia Ericsson
Samsung 0,40 0,30 0,30
Nokia 0,20 0,50 0,30
Ericsson 0,25 0,25 0,50

p12: Indica que existe un 30% de probabilidad que un

comprador actual de Samsung, compraría un Nokia en la
siguiente compra.

V1: [0,40 0,30 0,30], es el vector de probabilidades de

cambio de estado para el actual comprador de Samsung en
n0, hacia el siguiente estado en n1
 Proyección
Para proyectar una matriz hacia un tiempo determinado utilizamos
la formula:

n −1
Vi = Vi P
n

n −1
Vi = V P
n
i
1

En términos prácticos un estado futuro se proyecta elevando la

matriz a una potencia igual a tiempo n

Pn
 Condición de estado estable
Cuando en un proceso que se modela a través de Cadenas de Markov,
se tiene un tiempo grande o lo que es una larga serie de pasos, se
puede alcanzar condiciones de estado estable. Es decir que:

a) Los valores de pij para un Vin se hacen constantes a partir de ese

periodo

b) Los valores de pij para un ej se hacen iguales, para todo ei de origen

Si la matriz de transición P cumple con las condiciones:

i) Que sea una cadena ergódica o irreductible y

ii) Los pij sean constantes para esta matriz,

Entonces se puede alcanzar condiciones de estado estable, y existirá un

tiempo en que:
Pn ≈ P n+1
 Estados absorbentes

Se utiliza para analizar y describir procesos que cesan o se

interrumpen después de alcanzar determinadas condiciones, por
ejemplo:

Inspección de calidad = El proceso se interrumpe (acepta o rechaza)

después de alcanzar cierto número de productos conformes o no
conformes. Muestreo de aceptación de lotes.

Mantenimiento = El equipo entra a mantenimiento después de

alcanzar cierto número de horas de trabajo.

Línea de proceso = Los productos pasan por una serie de procesos

y finalmente concluyen en uno o varios almacenes de productos
terminados.
Estados y Cadenas absorbentes

Se define lo siguiente:

Un ESTADO ABSORBENTE es aquel que tiene una probabilidad de

ser abandonado igual a cero, es decir que una vez comenzado es
imposible abandonarlo.

- Se detiene completamente o,
- Se detiene para comenzar en otro estado.

Una CADENA DE MARKOV ES ABSORBENTE cuando:

- Tiene al menos un estado absorbente

- Es posible ir desde cada estado no absorbente hasta al menos

a UN estado absorbente, esto puede ser en más de un paso
No es necesario ir a todos los EA (suficiente a uno)
Matriz de Cadena Absorbente
Entonces, una matriz de una Cadena de Markov Absorbente, se
escribe y reordena:

N A De orden a + n = m estados totales

  Con a: numero de estados absorbentes

0 I y n: número de estados no absorbentes

Donde:

N = sub matriz de permanecer en los estados No Absorbentes (n x n):

ENA → ENA
A = sub matriz de ir hacia los Estados Absorbentes ENA → EA
0 = sub matriz nula de orden a x n: EA → ENA
I = sub matriz identidad de orden a x a: EA → EA
Análisis en Cadenas Absorbentes

Frecuentemente es necesario saber cuantas veces un

proceso se encuentra en un ENA antes de ser absorbido

Si la matriz N: Sin probabilidad de ir desde un ENA a un ENA en un paso

Entonces
Nn = probabilidad de ir desde un ENA a un ENA en n pasos
y No = probabilidad de estar en un ENA ahora = I

Entonces, sumar las veces que puede estar en un ENA, es igual al #

esperado de pasos antes de ser absorbido o detenido.

La matriz (I – N)-1 muestra el # esperado de veces que un proceso

esta en cada ENA antes de la absorción.
Análisis en Cadenas Absorbentes

Es también necesario conocer en un proceso absorbente,

cual es la probabilidad que un ENA termine en un EA dado

Entonces se calcula:

La matriz (I – N)-1 A = Probabilidad de ir desde i hasta j en n

pasos