Cadenas de Markov y

Teoría de Colas
Juan Sánchez Ramos
 Cadenas de Markov y
Teoría de Colas

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 2

 Procesos y Cadenas de Markov

Variable de Poisson.
 Procesos puntuales.
Procesos de Markov.
 Cadenas de Markov. Clasificación de
estados, clases de cadenas, estado
estacionario.
 Cadenas de Markov en tiempo continuo.
Ecuaciones de balance global.
Aplicaciones.

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 3

 Relación entre el proceso de
Poisson y la distribución
Exponencial

Tiempo Continuo

Proceso de Poisson

Distribución entre llegadas

Exponencial

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 4

Ejemplo: Llegadas Aleatorias, el proceso de llegadas
Poisson.

Los tiempos entre llegadas son independientes y se

distribuyen exponencialmente con parámetro λ

Llegadas

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 5

 Ejemplo Modelo de Tráfico Telefónico

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 6

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 7
 Ni Ni Tiempo
Ni 1 1
ai ˆλi ˆ * ∑ tk ∑
medio de
*E(Thi ) t ocupación de una
ki línea
T Ni k 1 i
Tk1
Promedio de líneas
ocupadas
1 L
a ∑ ai ∑ jtj
simultáneamente

i Tj0
Tiempo total en el que exactamente j
Número de
líneas están ocupadas
ocupaciones
simultáneas

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 8

Proceso de Markov

Proceso de Markov: Es un proceso estocástico cuyo

pasado no tiene influencia sobre el futuro si el presente
está especificado.

Tiempo Continuo:

Tiempo Discreto:

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 9

E
Sistemas Dinámicos
S Continuos
T
A
D Discretos Cadenas de Procesos
O Markov Puntuales
S Colas

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 10

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 11
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 12
 Evolución de una Cadena de Markov

Cadenas homogéneas: Las probabilidades

de transición πij(m,n) sólo dependen de la
diferencia k=n-m.

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 13

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 14
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 15
* Si existe el estado estacionario, el vector de
probabilidad de estados p de una cadena de
Markov, es un autovector izquierdo de su matriz
de transición Π con autovalor 1.
* Si p(1) ≠ p, el proceso no es estacionario.

¿Existe un Estado Estacionario?

* Si Πn tiende a un límite para n → ∞ , el proceso es

asintóticamente estacionario.
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 16
 Ejemplo: Cadena de 2 estados

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 17

Aplicación: Es un modelo para voz en paquetes

Estado 0: inactivo (silencio).

La probabilidad de que la próxima TS sea activa
es a, y la probabilidad de que permanezca
en el estado inactivo es 1-a.

Estado1: activo(habla). La probabilidad

de que la próxima TS sea inactiva es b, y la
probabilidad de que Permanezca en el
estado activo Es 1 - b. En el estado activo,
una TS contiene una celda con probabilidad
p, y se tiene un proceso de Bernoulli.
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 18
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 19
Clasificación de Estados
• Accesible: j es accesible desde i si hay alguna secuencia de
transiciones de i a j con probabilidad no nula: n > 0/ πij(n)>0.
• Comunicantes: los estados i y j comunican si son accesibles entre
sí. Se escribe i↔j. La comunicación es una relación de equivalencia:
i↔j, j↔k i↔k.
• Absorbente: Si es imposible abandonarlo: πii=1.
• Recurrente: El estado i es recurrente si la probabilidad de regresar
alguna vez a él es 1.
RECURRENTE

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 20

• Periódico: Un estado es periódico con período d si sólo se
puede regresar a él después de d, 2d, ..., nd pasos.
• Aperiódico o Ergódico: Periódico con período d=1. Se
puede regresar a él en cualquier momento.

TRANSITORIO

• Transitorio: La probabilidad de regresar al estado alguna

vez es menor que 1.

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 21

 Clases de Estados

• Cerrada: Si desde un estado interior no se puede alcanzar

ningún estado exterior a la clase. Un estado absorbente es una
clase cerrada con un único estado.
• Irreducible: Clase cerrada tal que ningún subclase propia es
cerrada. En otros términos, la única clase cerrada es la de todos
los estados.
• Dos estados pertenecen a un mismo conjunto si se
comunican.
• Dos clases distintas deben ser disjuntas, pues si existe algún
elemento común, los estados de una clase se pueden comunicar
con los de la otra, y así resultan ser de la misma clase.

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 22

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 23
• Irreducible. Definiciones equivalentes:
– La que consiste en una única clase de equivalencia.
– El único conjunto cerrado es el de todos los estados.
En una cadena irreducible, todos los estados son recurrentes o son
todos transitorios.
En una cadena irreducible finita, no pueden ser todos los estados
transitorios; luego, son todos recurrentes.

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 24

Cadenas de Markov y Grafos

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 25

Grafo fuertemente conexo

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 26

Ecuaciones de Balance Global

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 27

Flujo de Velocidad de probabilidad Flujo de Velocidad de probabilidad
saliente de j Entrante de i

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 28

Ejemplo Modelo M/M/1

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 29

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 30
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 31
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 32
Ejemplo: Proceso de Nacimiento y Muerte General

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 33

Nacimiento puro: Proceso aleatorio en que la
entidades ingresan al sistema pero nunca salen

Entidades SISTEMA

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 34

Muerte puro: Proceso aleatorio en que la
entidades salen del sistema pero nunca ingresan

SISTEMA Entidades

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 35

Supuestos:
a. Dado N(t) = n, la distribución de probabilidad
actual del tiempo que falta para el próximo
nacimiento o arribo es exponencial con
parámetro λn, con n = 1, 2, 3,.., N

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 36

Supuestos:
b. Dado N(t) = n, la distribución de probabilidad
actual del tiempo que falta para la próxima
muerte o salida es exponencial con parámetro λn,
con n = 1, 2, 3,.., N

Como consecuencia de los supuestos a y b, se tiene

un tipo especial de cadenas de Markov de tiempo
continuo.
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 37
Nacimiento Puro

Se puede atacar este problema, de la siguiente forma:

Sea la tasa de nacimientos por unidad de tiempo λ, el

proceso de nacimientos durante un período de tiempo
t, lo podemos describir con la siguiente distribución
de Poisson:
_
(λ ) ∗
( )=
!
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 38
 Muerte Pura
Si las entidades solo salen de un sistema a una tasa de μ
unidades durante un período de tiempo t, para un total
de N unidades disponibles, se cumple que: siguiente
distribución de Poisson:
_ _μ
(μ ) ∗
( )=
( − )!

0 =1 − ( )

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 39

 Muerte Pura

Y la esperanza de n unidades luego de un período de

tiempo dado t será:

= [ ∗ ]

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 40

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 41
Ejemplo: Proceso de Poisson Modulado por Markov (MMPP)

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 42

 Modelo para n fuentes

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 43

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 44
 Utilidad de los modelos de Markov
El modelo de Poisson es apropiado si hay un gran
número de usuarios similares e independientes
Si se combinan n procesos de arribos idénticos, no
necesariamente Poisson de tasa φ = λ/μ
• La tasa de arribo del agregado es λ.
• El proceso agregado se aproxima a un proceso de
Poisson de tasa λ cuando n  ∞ en condiciones
muy amplias.
• PASTA: Poisson Arrival See Time Averages

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 45

1. La distribución exponencial no tiene memoria.
 Lo que ocurre después del tiempo es independiente de lo
que ocurrió antes de t.
 El conocimiento del pasado no sirve para predecir el
futuro.
2. Para los tiempos de servicio:
 P(s > r+t /s > t) = P(s > r)

3. El tiempo adicional necesario para completar el servicio del

cliente que está siendo atendido, es independiente de
cuando se inicio el servicio.
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 46
Tipos de problemas y soluciones

El modelo de una cola de espera se emplea

generalmente para representar un sistema de
recursos compartidos

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 47

Concepto básico:
• Los clientes llegan para ser atendidos. Si todos los servidores están
ocupados, el cliente espera en la cola y es atendido después.
• Parámetros: tasa de arribos, velocidad de atención, número de
servidores, capacidad de la cola...
• Medidas: tiempo de espera, utilización de los servidores, tamaño de
la cola, probabilidad de rechazo...
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 48
 Ejemplos

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 49

Objetivos

Predecir la Performance del Sistema

Determinar cómo:
Dimensionar el Sistema (ancho de Banda)

 Controlar la Entrada
Para obtener la Performance requerida, en terminos de :

 Grado de Servicio
 Retardo

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 50

Método

 Análisis de un Modelo matemático

 Simulación

 Medición de Sistemas Reales.

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 51

 Factores
Básicos:
Tasa de llegadas
Tiempo de Servicio
Número de servidores
Longitud máxima de la cola (tamaño del “buffer”)

Otros:
Tamaño de la población
 Disciplina de Servicio (FIFO, LIFO, FEFO, SOR, Prioridades)
 Modelo de Carga de Trabajo (Tráfico)
Comportamiento del Cliente( (Resignación, Desertar, Abandonar.
Eludir)
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 52
Modelo de Switch o de router

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 53

 Componentes de Retardo
Procesamiento:
Tiempo transcurrido desde que el Transmisión:
paquete es recibido, hasta que se le Tiempo entre la transmisión
del primer bit y el último bit
asigna un enlace de salida del paquete.

Cola: Propagación:
Tiempo desde que el paquete se le asigna Tiempo que el último bit es
un enlace de salida, hasta que comienza transmitido por la fuente
la transmisión tiempo de espera hasta que el último bit es
recibido por el receptor
Dependen de la Carga de tráfico
y el tamaño de los paquetes.
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 54
 N servidores en paralelo

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 55

 Clientes que entran Instalaciones
al Sistema de Servicio de Servicio
y Esperan ser Atendidos

Población o
Fuente de
Entrada de
Clientes
Clientes Servidos
Al Sistema
salen del Sistema
de Servicio y
vuelven a la
SISTEMA Población

Algunos Clientes pueden no entrar

al sistema de Servicio

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos

56
Ejemplos de Líneas de Espera

 Redes de Comunicaciones y Computadores

 Tareas en un Computador
 Cajas en Supermercado o Bancos
 Modelos de Tráfico en una Ciudad

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 57

Ejemplos de Líneas de Espera

 Líneas de Producción e Inventario

 Talleres de Reparación
 Hospitales
 Estaciones de Bomberos
 Sistemas de Distribución o Logísticos

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 58

Tipos de Colas
Notación de Kendall
A / B/C/ D/E /F

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 59

Ley de Little

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 60

Número medio de Clientes Tiempo medio de permanencia
En el Sistema en el Sistema

Tasa de Arribos

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 61

 Ley de Little
Resultado matemático demostrado por John Little en 1961, el
cual relaciona las siguientes variables:
Ls : Número promedio de clientes en un sistema
W : Tiempo promedio de espera en un sistema
λ : Número promedio de clientes que llegan al sistema por
unidad de tiempo

Ley de Little dice que el número promedio de clientes en un

sistema (Ls) es igual a la tasa promedio de llegada de los
clientes al sistema (λ) por el tiempo promedio que un cliente
esta en el sistema (W).

Ls = λ * W (formula valida para sistemas y subsistemas)

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 62
 Ley de Little

Con Lq número promedio de clientes que esperan en la fila

y Wq el tiempo promedio de espera en la fila de un cliente.
Adicionalmente µ representa el tasa del servicio o
capacidad del sistema.

Lq = λ * Wq

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 63

Número de clientes en el sistema (Ls):
 Ls =  / ( - )
Longitud esperada de la cola (Lq):
 Lq = 2 /  ( - )
Tiempo medio de espera en el sistema(W)
 W = 1 / ( -  )
Tiempo medio de espera en la línea de espera(Wq)
 Wq = /  ( - )
Probabilidad que el sistema este vacío.
 P0 = 1 -  /
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 64
 Ejemplo de aplicación
En la ruta 68 se está considerando abrir una caseta de peaje para
que automovilistas puedan salir en Curacavi. Se estima que los
vehículos llegarán a una tasa promedio de 12 por hora. El
cajero que trabajará en la caseta puede atender a los clientes a
un ritmo promedio de uno cada cuatro minutos. Suponiendo
que el patrón de llegadas es Poisson y el patrón de servicios es
Exponencial, encuentre:

E{n} = 4 (minutos)   = (1 / 4) *60 = 15 (vehículos/hora)

Ls = 12/(15 – 12) = 36 (vehículos)
Lq = 122 / (15*(15-12)) = 4 (vehículos)
W = 1 / (15 – 12) = 1/3 (hora)  20 (minutos)
Wq = 12 / (15*(15-12)) (hora)  16 (minutos)
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 65
Flujo Cola Flujo
Servidor
Entrante (Línea saliente
(Clientes de espera) (Cabeza (Clientes
que llegan) de línea) atendidos)

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 66

Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 67
Escuela de Ingeniería de Transporte Simulación de Procesos de Transporte Juan Sánchez Ramos 68