Pontificia Universidad Católica de Chile

Escuela de Ingenierı́a
Departamento de Ingenierı́a Industrial y de Sistemas

Cadenas de Markov en Tiempo Continuo

ICS2123 – Modelos Estocásticos

Prof. Álvaro Lorca

Segundo Semestre 2019

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 1 / 33

Outline

1 Definición

2 Probabilidades de Transición

3 Probabilidades Lı́mite

4 Procesos de Nacimiento y Muerte

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 2 / 33

 Definición

Outline

1 Definición

2 Probabilidades de Transición

3 Probabilidades Lı́mite

4 Procesos de Nacimiento y Muerte

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 3 / 33

 Definición

Motivación

¿Por qué ocupar Cadenas de Markov en Tiempo Continuo si siempre se

puede discretizar el tiempo?

En algunas ocupaciones uno necesita una mirada más fina del tiempo para
representar correctamente un problema.

Ejemplo: Sea X (t) el número de ampolletas malas en una fábrica que opera 24/7
y la idea es que siempre haya un número mı́nimo de ampolletas buenas para poder
trabajar.
¿Qué pasa si discretizamos el tiempo?
Periodos de revisión en dı́as vs en horas vs en minutos.
¿Cómo afecta esto a la productividad de la empresa?

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 4 / 33

 Definición

Motivación

Ejemplo de procesos:
Clientes en la cola de un banco, donde X (t) es el número de clientes en la
cola en el instante t.
La temperatura interna en un invernadero oscila entre -10o C y 20o C. Sea
X (t) la temperatura del lugar en el tiempo t.
Un partido de basquetball, donde X (t) indica si el equipo local va ganando,
empatando o perdiendo, para un instante t.
Funcionamiento de máquinas en un taller mecánico, donde X (t) es el número
de máquinas funcionando.

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 5 / 33

 Definición

Propiedades Básicas

Supongamos que tenemos un proceso estocástico en tiempo continuo,

{X (t), t ≥ 0}, cuyo espacio de estados generalmente será el conjunto de estados
enteros no negativos.

Propiedad Markoviana
{X (t), t ≥ 0} posee la propiedad markoviana si para todo s, t ≥ 0, todo entero no
negativo i, j, y para todo x(u), 0 ≤ u < s,

P (X (t + s) = j|X (s) = i, X (u) = x(u) ∀u ∈ [0, s)) = P(X (t + s) = j|X (s) = i)

Interpretación: El futuro depende del pasado solo a través del presente.

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 6 / 33

 Definición

Propiedades Básicas

Propiedad Estacionaria
El proceso {X (t), t ≥ 0} posee la propiedad de estacionariedad si
P(X (t + s) = j|X (s) = i) no depende de s.

Notación:
Pij (t) = P(X (t + s) = j|X (s) = i)

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 7 / 33

 Definición

Definiciones

Cadena de Markov en tiempo continuo (CMTC)

El proceso {X (t), t ≥ 0} es una CMTC si cumple la propiedad markoviana y con
la propiedad estacionaria.

Consecuencias propiedad markoviana y estacionaria:

No importa el tiempo que haya permanecido en un determinado estado.

P(Ti > s + t|Ti > s) = P(Ti > t) ∀s, t ≥ 0, i = 0, 1, 2...

El tiempo de permanencia en un estado i (Ti ) no tiene memoria, por lo que

tiene que ser exponencial.

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 8 / 33

 Definición

Definiciones

CMTC definición alternativa

Una CMTC es un proceso {X (t), t ≥ 0)} que tiene las siguientes propiedades:
Cada vez que entra al estado i, el tiempo que permanece en ese estado antes
de efectuar una transición a un estado diferente tiene distribución exponencial
con una media 1/vi .
Cuando el proceso deja el estado i, a continuación entra al estado j con una
probabilidad Pij . La probabilidades Pij deben satisfacer:
X
Pii = 0 ∀i , Pij = 1 ∀i
j

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 9 / 33

 Definición

Definiciones

Conclusiones importantes:
Una CMTC es un proceso estocástico que se mueve de un estado a otro de
acuerdo a una CMTD.
Los Pij corresponden a las componentes de la matriz P de transición de la
CMTD asociada.
Los tiempos de permanencia en un estado dado son iid con distribución
exponencial (la media de los tiempos puede ser diferentes para distintos
estados).
El tiempo que el proceso permanece en el estado i y el próximo estado a
visitar son independientes.

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 10 / 33

 Probabilidades de Transición

Outline

1 Definición

2 Probabilidades de Transición

3 Probabilidades Lı́mite

4 Procesos de Nacimiento y Muerte

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 11 / 33

 Probabilidades de Transición

Matriz de transición

Al igual que en las CMTD, podemos poner las probabilidades de transición, Pij , en
un matriz. Sin embargo, para este caso Pii = 0 para todo i.

1 2 3 ···
 
1 0 P12 P13 ...
2  P21 0 P23 ... 
P = 3  P31

P32 0 ... 
.. .. .. ..
 
. . . .

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 12 / 33

 Probabilidades de Transición

Probabilidades de transición

Definición
Considere una CMTC. Se llama probabilidad de transición, Pij (t), a la
probabilidad de que el proceso, dado que ahora está en el estado i, en t unidades
de tiempo más esté en el estado j.

Pij (t) = P(X (t + s) = j|X (s) = i) ∀ i, j ∀s, t ≥ 0

Ecuación Chapman-Kolmogorov
Para todo s, t ≥ 0 se tiene que:
∞
X
Pij (t + s) = Pik (t) · Pkj (s)
k=0

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 13 / 33

 Probabilidades de Transición

Probabilidades de transición

Definición
Se denomina tasa de transición instantánea, qij , a la tasa a la cual el proceso
realiza una transición del estado i al estado j. Esta tasa está dada por:

qij = vi · Pij

Como vi corresponde a la tasa a la cual el proceso realiza una transición cuando

se encuentra en el estado i, y Pij corresponde a la probabilidad de que esta
transición sea al estado j, entonces qij corresponde a la tasa a la cual el proceso
realiza una transición del estado i al estado j, estando en i.

Las tasas de transición instantáneas determinan los parámetros de una CMTC.

qij qij
Pij = =P
vi j qij

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 14 / 33

 Probabilidades de Transición

Ejemplos

Ejemplo
Considere una peluquerı́a que posee dos peluqueros y un espacio de espera de a lo
más 5 personas. La llegada de las personas sigue un Proceso de Poisson con tasa
λ personas por hora. Los tiempos de atenciones de los peluqueros son iid con
distribución exponencial µ personas por hora. Los tiempos de atención y de
llegada son independientes entre sı́. Finalmente, si llega alguien y no puede entrar
a la peluquerı́a este simplemente se va.
Considere que X (t) es el número de personas en la peluquerı́a en el tiempo t.
Modele esto como una CMTC identificando el conjunto de estados y encontrando
todos los qij , vi y Pij .

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 15 / 33

 Probabilidades de Transición

Ejemplos

Solución:

Espacio de estados = {0, 1, 2, 3, 4, 5, 6, 7}.

0 1 2 ··· 7

v0 = λ
v1 = λ + µ
vi = λ + 2µ i = 2, 3, 4, 5, 6
v7 = 2µ
Las tasas de transición están dadas por:

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 16 / 33

 Probabilidades de Transición

Ejemplos

qi,i+1 = λ i ≤6
q1,0 = µ
qi,i−1 = 2µ i ≥2
Por lo tanto, las probabilidades de transición quedan:
λ
P0 1 = = 1
λ
λ
P1 2 =
λ+µ
µ
P1 0 =
λ+µ
λ
Pi i+1 = 2 <= i <= 6
λ + 2µ
2µ
Pi i−1 = 2 <= i <= 6
λ + 2µ
2µ
P7 6 = =1
2µ
Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 17 / 33
 Probabilidades de Transición

Ejemplos
Ejemplo
En una fábrica existen dos máquinas distintas, A y B. Ambas máquinas son utilizadas
durante todo el dı́a, pero presentan fallas de vez en cuando. La máquina A presenta
fallas a tasa α, mientras que la máquina B lo hace a tasa β. Cuando las máquinas fallan
deben ser reparadas por sus respectivos mecánicos. El mecánico A tarda un tiempo que
distribuye exponencial de media 1/a en reparar la máquina, en tanto el mecánico B tarda
un tiempo que distribuye exponencial de media 1/b. Dibuje un grafo con todos los Pij .

0, 0
β
α α+β
α+β

a b
a+β α+b

1, 0 0, 1
β a
a+β a+b

b α
a+b α+b

1, 1

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 18 / 33

 Probabilidades Lı́mite

Outline

1 Definición

2 Probabilidades de Transición

3 Probabilidades Lı́mite

4 Procesos de Nacimiento y Muerte

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 19 / 33

 Probabilidades Lı́mite

Distribución del proceso en el largo plazo

Probabilidad lı́mite
Considere la probabilidad de que una CMTC esté en el estado j después de un
tiempo t, con t → ∞. Si esta probabilidad existe y es independiente del estado
inicial se llama probabilidad lı́mite:

Pj = lim Pij (t)

t→∞

En este caso, para t → ∞ se tiene que cumplir que:

d
Pij (t) = 0
dt
Esto es análogo a cuando en CMTD se dice que “f (n+1) = f (n) ” cuando hay lı́mite.

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 20 / 33

 Probabilidades Lı́mite

Ecuación de equilibrio
Es posible demostrar que se cumple lo siguiente, conocido como la ecuación de
Kolmogorov:
d X
Pij (t) = vk Pik (t)Pkj − vj Pij (t)
dt
k6=j
A partir de esto, tomando lı́mite a ambos lados, obtenemos
X
0= vk Pk Pkj − vj Pj
k6=j
X
vj Pj = vk Pk Pkj
k6=j

Ecuación de equilibrio en el largo plazo

Para una CMTC se cumple que la tasa de salida en el largo plazo de un estado es
igual a la suma de las tasas de llegada en el largo plazo a ese mismo estado. Es
decir: X
vj · Pj = qkj · Pk
k6=j

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 21 / 33

 Probabilidades Lı́mite

Observaciones

Interpretación:
Si los Pj existen se pueden interpretar como la proporción del tiempo que el
proceso se encuentra en el estado j.
vj · Pj corresponde a la tasa a la cual el proceso deja el estado j en el largo
plazo.
P
k6=j qkj · Pk corresponde a la tasa a la cual el proceso entra al estado j en el
largo plazo.

∞
P
Si a estas ecuaciones le agregamos la ecuación Pk = 1, entonces tendremos un
k
sistema de ecuaciones que permite obtener las probabilidades lı́mite del proceso.

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 22 / 33

 Probabilidades Lı́mite

Ejercicios

Ejemplo
Un local consiste en el limpiado de zapatos en dos etapas. Cuando un cliente
entra al local pasa primero por la etapa 1, luego por la etapa 2, y luego se va. Los
tiempos de servicio de ambas etapas son independientes con distribución
exponencial de tasas µ1 y µ2 respectivamente. Potenciales clientes llegan según
un Proceso Poisson de tasa λ independiente de los tiempos de servicio de ambas
etapas, pero los clientes entran si en el local no hay otro cliente.
1 Modele esta situación mediante una CMTC identificando los qij , vi y Pij
2 Si es posible, encuentre la proporción de tiempo que se permanece en el largo
plazo en cada uno de los estados.
3 En particular, ¿cuál es la proporción de tiempo que el local está vacı́o en el
largo plazo si la etapa 1 toma en promedio 2 minutos, la etapa 2 toma en
promedio 1 minutos y en promedio arriba un cliente cada 5 minutos?

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 23 / 33

 Probabilidades Lı́mite

Ejercicios
Solución:
Espacio de estados = {0, 1, 2}, en donde:
0: el local está vacı́o.
1: hay una persona en la etapa 1.
2: hay una persona en la etapa 2.

λ µ1

0 1 2

µ2

Los qij están en el grafo.

P01 = P12 = P20 = 1

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 24 / 33

 Probabilidades Lı́mite

Ejercicios

Para calcular la proporción en el largo plazo:

λP0 = µ2 P2
µ1 P1 = λP0
µ2 P2 = µ1 P1
X
Pi = 1
i

µ1 µ2 λµ2 λµ1
P0 = P1 = P2 =
µ1 µ2 + λµ1 + λµ2 µ1 µ2 + λµ1 + λµ2 µ1 µ2 + λµ1 + λµ2
Por lo tanto, en particular, se está con el local vacı́o en un 62,5% del tiempo total.

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 25 / 33

 Procesos de Nacimiento y Muerte

Outline

1 Definición

2 Probabilidades de Transición

3 Probabilidades Lı́mite

4 Procesos de Nacimiento y Muerte

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 26 / 33

 Procesos de Nacimiento y Muerte

Definición y caracterización

Proceso de nacimiento y muerte

Un proceso de nacimiento y muerte es una CMTC con estados {0, 1, 2, . . . } para
la cual las transiciones desde el estado i sólo pueden ser al estado i − 1 o al
estado i + 1.

λ0 λ1 λ2

0 1 2 ···
µ1 µ2 µ3

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 27 / 33

 Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Dado X (t) = j tendremos:

Tiempo hasta el siguiente nacimiento: ∼ exp(λj )
Tiempo hasta la siguiente muerte : ∼ exp(µj )

Luego,
v0 = λ 0
vj = λj + µj , j = 1, 2, 3, . . .
P01 = 1
λj
Pj,j+1 = , j = 1, 2, 3, . . .
λj + µj
µj
Pj,j−1 = , j = 1, 2, 3, . . .
λj + µj

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 28 / 33

 Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Reemplazando en las ecuaciones de equilibrio:

(λj + µj )Pj = λj−1 Pj−1 + µj+1 Pj+1

Es decir, para cada j, esta ecuación serı́a:

λ0 P0 = µ1 P1

(λ1 + µ1 )P1 = λ0 P0 + µ2 P2
(λ2 + µ2 )P2 = λ1 P1 + µ3 P3
...
(λn + µn )Pn = λn−1 Pn−1 + µn+1 Pn+1

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 29 / 33

 Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Sumando estas n + 1 ecuaciones:

λn Pn = µn+1 Pn+1

λn
⇒ Pn+1 = Pn
µn+1

Realizando el mismo cálculo recursivo, podemos obtener la siguiente expresión:

λn−1 λn−2 ...λ0
Pn = P0
µn µn−1 ...µ1

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 30 / 33

 Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Además se debe cumplir que:

∞
X
Pn = 1
n=0
∞
X λn−1 λn−2 ...λ0
⇒ P0 + P0 =1
n=1
µn µn−1 ...µ1
1
P0 = P∞ λn−1 λn−2 ...λ0
1+ n=1 µn µn−1 ...µ1

Para que estas probabilidades lı́mites existan, es necesario y suficiente que:

∞
X λ0 · λ1 · · · λn−1
<∞
n=1
µ1 · µ2 · · · µn

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 31 / 33

 Procesos de Nacimiento y Muerte

Ejercicio

Ejemplo
Considere la llegada de personas a un banco. Las personas llegan según un
proceso de Poisson con tasa λ. El banco cuenta con 4 cajas que atienden de
forma simultánea, cada una con una tasa de atención µ. Considere que el banco
tiene capacidad infinita y existe una única fila. Determine la proporción de tiempo
en el largo plazo que el banco está vacı́o.

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 32 / 33

 Procesos de Nacimiento y Muerte

Ejercicio

Solución:

Espacio de estados: cantidad de gente en el banco = {0, 1, 2, ...}

λ λ λ λ λ λ
0 1 2 3 4 5 ···
µ 2µ 3µ 4µ 4µ 4µ

1
P0 = 4  n ∞  n
1 λ 1 1 λ
P P
1+ n! µ + 24 4n−4 µ
n=1 n=5

Á. Lorca (PUC-Chile) Cadenas de Markov en Tiempo Continuo ICS2123 33 / 33