Está en la página 1de 61

Universidad Tecnológica Metropolitana

Facultad de Ingenierı́a
Departamento de Industria

Cadenas de Markov en Tiempo Continuo


Investigación de Operaciones II

Profs. Pablo Rey y Francisco Muñoz


(basado en curso de profs. A. Cataldo y A. Lorca, PUC)

Primer Semestre 2019

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 1/1


Outline

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 2/1


Definición

Outline

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 3/1


Definición

Motivación

¿Por qué ocupar Cadenas de Markov en Tiempo Continuo si siempre se


puede discretizar el tiempo?

En algunas ocupaciones uno necesita una mirada más fina del tiempo para
representar correctamente un problema.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 4/1


Definición

Motivación

¿Por qué ocupar Cadenas de Markov en Tiempo Continuo si siempre se


puede discretizar el tiempo?

En algunas ocupaciones uno necesita una mirada más fina del tiempo para
representar correctamente un problema.

Ejemplo: Sea X (t) el número de ampolletas malas en una fábrica que opera 24/7
y la idea es que siempre haya un número mı́nimo de ampolletas buenas para poder
trabajar.
¿Qué pasa si discretizamos el tiempo?
Periodos de revisión en dı́as vs en horas vs en minutos.
¿Cómo afecta esto a la productividad de la empresa?

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 4/1


Definición

Motivación

Ejemplo de procesos:
Clientes en la cola de un banco, donde X (t) es el número de clientes en la
cola en el instante t.
La temperatura interna en un invernadero oscila entre -10o C y 20o C. Sea
X (t) la temperatura del lugar en el tiempo t.
Un partido de basquetball, donde X (t) indica si el equipo local va ganando,
empatando o perdiendo, para un instante t.
Funcionamiento de maquinas en un taller mecánico, donde X (t) es el número
de máquinas funcionando.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 5/1


Definición

Propiedades Básicas

Supongamos que tenemos un proceso estocástico en tiempo continuo,


{X (t), t ≥ 0}, cuyo espacio de estados generalmente será el conjunto de estados
enteros no negativos.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 6/1


Definición

Propiedades Básicas

Supongamos que tenemos un proceso estocástico en tiempo continuo,


{X (t), t ≥ 0}, cuyo espacio de estados generalmente será el conjunto de estados
enteros no negativos.

Propiedad Markoviana
{X (t), t ≥ 0} posee la propiedad markoviana si para todo s, t ≥ 0, todo entero no
negativo i, j, y para todo x(u), 0 ≤ u < s,

P(X (t + s) = j|X (s) = i, X (u) = x(u)) = P(X (t + s) = j|X (s) = i)

Interpretación: El futuro depende del pasado solo a través del presente.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 6/1


Definición

Propiedades Básicas

Propiedad Estacionaria
El proceso {X (t), t ≥ 0} posee la propiedad de estacionariedad si
P(X (t + s) = j|X (s) = i) no depende de s.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 7/1


Definición

Propiedades Básicas

Propiedad Estacionaria
El proceso {X (t), t ≥ 0} posee la propiedad de estacionariedad si
P(X (t + s) = j|X (s) = i) no depende de s.

Notación:
Pij (t) = P(X (t + s) = j|X (s) = i)

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 7/1


Definición

Definiciones

Cadena de Markov en tiempo continuo (CMTC)


El proceso {X (t), t ≥ 0} es una CMTC si cumple la propiedad markoviana y con
la propiedad estacionaria.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 8/1


Definición

Definiciones

Cadena de Markov en tiempo continuo (CMTC)


El proceso {X (t), t ≥ 0} es una CMTC si cumple la propiedad markoviana y con
la propiedad estacionaria.

Consecuencias propiedad markoviana y estacionaria:

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 8/1


Definición

Definiciones

Cadena de Markov en tiempo continuo (CMTC)


El proceso {X (t), t ≥ 0} es una CMTC si cumple la propiedad markoviana y con
la propiedad estacionaria.

Consecuencias propiedad markoviana y estacionaria:

No importa el tiempo que haya permanecido en un determinado estado.

P(Ti > s + t|Ti > s) = P(Ti > t) ∀s, t ≥ 0, i = 0, 1, 2...

El tiempo de permanencia en un estado i (Ti ) no tiene memoria, por lo que


tiene que ser exponencial.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 8/1


Definición

Definiciones

CMTC definición alternativa


Una CMTC es un proceso {X (t), t ≥ 0)} que tiene las siguientes propiedades:
Cada vez que entra al estado i, el tiempo que permanece en ese estado antes
de efectuar una transición a un estado diferente tiene distribución exponencial
con una media 1/vi .
Cuando el proceso deja el estado i, a continuación entra al estado j con una
probabilidad Pij . La probabilidades Pij deben satisfacer:
X
Pii = 0 ∀i , Pij = 1 ∀i
j

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 9/1


Definición

Definiciones

Conclusiones importantes:
Una CMTC es un proceso estocástico que se mueve de un estado a otro de
acuerdo a una CMTD.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 10 / 1


Definición

Definiciones

Conclusiones importantes:
Una CMTC es un proceso estocástico que se mueve de un estado a otro de
acuerdo a una CMTD.
Los Pij corresponden a las componentes de la matriz P de transición de la
CMTD asociada.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 10 / 1


Definición

Definiciones

Conclusiones importantes:
Una CMTC es un proceso estocástico que se mueve de un estado a otro de
acuerdo a una CMTD.
Los Pij corresponden a las componentes de la matriz P de transición de la
CMTD asociada.
Los tiempos de permanencia en un estado dado son iid con distribución
exponencial (la media de los tiempos puede ser diferentes para distintos
estados).

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 10 / 1


Definición

Definiciones

Conclusiones importantes:
Una CMTC es un proceso estocástico que se mueve de un estado a otro de
acuerdo a una CMTD.
Los Pij corresponden a las componentes de la matriz P de transición de la
CMTD asociada.
Los tiempos de permanencia en un estado dado son iid con distribución
exponencial (la media de los tiempos puede ser diferentes para distintos
estados).
El tiempo que el proceso permanece en el estado i y el próximo estado a
visitar son independientes.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 10 / 1


Probabilidades de Transición

Outline

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 11 / 1


Probabilidades de Transición

Matriz de transición

Al igual que en las CMTD, podemos poner las probabilidades de transición, Pij , en
un matriz. Sin embargo, para este caso Pii = 0 para todo i.

1 2 3 ···
 
1 0 P12 P13 ...
2  P21 0 P23 ... 
P = 3  P31

P32 0 ... 
.. .. .. ..
 
. . . .

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 12 / 1


Probabilidades de Transición

Probabilidades de transición

Definición
Considere una CMTC. Se llama probabilidad de transición, Pij (t), a la
probabilidad de que el proceso, dado que ahora está en el estado i, en t unidades
de tiempo más esté en el estado j.

Pij (t) = P(X (t + s) = j|X (s) = i) ∀ i, j ∀s, t ≥ 0

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 13 / 1


Probabilidades de Transición

Probabilidades de transición

Definición
Considere una CMTC. Se llama probabilidad de transición, Pij (t), a la
probabilidad de que el proceso, dado que ahora está en el estado i, en t unidades
de tiempo más esté en el estado j.

Pij (t) = P(X (t + s) = j|X (s) = i) ∀ i, j ∀s, t ≥ 0

Ecuación Chapman-Kolmogorov
Para todo s, t ≥ 0 se tiene que:

X
Pij (t + s) = Pik (t) · Pkj (s)
k=0

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 13 / 1


Probabilidades de Transición

Probabilidades de transición

Definición
Se denomina tasa de transición, qij , a la tasa a la cuál el proceso realiza una
transición del estado i al estado j. Esta tasa está dada por:

qij = vi · Pij

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 14 / 1


Probabilidades de Transición

Probabilidades de transición

Definición
Se denomina tasa de transición, qij , a la tasa a la cuál el proceso realiza una
transición del estado i al estado j. Esta tasa está dada por:

qij = vi · Pij

Como vi corresponde a la tasa a la cual el proceso realiza una transición cuando


se encuentra en el estado i, y Pij corresponde a la probabilidad de que esta
transición sea al estado j, entonces qij corresponde a la tasa a la cual el proceso
realiza una transición del estado i al estado j, estando en i.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 14 / 1


Probabilidades de Transición

Probabilidades de transición

Definición
Se denomina tasa de transición, qij , a la tasa a la cuál el proceso realiza una
transición del estado i al estado j. Esta tasa está dada por:

qij = vi · Pij

Como vi corresponde a la tasa a la cual el proceso realiza una transición cuando


se encuentra en el estado i, y Pij corresponde a la probabilidad de que esta
transición sea al estado j, entonces qij corresponde a la tasa a la cual el proceso
realiza una transición del estado i al estado j, estando en i.

Las tasas de transición determinan los parámetros de una CMTC.


qij qij
Pij = =P
vi j qij

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 14 / 1


Probabilidades de Transición

Ejemplos

Ejemplo
Considere una peluquerı́a que posee dos peluqueros y un espacio de espera de a lo
más 5 personas. La llegada de las personas sigue un Proceso Poisson con tasa λ
personas por hora. Los tiempos de atenciones de los peluqueros son iid con
distribución exponencial µ personas por hora. Los tiempos de atención y de
llegada son independientes entre sı́. Finalmente, si llega alguien y no puede entrar
a la peluquerı́a este simplemente se va.
Considere que X (t) es el número de personas en la peluquerı́a en el tiempo t.
Modele esto como una CMTC identificando el conjunto de estados y encontrando
todos los qij , vi y Pij .

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 15 / 1


Probabilidades de Transición

Ejemplos

Solución:

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 16 / 1


Probabilidades de Transición

Ejemplos

Solución:

Espacio de estados = {0, 1, 2, 3, 4, 5, 6, 7}.

0 1 2 ··· 7

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 16 / 1


Probabilidades de Transición

Ejemplos

Solución:

Espacio de estados = {0, 1, 2, 3, 4, 5, 6, 7}.

0 1 2 ··· 7

v0 = λ
v1 = λ + µ
vi = λ + 2µ i = 2, 3, 4, 5, 6
v7 = 2µ
Las tasas de transición están dadas por:

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 16 / 1


Probabilidades de Transición

Ejemplos

qi,i+1 = λ i ≤6
q1,0 = µ
qi,i−1 = 2µ i ≥2

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 17 / 1


Probabilidades de Transición

Ejemplos

qi,i+1 = λ i ≤6
q1,0 = µ
qi,i−1 = 2µ i ≥2
Por lo tanto, las probabilidades de transición quedan:
λ
P0 1 = = 1
λ
λ
P1 2 =
λ+µ
µ
P1 0 =
λ+µ
λ
Pi i+1 = 2 <= i <= 6
λ + 2µ

Pi i−1 = 2 <= i <= 6
λ + 2µ

P7 6 = =1

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 17 / 1
Probabilidades de Transición

Ejemplos
Ejemplo
En una fábrica existen dos máquinas distintas, A y B. Ambas máquinas son utilizadas
durante todo el dı́a, pero presentan fallas de vez en cuando. La máquina A presenta
fallas a tasa α, mientras que la máquina B lo hace a tasa β. Cuando las máquinas fallan
deben ser reparadas por sus respectivos mecánicos. El mecánico A tarda un tiempo que
distribuye exponencial de media 1/a en reparar la máquina, en tanto el mecánico B tarda
un tiempo que distribuye exponencial de media 1/b.

0, 0
β
α α+β
α+β

a b
a+β α+b

1, 0 0, 1
β a
a+β a+b

b α
a+b α+b

1, 1

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 18 / 1


Probabilidades Lı́mite

Outline

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 19 / 1


Probabilidades Lı́mite

Distribución del proceso en el largo plazo

Probabilidad lı́mite
Considere la probabilidad de que una CMTC esté en el estado j después de un
tiempo t, con t → ∞. Si esta probabilidad existe y es independiente del estado
inicial se llama probabilidad lı́mite:

Pj = lim Pij (t)


t→∞

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 20 / 1


Probabilidades Lı́mite

Distribución del proceso en el largo plazo

Probabilidad lı́mite
Considere la probabilidad de que una CMTC esté en el estado j después de un
tiempo t, con t → ∞. Si esta probabilidad existe y es independiente del estado
inicial se llama probabilidad lı́mite:

Pj = lim Pij (t)


t→∞

En este caso, para t → ∞ se tiene que cumplir que:


d
Pij (t) = 0
dt
Esto es equivalente a cuando en CMTD se dice que ”f (n+1) = f (n) ” cuando hay
lı́mite.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 20 / 1


Probabilidades Lı́mite

Ecuación de equilibrio
Es posible demostrar que se cumple lo siguiente, conocido como la ecuación de
Kolmogorov:
d X
Pij (t) = Pik (t)vk Pkj − Pij (t)vj
dt
k6=j

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 21 / 1


Probabilidades Lı́mite

Ecuación de equilibrio
Es posible demostrar que se cumple lo siguiente, conocido como la ecuación de
Kolmogorov:
d X
Pij (t) = Pik (t)vk Pkj − Pij (t)vj
dt
k6=j
A partir de esto, tomando lı́mite a ambos lados, obtenemos
X
0= vk Pk Pkj − Pj vj
k6=j
X
Pj vj = vk Pk Pkj
k6=j

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 21 / 1


Probabilidades Lı́mite

Ecuación de equilibrio
Es posible demostrar que se cumple lo siguiente, conocido como la ecuación de
Kolmogorov:
d X
Pij (t) = Pik (t)vk Pkj − Pij (t)vj
dt
k6=j
A partir de esto, tomando lı́mite a ambos lados, obtenemos
X
0= vk Pk Pkj − Pj vj
k6=j
X
Pj vj = vk Pk Pkj
k6=j

Ecuación de equilibrio en el largo plazo


Para una CMTC se cumple que la tasa de salida de un estado es igual a la suma
de las tasas de llegada a ese mismo proceso. Es decir:
X
vj · Pj = qkj · Pk
k6=j

Estas ecuaciones suelen ser referenciadas como Ecuaciones de Balance.


P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 21 / 1
Probabilidades Lı́mite

Observaciones

Interpretación:
Si los Pj existen se pueden interpretar como la proporción del tiempo que el
proceso se encuentra en el estado j.
vj · Pj corresponde a la tasa a la cual el proceso deja el estado j.
P
k6=j qkj · Pk corresponde a la tasa a la cual el proceso entra al estado j.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 22 / 1


Probabilidades Lı́mite

Observaciones

Interpretación:
Si los Pj existen se pueden interpretar como la proporción del tiempo que el
proceso se encuentra en el estado j.
vj · Pj corresponde a la tasa a la cual el proceso deja el estado j.
P
k6=j qkj · Pk corresponde a la tasa a la cual el proceso entra al estado j.


P
Si a estas ecuaciones le agregamos la ecuación Pk = 1, entonces tendremos un
j=1
sistema de ecuaciones que permite obtener las probabilidades lı́mites del proceso.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 22 / 1


Probabilidades Lı́mite

Ejercicios

Ejemplo
Un local consiste en el limpiado de zapatos en dos etapas. Cuando un cliente
entra al local pasa primero por la etapa 1, luego por la etapa 2, y luego se va. Los
tiempos de servicio de ambas etapas son independientes con distribución
exponencial de tasas µ1 y µ2 respectivamente. Potenciales clientes llegan según
un Proceso Poisson de tasa λ independiente de los tiempos de servicio de ambas
etapas, pero los clientes entran si en el local no hay otro cliente.
1 Modele esta situación mediante una CMTC identificando los qij , vi y Pij
2 Si es posible, encuentre la proporción de tiempo que se permanece en el largo
plazo en cada uno de los estados.
3 En particular, ¿ cuál es la proporción de tiempo que el local está vacı́o en el
largo plazo si la etapa 1 toma en promedio 2 minutos, la etapa 2 toma en
promedio 1 minutos y en promedio arriba un cliente cada 5 minutos?

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 23 / 1


Probabilidades Lı́mite

Ejercicios
Solución:

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 24 / 1


Probabilidades Lı́mite

Ejercicios
Solución:
Espacio de estados = {0, 1, 2}, en donde:
0: el local está vacı́o.
1: hay una persona en la etapa 1.
2: hay una persona en la etapa 2.

λ µ1

0 1 2

µ2

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 24 / 1


Probabilidades Lı́mite

Ejercicios
Solución:
Espacio de estados = {0, 1, 2}, en donde:
0: el local está vacı́o.
1: hay una persona en la etapa 1.
2: hay una persona en la etapa 2.

λ µ1

0 1 2

µ2

Los qij están en el grafo.

P01 = P12 = P20 = 1

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 24 / 1


Probabilidades Lı́mite

Ejercicios

Para calcular la proporción en el largo plazo:

λP0 = µ2 P2
µ1 P1 = λP0
µ2 P2 = µ1 P1
X
Pi = 1
i

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 25 / 1


Probabilidades Lı́mite

Ejercicios

Para calcular la proporción en el largo plazo:

λP0 = µ2 P2
µ1 P1 = λP0
µ2 P2 = µ1 P1
X
Pi = 1
i

µ1 µ2 λµ2 λµ1
P0 = P1 = P2 =
µ1 µ2 + λµ1 + λµ2 µ1 µ2 + λµ1 + λµ2 µ1 µ2 + λµ1 + λµ2

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 25 / 1


Probabilidades Lı́mite

Ejercicios

Para calcular la proporción en el largo plazo:

λP0 = µ2 P2
µ1 P1 = λP0
µ2 P2 = µ1 P1
X
Pi = 1
i

µ1 µ2 λµ2 λµ1
P0 = P1 = P2 =
µ1 µ2 + λµ1 + λµ2 µ1 µ2 + λµ1 + λµ2 µ1 µ2 + λµ1 + λµ2
Por lo tanto, en particular, se está con el local vacı́o en un 62,5% del tiempo total.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 25 / 1


Procesos de Nacimiento y Muerte

Outline

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 26 / 1


Procesos de Nacimiento y Muerte

Definición y caracterización

Proceso de nacimiento y muerte


Un proceso de nacimiento y muerte es una CMTC con estados {0, 1, 2, . . . } para
la cual las transiciones desde el estado i sólo pueden ser al estado i − 1 o al
estado i + 1.

λ0 λ1 λ2

0 1 2 ···
µ1 µ2 µ3

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 27 / 1


Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Dado X (t) = j tendremos:


Tiempo hasta el siguiente nacimiento: ∼ exp(λj )
Tiempo hasta la siguiente muerte : ∼ exp(µj )

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 28 / 1


Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Dado X (t) = j tendremos:


Tiempo hasta el siguiente nacimiento: ∼ exp(λj )
Tiempo hasta la siguiente muerte : ∼ exp(µj )

Luego,
v0 = λ 0
vj = λj + µj , j = 1, 2, 3, . . .
P01 = 1
λj
Pj,j+1 = , j = 1, 2, 3, . . .
λj + µj
µj
Pj,j−1 = , j = 1, 2, 3, . . .
λj + µj

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 28 / 1


Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Reemplazando en las ecuaciones de equilibrio:

(λj + µj )Pj = λj−1 Pj−1 + µj+1 Pj+1

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 29 / 1


Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Reemplazando en las ecuaciones de equilibrio:

(λj + µj )Pj = λj−1 Pj−1 + µj+1 Pj+1

Es decir, para cada j, esta ecuación serı́a:

λ0 P0 = µ1 P1

(λ1 + µ1 )P1 = λ0 P0 + µ2 P2
(λ2 + µ2 )P2 = λ1 P1 + µ3 P3
...
(λn + µn )Pn = λn−1 Pn−1 + µn+1 Pn+1

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 29 / 1


Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Sumando estas n + 1 ecuaciones:

λn Pn = µn+1 Pn+1

λn
⇒ Pn+1 = Pn
µn+1

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 30 / 1


Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Sumando estas n + 1 ecuaciones:

λn Pn = µn+1 Pn+1

λn
⇒ Pn+1 = Pn
µn+1

Realizando el mismo cálculo recursivo, podemos obtener la siguiente expresión:


λn−1 λn−2 ...λ0
Pn = P0
µn µn−1 ...µ1

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 30 / 1


Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Además se debe cumplir que:



X
Pn = 1
n=0

X λn−1 λn−2 ...λ0
⇒ P0 + P0 =1
n=1
µn µn−1 ...µ1
1
P0 = P∞ λn−1 λn−2 ...λ0
1+ n=1 µn µn−1 ...µ1

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 31 / 1


Procesos de Nacimiento y Muerte

Probabilidades lı́mites para Nacimiento y Muerte

Además se debe cumplir que:



X
Pn = 1
n=0

X λn−1 λn−2 ...λ0
⇒ P0 + P0 =1
n=1
µn µn−1 ...µ1
1
P0 = P∞ λn−1 λn−2 ...λ0
1+ n=1 µn µn−1 ...µ1

Para que estas probabilidades lı́mites existan, es necesario y suficiente que:



X λ0 · λ1 · · · λn−1
<∞
n=1
µ1 · µ2 · · · µn

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 31 / 1


Procesos de Nacimiento y Muerte

Ejercicio

Ejemplo
Considere la llegada de personas a un banco. Las personas llegan según un
proceso de Poisson con tasa λ. El banco cuenta con 4 cajas que atienden de
forma simultánea, cada una con una tasa de atención µ. Considere que el banco
tiene capacidad infinita y existe una única fila. Determine la proporción de tiempo
en el largo plazo que el banco está vacı́o.

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 32 / 1


Procesos de Nacimiento y Muerte

Ejercicio

Solución:

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 33 / 1


Procesos de Nacimiento y Muerte

Ejercicio

Solución:

Espacio de estados: cantidad de gente en el banco = {0, 1, 2, ...}

λ λ λ λ λ λ
0 1 2 3 4 5 ···
µ 2µ 3µ 4µ 4µ 4µ

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 33 / 1


Procesos de Nacimiento y Muerte

Ejercicio

Solución:

Espacio de estados: cantidad de gente en el banco = {0, 1, 2, ...}

λ λ λ λ λ λ
0 1 2 3 4 5 ···
µ 2µ 3µ 4µ 4µ 4µ

1
P0 = 4  n ∞  n
1 λ 1 1 λ
P P
1+ n! µ + 24 4n−4 µ
n=1 n=5

P. Rey, F. Muñoz (UTEM) Cadenas de Markov en Tiempo Continuo 2019-1 33 / 1