Tema 2.

2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

CONTENIDOS

1. Definicin de Cadena de Markov en Tiempo Continuo

2. Comportamiento de transicin

3. Comportamiento estacionario

4. Procesos de nacimiento y muerte

Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

1. Definicin de Cadena de Markov en Tiempo Continuo

Consideremos un proceso estocstico {X(t),

{X(t) t 0} en tiempo continuo que
toma valores enteros no negativos.

Un proceso estocstico
U t ti en tiempo
ti continuo
ti {X(t) , t 0} con espacio
i de
d
estados S es una cadena de Markov en tiempo continuo si

donde 0 t1 t2 tn1 s t es cualquier secuencia no decreciente de

n+1 tiempos e i1, i2,... ,in1, i, j S son n+1 estados cualesquiera del conjunto
S.

La CMTC verifica la propiedad de Markov que dado el estado del proceso

en un conjunto de tiempos anteriores al instante t,
t la distribucin del proceso
en el instante t depende slo del instante de tiempo anterior ms prximo a t.
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Una cadena de Markov en tiempo continuo es homognea si para cada s t

y cada estado i, j S,

No todas las CMTC tienen que ser homogneas, pero consideraremos

i
nicamente
t las
l CMTC homogneas.
h

Por homogeneidad, cuando el proceso entra en el estado i, la forma de

evolucionar probabilsticamente desde este punto es la misma que si el
proceso comenzase en el estado i en el instante 0. Denotamos al tiempo de
permanencia del proceso en el estado i como Ti.

Proposicin 1. El tiempo de permanencia en el estado i, Ti, se distribuye

exponencialmente.
p
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Demostracin. Supongamos que el proceso comienza en el estado i. Para s

0, {Ti > s} es equivalente a {X(u) = i para 0 u s}. De todo similar, para s,
t 0, {Ti > s+t} es equivalente a {X(u) = i para 0 u s + t} . Por lo tanto,

donde, la segunda igualdad se obtiene porque P(AB|A) = P(B|A), donde A =

{X(u) = i para 0 u s} y B = {X(u) = i para s u s + t}, la tercera
igualdad se obtiene de la propiedad de Markov y la cuarta de la
homogeneidad.

Por lo tanto,, la distribucin de Ti tiene la p

propiedad
p de p
prdida de memoria,,
lo que implica que es exponencial.
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Definicin alternativa de CMTC. Un proceso estocstico en tiempo

continuo {X(t) , t 0} es una cadena de Markov en tiempo continuo si:
Cuando entra en un estado i, el tiempo que permanece en l se distribuye
exponencialmente con media 1/vi.
Cuando abandona el estado i, i entra en el estado j con probabilidad de
transicin pij, con pii = 0 y j pij = 1.

La matriz
L t i P,
P formada
f d por las
l probabilidades
b bilid d pij , es una matriz
t i estocstica
t ti y,
por lo tanto, la matriz de probabilidades de transicin en un paso de una
CMTD. Designaremos a esta CMTD como la cadena de Markov encajada.

Una CMTC se comporta como una CMTD, pero con intervalos de tiempo de
permanencia en cada estado distribuidos exponencialmente e independientes.

Ejemplos: Proceso de Poisson de tasa l, Proceso de Yule y Sistema de dos

procesadores secuenciales.
p
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

2. Comportamiento de transicin

pasos pij(n).
En las CMTD se estudiaron las probabilidades de transicin en n pasos,
El homlogo en CMTC es la funcin de probabilidad de transicin

es decir, la probabilidad de que estando inicialmente en el estado i, despus

de t unidades de tiempo estemos en el estado j.

En las CMTC no podemos hablar de pasos. Para cada par de estados i, j S,

la funcin de probabilidad de transicin pij(t) es una funcin continua de t.
En general, es difcil o imposible determinar la funcin de probabilidad de
transicin aunque en casos sencillos se puede calcular. Por ejemplo, en los
procesos de Poisson hemos visto que para i j,
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Proposicin 2 (Ecuaciones de Chapman-Kolmogorov). Sea la CMTC {X(t) ,

t 0} con espacio de estados S. Entonces, para cada s, t 0,

Demostracin.
D t i LaL relacin
l i anterior
t i se tiene
ti d la
de l siguiente
i i t cadena
d d
de
igualdades
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Los valores fundamentales que especificaban una CMTD eran las

probabilidades de transicin pij. En tiempo continuo, son las tasas
instantneas de transicin qij = vi pij, que representan la tasa a la que se
hacen transiciones de i a j.
Observemos que determinan la cadena,
cadena puesto que

Objetivo: proporcionar un stma. de ecuac. diferenciales para calcular pij(t) .

Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Despus de operar obtenemos que

Teorema 1 (Ecuaciones diferenciales hacia atrs de Kolmogorov). Bajo

condiciones adecuadas, i, j, t 0
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Ejemplo (Continuacin del ejemplo de Proceso de Poisson de tasa )

Como qi,i+1
i i+1=v
vipi,i+1
i i+1=v 0, j i + 1, las ecuaciones diferenciales
vi= y qij=vvipij=0,
hacia atrs de Kolmogorov son

Ejemplo
Ej l (Continuacin
(C ti i del
d l ejemplo
j l de
d Proceso
P d Yule)
de Y l ) Como
C qi,i+1 =
vipi,i+1=i y qij=vipij=0, j i + 1, las ecuaciones diferenciales hacia atrs de
Kolmogorov son

Ejemplo (Continuacin del ejemplo de sistema con dos procesadores

secuenciales))
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Las ecuaciones diferenciales hacia atrs de Kolmogorov en forma matricial:

P0(t) = G P(t) ,

donde P(t) y P0(t) las matrices formadas por los elementos pij(t) y p pij(t) ,
respectivamente, y G (generador infinitesimal o generador) en la que los
elementos (i, i) tienen valor vi y los elementos (i, j) , con i j, el valor qij.

A la hora de obtener las ecuaciones diferenciales, si hubiramos condicio-

nado a X(t) en lugar de a X(s) , habramos obtenido otro conjunto de
ecuaciones diferenciales llamadas ecuaciones diferenciales hacia adelante
de Kolmogorov, las cuales escritas en forma matricial son

P0(t) = P(t) G.

Para ambas ecuaciones,, tenemos la condicin lmite P(0)=I,

( ) , donde I es la
matriz identidad.
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Las ecuaciones hacia atrs y hacia adelante, con la anterior condicin lmite,
tienen la misma solucin:

Las CMTC se pueden representar mediante un diagrama de transicin:

grafo en el que los nodos representan estados, un arco entre i y j describe la
posibilidad de transicin de i a j y qij se representa sobre el arco
correspondiente.
di

Ejemplo (Continuacin del ejemplo de Proceso de Poisson de tasa )

Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Ejemplo (Continuacin del ejemplo de Proceso de Yule)

Ejemplo (Continuacin del ejemplo de Sistema con dos procesadores

secuenciales)
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

3. Comportamiento estacionario

Sea {X(t),
{X(t) t 0} una CMTC con matriz de funciones de probabilidad de
transicin P(t). Un vector , con i 0 i y i i =1, se dice que es una
distribucin estacionaria si = P(t) , t 0.

Veamos cmo utilizar el generador G para determinar la distribucin

estacionaria:

As, la condicin = P(t) , t 0, la cual es muy difcil de resolver, se

reduce a la mucho ms simple 0 = G. G Por lo tanto,
tanto la distribucin
estacionaria , si existe, se obtiene resolviendo el sistema
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Lado izquierdo j es la proporcin de tiempo a largo plazo que el proceso

est en el estado j, mientras que vj es la tasa de abandono del estado j cuando
el proceso est en l. As, vjj es interpretado como la tasa a largo plazo de
d j ell estado
dejar t d j.
j

Lado derecho qij es la tasa de ir al estado j cuando el proceso est en el

estado i, as qiji se interpreta como la tasa a largo plazo de ir del estado i al j.
Luego, ij qiji representa la tasa a largo plazo de ir al estado j.

Por lo tanto, la tasa a largo plazo de salida del estado j coincide con la tasa de
entrada en el estado j, y por esta razn las ecuaciones 0 = G se denominan
q
ecuaciones de equilibrio global o simplemente
g p ecuaciones de equilibrio.
q
Tema 2.2 Cadenas de Markov en Tiempo Continuo Probabilidad y Estadstica II

Teorema 2. En una cadena de Markov en tiempo continuo, si existe una

distribucin estacionaria ,
entonces es nica y

Ejemplo (Continuacin del ejemplo de proceso de Poisson de tasa ) Las

ecuaciones de equilibrio para un proceso de Poisson de tasa son

que no tienen solucin.

Ejemplo (Continuacin del ejemplo de proceso de Yule) Las ecuaciones

de equilibrio para un proceso de Yule de tasa son

que no tienen solucin.

solucin
Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

4. Procesos de Nacimiento y Muerte

Los procesos de nacimiento y muerte,

muerte bsicamente,
bsicamente describen sistemas cuyo
estado, en cada instante, representa el nmero de individuos en el mismo.
Cuando ste es n, se producen llegadas con tasa exponencial n y salidas con
t
tasa exponencial
i l n, de
d forma
f i d
independiente.
di t

Un proceso de nacimiento y muerte con tasas de llegada (nacimiento) {n}n=0

y tasas de
d salida
lid (muerte)
( { n}n=1 es una CMTC con espacio
) { i de
d estados
d {0,
{
1, 2,}, tasas de permanencia v0 = 0, vi = i + i, i > 0 y probabilidades de
transicin

El proceso de Poisson es un proceso de nacimiento y muerte con n = y

0 n.
n = 0, El proceso de d Yule
Y l es tambin
t bi un proceso de
d nacimiento
i i t y
muerte con n = n y n = 0, n.
Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

El diagrama de transicin de un proceso de nacimiento y muerte es

Sus tasas de transicin son

y el resto 0, con lo que el sistema de ecuaciones diferenciales de Kol-

mogorov
g es
Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

Resolverlo es complicado, pero conducen de forma sencilla al sistema

en equilibrio

o bien

descrito mediante el equilibrio de tasas de salida y de entrada en cada

estado.
Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

La resolucin del sistema es estndar, sumando las dos primeras, las

tres primeras, ecuaciones pasamos al sistema

y despejando
p j
cada i en
funcin de 0

Sustituimos los valores de i en la ltima ecuacin y despejamos 0,

obteniendo
bt i d
Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

con lo cual
cual,

Claramente, una condicin necesaria para que exista la distribucin es-

tacionaria es que

comprobndose que esta condicin es tambin suficiente para la exis-

t
tencia
i de
d lla di
distribucin.
t ib i
Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

Ejemplo. En una empresa hay 5 servidores y un tcnico que los mantiene.

Supongamos que el tiempo que tardan en fallar sigue una distribucin
exponencial con tasa 1 fallo cada 10 horas. La duracin de la reparacin es
exponencial con media 2 horas. Cul es el nmero medio de servidores
con fallos? y q
qu p
proporcin
p de tiempo
p a largo
g pplazo est cada servidor
en uso?

Diremos qque el sistema est en el estado n si hay

y n servidores con fallos.
Entonces, el problema puede ser modelizado como un proceso de
nacimiento y muerte con diagrama de transicin

donde =1/10, =1/2 y las tasas son

Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

Las ecuaciones en equilibrio son

y sustituyendo
y por
p su valor se obtiene
Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

Por lo tanto, el nmero medio de servidores con fallos es n0 n n = 4.395

5

y la proporcin de tiempo a largo plazo que est cada servidor en uso es

(teorema de la probabilidad total).
Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

Consideremos un proceso de nacimiento y muerte general con tasas

{n}n=0 y {n}n=1 . Tiempo que tarda el sistema en pasar del estado i
al i + 1, es decir, Ti, i 0. Calculemos E(Ti) de forma recursiva.

lugar como T0 Exp(0) se tiene que E(T0) = 1/0. Para i > 0,

En primer lugar, 0
condicionamos a que la primera transicin sea a i1 o a i+1. Para ello,
definimos

Se tiene

p , independientemente
pues, p de qque la primera
p transicin sea por
p nacimiento
o muerte, se produce con tasa 1/(i + i).
Tema 2.1. Procesos de Poisson Probabilidad y Estadstica II

Luego,

d donde
de d d

As, si deseamos calcular el tiempo esperado para ir del estado i al j, con

i<j, tenemos que ste vale: