Clase # 6

Se ha venido suponiendo que el parmetro t del tiempo es discreto (es decir t = 0,1,...).

Cadenas de Markov de tiempo continuo

Tal suposicin es adecuada para muchos problemas, pero existen ciertos casos (como en algunos modelos de lneas de espera) en los que se requiere un parmetro de tiempo continuo , debido a que el proceso se est observando de manera continua a travs del tiempo.
6-1 6-2

Dise: Andrs Gmez

Sean: Estados posibles del sistema 0,1,..,M Los estados son discretos t=r t=s t = s+t Tiempo pasado Tiempo presente t unidades al futuro

Tiempo

t : Parmetro continuo

El sistema se observa en los tiempos r y s, y sus respectivos estados son X(s) = i

6-3

X(r) = x(r)
6-4

Cul es la distribucin de probabilidad del estado del sistema en el tiempo t = s+t ?

Un proceso estocstico de tiempo continuo tiene la propiedad Markoviana si P { X(s+t) = j | X(s) = i y X(r) = x(r) } = P { X(s+t) = j | X(s) = i}

Es decir P { X(s+t) = j | X(s) = i y X(r) = x(r) } para j=0,1,...,M

para j=0,1,...,M

para toda r 0 s>r y t>0

P { X(s+t) = j | X(s) = i}
6-5

Probabilidad de transicin igual que en eventos discretos

6-6

Si las probabilidades de transicin son independientes de s, de manera que P { X(s+t) = j | X(s) = i } = P { X(t) = j | X(0) = i } para toda s > 0 Se llaman Probabilidades de transicin estacionarias

Se supone que Lim pij (t)

t 0

1 0

si i = j si i j

Algunas variables aleatorias importantes Se denotan por pij(t) = P { X(t) = j | X(0) = i }

Funcin de probabilidad de transicin de tiempo continuo
6-7

Sea la variable aleatoria Ti : el tiempo que pasa cada vez que el proceso est en un estado i antes de ir a otro estado diferente
6-8

Si el proceso entra en i en el tiempo s, entonces para t>0 , se observa que Ti > t si y slo si X(t)=i para t en s t s+t

Por tanto la propiedad Markoviana probabilidades de transicin estacionarias

con

P { X(s+t) = j | X(s) = i } = P { X(t) = j | X(0) = i } i Implica que s t t P { Ti > t+s | Ti > s} = P { Ti > t}

6-9

6-10

Esta propiedad de la variable aleatoria Ti se conoce como la falta de memoria

Existe slo una distribucin continua con esta propiedad

La exponencial

Se expresa diciendo que

La distribucin del tiempo que falta para que el proceso haga una transicin fuera de un estado dado, es la misma independientemente de cunto tiempo haya pasado.

Est definida por P { Ti > t} = 1 - e-qt para t 0

La funcin de densidad es f(t) qe-qt con media 1/q

6-11 6-12

Intensidades de transicin Sea pij la probabilidad de pasar de un estado i a otro distinto (sin considerar el tiempo). Definamos pij (t) : P { X(t) = j | X(0) = i } Entonces pii = 0 para todo i qi : Tasa de transicin hacia fuera del estado i por unidad de tiempo que pasa en i para todo i qij : Tasa de transicin del estado i al j por unidad de tiempo que pasa en i
6-13 6-14

pij :

P { Pasar a j | Se est en i }

j=0

pij =1
M

qi = Lim
t 0

Pi (otro i) (t) t

= Lim
t 0

1-pii (t) t

qij = Lim
t 0

Pij (t) t

= Lim
t 0

pij (0+t) - 0 t

-(pii (t) - 1) = Lim t t 0 = -dpii (0) dt

(p (0+t) - pii (0) = - Lim ii t t 0 Para i = 1,2,...M

= Lim
t 0

pij (0+t) - pij (0) t Para toda j i

dpij (0) dt

qi =

-dpii (0) dt

qij =

dpij (0) dt
6-16

6-15

qij = qi pij
j i

qi =

qij
i j

Probabilidades de estado estable ChapmanKolmogorov para procesos continuos

Sea Tij una variable aleatoria que representa el tiempo que el proceso permanece en el estado i antes de pasar al j ( si no ocurre una transicin a otro estado).

pij(t) =

=
k

pik (s) * pkj (t - s)

Tij tiene una distribucin exponencial con parmetro qij , es decir con media 1/ qij

Los estados i,j se comunican si existen tiempos t1 ,t2 tales que pij(t 1 ) > 0 y pji(t2 ) > 0

6-17

6-18

Una cadena de Markov de tiempo continuo es irreducible si todos los estados forman una sola clase. Probabilidades de estado estable o estacionarias

Otra forma de ecuaciones j qj = i qij i j

para j = 1,2,..M

Lim pij (t) = j

t

j=0

j = 0

Las j satisfacen j = i pij (t)

i=0 M

para j = 1,2,..M y t 0
6-19

Ecuaciones de Balance

Tasa de salidas Tasa de entradas = de un estado a ese estado

6-20

Ejemplo Un taller opera con 2 mquinas idnticas que operan continuamente excepto cuando se descomponen.

Cuando se termina la reparacin el tiempo que transcurre hasta la siguiente descompostura se distribuye exponencial con media 1 da.
Nota: Las distribuciones son independientes

M1

M2
Definamos la variable aleatoria X(t) : Nmero de mquinas descompuestas en el tiempo t (los valores posibles de X(t) son 0,1,2)

El tiempo requerido para reparar una mquina tiene distribucin exponencial con media 1/2 de da
6-21

6-22

Cuando corremos el parmetro tde manera continua desde el tiempo cero, podemos hallar la evolucin en el tiempo del nmero de mquinas descompuestas. Proceso estocstico de tiempo continuo

Podemos usar las probabilidades de estado estable para hallar la distribucin de probabilidad de estado estable para el nmero de mquinas descompuestas.

= { X(t) ; t 0 } Debemos hallar para i,j = 0,1,2 qi : Tasa de transicin hacia fuera del estado i por unidad de tiempo que pasa en i qij : Tasa de transicin del estado i al j por unidad de tiempo que pasa en i
6-24

Cadena de Markov de tiempo continuo

Tiempo de reparacin y el tiempo hasta la siguiente descompostura tienen distribucin exponencial.

6-23

El estado (nmero de mquinas descompuestas) El tiempo esperado de reparacin es 1/2 de da Aumenta en 1 cuando ocurre una descompostura Disminuye en 1 cuando hay una reparacin La tasa a la que se terminan las reparaciones (cuando hay mquinas descompuestas) es 2 mquinas por da

Como las descomposturas y las reparaciones ocurren una a la vez

q02 = 0 q20 = 0
6-25

q21 = 2 Esto implica q10 = 2

6-26

El tiempo esperado hasta que se descompone una mquina es 1 da

La tasa a la que se descomponen las mquinas (cuando est operando) es 1 por da

q01 = 2
Descompostura

q12 = 1

0
Esto implica q12 = 1
Reparacin

Durante los tiempos en que las dos mquinas operan, las descomposturas ocurren a una tasa de 1+1=2 por da q01 = 2
6-27

q10 = 2

q21 = 2

6-28

Estas tasas de transicin se pueden usar para calcular la tasa de transicin total hacia fuera del estado q0 = q01 = 2 q1 = q10 + q12 = 3 q2 = q21 = 2

20 = 21 Ecuaciones de Balance 31 = 20 +22 22 = 1 0 + 1 + 2 = 1

(para el estado 0) (para el estado 1) (para el estado 2)

(Suma de probabilidades)

Cualquiera de estas ecuaciones se puede eliminar como redundante y obtendremos (0 , 1 , 2 ) = ( 2/5 , 2/5 , 1/5)
Ambas mquinas estarn descompuestas simultneamente el 20% del tiempo y una mquina estar descompuesta el 40%. Las dos estarn buenas el 40%
6-30

Ecuaciones de Balance

Tasa de salidas Tasa de entradas = de un estado a ese estado

6-29