Está en la página 1de 23

Facultad de Ingeniera

Escuela de Industrias
Ingeniera Civil Industrial

ICI2212 Modelos Estocsticos


Profesor Claudio C. Araya Sassi

Unidad 6: Cadenas de Markov en Tiempo Continuo

Curso Perodo Verano, Enero de 2015

Cadenas de Markov en Tiempo Continuo


En la unidad anterior se supuso que el parmetro t del tiempo es
discreto (es decir, t = 0, 1, 2, . . .).
Este supuesto es adecuado para muchos problemas, pero existen ciertos
casos en los que se requiere un parmetro (llamado t) de tiempo
continuo, debido a que la evolucin del proceso se observa de manera
continua a travs del tiempo.
La definicin de cadena de Markov que se dio en la unidad anterior
tambin se extiende a esos procesos continuos.

Profesor MSc. Claudio Araya Sassi

Formulacin
Se etiquetan los estados posibles del sistema 0, 1, . . ., M.
Si se comienza en el tiempo 0 y se deja que el parmetro de tiempo t
corra de manera continua para 0, sea la variable aleatoria ( ) el
estado del sistema en el tiempo .
Entonces ( ) toma uno de sus (M + 1) valores posibles en un intervalo,
< despus salta a otro valor en el siguiente intervalo
< y as sucesivamente, donde los puntos de trnsito (1 , 2 . .
.) son puntos aleatorios en el tiempo (no necesariamente enteros).
Ahora considere los tres puntos en el tiempo:

1) = 0
2) = >
3) = + > 0 ,
Profesor MSc. Claudio Araya Sassi

Formulacin
Por lo tanto, el estado del sistema se ha observado en los tiempos t= s y
t= r. Estos estados se etiquetan como
=

= ()

Dada esta informacin, el paso natural es buscar la distribucin de


probabilidad del estado del sistema en el tiempo t= s + t. En otras
palabras, cul es la probabilidad
+ = = = () ,
Un proceso estocstico de tiempo continuo
propiedad markoviana si

= 0, 1, . . ,
; 0

tiene la

+ = = = () = + = =
, = 0, 1, . . , 0, > > 0
Profesor MSc. Claudio Araya Sassi

Formulacin
Observe que + = = es una probabilidad de
transicin, igual que las probabilidades de transicin de las cadenas de
Markov de tiempos discretos, donde la nica diferencia es que ahora no
es necesario que t sea entero.
Probabilidades de transicin estacionarias
Si las probabilidades de transicin son independientes de s, de manera
que
+ = = = = 0 = ,

>0

Funcin de probabilidad de transicin de tiempo continuo


() = = 0 =
lim
0

1,
=
0,

Un proceso estocstico de tiempo continuo ; 0 es una


cadena de Markov de tiempo continuo si presenta la propiedad
markoviana.
Profesor MSc. Claudio Araya Sassi
5

Algunas variables aleatorias importantes


Cada vez que el proceso entra en el estado i, la cantidad de tiempo que
pasa en ese estado antes de moverse a uno diferente es una variable
aleatoria , donde = 0, 1, . . ,
Suponga que el proceso entra en el estado en el tiempo = .
Entonces, para cualquier cantidad de tiempo fijo > 0, observe que
> si y solo si = para toda en el intervalo + .
Por lo tanto, la propiedad markoviana (con probabilidades de transicin
estacionarias) implica que
> + > = >
Dice que la distribucin de probabilidad del tiempo que falta para que el
proceso haga una transicin fuera de un estado dado siempre es la
misma, independientemente de cunto tiempo haya pasado el proceso
en ese estado.
Profesor MSc. Claudio Araya Sassi

Algunas variables aleatorias importantes


En efecto, la variable aleatoria no tiene memoria; el proceso olvida su
historia.
Existe slo una distribucin de probabilidad (continua) que posee esta
propiedad, la distribucin exponencial.
Esta distribucin tiene un solo parmetro, llmese q, donde la media es
1/q y la funcin de distribucin acumulada es
= 1 ,

Profesor MSc. Claudio Araya Sassi

Algunas variables aleatorias importantes


Este resultado conduce a una forma equivalente para describir una cadena
de Markov de tiempo continuo:
1.

La variable aleatoria tiene una distribucin exponencial con media 1/ .

2.

Cuando sale de un estado , el proceso se mueve a otro estado , con


probabilidad , donde satisface las condiciones
= 0

= 1

=0

3.

El siguiente estado que se visita despus del estado i es independiente del


tiempo que pas en el estado i.
Profesor MSc. Claudio Araya Sassi

Algunas variables aleatorias importantes


Intensidades de transicin

Papel anlogo a las probabilidades de transicin de un paso de una cadena de


Markov de tiempos discretos.
=

1 ()
0 = lim
,
0

()

= 0 = lim
= ,
0

= 0, 1, 2, ,

Donde
() es la funcin de probabilidad de transicin de tiempo continuo
es la probabilidad descrita en la propiedad 2 de la diapositiva anterior
parmetro de la distribucin exponencial de

Profesor MSc. Claudio Araya Sassi

Algunas variables aleatorias importantes


Intensidades de transicin
La interpretacin intuitiva de y es que son tasas de transicin.
En particular, es la tasa de transicin hacia fuera del estado i en el
sentido de que es el numero esperado de veces que el proceso deja el
estado i por unidad de tiempo que pasa en el estado i.
De esta forma, es el reciproco del tiempo esperado que el proceso pasa
en el estado i por cada visita al estado i; es decir,
= 1/[ ]
De manera similar, es la tasa de transicin del estado i al estado j en el
sentido de que es el numero esperado de veces que el proceso transita
del estado i al estado j por unidad de tiempo que pasa en el estado i. As,
=

Profesor MSc. Claudio Araya Sassi

10

Algunas variables aleatorias importantes


Intensidades de transicin
es el parmetro de una distribucin exponencial de una variable
aleatoria relacionada

Cada vez que el proceso entra al estado i, la cantidad de tiempo que


pasara en el estado i antes de que ocurra una transicin al estado j (si no
ocurre antes una transicin a algn otro estado) es una variable aleatoria
, donde , = 0, 1, , .
Las son variables aleatorias independientes, donde cada tiene una
distribucin exponencial con parmetro , de manera que:
= 1/
El tiempo que pasa en el estado i hasta que ocurre una transicin ( ) es
el mnimo (sobre ) de las .
Cuando ocurre la transicin, la probabilidad de que sea al estado j es
= /
Profesor MSc. Claudio Araya Sassi

11

Probabilidades de estado estable


Ecuaciones de Chapman-Kolmogorov
Para cualesquiera estados i y j, y nmeros no negativos (0 ),

() ( )
=1

Se dice que un par de estados i y j se comunican si existen tiempos 1 2


tales que 1 > 0 2 > 0.

Se dice que todos los estados que se comunican forman una clase.
Si todos los estados de una cadena forman una sola clase, es decir, la
cadena de Markov es irreducible.

Profesor MSc. Claudio Araya Sassi

12

Probabilidades de estado estable


Probabilidades de estado estable
Si la cadena de Markov es irreducible, entonces,
> 0,

> 0

lim =

Siempre existe y es independiente del estado inicial de la cadena de


Markov, para j = 0, 1, . . ., M.
Las satisfacen las ecuaciones

Profesor MSc. Claudio Araya Sassi

13

Probabilidades de estado estable


Probabilidades de estado estable
Sin embargo, las siguientes ecuaciones de estado estable proporcionan
un sistema de ecuaciones mas til para obtener las probabilidades de
estado estable:
tasa a la que el proceso
entra al estado j desde
cualquier otro estado

tasa a la que el
proceso deja el
estado j

= 0, 1, . , .

= 1
=0

es la probabilidad (estable) de que el proceso est en el estado j


es la tasa de transicin hacia fuera de j dado que el proceso se encuentra
en el estado j.
es la tasa de transicin del estado i al j dado que el proceso se encuentra
Profesor MSc. Claudio Araya Sassi
en el estado i.

14

Ejemplo 1
Un taller tiene dos maquinas idnticas en operacin continua excepto cuando
se descomponen. Como lo hacen con bastante frecuencia, la tarea con mas
alta prioridad para la persona de mantenimiento que trabaja tiempo
completo es repararlas cuando sea necesario. El tiempo que se requiere para
reparar una maquina tiene distribucin exponencial con media de 1/2 da.
Una vez que se termina la reparacin, el tiempo que transcurre hasta la
siguiente descompostura tiene distribucin exponencial con media de un da.
Estas distribuciones son independientes.
Defina la variable aleatoria X(t) como
X(t) = nmero de maquinas descompuestas en el tiempo t,
El estado (numero de maquinas descompuestas) aumenta en 1 cuando
ocurre una descompostura y disminuye en 1 cuando se termina una
reparacin.

Profesor MSc. Claudio Araya Sassi

15

Ejemplo 1
Como tanto las descomposturas como las reparaciones ocurren una a la
vez,
02 = 0
20 = 0
El tiempo esperado de reparacin es de 1/2 da, de manera que la tasa a
la que se terminan las reparaciones (cuando hay maquinas
descompuestas) es 2 por da, lo que implica que 21 = 2 10 = 2 .
De manera similar, el tiempo esperado hasta que se descompone una
maquina en operacin es de un da, de manera que la tasa a la que se
descompone (cuando esta en operacin) es de uno por da; esto implica
que 12 = 1 .
Durante los tiempos en los que las dos maquinas operan, las
descomposturas ocurren a una tasa de 1+1 = 2 por da, por lo que
01 = 2.
=

Profesor MSc. Claudio Araya Sassi

16

Ejemplo 1
Probabilidades de estado estable

= 0, 1, . , .

= 1
=0

Profesor MSc. Claudio Araya Sassi

17

Ejemplo 1
Diagrama de tasas

Profesor MSc. Claudio Araya Sassi

18

Ejemplo 2
Suponga que ahora se agrega al taller una tercera mquina, idntica a las
dos primeras. La persona de mantenimiento debe atender todas las
mquinas.
02 = 20 = 03 = 30 = 13 = 31 = 0

21 = 10 = 32 = 2

12 = 2

01 = 3

23 = 1
=

0 = 01 + 02 + 03 = 3

0 = 01 = 3

1 = 10 + 12 + 13 = 4

1 = 10 + 12 = 4

2 = 20 + 21 + 23 = 3

2 = 21 + 23 = 3

3 = 30 + 31 + 32 = 2

3 = 32 = 2

Profesor MSc. Claudio Araya Sassi

19

Ejemplo 2
Diagrama de tasas

q01 3

q12 2

1
q10 2

q23 1

2
q21 2

Profesor MSc. Claudio Araya Sassi

3
q32 2

20

Ejemplo 2
Ecuaciones de estado estable
=

= 0, 1, ,

= 1
=0

=0

0 0 = 10 1

=1

1 1 = 01 0 + 21 2

=2

2 2 = 12 1 + 32 3
=3

3 3 = 23 2

0 + 1 + 2 + 3 = 1
Profesor MSc. Claudio Araya Sassi

21

Ejemplo 2
Ecuaciones de estado estable
30 = 21
41 = 30 + 22
32 = 21 + 23
23 = 2
0 + 1 + 2 + 3 = 1
De (1) se tiene:
De (2) se tiene:
4

1
2
3
(4)
(5)

3
1 = 0
2
3
= 3 + 22
2

De (4) se tiene:

3
2 = 0
2

1
1 3
3
3 = 2 3 =
= 0
2
2 2 0
4
Profesor MSc. Claudio Araya Sassi

22

Ejemplo 2
Ecuaciones de estado estable
Reemplazando en (5) se tiene:
0 +

3
3
3
0 + 0 + 0 = 1
2
2
4

4+6+6+3
0 = 1
4

19
=1
4 0
0 =
1 =

3 4
6

=
2 19 19

2 =
3 =

4
19

6
19

3 4
3

=
4 19 19

Profesor MSc. Claudio Araya Sassi

23