Cadenas de Markov de tiempo Contnuo y Procesos de nacimiento y Muerte

Ejercicios resueltos

1.- Se tiene un sistema en dos niveles, en el primer nivel usuarios se conectan
a un sistema de apuestas computacionales. El nmero de personas que se
conectan sigue una distribucin de Poisson a tasa un/hr. Cada persona
mientras est conectada realiza apuestas a un segundo nivel. Cada persona
genera apuestas con distribucin exponencial a tasa de apuestas/hora. Las
personas conectadas permanecen un tiempo exponencial co tasa un/hr. Las
apuestas demoran en ser atendidas un tiempo exponencial a tasa un/hr.
Se pide
a) Distribucin de probabilidades del nmero de entidades en el nivel mas
alto
b) Distribucin conjunta de probabilidades del nmero de entidades en el
nivel mas bajo y el nmero de entidades en el nivel ms alto.

Desarrollo:
a) Nivel mas alto : El proceso
( ) { } 0 , : ( t t en conectados usuarios de n t X es un proceso de nacimiento
y muerte.
( )
( )
0 0 1
1
0
P P P

= = ;
( ) ( )
( ) ( )
0
2
0 2
* 2 1 * 2
0 * 1
P P P

= = ;
( ) ( ) ( )
( ) ( ) ( )
0
3
0 3
* 2 * 3 1 2 3
0 1 2
P P P

= =
Trmino general
0
!
1
P
n
P
n
n
|
|

\
|
=

; 0 > n
Obtencin de
0
P :

=
=
|
|

\
|
=
|
|

\
|
|

\
|
=
|
|

\
|
|
|

\
|
+ =

e e
n n n
P
n
n
n
n
1 1
0
1
1
0
1
!
1
!
1
1
Reemplazando
0
P en el trmino general:

|
|

\
|
= e
n
P
n
n
!
1
0 n
b) Sea ( ) bajo mas nivel el en apuestas n t Y :
( ) ( ) { }
( )
( )
{ } ( ) { } j t X P
j t X
k t Y
P k t Y j t X P =
=
=
= = = * ;
( )
( )
{ } ?? =
=
=
j t X
k t Y
P
La variable aleatoria
( )
( ) j t X
t Y
=
corresponde a un Proceso de Nacimiento
y Muerte

Tasa de nacimiento ( ) j k =
Tasa de muerte ( ) k k =
Usando la distribucin de probabilidades de la letra a
( )
( )
{ }
k j
j
k
e
j t X
k t Y
P
|

\
|
=
=
=

!
1

Reemplazando
( ) ( ) { }
j
k j
j
e
j
k
e k t Y j t X P
|
|

\
|
|

\
|
= = =

!
1
*
!
1
,

2.- En un club de veraneo las personas pasan el tiempo entrando y saliendo de
la piscina para capear el calor de la temporada de verano. Los baistas entran a
la piscina segn un Proceso de Poisson a tasa promedio de 4 personas por
minuto y permanecen en la piscina un tiempo exponencial con un tiempo medio
de permanencia de 10 minutos. Suponga que la piscina tiene capacidad infinita
para recibir a todas las personas que entren a ella.
Se pide :

a) Probabilidad de que la piscina est vaca.
b) Nmero medio de personas presentes en la piscina.
c) Tiempo medio de permanencia en la piscina

Desarrollo:
Sea ( ) t X :n de baistas presentes dentro de la piscina en el instante t.
( ) { } 0 , t t X es un Proceso de Nacimiento y Muerte
Tasas de nacimiento:
( ) 0 4 = j j personas/minuto
Tasas de muerte: Si cada persona permanece en promedio 10 minutos, la
tasa de salida de una persona es de 6 personas por hora, luego
( )

= 0
10
1
j j j
Calculo de las probabilidades
( )
( )
0 0 0 1
40
10
1
4
1
0
P P P P = = =

( )
( )
( )
0
2
1 1 2
40
2
1
40
2
1
2
1
P P P P = = =

( )
( )
( ) ( )
0
3
0
3
2 2 3
40
! 3
1
40
2
1
3
1
2
1
3
1
3
2
P P P P P = = = =

Trmino general
( ) 1 40
!
1
0
= n P
n
P
n
n

1
1
0
40
!
1
1

=
(

+ =

n
n
n
P
( )
40
1
0
0
!
40

=
=
(

=

e
n
P
n
n

0
!
40
40
=

n
n
e P
n
n
esta es una distribucin de Poisson con tasa media 40 .



b)
( ) ( )
( )
( ) ( )
( )


=

=

=

= = =
1
1
40
1
40
1
40
0
! 1
40 40
! 1
40
!
40
n
n
n
n n
n n
n
n
e
n n
n e
n
ne nP L

( )
( )

=
1
1
40
1
40
3
2
n
n
n
e L haciendo el cambio de variables 1 = n j
( )
40 40
!
40
40
40 40
0
40
= = =

e
j
e L
j
j


3.- Artculos a ser procesados llegan a dos procesos productivos 1 y 2, los que
comparten una zona de almacenamiento de materias primas llamada buffer, en
el cual se pueden almacenar a lo ms N artculos. Los artculos tipo 1 deben
ser procesados en el proceso 1 y los artculos tipo 2 en el proceso 2. La llegada
de artculos para ambos procesos siguen sendos procesos de Poisson con
tasas
1
y
2
respectivamente. Los tiempos de operacin de cada proceso
productivo son exponenciales con tasas
1
y
2
. Los artculos que llegan
cuando el buffer est completo, son derivados a otros talleres. Formule un
modelo que permita conocer, en el largo plazo, la proporcin de artculos
derivados a otros talleres.

Desarrollo:

Sea ( ) t X : nmero de artculos en el buffer y
( ) t X
1
: nmero de artculos tipo 1, en el buffer
( ) t X
2
: nmero de artculos tipo2, en el buffer

Es claro que ( ) ( ) ( ) t X t X t X
2 1
+ =

Sea p: proporcin de artculos que se derivan a otros talleres.

( ) ( ) ( ) ( ) ( ) ( ) ( ) k N t X k t X P N t X P N t X P p
N
k
= = = = > =

=
2 1
0
1 1

=
N
k
k N k
P P p
0
2 1
1
En que
1
k
P : probabilidad de que en el buffer hayan k artculos tipo 1 y

2
k N
P

: probabilidad de que en el buffer hayan N-k artculos.

En el largo plazo, suponiendo la existencia de un estado estacionario se tiene
que se cumple la ecuacin de equilibrio para las variables ( ) t X
1
y ( ) t X
2
, esto
es

=
j k
kj k k j j
P v P P v
Adems como los cambios de estado ocurren solo a los estados j y j+1, se tiene
que
( ) t X
1
y ( ) t X
2
corresponden a sendo procesos de Nacimiento y Muerte:

Ecuacin de equilibrio ( ) ( ) [ ] ( ) ( )
1 1
1 1
+
+ + = +
j j j
P j P j P j j

Tasa de nacimiento ( ) t X
1
: ( )

<
=
N X
N X
j
0
1

Tasa de Muerte ( ) t X
1
: ( )

=
=
1
0 0
1
j
j
j

Tasa de nacimiento ( ) t X
2
: ( )

<
=
N X
N X
j
0
2

Tasa de Muerte ( ) t X
2
: ( )

=
=
1
0 0
2
j
j
j

Entonces las probabilidades son :

( )
( )
1
0
1
1 1
0
1
1
1
0
P P P

= =
1
0
1
1 1
P P
n
n
|
|

\
|
=

( )
( )
1
0
1
1 1
1
1 1
1
1
1
P P P
N
N
P
N
N N N
|
|

\
|
= =

( )
( )
2
0
2
2 2
0
2
1
1
0
P P P

= =
2
0
2
2 2
P P
n
n
|
|

\
|
=

( )
( )
2
0
2
2 2
2
2 2
1
2
1
P P P
N
N
P
N
N N N
|
|

\
|
= =

1
1
1
1
1
0
1

=
(
(

\
|
+ =

N
k
k
P

1
1
2
2
2
0
1

=
(
(

\
|
+ =

N
k
k
P

Entonces reescribiendo p se tiene:

( ) ( ) ( )
k N
N
k
k
N
k
k N k
N
k
P P P P
k N t X k t X P p

= =

=
|

\
|
|

\
|
=
= = = =

2
2
0
1
1
2
0
1
0
0
2 1
2 1
0
1 1
1

4.- Suponga que a un Concierto de rock llegan personas en buses de acuerdo a
un proceso de Poisson a tasa . En la entrada hay una nica persona
atendiendo y le toma un tiempo exponencial controlar a cada persona con tasa
. Cada bus trae m personas con probabilidad Uniforme de parmetros a y b.
Formule un modelo de Cadenas de Markov de tiempo continuo que permita
analizar, en el largo plazo el nmero de personas esperando frente a la puerta.
Desarrollo:
Sea ( ) t X : nmero de personas esperando para entrar al concierto.
En el largo plazo, suponiendo la existencia de un estado estacionario se tiene
que se cumple la ecuacin de equilibrio para la variable ( ) t X , esto es

=
j k
kj k k j j
P v P P v
Adems como los cambios de estado ocurren solo a los estados j y j+1, se tiene
que ( ) t X corresponde a procesos de Nacimiento y Muerte:

Ecuacin de equilibrio ( ) ( ) [ ] ( ) ( )
1 1
1 1
+
+ + = +
j j j
P j P j P j j
Sea Y el nmero de personas que llegan en un bus.
( ) b a U Y , luego ( )
2
b a
Y E
+
=

Tasa de nacimiento ( ) t X : ( ) ( ) { Y E j =

Tasa de Muerte ( ) t X : ( )

=
=
1
0 0
j
j
j

Luego
( )
0
P
Y E
P
n
n
|

\
|
=

en que
( ) ( )
2
1 1
1
1
0
b a Y E
P
k
k
+
=
(
(

\
|
+ =

( ) ( )
( )


=

=
= |

\
|
= =
0
0 0
0 0
* * *
n
n
n
n n
n
n P P
Y E
n P n t X E

( )
2
0
1
*

= n
n
n
( ) ( )
( )
( )
( )
2
2
1
2
2
1
|

\
|
+

+
|

\
|
+
=

b a
b a
b a
t X E


5.- En una pequea oficina pblica atiende un solo funcionario a las personas
que realizan sus trmites. Las personas llagan a la oficina de acuerdo a un
proceso de Poisson a tasa . Las personas son reacias a esperar demasiado,
de modo que si hay j personas esperando ser atendidas, cuando llegan con
probabilidad ( ) j q se quedan (de lo contrario se van sin ser atendidos). Una vez
en la cola las personas esperan hasta que los atienden o hasta que se les
acaba la paciencia. Suponiendo que los clientes esperan un tiempo exponencial
con tasa . Los tiempos de espera de las personas son independientes entre
si. El cajero atiende con tiempos de servicio exponenciales a tasa . Modele el
nmero de personas en la cola como un proceso de nacimiento y muerte,
determinando las tasas y las probabilidades de la variable de estado..
Desarrollo:
Sea ( ) t X el nmero de personas en la cola de espera.
Llegadas (correspondern a nacimientos):
Las personas que llegan a la cola de espera lo hacen con distribucin de
Poisson a tasa ( ) j q
Salidas (correspondern a muertes):
Las personas salen atendidas con distribucin de Poisson a tasa o por
impaciencia con distribucin tambin de Poisson a tasa .
Luego se puede suponer que la variable ( ) t X se comporta como una Cadena
de Markov de tiempo continuo.
Por lo tanto las probabilidades de transicin se rigen por la ecuacin siguiente:
( ) ( ) ( ) t P v P v t P t P
dt
d
ij j kj k
j k
ik ij
=

En que
k
v es la tasa de salida del estado k y
j
v la tasa de salida del estado j.
Se puede suponer que existe distribucin estacionaria, de largo plazo, basta
exigir que las tasas de muerte sean mayores que las tasas de nacimiento. Cosa
que haremos mas adelante.
Entonces si existe distribucin estacionarias, ahora las probabilidades de
transicin no dependen del tiempo ni del estado inicial, luego :
( )
j ij
P t P
Adems las probabilidades de transicin dejan de cambiar en el tiempo luego:
( ) 0 = t P
dt
d
ij

Con esto la ecuacin anterior se transforma en :

=
j k
kj k k j j
P P v P v ecuacin de equilibrio en Cadenas de Markov de
tiempo continuo.
Mas especficamente se puede ver que los cambios de la variable ( ) t X son a
estados contiguos. Por ejemplo si ( ) j t X = entonces los cambios inmediatos
sern a 1 + j y 1 j . Luego se puede modelar ( ) t X como un Proceso de
Nacimiento y Muerte ya que los cambios son a estados contiguos.
Luego se pueden aplicar directamente las probabilidades de estado
desarrolladas en clases, basta definir adecuadamente las tasas.
Tasas de nacimiento : ( ) ( ) j q j =
Tasas de muerte : ( )

> +
=
=
0
0 0
j j
j
j


( )
( )
( )
0 0 1
0
1
0
P
q
P P

+
= =
( )
( )
( ) ( ) ( )
0 1 1 2
0
2
1
2
1
2
1
P
q q
P
q
P P

+ +
=
+
= =
Termino general :
( )
1
0
1
0

+
=

=
n P
j
j q
P
n
j
n
n


En que
( )
1
01
1
0
0
1

=
(
(

+
+ =

n
n
j
j
j q
P







Ejercicios propuestos
1.- Se tiene un sistema de apuestas electrnicas en lnea, en el cual los
usuarios se conectan en forma remota. Sea ( ) t X el nmero de personas
conectadas al sistema en el instante t. El nmero de personas que se conectan
sigue una distribucin de Poisson a tasa un/hr. Las personas conectadas
permanecen un tiempo exponencial con tasa un./hr. Obtenga la distribucin
de probabilidades del nmero de personas en el sistema.