14.7.

Estados
Absorbentes

El estado k se llama estado absorbente si
pkk= 1, de manera que cada vez que la cadena
llegue al estado k permanece ah para
siempre.

Si k es un estado absorbente y el proceso
comienza en el estado i, la probabilidad de
llegar en algn momento a k se llama
probabilidad de absorcin al estado k dado
que el sistema comenz en i
Si el estado k es absorbente, entonces el
conjunto e probabilidades de absorcin fik
satisface el sistema de ecuaciones
=

=0

Para i= 0,1,M
fik
Pijfjk,
Sujeta a las condiciones
fkk=1,
fik=0, si el estado i es recurrente e i k
Una caminata aleatoria es una cadena de
Markov con la probabilidad de que, si el
sistema se encuentra en el estado i, entonces
es un sola transicin, o bien permanecer en
i o se mover a uno de los estados
inmediatamente adyacente a i
Ejemplo:
Considere un ejemplo sobre juegos, considere
que dos jugadores con $2 cada uno, aceptan
seguir jugando y apostando $1 cada vez hasta
que unos de ellos quiebre. El numero de
dlares que tiene el jugador A antes de cada
apuesta (0, 1, 2, 3 o 4) proporciona los estados
de una cadena de Markov con matriz de
transicin
1 0 0 0 0
1-p 0 P 0 0
0 1.p 0 P 0
0 0 1-p 0 P
0 0 0 0 1
P=
P= probabilidad de que A gane una jugada.
La probabilidad de absorcin al estado 0 (A pierde todo su
dinero) se puede obtener a partir del sistema de
ecuaciones anterior.

1
0
=

1
=

0
=0

Se puede demostrar que estas ecuaciones
dan como resultado otras expresiones (para
M general en lugar de M=4 como en esta
ejemplo.
=
1

Para i= 0,1,M
Para p 1
2
=
1

Para p =1
2
Donde 1-p = (1-p)/p
Para M =4, 1=2 y p= 2/3, la probabilidad de que A
quiebre esta dada por

20
= 1
1
2
1
4
=
1
5
,
Y la probabilidad de que A gane $4 (B quiebre) esta
dada por

2
= 1
20
=
4
5

Considere una tienda departamental que clasifica el
saldo de la cuenta de un cliente como

Pagada (estado 0 ),
1 a 30 das de retraso (estado 1),
31 a 60 das de retraso (estado 2) o
mala deuda (estado 3).

Las cuentas se revisan cada mes y se determina el
estado de cada cliente. En general los crditos no se
extienden y se espera que los clientes paguen sus
cuentas dentro de 30 das.
En ocasiones, los clientes pagan solo una parte de
sus cuenta. Si esto curre cuando el saldo queda
dentro de los 30 das de retraso (estado 1), la tienda
ve a ese cliente como uno que permanece en el
estado 1. si esto ocurre cuando el saldo esta entre 31
y 60 das de retraso, la tienda considera que le
cliente se mueve al estado 1 (1 a 30 das de retraso).
Los clientes que tienen mas de 60 das de retraso se
clasifican en la categora de una mala deuda (estado
3); luego, las cuentas se mandan a una agencia de
cobro.
Estado

Estado
0: cuenta
pagada
1: 1-30 dias
de retraso

2:31-60 dias
de retraso

3: mala
deuda

0: cuenta
pagada
1 0 0 0
1: 1-30 dias de
retraso
0.7 0.2 0.1 0
2:31-60 dias
de retraso
0.5 0.1 0.2 0.2
3: mala deuda 0 0 0 1
Despus de examinar los datos de aos pasados,
la tienda ha desarrollado la siguiente matriz de
transicin:

13
=
10

03
+
11

13
+
12

23
+
13

33

23
=
20

03
+
21

13
+
22

23
+
23

33

Con
03
=0 y
33
=1, ahora se tienen dos ecuaciones
con dos incgnitas, a saber,

(1
11
)
13
=
13
+
12

23,

(1
22
)
23
=
23
+
21

13,

Al sustituir los valores de matriz de transicin se llega a
0.8
13
= 0.1
23,

0.8
23
= 0.2 +0.1
13,

Y la solucin es

13
= 0.032

13
= 0.254
Conclusin:

Entonces aproximadamente 3% de los clientes
cuyas cuentas tienen 1 a 30 das de retraso
acaban por ser una mala deuda mientras que el
25% de los clientes cuyas deudas tiene de 31 a
60 das de retraso llegan a la misma categora.
14.8. Cadenas de
Markov de tiempo
continuo
Existen ciertos casos ( como en algunos modelos de
lneas de espera) en los que se requiere un
parmetro (llamado t) de tiempo continuo, debido a
que la evolucin de un proceso se esta observando
de manera continua a travs del tiempo.

Un proceso estocstico de tiempo continuo
{X(t);t 0} es una cadena de Markov de tiempo
continuo si tiene la propiedad markoviana

se estudiaran las cadenas de Markov de tiempo
continuo con las siguientes propiedades.
1. Un numero finito de estados
2. Probabilidades de transicin estacionarias
Algunas variables aleatorias importantes

Cada vez que el proceso entra e el estado i , la cantidad de
tiempo que pasa en ese estado antes de moverse a un estado
diferente, es una variable aleatoria T donde i= 0, 1, M

La distribucin exponencial posee la propiedad de que la
distribucin de probabilidad de tiempo que falta para que el
proceso haga una transicin fuera de un estado dado siempre
es la misma, independientemente de cuanto tiempo haya
pasado el proceso en ese estado.

Tiene solo un parmetro, llmese q, donde la media es 1/q y la
funcin de distribucin acumulada es

P{

} =

para t 0



Este resultado lleva a una forma equivalente de
definir un cadena de Markov de tiempo continuo.
1. La variable aleatoria

tiene una distribucin

exponencial con media 1/q.
2. Cuando sale de un estado i, el proceso se mueve a
otro estado j, como probabilidades

, en donde
satisface las condiciones

=0 para toda i,
Y

= 1

=0
para toda i,

3. El siguiente estado que se visita despus del
estado i es independiente del tiempo que paso en
estado i.
las intensidades de transicin son.

(0) = lim
0
1

()

(0) = lim
0

()

para i= 0, 1, M
para j
donde

es la funcin de probabilidad de transicin de

tiempo continuo

Probabilidades de estado estable.


Para cualesquiera estados i y j y nmeros no negativos t y s
(0 s 0),

() =

=1
(s)

(t-s).
se dice que un par de estados i y j se comunican si existe
tiempos
1

2
tales que

(
1
)>0 y

(
2
)>0. se dice que
todos los estados que se comunican forman una clase. Si
todos los estados cadena forman una sola clase, es decir, si la
cadena de Markov es irreducible, entonces

(t)>0 para toda t>0 y todos los estados i y j

Mas aun,

lim

Siempre existe y es independiente del estado
inicial de la cadena de Markov, para j= 0, 1, M.
estas propiedades limitantes se conocen como las
probabilidades de estado estable de la cadena de
Markov.
Las

satisfacen las ecuaciones

=0
para toda j=0, 1, M y
para toda t 0.

Las siguientes ecuaciones de estado estable
proporcionan un sistema de ecuaciones tiles
para obtener la probabilidad del estado estable.

para j=0, 1, , M

Ejemplo.

Un taller tiene dos maquinas idnticas que operan
continuamente excepto cuando se descomponen. Como lo
hacen con bastante frecuencia, la tarea con mas alta prioridad
para las personas de mantenimiento que trabajan tiempo
completo, es repararla cuando lo necesiten.

El tiempo requerido para reparara una maquina tiene
distribucin exponencial como media de medio da. Una vez
que se termina la reparacin, el tiempo que transcurre hasta la
siguiente descompostura tiene distribucin exponencial con
media de 1 da. Estas distribuciones son independientes
Defina la variable aleatoria X(t) como
X(t)= numero de maquinas descompuestas en el tiempo t.








Tasas de transicin total hacia afuera de cada estado.

0
=
01
=2

1
=
10
+
12
= 3

2
=
21
=2
Sustituyendo todas las tasas en la ecuaciones de estado
estable dadas se obtiene.
Ecuacin de balance para el estado 0: 2
0
= 2
1

Ecuacin de balance para el estado 1: 3
0
= 2
0
+2
2

Ecuacin de balance para el estado 2: 2
2
=
1

Las probabilidades suman 1:
0
+
1
+
2
= 1

Cualquiera de las ecuaciones de balance se puede
eliminar como redundante, y la solucion simultanea de las
ecuaciones restantes da la distribucion del estado estable
como
(
0
,
1
,
2
)=(
2
5
,
2
5
,
1
5
)
Entonces, ambas maquinas estarn
descompuestas simultneamente 20% del
tiempo y estar descompuesta una
maquina otro 40%