Cadenas de Markov

Clasificacin de estados
Tiempo esperado de primera pasada
Probabilidades de estado estable
Probabilidades de absorcin
2
Clasificacin de estados
Definiciones:
Accesible
El estado j es accesible desde i si
P
ij
(n)
> 0, para algn n>=0

Comunicados
Si el estado j es accesible desde i,
y el estado i es accesible desde j,
entonces i y j se comunican

3
Clasificacin de estados

Como resultado de la propiedad de
comunicacin, los estados se pueden
particionar en clases ajenas

Un solo estado puede conformar una
clase
4
Clasificacin de estados
Si dos estados se comunican,
pertenecen a la misma clase

Si todos los estados pertenecen a la
misma clase, y existe solo una
clase, entonces la cadena es
irreducible

5
f
ii
= probabilidad de que el proceso
regrese al estado i, dado que comienza
en el estado i.

Estado recurrente: S f
ii
(n)
= 1, para n
desde 1 hasta infinito
Estado transitorio: S f
ii
(n)
< 1, para n
desde 1 hasta infinito
Estado absorbente: p
ii
= 1

Clasificacin de estados
6
0
1
2
4
Ejercicio
P
10
= 0.5
P
21
= 0.1
P
12
= 0.5
P
24
= 0.5
P
02
= 0.4
P
44
= 1
P
00
= 0.6
7
Ejercicio
0
1
2
P
11
= 0.3
P
00
= 0.8

P
01
= 0.2

P
12
= 0.3

P
10
= 0.4

P
22
= 1.0

8
Periodicidad
Se dice que un estado i tiene un
periodo t (t>1) si P
ii
(n)
= 0, siempre
que n no sea divisible por t, y t es el
entero ms grande con esta
propiedad
9
Ejemplo
El estado1 y el estado 2 tienen
periodo 2
0
1
P
01
= 1.0

P
10
= 1.0

10
Periodicidad
Si existen dos nmeros
consecutivos S y S+1, tales que el
proceso pueda encontrase en el
estado i en los tiempo S y S+1, se
dice que el estado tiene periodo 1, y
se llama aperidico
Si el estado i en una clase es
aperidico, todos los estados de la
clase son aperidicos.
11
Ejemplo
El estado 0 y 1 conforman una clase
El estado 0 es aperidico
El estado 1 es aperidico
0
1
P
00
= 0.8

P
01
= 0.2

P
10
= 1.0

12
Tiempos de primera pasada
El nmero de transiciones que hace
el proceso al ir de un estado i a un
estado j por primera vez, es el
tiempo de primera pasada

Cuando j = i, se habla de tiempo de
recurrencia para el estado i
13
Ejercicio
Suponga un sistema que da cuenta del
nmero de unidades de un producto en
inventario para un da determinado
Considere que:
X
0
=3, X
1
=2, X
2
=0, X
3
=0, X
4
=3, X
5
=1
Determine el tiempo necesario para ir
desde el estado con cero unidades al
mismo estado; y el tiempo para ir del
estado 3 al estado 1 por primera vez.
14
Sea m
ij
el tiempo esperado de primera
pasada del estado i al estado j,
definida por:

m
ij
= infinito, si S f
ii
(n)
< 1

m
ij
= S n * f
ii
(n)
, si S f
ii
(n)
= 1


Tiempo esperado de primera pasada
15
Cuando S f
ii
(n)
= 1, se satisface la
ecuacin:

m
ij
= 1 + S { p
ik
* m
kj
}
donde la sumatoria vara para todo
k distinto de j

Cuando i = j, m
ij
se llama tiempo
esperado de recurrencia
Tiempo esperado de primera pasada
16
Ejercicio
Para la matriz P, determine los tiempo
esperados de primera pasada m
30
, m
20
,
m
10


0.080 0.184 0.368 0.368
P = 0.632 0.368 0 0
0.264 0.368 0.368 0
0.080 0.184 0.368 0.368
17
Clasificacin de estados
Si m
ii
= infinito, el estado recurrente
se llama estado recurrente nulo

Si m
ii
< infinito, el estado recurrente
se llama estado recurrente positivo
18
Clasificacin de estados
En una cadena de Markov de estado
finito, los miembros de una clase
son todos transitorios o recurrentes
positivos, no existen estado
recurrentes nulos
Los estados recurrentes positivos
que son aperidicos, se llaman
ergdicos
19
Probabilidades de Estado Estable
Despus de un nmero grande de
transiciones existe una probabilidad
lmite de que el sistema se
encuentra en el estado j,
independiente del estado inicial
20
Probabilidades de Estado Estable
Para una cadena de Markov
irreducible, ergdica, el lim p
ij

(n)

existe y es independiente de i
o

Es decir:
lim p
ij

(n)
= p
j
> 0
n infinito

21
Si existe el lmite anterior, entonces p
j

satisfacen de manera nica las siguientes
ecuaciones de estado estable:

1. p
j
= S p
i *
p
ij
para j = 0, 1, , M
y la sumatoria variando de i = 0, 1, , M

2. S p
j
= 1 con y la sumatoria
variando de i = 0, 1, , M


Probabilidades de Estado Estable
22
Probabilidades de Estado Estable
La probabilidad de estado estable p
j

son iguales al inverso del tiempo
esperado de recurrencia, es decir:

p
i
= 1 / m
ii
23
Comentarios
Si i y j son estados recurrentes que
pertenecen a clases distintas,
entonces:
P
ij
(n)
= 0 para todo n

o Si j es un estado transitorio,
entonces:
lim P
ij

(n)
= 0 para todo i, y
n tendiendo al
infinito

24
Ejercicio
Para la matriz P, determine la
probabilidad que el sistema est en el
estado 1 en el estado 2

0.080 0.184 0.368 0.368
P = 0.632 0.368 0 0
0.264 0.368 0.368 0
0.080 0.184 0.368 0.368
25
Estados Absorbentes
Si k es un estado absorbente, y el
proceso comienza en el estado i, la
probabilidad de llegar en algn
momento a k se llama probabilidad
de absorcin

Notacin: f
ik


26
Si el estado k es un estado
absorbente, entonces el conjunto de
probabilidades de absorcin f
ik

satisfacen las ecuaciones:

f
ik
= S p
ij
* f
jk
para todo i = 0, 1,
, M; y la sumatoria variando de j
= 0 hasta M
Estados Absorbentes
27
Las ecuaciones anteriores estn
sujetas a:


f
kk
= 1

f
ik
= 0, si el estado i es recurrente,
y adems i es distinto de k

Estados Absorbentes
28
Ejercicio
Para la matriz P, determine f
02
y
f
32


1 0 0 0
P = 0.7 0.2 0.1 0
0.5 0.1 0.2 0.2
0 0 1 0
29
Ejercicio
Para la matriz P, determine f
02
;
f
23
y f
10


1 0 0 0
P = 0.7 0.2 0.1 0
0.5 0.1 0.2 0.2
0 0 0 1