Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Cap3 - Markov Parte 2
Cap3 - Markov Parte 2
=
=
+
,
) (
Observaciones:
Con este teorema, se afirma que la probabilidad de
transitar de i hasta j en n pasos es el elemento (i,j) de Q
n
.
Dra. Norka Bedregal Alpaca
Si el resultado del teorema se combina con la identidad
matricial Q
n+m
= Q
n
Q
m
, se obtiene:
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Ecuaciones de Chapman-Kolmogorov
=
+
k
m
kj
n
ik
m n
ij
q q q
) ( ) ( ) (
Una transicin desde i hasta j en n+m pasos puede
lograrse moviendose desde i hasta un punto intermedio k
en n pasos (con prob q
(n)
i,k
) y despus, dado que el
proceso est en el estado k (la propiedad de Markov
permite que seamos indeferentes a la ruta recorrida),
moverse hasta el estado j en m pasos (con prob q
(m)
k,j
).
Luego, deben considerarse todas las opciones posibles
para el punto intermedio.
Dra. Norka Bedregal Alpaca
Para determinar cul es la probabilidad de que el
sistema se encuentre en el estado j en el tiempo n?,
considere a
t
= (a
0
, a
1
,...,a
m
) la distribucin inicial de la
Cadena de Markov (con m estados) , entonces:
P{X
n
= j}= elemento j del vector a
t
Q
n
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Ecuaciones de Chapman-Kolmogorov
Ejemplo:
Considrese el ejemplo de las migraciones, y suponga que
al inicio de la investigacin, el 35% de la poblacin viva
en reas urbanas, el 45% en rea suburbana, y el resto
en rea rural.
Dra. Norka Bedregal Alpaca
a) Si inicialmente una familia vive en un rea rural,
cul es la probabilidad de que tres aos despus esta
familia viva en un rea urbana?
b) Cual es la probabilidad de que tres aos despus de
iniciada la investigacin una familia viva en el rea
urbana?
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Ecuaciones de Chapman-Kolmogorov
|
|
|
.
|
\
|
=
90 , 0 06 , 0 04 , 0
04 , 0 90 , 0 06 , 0
05 , 0 15 , 0 80 , 0
rural
surb
urb
Q
rural surb urb
Se tiene que la matriz de transicin es:
Dra. Norka Bedregal Alpaca
Calculando la matriz Q
3
, se obtiene:
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Ecuaciones de Chapman-Kolmogorov
|
|
|
.
|
\
|
=
7411 , 0 1622 , 0 0967 , 0
1055 , 0 7593 , 0 1352 , 0
1248 , 0 3353 , 0 5399 , 0
3
Q
a) 0,0967
b) 0,2691
Adems, las probabilidades iniciales dan:
) 20 , 0 45 , 0 35 , 0 ( =
t
a
Con lo cual, se obtienen las respuestas a las
interrogantes:
Dra. Norka Bedregal Alpaca
Ejemplo
Considere el problema de enviar un mensaje binario a
travs de un canal de seal que consta de tres etapas
La transmisin en cada una de las etapas est sujeta a una
probabilidad de error fija de 0.01
Suponga que se enva X
0
= 0 y que X
n
es la seal que se
recibe en la n-sima etapa.
Asuma que X
n
es una cadena de Markov
Obtenga:
a) La matriz de transicin de X
n
b) La probabilidad de que el mensaje llegue sin errores
hasta la segunda etapa: P(X
0
= 0, X
1
= 0, X
2
= 0)
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Ecuaciones de Chapman-Kolmogorov
Dra. Norka Bedregal Alpaca
La matriz de transicin estar dada por:
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Ecuaciones de Chapman-Kolmogorov
Seal recibida en la etapa n+1
Q 0 1
Seal recibida
en la etapa n
0 0.99 0.01
1 0.01 0.99
Al calcular la potencia 2 de esta matriz se tiene:
Seal recibida en la etapa n+2
Q 0 1
Seal recibida
en la etapa n
0 0.9802 0.0198
1 0.0198 0.9802
Probabilidad de que el mensaje
llegue sin error a la segunda etapa
Dra. Norka Bedregal Alpaca
Estado Alcanzable:
El estado j es alcanzable desde el estado i si existe n > 0
tal que:
q
(n)
i,j
> 0
es decir si es posible que el proceso llegue al estado j
desde el estado i.
Se denota i j.
Esto significa que existe una sucesin de arcos (camino)
en el DT (diagrama de transicin) que van desde i hasta
j.
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Dra. Norka Bedregal Alpaca
Estados comunicantes:
Los estados i, j se comunican si ij.
Observacin:
La relacin es una relacin de equivalencia
(reflexiva, simtrica y transitiva).
Luego permite dividir el conjunto de estados en clases de
equivalencia
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Dra. Norka Bedregal Alpaca
Los estados {a,b,c} se comunican y forman una clase de
equivalencia. El estado {d} es otra clase de equivalencia.
Cadena de Markov Irreducible:
Cuando una cadena de Markov tiene slo una clase de
equivalencia, se dice que es irreducible
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Ejemplo:
Considere una cadena de Markov con matriz de
transicin:
|
|
|
|
|
.
|
\
|
=
1 0 0 0
0 1 , 0 5 , 0 4 , 0
1 , 0 9 , 0 0 0
0 0 8 , 0 2 , 0
Q
Dra. Norka Bedregal Alpaca
Ejemplo Estado Absorbente:
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Estado Absorbente:
Un estado jeS es absorbente si y slo si q
jj
=1.
En el DT:
j
1
Considere la cadena de Markov definida por la siguiente
matriz, identifique los estados absorventes
Estado n+1
Q 0 1 2 3
Estado n
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
El estado 0 y el estado 2 son absorbentes, ya que una
vez entrando en alguno de ellos, el sistema no vuelve a
salir
Esto ocurre porque la probabilidad de pasar al estado
0 dado que se encuentra en el estado 0 es igual a 1
Anlogamente ocurre para el estado 2
Analizando la matriz
Estado n+1
Q 0 1 2 3
Estado n
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3
Dra. Norka Bedregal Alpaca
Ejemplo Estado Absorbente
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
0
2 3
1
1
0.10
0.10
1
0.25
0.40
0.5
0.30
0.15
0.30
0.20
Los estados 0 y 2 son absorbentes. Una vez que el
sistema llega a alguno de ellos, no vuelve a salir
Dra. Norka Bedregal Alpaca
Estado Recurrente.
Se define
f
(n)
jk
= probabilidad de que, partiendo del estado
j , la cadena llegue al estado k por primera
vez en el tiempo n
Luego la probabilidad de llegar a k (en un tiempo finito),
partiendo de j es:
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
=
=
1
) (
n
n
jk jk
f f
Se dice que el estado i es recurrente si f
ii
= 1.
Esto significa: siempre que se parta del estado i, se podr
regresar a l (en un tiempo finito)
Dra. Norka Bedregal Alpaca
Ejemplo Estado Recurrente.
En la siguiente matriz de transicin, todos los estados,
excepto el 2, son recurrentes
Esto es porque desde los estados 0,1 y 3 se puede
acceder a cualquiera otro estado, y a su vez, los estados
0,1 y 3 son accesibles desde cualquier otro estado
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Estado n+1
Q 0 1 2 3
Estado n
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3
Dra. Norka Bedregal Alpaca
Ejemplo Estado Recurrente.
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
Los estados 1, 2 y 3 son recurrentes. Notar que cada
estado que tiene una conexin directa desde ellos,
tambin la tiene hacia ellos
Dra. Norka Bedregal Alpaca
Estado Transitorio (no recurrente)
Se dice que el estado i es transitorio si f
ii
< 1.
Esto significa que hay manera de abandonar el estado i,
de tal modo que nunca se regrese a l.
Ejemplo:
En el ejemplo de la matriz anterior a,b y c son
transitorios, d es recurrente y tambin absorbente
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
|
|
|
|
|
.
|
\
|
=
1 0 0 0
0 1 , 0 5 , 0 4 , 0
1 , 0 9 , 0 0 0
0 0 8 , 0 2 , 0
Q
Dra. Norka Bedregal Alpaca
Ejemplo Estado Transitorio
En la siguiente matriz de transicin, el estado 2 es
transitorio, ya que de l es posible pasar directamente al
estado 0, pero no de regreso
Por tanto existe la posibilidad de que el sistema pase del
estado 2 al 0 y no regrese nuevamente
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Estado n+1
Q 0 1 2 3
Estado n
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3
Dra. Norka Bedregal Alpaca
Ejemplo Estado Transitorio
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
El estado 2 es transitorio. Notar que tiene una conexin
directa al estado 0, pero no de regreso
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Observaciones:
Estado transitorio, es aqul tal que despus de que el
proceso ha entrado ah, nunca regresar
El estado i es transitorio si y slo si existe un estado j
que es accesible desde i, pero donde el estado i no es
accesible desde j
Al no haber acceso al estado i desde j, existe una
probabilidad positiva (incluso igual a 1) de que el proceso
se mueva al estado j y nunca regrese al estado i
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Estado recurrente, es un estado tal que una vez que el
proceso ha estado en l, existe la seguridad de que
volver
Un estado es recurrente si y slo si no es transitorio
Estado absorbente, es un estado tal que despus de
haber entrado all, el sistema ya nunca saldr
Dra. Norka Bedregal Alpaca
Estado Peridico
Un estado recurrente i es peridico, con periodo k > 1, si
k es el menor nmero tal que todas las trayectoria que
parten de i y regresan a i, tienen longitud mltiplo de k.
El estado j ser peridico de periodo k>1 s y slo si
existen caminos que llevan desde j hasta j pero todos
tienen longitud mk, con m>0
Si un estado no es peridico se le dice aperidico
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Dra. Norka Bedregal Alpaca
Ejemplo:
En la siguiente CM todos los estados son peridicos de
periodo k=2
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Ejemplo:
En la siguiente CM todos los estados son peridicos de
periodo k=3
Dra. Norka Bedregal Alpaca
Proposicin:
Sea X una CM irreducible.
Entonces, o bien todos los estados son peridicos de
periodo k (y decimos que X es peridica de periodo k), o
bien ningn estado es peridico (y decimos que X es
aperidica)
En toda CM peridica de periodo k, existe una particin
H de S, H={A
1
, A
2
, , A
k
}, de tal manera que todas las
transiciones van desde A
i
hasta A
(i mod k)+1
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Dra. Norka Bedregal Alpaca
Ejemplo de CM peridica de periodo k=3:
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
A
1
A
2
A
3
Dra. Norka Bedregal Alpaca
Cadena Ergdica
Si todos los estados de una Cadena de Markov son
recurrentes, aperidicos y se comunican entre s, se dice
que la cadena es Ergdica.
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Ejemplos
En adelante se darn algunos ejemplos de cadenas con
algunas de estas caractersticas
Dra. Norka Bedregal Alpaca
La siguiente CM es irreducible, recurrente y peridica
de periodo 3.
No es ergdica.
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Dra. Norka Bedregal Alpaca
La siguiente CM es irreducible, aperidica, recurrente
y ergdica.
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Dra. Norka Bedregal Alpaca
La siguiente CM es irreducible, aperidica, recurrente
y ergdica
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Dra. Norka Bedregal Alpaca
La siguiente CM es irreducible, aperidica, recurrente
y ergdica
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Dra. Norka Bedregal Alpaca
La siguiente CM es irreducible, recurrente y peridica
de periodo 3. No es ergdica
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
Dra. Norka Bedregal Alpaca
La siguiente CM no es irreducible y por tanto no es de
ninguno de los dems tipos. 1,3 y 5 son recurrentes de
periodo 3. 2 y 6 son recurrentes, pero no peridicos. 4 es
transitorio.
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Clasificacin de estados en Cadenas de Markov
1
6
2
5 4
3
Dra. Norka Bedregal Alpaca
Trabajo Grupal
Desarrollar los siguientes temas:
Definicin
Reordenamiento de los estados en una CM absorbente
Resultados
Dos ejemplos
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Cadenas de Markov Absorbentes
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Con el teorema de Chapman-Kolmogorov, se afirma que
la probabilidad de transitar de i hasta j en n pasos es el
elemento (i,j) de Q
n
.
Para evitar el clculo de potencias elevadas de matrices,
se intenta averiguar el comportamiento del sistema en el
lmite cuando n, llamado tambin comportamiento a
largo plazo
Este acercamiento se presenta a continuacin
Propiedades a Largo Plazo
Dra. Norka Bedregal Alpaca
Ejemplo
La siguiente matriz es regular:
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
0.33 0.67
0.75 0.25
P
(
=
(
Si se calcula las primeras potencias de P, se tiene:
2
0.6114 0.3886
0.4350 0.5650
P
(
=
(
3
0.4932 0.5068
0.5673 0.4327
P
(
=
(
4
0.5428 0.4572
0.5117 0.4883
P
(
=
(
5
0.5220 0.4780
0.5350 0.4650
P
(
=
(
6
0.5307 0.4693
0.5253 0.4747
P
(
=
(
7
0.5271 0.4729
0.5294 0.4706
P
(
=
(
De lo anterior, se nota que para P
7
, las entradas por
renglones coinciden a dos decimales
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
Las probabilidades lmite son 0.5282 y 0.4718
Estas son las probabilidades lmite de que el sistema se
encuentre en el estado j, despus de muchas transiciones,
y que esta probabilidad sea independiente del estado
inicial
Al conjunto de estas probabilidades se les conoce con el
nombre de distribucin estacionaria
Para calcular esta probabilidad considere la matriz Q,
matriz de transicin de una Cadena de Markov que tiene
los estados {1,2,...k} , entonces, para j=1,2,..,k
j
n
j i
n
q t =
) (
,
lim
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
Para obtener los
se usan las ecuaciones de estado
estable, que se presentan en los siguientes teoremas
j
t
Lo que se puede escribir de otra forma, como:
|
|
|
|
|
|
.
|
\
|
=
k
k
k
n
n
Q
t
t
t
t
t
t
t
t
t
2
2
2
1
1
1
lim
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Concepto Distribucin Estacionaria
Teorema:
Sea X una CM irreducible, aperidica y recurrente.
Entonces,
( ) n
ij
n
j
q
lm
S j
= - e t ,
Se dices que una CM alcanza la distribucin estacionaria
s y slo si existen los lmites del teorema anterior y
adems se cumple que:
e
=
S j
j
1 t
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Existencia de la Distribucin Estacionaria
Teorema:
Sea X finita y ergdica. Entonces la distribucin
estacionaria existe y viene dada por la solucin de las
siguientes ecuaciones:
e
= e
S i
ij i j
q S j t t ,
e
=
S j
j
1 t
Observacin:
Este teorema no slo dice cundo existe distribucin
estacionaria (en los casos finitos), sino que adems dice
cmo calcularla.
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Nomenclatura para las Ecuaciones
A las primeras ecuaciones del teorema se les llama
ecuaciones de equilibrio, porque expresan que lo que
sale de j (izquierda) es igual a lo que entra en j
(derecha):
e e
=
S i
ij i
S i
ji j
q q t t
A la ltima ecuacin se le llama ecuacin
normalizadora, ya que obliga a que el vector formado
por los est normalizado
j
t
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
1 )
)
0 )
1
1
=
= =
>
=
=
k
j
j
t t
k
i
ij i j
j
c
Q es esto q b
a
t
t t t t
t
Al conjunto de estas ecuaciones, incluyendo la no
negatividad, se les denomina ecuaciones de estado estable
Nomenclatura para las Ecuaciones
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
Ejemplo:
Hallar la distribucin estacionaria (si existe) del ejemplo
de la lnea telefnica.
0 1
0,9
0,1
0,3
0,7
1. Se debe comprobar que la CM es finita y ergdica,
para as saber que existe la distribucin estacionaria.
Como se cumplen estos requerimientos, dicha
distribucin existe
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
2. Plantear las ecuaciones de equilibrio (una por nodo)
1 0 0
3 , 0 9 , 0 : 0 t t t + = Nodo
1 0 1
7 , 0 1 , 0 : 1 t t t + = Nodo
3. O lo que es ms fcil
|
|
.
|
\
|
= =
1
0
,
t
t
t t t
donde Q
T
4. Plantear la ecuacin normalizadora
1
1 0
= +t t
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
5. 4 Resolver el sistema. Hay dos mtodos:
a) Utilizar un algoritmo estndar de sistemas de
ecuaciones lineales para resolver todas las
ecuaciones conjuntamente, por ejemplo, Gauss. El
sistema debe tener solucin nica. En este caso:
25 , 0 ; 75 , 0
1 0
= = t t
b) Encontrar una solucin cualquiera de las
ecuaciones de equilibrio. Para ello se le da un
valor no nulo a eleccin a una sola de las
incgnitas.
Dra. Norka Bedregal Alpaca
Una vez conseguida esa solucin, la solucin
verdadera ser un mltiplo de ella ( se usa la
normalizadora). En este caso, haciendo p
1
=1,
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
3 3 , 0 9 , 0
0 0 0
= + = t t t
La solucin verdadera ser de la forma
(3k,k)
T
. Aplicando la normalizadora,
25 , 0 1 3 = = + k k k
Con lo cual la solucin verdadera es (075,025)
T
Dra. Norka Bedregal Alpaca
Ejemplo (desplazamiento poblacional)
Dado que la Cadena de Markov del ejemplo es regular
matriz del ejemplo es Markov es regular si es irreducible
y aperidica.ergdica,
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
se puede hacer:
|
|
|
.
|
\
|
=
90 , 0 06 , 0 04 , 0
04 , 0 90 , 0 06 , 0
05 , 0 15 , 0 80 , 0
rural
surb
urb
Q
rural surb urb
1
90 , 0 06 , 0 04 , 0
04 , 0 90 , 0 06 , 0
05 , 0 15 , 0 80 , 0
) , , ( ) , , (
3 2 1
3 2 1 3 2 1
= + +
|
|
|
.
|
\
|
=
t t t
t t t t t t
Dra. Norka Bedregal Alpaca
Una opcin es:
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
3 2 1
3 2 1 2
3 2 1 1
1
06 , 0 90 , 0 15 , 0
04 , 0 06 , 0 80 , 0
t t t
t t t t
t t t t
+ + =
+ + =
+ + =
Cuya solucin es
(t
1
, t
2
, t
3
) = (0.2077 , 0.4918 , 0.3005)
Es decir, si con el paso del tiempo se mantiene el
comportamiento descrito por el modelo (lo cual es muy
poco probable) despus de muchos aos,
aproximadamente, el 21% de la poblacin ocupar las
zonas urbanas, el 49% las suburbanas y el 30% la rural.
Dra. Norka Bedregal Alpaca
La distribucin lmite de una cadena de Markov tiene
dos interpretaciones:
La primera interpretacin se refiere, precisamente, a
que se trata de la distribucin lmite.
Cuando el proceso ha estado en operacin por un
tiempo largo, la probabilidad de encontrar al proceso en
el estado j es t
j
, sin importar en qu estado se haya
comenzado
La segunda interpretacin dice que t
j
proporciona la
fraccin de tiempo que, en el largo plazo, el sistema
pasar en el estado j
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
Dra. Norka Bedregal Alpaca
Una consecuencia de lo anterior es que si el sistema
incurre en un costo c
j
por cada visita al estado j, entonces
a la larga el costo promedio por unidad de tiempo
asociado con la cadena de Markov, C, es:
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
0
N
j j
j
C c t
=
=
La expresin:
j
n
j i
n
q t =
) (
,
lim
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
Ejemplo: Inventarios
Considrese una tienda de fotografa con un problema de
inventarios
Sea
D
i
: demanda de cmaras de tipo K que tiene la
tienda durante la semana i, i = 1,2,
Se supone que las D
i
son variables aleatorias
independientes e idnticamente distribuidas que siguen
la distribucin Poisson con media = 1
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
Sea
X
t
:nmero de cmaras con que la tienda cuenta
al final de la semana t, para t = 0,1,
Suponiendo que X
0
= 3, de modo que al principio se
cuenta con 3 cmaras en inventario
Entonces
{X
t
} = {X
0
, X
1
, X
2
,}
es un proceso estocstico que representa el nmero de
cmaras con que se cuenta al final de la semana t
El dueo de la tienda sigue la poltica de pedidos que se
describe a continuacin:
Dra. Norka Bedregal Alpaca
Al final de cada semana t, se revisa el inventario y:
Si X
t
= 0, entonces se hace un pedido por tres cmaras
Si X
t
> 0, entonces no se hace pedido alguno
Se supone que el sistema de inventarios descrito tiene la
matriz de transicin
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
0.080 0.184 0.368 0.368
0.632 0.368 0 0
0.264 0.368 0.368 0
0.080 0.184 0.368 0.368
P
(
(
(
=
(
(
Se supone tambin, que la tienda incurre en un costo por
almacenaje de acuerdo con la siguiente relacin:
Dra. Norka Bedregal Alpaca
C
A
D
E
N
A
S
D
E
M
A
R
K
O
V
Propiedades a Largo Plazo
( )
0, 0
2, 1
8, 2
18, 3
t
t
t
t
t
si X
si X
C X
si X
si X
=
=
=