14224

Apunte 9
DISTRIBUCIÓN
LÍMITE Y
ESTACIONARIA A
LARGO PLAZO

Mitsuo Tanida

INDUSTRIA VIRTUAL 2020 1

INDUSTRIA VIRTUAL 2020 2

 DISTRIBUCIÓN LÍMITE Y ESTACIONARIA A LARGO PLAZO

INTRODUCCIÓN

Las distribuciones límites y estacionarias en las cadenas de Markov en tiempo discreto nos ayudan a
calcular las probabilidades a largo plazo en sistemas recurrentes. Esto es de gran utilidad en la gestión de
operaciones, gestión de inventarios y la mayoría de las áreas de la Ingeniería Industrial. Para obtener estas
probabilidades, usamos la distribución estacionaria, la cadena debe ser irreductible y recurrente. Por
ejemplo, las ventas semanales de un determinado producto pueden seguir una cadena de Markov a
tiempo discreto.

Los contenidos que se estudiarán en este apunte serán la distribución limite, las probabilidades de
absorción, estados de absorción, tiempo medio de absorción, número medio de visitas a un estado
transitorio, distribución estacionaria y los tiempos medios de recurrencia.

DESARROLLO

Para entender la distribución límite, se debe analizar cómo se comporta en el límite una cadena de
Markov. Para tal efecto, se calcula la probabilidad de visitar un estado j desde un estado i fij teniendo en

cuenta cómo son los estados. Si el estado i y j son ambos recurrentes, entonces, fij = 1 cuando ambos

pertenecen al mismo conjunto cerrado, o fij = 0 cuando pertenecen a conjuntos cerrados diferentes. Por

otro lado, si i es recurrente y j transitorio, entonces fij = 0, ya que no se puede acceder a ningún estado
transitorio desde uno recurrente. Por último, si i y j ambos son transitorios, entonces, como se tenía que
fij 1
Rij = y Rjj = . Despejando, se obtiene que las probabilidades son:
1 − fij 1 − fjj

Rij
fij =
Rjj

1
fjj = 1 −
Rjj

INDUSTRIA VIRTUAL 2020 3

Para calcular Rij, se parte de la descomposición canónica de la matriz de transición:

( L Q)
K 0
P=

∞
2
P n, entonces:
∑
Como R = I + P + P + … =
n=0

( L n Q n)
Kn 0
Pn =

Donde Ln ≠ L n, entonces:

∞
∞ ∑n=0 K n 0
( ∑∞ ∑n=0 Q n)
n
∑
R= P = ∞
n=0
L
n=0 n

Es la matriz que proporciona la cantidad media de visitas a cada estado desde otro estado. Ahora, si solo
interesa considerar los estados i y j como transitorios, basta con tomar la matriz:

∞
Q n = (I − Q)−1
∑
S=
n=0

Luego, se debe ver el caso en que i es transitorio y j es recurrente. Para tal efecto, se tiene que todo
estado recurrente j se encuentra en un conjunto cerrado e irreducible. De este modo, si i es transitorio
y j pertenece a un conjunto cerrado e irreductible de estados recurrentes, entonces,
∀j, k  ∈ C → fij = fik ya que ∀j, k  ∈ C → fjk = fkj = 1. Debido a esto, se puede generar la siguiente
definición. Se le llama probabilidad de absorción de un estado transitorio i por un conjunto cerrado e
irreducible C, a la probabilidad fij ∀j ∈ C. Pero en realidad, solo es necesario calcular las probabilidades
de absorción y los conjuntos cerrados e irreducibles presentes en la cadena se toman como estados

INDUSTRIA VIRTUAL 2020 4

absorbentes. Así la matriz canónica de P con r conjuntos cerrados irreducibles y m estados transitorios
se pasa a la siguiente matriz reducida:

(B Q)
I 0
P̄ =

De modo que se considera cada conjunto cerrado e irreducible como un único estado absorbente y las
matrices Qi pasan a ser vectores columna bi, que dan las probabilidades de transición de los estados
transitorios junto al conjunto cerrado e irreducible correspondientes i (y así a todos sus correspondientes
estados recurrentes). De este modo se define la matriz:

b11 ⋯ b1r
B= ⋮ ⋱ ⋮
bm1 ⋯ bmr

Siendo, en cada caso:

∑
bij = Pik  ∀i  ∈ E t r a n sitor io
k∈Cj

Así, se suman las probabilidades de transición en una etapa, del estado transitorio i a todos los estados
recurrentes que están contenidos en el conjunto cerrado correspondiente Cj.

Puede ser útil definir el tiempo medio de absorción desde un estado transitorio i, como el número medio de
etapas que, comenzando en i, la cadena recorrerá antes de pasar por cualquier conjunto cerrado e irreductible.
Este número de etapas es la suma de las visitas que hacen a todos los estados transitorios, es decir:

∑
Ai = Rij
j∈D

Donde D es el conjunto de todos los estados transitorios que hay en la cadena. Como la matriz
fundamental de la representación canónica S recoge el número medio de visitas a los estados

INDUSTRIA VIRTUAL 2020 5

transitorios, basta fijar la fila i y sumar en j los elementos Sij cuando j ∈ D. Así, Ai se calcula sumando los
elementos de la fila i-ésima de la matriz fundamental S. Se puede generalizar esta idea y plantearse
calcular el número medio de etapas que hay que recorrer antes de visitar un estado transitorio j por
primera vez. En este caso, bastará con sumar solo aquellos Rik donde k ≠ j, es decir, si se impone la visita
a j por primera vez, el número de etapas será:

∑
Rik
k≠j

Donde k ∈ D.
Ahora, se verá la distribución estacionaria de una cadena de Markov en tiempo discreto la que se
caracteriza por determinar las distribuciones sobre el conjunto de estados E tales que la distribución del
proceso Xn, en cualquier instante, es la misma que en el instante inicial X0. El caso más interesante
corresponde a cadenas irreducibles y aperiódicas.

Sea E el conjunto de estados de una cadena de Markov en tiempo discreto con matriz de transición T. Una
distribución π = [πi ] donde i ∈ E se dice estacionaria o de equilibrio si π = π T. Alternativamente, se
puede escribir como:

∑
πj = πiTij
i∈E

Entonces, dada una matriz de transición T de una cadena de Markov discreta finita, aperiódica e
irreducible con m estados, existe, entonces, una única solución al siguiente sistema de ecuaciones:

∑
πj = πiTij
i=1

m
∑i=1
Para todo j = 1,…,m, de modo que πi = 1.

INDUSTRIA VIRTUAL 2020 6

Además, la solución viene dada por:

πi = lim Tij(n)
n→∞

Para todo j = 1,…,m.

Por otro lado, las probabilidades estacionarias de una cadena finita, irreducible y aperiódica (formada por
estados recurrentes positivos) están relacionadas con los tiempos medios de recurrencia de los estados.
Entonces, sea {Xn} una cadena finita, irreducible y aperiódica, ∀j ∈ E el tiempo medio de recurrencia al
estado j, μj, se relaciona con πj,  así:

1
πj = lim Tjj(n) =
n→∞ μj

INDUSTRIA VIRTUAL 2020 7

CONCLUSIÓN
A modo de síntesis, en una distribución límite, se debe analizar cómo es la cadena de Markov en tiempo
discreto. Analizar sus estados y cómo se comportan a lo largo de la cadena. Las probabilidades de
absorción son útiles para los estados transitorios e irreducibles, que se toman como estados absorbentes.
Y, por último, se estudió la distribución estacionaria, que nos entrega las probabilidades de transición a
largo plazo y estas solo son válidas para cadenas de Markov cerradas, irreducibles y recurrentes.

Después de que se haya estudiado y comprendido este apunte, el estudiante será capaz de plantear y
calcular de manera analítica modelos markovianos, obteniendo índices claves para el mejoramiento
continuo en donde le toque desempeñarse.

REFERENCIAS BIBLIOGRÁFICAS

Gazmuri, P. (1994). Modelos estocásticos para la gestión de sistemas. Ediciones PUC.

Meyer, P. (1992). Probabilidad y aplicaciones estadísticas. Edición Addison Wesley Iberoamericana.

INDUSTRIA VIRTUAL 2020 8