Planeamiento y Control de la Producción

1er semestre 2020

Probabilidades de Estado Estable

Clasificación de estados
Definiciones:
1) Accesible: El estado j es accesible desde i si:
Pij(n) > 0, para algún n >= 0
2) Comunicados: Si el estado j es accesible desde i, y el estado i es accesible desde j,
entonces i y j se comunican
Si el estado i se comunica con el estado j, y el estado j se comunica con el
estado k, entonces, el estado i se comunica con el estado k.
Como resultado de la propiedad de comunicación, los estados se pueden
particionar en clases ajenas. Un solo estado puede conformar una clase. Si dos
estados se comunican, pertenecen a la misma clase. Si todos los estados pertenecen
a la misma clase, y existe solo una clase, entonces la cadena es irreducible.
3) Sea fii = probabilidad de que el proceso regrese al estado i, dado que comienza en
el estado i.
4) Estado recurrente: Un estado se llama recurrente si fii = 1
5) Estado transitorio: Un estado se llama transitorio o transiente si fii < 1
6) Estado absorbente: Un estado se llama absorbente si Pii = 1
El cálculo de fii no es sencillo. Es posible determinar algunas propiedades de fii
que pueden ayudar a determinar su valor. Si un proceso de Markov reencuentra en el
estado i y este estado es recurrente, la probabilidad de que el proceso regrese al
estado i es 1. Como el proceso es una cadena de Markov, lo anterior es equivalente a
que el proceso comience una vez mas en el estado i y que con probabilidad 1 regrese
una vez mas a ese estado. Así, un estado recurrente tiene la probabilidad de que el
número esperado de periodos que el proceso está en el estado i es infinito.
Si un proceso de Markov se encuentra en el estado i, y este estado es
transitorio, entonces la probabilidad de que regrese al estado i es fii (menor que 1) y la
probabilidad de que no regrese es 1 – fii. Se suele demostrar que el número esperado
de periodos que el proceso se encuentra en el estado i es finito y está dado por:
1 / (1 - fii)
Por lo tanto, el estado i es recurrente si y solo si el número de periodos que el proceso
se encuentra en el estado i es infinito, dado que el proceso comenzó en el estado i, es
decir:
 Pii(n) = infinito.
La característica de recurrencia es una propiedad de clase. Es decir, todos los
estados en una clase son recurrentes o transitorios. Más aún, en una cadena de
Markov de estado finito, no todos los estados pueden ser transitorios. Entonces, todos
los estados de una cadena de Markov de estado finito irreducible son recurrentes.

Ejemplo 1:
Para el siguiente diagrama:
a) indique los estados que son accesible y los que se comunican.
b) Establezca las clases de los estados y clasifíquelas.
Solución:
El estado 0 es accesible desde 0 y 1
El estado 1 es accesible desde 2
El estado 2 es accesible desde 0 y 1
El estado 3 es accesible desde 2 y 3
El estado 0 está comunica con el estado1 y el estado2.
El estado 3 no está comunicado
El diagrama tiene dos clases:
Clase 1: {estado 0, estado 1, estado 2}, Clase 2: {estado 3}
Los estados 0, 1 y 2 son estados transitorios.
El estado 3 es un estado absorbente y recurrente

P10= 0.5 1
P00= 0.6 0

P21= 0.3
P12= 0.5
P02= 0.4

2 3 P33= 1

P23= 0.7

Ejercicio 1:
Para el siguiente diagrama:
a) indique los estados que son accesible y los que se comunican.
b) Establezca las clases de los estados y clasifíquelas.

1
P01= 0.2 P11= 0.3

0
P00= 0.8 P10= 0.4

P12= 0.3

2 P22= 1.0

Periodicidad
Se dice que un estado i tiene un periodo t (t>1) si Pii(n) = 0, siempre que n no
sea divisible por t, y t es el entero más grande con esta propiedad
Ejemplo 2:
Para el siguiente diagrama determine el periodo.

2
 P01= 1.0
0 1

P10= 1.0

Solución:
El estado1 y el estado 2 tienen periodo 2.
Si existen dos números consecutivos S y S+1, tales que el proceso pueda
encontrase en el estado i en los tiempos S y S+1, se dice que el estado tiene periodo
1, y se llama aperiódico. Si el estado i en una clase es aperiódico, todos los estados
de la clase son aperiódicos.
Ejemplo 3:
Para el siguiente diagrama determine el periodo.

1
P01= 0.2

P00= 0.8
0
P10= 1.0

Solución:
El estado 0 y 1 conforman una clase. El estado 0 es aperiódico. El estado 1 es
aperiódico.

Tiempo de primera pasada

El número de transiciones que hace el proceso al ir de un estado i a un estado j
por primera vez, es el tiempo de primera pasada. Cuando j = i, se habla de tiempo de
recurrencia para el estado i.
Ejemplo 4:
Suponga un sistema que da cuenta del número de unidades de un producto en
inventario para un día determinado
Considere que: X0 =3, X1 =2, X2 =0, X3 =0, X4 =3, X5 =1
Determine el tiempo necesario para ir desde el estado con cero unidades al
mismo estado; y el tiempo para ir del estado 3 al estado 1 por primera vez.
Solución:
Tiempo de primera pasada de cero a cero = 2 días
Tiempo de primera pasada de tres a uno = 5 días

Tiempo esperado de primera pasada

Como el tiempo de primera pasada es muy aleatorio, ya que depende del
estado de partida, normalmente se determina el tiempo esperado (promedio) de
primera pasada.
Sea ij el tiempo esperado de primera pasada del estado i al estado j, definida
por:
• ij = infinito, si  fii(n) < 1

3
 • ij =  n* fii(n) si  fii(n) = 1
Cuando  fii(n) = 1, se satisface la ecuación:
• ij = 1 +  { Pik * kj }
donde la sumatoria varía para todo k distinto de j
Cuando i = j, ij se llama tiempo esperado de recurrencia

Ejemplo 5:
Para la matriz P, determine los tiempos esperados de primera pasada 30, 20, 10.
Suponga que el tiempo está en semanas.
0.080 0.184 0.368 0.368
P= 0.632 0.368 0 0
0.264 0.368 0.368 0
0.080 0.184 0.368 0.368
Solución:
Para la matriz P todos los estados son recurrentes, por tanto es posible aplicar
el sistema de ecuaciones mencionado.
30 = 1 + P31*10 + P32*20 + P33*30
20 = 1 + P21*10 + P22*20 + P23*30
10 = 1 + P11*10 + P12*20 + P13*30
Reemplazando:
30 = 1 + 0.184*10 + 0.368*20 + 0.368*30
20 = 1 + 0.368*10 + 0.368*20 + 0*30
10 = 1 + 0.368*10 + 0*20 + 0*30
Resolviendo el sistema de ecuaciones de modo simultáneo, se obtiene:
30 = 3.50 semanas, 20 = 2.51 semanas, 10 = 1.58 semanas.

Estados recurrentes positivos y nulos

Si ii = infinito, el estado recurrente se llama estado recurrente nulo
Si ii < infinito, el estado recurrente se llama estado recurrente positivo
En una cadena de Markov de estado finito, los miembros de una clase son
todos transitorios o recurrentes positivos, no existen estados recurrentes nulos. Los
estados recurrentes positivos que son aperiódicos, se llaman ergódicos

Probabilidades de estado estable

Después de un número grande de transiciones existe una probabilidad límite de
que el sistema se encuentra en el estado j, independiente del estado inicial
Para una cadena de Markov irreducible, ergódica, el lim Pij(n) existe y es
independiente del estado inicial, es decir:
• lim Pi,j (n) = j
n→∞
El límite anterior se conoce como probabilidad de estado estable.
El término probabilidad de estado estable significa que la probabilidad de
encontrar el proceso en un cierto estado, por ejemplo j, después de un número grande
de transiciones, tiende al valor j y es independiente de la distribución de probabilidad
inicial definida para los estados.
Es importante notar que la probabilidad de estado estable no significa que el
proceso se establezca en un estado. Por el contrario, el proceso continua haciendo
transiciones de un estado a otro y en cualquier paso n la probabilidad de transición del
estado i al estado j es todavía Pi,j.
Para una Cadena de Markov donde existe el límite anterior y es independiente
del estado inicial, las probabilidades de estado estable j se pueden determinar a
través del siguiente sistema de ecuación, el cual se satisface de manera única:

4
 • j > 0
i=M
• j =  i Pi,j para j = 0, 1, 2, …, M
i=0

j=M
•  j = 
j=0

Además las probabilidades de estado estable y los tiempos esperados de recurrencia

se relacionan del siguiente modo: la probabilidad de estado estable j es igual al
inverso del tiempo esperado de recurrencia jj, es decir:
j = 1 / jj
Algunos comentarios adicionales que se deben tener en cuenta son:
Si i y j son estados recurrentes que pertenecen a clases distintas, entonces:
Pij(n) = 0 para todo n
Si j es un estado transitorio, entonces:
lim Pij(n) = 0 para todo i, y n tendiendo al infinito.

Ejemplo 6:
Para la matriz P, determine la probabilidad que el sistema esté en el estado 1 ó
en el estado 2, y los tiempos esperados de recurrencia para los mismos estados
(suponga que la unidad de tiempo es minutos).
0.080 0.184 0.368 0.368
P= 0.632 0.368 0 0
0.264 0.368 0.368 0
0.080 0.184 0.368 0.368
Solución:
La cadena de Markov anterior es irreducible, ergódica, por tanto el lim P ij(n)
existe y se puede obtener según las siguientes ecuaciones generales:
0 = 0*P00+ *P10 + 2*P20 + 3*P30
1 = 0*P01+ *P11 + 2*P21 + 3*P31
2 = 0*P02+ *P12 + 2*P22 + 3*P32
3 = 0*P03+ *P13 + 2*P23 + 3*P33
El conjunto de ecuaciones anteriores es linealmente dependiente, por tanto se
debe eliminar una de ellas (cualquiera) y reemplazarla por la ecuación correspondiente
a la suma de las probabilidades iguales a 1.
0 +  + 2 +  3 = 1
Al resolver el nuevo sistema de ecuaciones, el resultado es: 0 = 0.285; 1 =
0.285; 2 = 0.264; 3 = 0.166
La probabilidad que el sistema esté en el estado 1 es 0.285 y la probabilidad de
que el sistema esté en el estado 2 es 0.264.-
El tiempo esperado de recurrencia para el estado 1 es 3.5 minutos y para el
estado 2 es 3.78 minutos.

Estados Absorbentes
Si k es un estado absorbente, y el proceso comienza en el estado i, la
probabilidad de llegar en algún momento a k se llama probabilidad de absorción. La
notación correspondiente es: fik
Si el estado k es un estado absorbente, entonces el conjunto de probabilidades
de absorción fik satisfacen las ecuaciones:

5
 fik =  Pij * fjk para todo i = 0, 1, …, M; y la sumatoria variando de j = 0
hasta M
Las ecuaciones anteriores están sujetas a:
• fkk = 1
• fik = 0, si el estado i es recurrente, y además i es distinto de k

Ejemplo 7:
Para la matriz P, determine f13 y f23
1 0 0 0
P= 0.7 0.2 0.1 0
0.5 0.1 0.2 0.2
0 0 0 1
Solución:
Para la matriz P existen dos estados absorbentes, el estado 0 y el estado 3.
Por tanto:
f13 = P10 * f03 + P11 * f13 + P12 * f23 + P13 * f33
f23 = P20 * f03 + P21 * f13 + P22 * f23 + P23 * f33
además, se tiene que f03 = 0 ya que el estado 0 es recurrente, y f33 = 1 ya que el
estado 23 es absorbente. Reemplazando se obtiene
f13 = 0.7 * 0 + 0.2 * f13 + 0.1 * f23 + 0 * 1
f23 = 0.5 * 0 + 0.1 * f13 + 0.2 * f23 + 0.2 * 1
Al resolver el sistema se tiene que f13 = 0.032 y f23 = 0.254

Bibliografía:
◼ Ross, Sheldon “Introduction to Probability Models”, Editorial: Academic Press,
Quinta edición.
◼ Taha, Hamdy: “Investigación de Operaciones”, Editorial: Pearson-Prentice Hall,
Séptima edición.
◼ Hillier, Frederick y Lieberman, Gerald “Introducción a la Investigación de
Operaciones”, Editorial: McGraw - Hill, Cuarta edición.
◼ Lagos Hurel, Dafne “Generación de un Modelo de Cadenas de Markov, para el
Comportamiento del Índice Ipsa en el Mercado Accionario Chileno”, Tesis para
optar al grado de Magíster en Gestión, Universidad de La Frontera.

Por: Sra. Dafne Lagos Hurel, Magíster en Gestión, Doctor en Ciencias.