Unidad 2 / Escenario 4

Lectura fundamental

Análisis transiente y estable de las

CMTD

Contenido

1 Análisis transiente de las CMTD

2 Propiedades de las CMTD

3 Análisis de estado estable

4 Valores esperados

Palabras clave: cadenas de Markov, procesos estocásticos, análisis de estado estable.

1. Análisis Transiente de las CMTD
Una vez el sistema está modelado como una cadena de Markov de tiempo discreto, es necesario
estimar las probabilidades para los diferentes eventos del sistema, ya sea de forma transiente, o con
un análisis de estado estable. Primero, se deben calcular las probabilidades para un número finito de
pasos de la cadena. Para esto, se requiere definir el vector de condiciones iniciales.

Para una CMTD con espacio de estados S={1,2,…,N}, se define el vector a=[a1,a2,…,a_N] como el
vector de condiciones iniciales, teniendo en cuenta que:

aj=P(Xo=j) ∀ j∈S

La distribución transiente de una cadena está definida por el vector a(n)=a(n)1, a(n)2,…,a(n)N], en
donde:

aj(n)=P(Xn=j) ∀ j∈S

Para hallar la distribución transiente, se debe tener en cuenta que:

Es decir, se deben multiplicar los componentes del vector de condiciones iniciales por probabilidades
del tipo:

Las probabilidades Pij(n) se conocen como probabilidades de transición de n pasos. Estas se pueden
organizar en una matriz definida como:

POLITÉCNICO GRANCOLOMBIANO 2
La matriz P(n), así como la matriz P , es una matriz estocástica. Teniendo en cuenta lo anterior, la
distribución transiente se puede calcular de forma matricial como:

an=a*P(n)

Por lo tanto, solo basta hallar la matriz de probabilidades de transición de n pasos, la cual se puede
calcular con la siguiente expresión:

P(n) = Pn
Es decir, la matriz de probabilidades de transición de n pasos corresponde a la -ésima potencia
de la matriz de probabilidades de transición de un paso. Además, una propiedad importante que
las matrices de probabilidades de transición satisfacen, se resume en las conocidas ecuaciones de
Chapman-Kolmogorov (Kulkami, 2011).

Ecuaciones de Chapman-Kolmogorov: las componentes de la matriz de probabilidades de transición

de pasos satisfacen el siguiente sistema de ecuaciones:

Estas se pueden expresar de forma matricial como P(n+m) = P(n) * P(m)

Ejemplo 1

Considere el modelo construido en el Ejemplo 2 de la Lectura fundamental anterior, allí se tenía que:

Xn: número de máquinas funcionando al inicio del día n. Con espacio de estado dado por S={0,1,2} y
con la matriz de probabilidades de transición de un paso:

POLITÉCNICO GRANCOLOMBIANO 3
Ahora, suponga que el lunes en la mañana se tiene una probabilidad de 0.5 de que inicien las dos
máquinas funcionando y una probabilidad de 0.5 de que una máquina se encuentre funcionando,
¿cuál es la probabilidad de que el jueves en la mañana las dos máquinas inicien el día funcionando? Es
decir, aquí se tiene que a=[0,0.5,0.5] y se requiere calcular P(X3=2). Note que desde el lunes hasta
el jueves hay 3 pasos. Por lo tanto, se debe calcular a(3),, para lo cual se requiere hallar la matriz de
probabilidades de transición de 3 pasos, es decir:

Finalmente, se tiene que:

Así, la probabilidad pedida es P(X3=2)=0.959176.

Matriz de ocupación

En una CMTD con espacio de estado S={1,2,…,N} y vector de condiciones iniciales a=[a1,a2,…,aN] se
define a Nj (n) como el número de veces que la CMTD visita al estado j en n pasos. De esta forma, se
puede definir el valor esperado del tiempo de ocupación del estado j dado que inicia en el estado i:

mij (n)=E[Nj (n)| X0=i]

Con estos valores esperados, se puede conformar la matriz de tiempos de ocupación:

POLITÉCNICO GRANCOLOMBIANO 4
Una forma eficiente para calcular la matriz de tiempos de ocupación está dada por:

Ejemplo 2

Volviendo al modelo del ejemplo anterior, suponga que el lunes las dos máquinas inician funcionando,
¿cuál es el valor esperado del número de días que las dos máquinas inician fallando en toda la semana?
Considere que las máquinas se utilizan de lunes a domingo. En este caso, se debe calcular la matriz de
tiempos de ocupación con n=6, porque se requieren 6 pasos para ir desde el lunes hasta el domingo.
Para hallar la matriz de tiempos de ocupación, se requiere calcular las matrices de transición de 2, 3, 4
5 y 6 pasos; con la suma se obtiene la matriz de tiempos de ocupación.

El valor esperado pedido es:

m20 (6)=E[N0 (6)| X0=2]=0.00252

POLITÉCNICO GRANCOLOMBIANO 5
 ¿Sabía que...?
En la matriz de tiempos de ocupación M(n), la suma de las filas es un
número entero igual n+1. El 1 adicional es debido a que en el estado inicial
ya hay una visita, esta se registra en la suma y cada paso de la cadena
aumenta la suma en 1.

2. Propiedades de las CMTD

Para entender el comportamiento de las cadenas de Markov en el largo plazo, se requiere establecer
tres propiedades fundamentales para definir si las distribuciones límite existen y son únicas. Estas
propiedades son: irreducibilidad, periodicidad y recurrencia.

CMTD irreducible:

Una CMTD {Xn,n≥0} con espacio de estados S={1,2,…,N} es una cadena irreducible si para todo par
de estados i,j∈S existe un número k>0 tal que:

P(Xk=j | X0=i)>0

Cuando una cadena no es irreducible, se le llama reducible.

En las dos siguientes gráficas, se muestra una cadena irreducible y una que no lo es. Note que,
gráficamente, una cadena es irreducible si existe un camino entre cada par de estados. En la segunda
gráfica, no hay un camino que una al estado 3 con el estado 2, por eso la cadena es reducible.

POLITÉCNICO GRANCOLOMBIANO 6
 0 1

Figura 1. Ejemplo de una cadena irreducible

Fuente: elaboración propia

0 1

Figura 2. Ejemplo de una cadena reducible

Fuente: elaboración propia

POLITÉCNICO GRANCOLOMBIANO 7
CMTD aperiódica

En una CMTD irreducible {Xn,n≥0} con espacio de estados S={1,2,…,N}, el periodo de la cadena es el
mayor número entero d>0, tal que:

P(Xn=i | X0=i)>0 implica que n es múltiplo de d par a todo i∈S. Cuando el entero d=1, la cadena se
dice aperiódica.

En un gráfico de la cadena, el periodo se calcula al escoger un nodo, después buscar todas las rutas
que vuelvan a visitar al estado de partida, finalmente, calcular el mínimo común múltiplo del número
de pasos de cada ruta.

Cómo mejorar...
En una CMTD {Xn,n≥0} con espacio de estados S={1,2,…,N}, un estado
es recurrente si, con probabilidad 1, la cadena vuelve a pasar por dicho
estado. La cadena es recurrente positiva si el valor esperado del número
de pasos requeridos para que la cadena vuelva a dicho estado es un
número finito, en otro caso, se dice que es una cadena recurrente nula.

3. Análisis de estado estable

En el análisis de estado estable, se pretende establecer si la distribución límite de la CMTD existe, si
es así, es necesario establecer un método eficiente para calcularla, pero primero se debe definir lo que
se entiende por distribución límite.

Distribución límite de una CMTD

Sea {Xn,n≥0} una CMTD con espacio de estados S={1,2,…,N} y matriz de probabilidades de transición
P. La distribución límite de la CMTD, cuando esta distribución existe, está dada por el vector
π=[π1,π2,…,πN], en donde:

POLITÉCNICO GRANCOLOMBIANO 8
Si la distribución límite existe, es solución del siguiente sistema de ecuaciones:

Sin embargo, el sistema anterior también define dos distribuciones adicionales de la cadena: la
distribución estacionaria y la distribución de ocupación.

Distribución estacionaria de una CMTD

Sea {Xn,n≥0} una CMTD con espacio de estados S={1,2,…,N} y matriz de probabilidades de transición
P. La distribución estacionaria de la CMTD está dada por el vector π*=[π1*,π2*,…,πN*], en donde cada
componente del vector satisface que:

Es decir, si el vector de condiciones iniciales de la cadena corresponde a la distribución estacionaria,

esta se mantendrá a lo largo de la evolución del sistema. La distribución estacionaria es siempre
solución del siguiente sistema de ecuaciones:

Como el sistema de ecuaciones coincide con el presentado para la distribución límite, se tiene que siempre
que exista la distribución límite esta será también una distribución estacionaria. Finalmente, se debe
establecer una última distribución de estado estable, con base en el número esperado de visitas a un estado.

POLITÉCNICO GRANCOLOMBIANO 9
Distribución de ocupación de una CMTD

Sea {Xn,n≥0} una CMTD con espacio de estados S={1,2,…,N} y matriz de probabilidades de
transición P. La distribución de ocupación de la CMTD, cuando esta distribución existe, está dada por
el vector π ̂=[π ̂1,π ̂2,…,π ̂N], en donde:

Si la distribución de ocupación existe, es solución del siguiente sistema de ecuaciones:

Las tres distribuciones presentadas son solución del mismo sistema lineal. Sin embargo, no siempre las
tres distribuciones existen, pero cuando existen deben coincidir. Ya se estableció una relación entre
la distribución límite y la distribución estacionaria, pero se pueden establecer más si se considera la
estructura de la CMTD:

»» Si la distribución límite existe, coincide con la distribución estacionaria.

»» Si la distribución de ocupación existe, coincide con la distribución estacionaria.

»» Si la CMTD es irreducible, la distribución estacionaria es única.

»» Si la CMTD es irreducible, la distribución de ocupación es única y coincide con la distribución

estacionaria.

»» Si la CMTD es irreducible, periódica y recurrente positiva, la CMTD es ergódica.

»» Si la CMTD es ergódica, la distribución límite existe y es única, además coincide con la

distribución de ocupación o con la distribución estacionaria.

»» Una CMTD irreducible con un número finito de estados es siempre recurrente positiva.

POLITÉCNICO GRANCOLOMBIANO 10
Para cerrar el análisis de estado estable de las CMTD, se debe establecer una última propiedad de
ergodicidad de las cadenas de Markov.

Sea {Xn,n≥0} una CMTD con espacio de estados S={1,2,…,N} y matriz de probabilidades de transición
P. Si la cadena es ergódica, entonces:

Ejemplo 3

Piense en el sistema de una máquina considerado en el Ejemplo 1 del Escenario anterior. Allí se tenía que:

Xn: Estado de la máquina al inicio del día n (1 si inicia funcionando, 0 si inicia fallando) con S={0,1}.

La matriz de probabilidades de transición está dada por:

Como se puede observar en la figura, la CMTD es irreducible, aperiódica y como tiene un número
finito de estados, es recurrente positiva, es decir, la CMTD es ergódica. Por lo tanto, las tres
distribuciones de estado estable existen y coinciden.

0,95
0,05 0,98

0 1

0,02

Figura 3. Grafo de transiciones de un paso para el ejemplo 3

Fuente: elaboración propia

POLITÉCNICO GRANCOLOMBIANO 11
Para calcular las distribuciones, se plantea el siguiente sistema lineal:

De las tres ecuaciones, una de las dos primeras es redundante, por lo tanto, se puede eliminar, así que
las dos ecuaciones resultantes serían:

La solución al sistema se puede hallar fácilmente y está dada por . Es decir,

existe una probabilidad de 95/97 de que, en el largo plazo, la máquina inicie funcionando en un día
cualquiera. Desde el punto de vista de la distribución de ocupación, en el largo plazo, el 97.9% de los
días la máquina inicia funcionando, y tan sólo un 2.1% del tiempo la máquina inicia fallando.

Ejemplo 4

Ahora, se retoma el problema del clima de Bogotá discutido en el Escenario anterior. Allí se tenía
según Ross (2014) la situación que se expone enseguida.

Con base en los siguientes estados:

0 Ha llovido los dos últimos días.

1 Llovió el día anterior pero no hace dos días.

2 Llovió hace dos días, pero no el día anterior.

3 No ha llovido en los dos últimos días.

POLITÉCNICO GRANCOLOMBIANO 12
Xn: estado del clima de Bogotá en el día n con S={0,1,2,3} y con la matriz de probabilidades de
transición dada por:

Esta CMTD también es ergódica (¡compruébelo!), por lo tanto, se puede plantear un sistema de
ecuaciones para hallar las tres distribuciones de estado estable.

Nuevamente, una de las primeras cuatro ecuaciones es redundante y se puede eliminar. Al resolver
el sistema se obtiene que π0=0.25, π1=0.15, π2=0.15 y π3=0.45. Es decir, en el largo plazo, la
probabilidad de tener dos días seguidos de lluvia es de tan sólo el 25%, mientras que la probabilidad de
tener dos días seguidos de sol es del 45%.

4. Valores esperados
Finalmente, una vez se tienen las distribuciones de estado estable, se pueden calcular las medidas
de desempeño del sistema estableciendo un vector de costos adecuado y multiplicándolo por la
distribución de estado estable.

Para el vector de costos, suponga que se tiene una {Xn,n≥0}, una CMTD con espacio de estados
S={1,2,…,N}, y matriz de probabilidades de transición P. Por cada vista que el sistema haga al estado i,
se incurre en un costo de C(i), si se define a c(i)=E[C(i)]. Entonces, si la CMTD es irreducible, en el
largo plazo el costo esperado del sistema estará dado por:

POLITÉCNICO GRANCOLOMBIANO 13
Ejemplo 5

Piense en en el sistema de una máquina considerado en el Ejemplo 3, en donde la variable de estado

está definida como:

Xn: estado de la máquina al inicio del día n (1 si inicia funcionando, 0 si inicia fallando) con S={0,1}.

La distribución de ocupación obtenida fue

Ahora, suponga que cada vez que la máquina inicia el día fallando, se incurre en un costo de $1 500
por su reparación, mientras que, si inicia funcionando, no se incurre en ningún costo. En el largo plazo,
¿cuál es el costo diario de operación de la máquina?

En este caso, c(0)=1500 y c(1)=0, por lo tanto:

En síntesis...
En el análisis de estado estable, una cadena de Markov es ergódica si es
irreducible, aperiódica y recurrente positiva. En este caso, la distribución
límite y la distribución de ocupación existen y son únicas, iguales entre sí e
iguales a la distribución estacionaria.

POLITÉCNICO GRANCOLOMBIANO 14
Referencias

Kulkami, V. (2011). Introduction to Modeling and Analysis of Stochastic Systems. Nueva York: Springer-
Verlag.

Ross, S. (2014). Introduction to Probability Models. San Diego, CA.: Academic Press.

POLITÉCNICO GRANCOLOMBIANO 15
 INFORMACIÓN TÉCNICA

Módulo: Programación Estocástica

Unidad 2: Cadenas de Markov en tiempo discreto
Escenario 4: Análisis transiente y estable de las CMTD

Autor: Stevenson Bolívar Atuesta

Asesor Pedagógico: Claudia Rocío Puentes Mendoza

Diseñador Gráfico: Katherinne Pineda Rodriguez
Asistente: Julieth Sthefhany Ortiz Munevar

Este material pertenece al Politécnico Grancolombiano.

Prohibida su reproducción total o parcial.

POLITÉCNICO GRANCOLOMBIANO 16