Procesos Estocásticos

Análisis Probabilístico y Simulación Capítulo 4 – Cadenas de Markov
Capítulo 4 – Cadenas de Markov
4.1 Introducción
4.1.1 El Concepto de Cadena de Estados Discretos
Gusano Mariposa
1 2
Figura 4.1 Representación de un fenómeno aleatorio por diagramas de transición entre estados
Existen fenómenos aleatorios para los cuales se desea estudiar la evolución del estado
(condiciones físicas u operativas) en forma discreta ó “saltos” con respecto al tiempo.
Es posible que el espacio de estado del fenómeno aleatorio bajo estudio sea continuo pero
solo es práctico o de interés el considerar algunos estados particulares. Un ejemplo de este
tipo de fenómenos se presenta en la Figura 4.1.
Como ayuda para este tipo de modelamiento, el fenómeno aleatorio se representa

mediante una “cadena de estados discretos” o diagrama de transición de estados, el cual
es una gráfica de los estados discretos de interés y flechas que indican las transiciones que
son posibles entre éstos.
En la Figura 4.2 se presentan algunos ejemplos de diagramas de transición entre estados.

En los diagramas de transición no siempre existe conexión entre todos los estados.
El modelo matemático para este tipo de representación se denomina Cadena de Markov.
Este modelo entrega como salida o solución las probabilidades de ocurrencia de cada uno
de los estados como funciones del tiempo, por lo cual, corresponde a un proceso
estocástico. En cualquier instante de tiempo, la suma de las probabilidades de todos los
estados debe ser 1.0 ya que ellos conforman el espacio muestral.
Carlos J. Zapata ©2018 1
1 2 1 2 3
Equipo Equipo Equipo Falla Falla

bueno dañado bueno parcial total
5 MW 0 MW 10 MW 5 MW 0 MW
1 2 3
4
Equipo Desgaste Desgaste Obsolescencia

nuevo aceptable mayor
Figura 4.2 Ejemplos de diagramas de transición de estados
4.1.2 Estado Absorbente
Enfermedad leve
Persona con
1
buena salud
4 Muerte
3 Estado
absorbente
Enfermedad grave
Figura 4.3 Diagrama de transición de estados con un estado absorbente
Algunos estados de una cadena de Markov pueden ser “absorbentes” ya que una vez se
llega a ellos, el fenómeno termina o permanece allí para siempre. En la Figura 4.3 se
presenta un ejemplo donde el diagrama de transición tiene un estado absorbente (el
estado 4).
En este caso, la probabilidad de estado estable o largo tiempo del estado absorbente será
1.0.

4.1.3 Acumulación de Estados

Enfermedad
Enfermedad leve
Persona con
2
buena salud
4 Muerte
Enfermedad grave
Figura 4.4 Diagrama de transición de estados con un estado absorbente
Si varios estados corresponden a una misma situación física u operativa, estos se pueden
acumular. La probabilidad de ocurrencia del nuevo estado acumulado es igual a la suma
de las probabilidades de ocurrencia de los estados que se toman en cuenta en la
acumulación. La Figura 4.4 presenta un ejemplo de este concepto.
4.1.4 Tipos de Cadenas de Markov
Con respecto a cómo se modela el tiempo y el estado, una cadena de Markov puede ser:
Tiempo Estado Nombre Clasificación

Cadena discreta en el
Discreto Discreto estado y discreta en el Homogénea --
tiempo
Exponencial: tiempos de
transición estacionarios y
Cadena discreta en el exponencialmente distribuidos
Homogénea
Continuo Discreto estado y continua en el General: tiempos de transición
tiempo estacionarios con cualquier
distribución
No homogénea ---
Continuo Continuo Proceso de difusión -- --
Tabla 4.1 Taxonomía de las cadenas de Markov

4.2 Cadena de Markov Discreta en el Estado y el Tiempo
4.2.1 Descripción
1 3
Figura 4.5 Cadena de Markov discreta
En este modelo, que también se conoce como “cadena de Markov discreta”, para un
periodo de tiempo fijo t , se conocen las probabilidades de transición entre los estados
del sistema. El periodo de tiempo t también se denomina “etapa” o “transición” del
proceso y puede ser una hora, un día, una semana, un mes, año, etc.
Los diagramas de transición de estados muestran las probabilidades de permanecer en

un estado dado y las probabilidades de transición entre estados, tal como se muestra en
la Figura 4.5.
En t = 0 , se conoce el estado en que el sistema inicia el proceso. Estas condiciones iniciales

se describen mediante un vector de probabilidades P(0) .
Una vez el sistema inicia su operación, puede tomar cualquiera de los estados discretos
definidos.
Las probabilidades de encontrar cada uno de los estados van cambiando conforme el
proceso evoluciona con el tiempo. Los instantes de tiempo futuros están definidos por
“saltos” discretos de dimensión igual a t , tal como se muestra en la Figura 4.6. En cada
uno de estos instantes, se determinan las probabilidades de encontrar cada uno de los
estados, que es un vector P (T ) .

Figura 4.6 Evolución en el tiempo de una cadena de Markov discreta
Este proceso es estacionario, lo cual se evidencia en el hecho de que al pasar el tiempo las
probabilidades de los estados se estabilizan en un valor. Esto resulta de asumir que dentro
del periodo t la probabilidad es constante.
Las unidades del paso de tiempo discreto t resultan de que:
La observación del proceso solo se hace

1 Por ejemplo: cada hora, día, semana, etc.
cada t
Las transiciones ocurren solo ocurren Por ejemplo: las transferencias entre programas
2
cada t . académicos de pregrado solo se hacen cada semestre.
4.2.2 Planteamiento Matemático
Para un sistema o proceso que tiene n estados, la probabilidad de encontrar cada uno de
los estados luego de T transiciones (periodos de tiempo) está dada por:
P(T ) = P(0) PT
Donde:
P(T ) : Es el vector fila con las probabilidades de encontrar cada uno de los estados después
de un tiempo T . Es la función de distribución de probabilidad del proceso
estocástico.
Se utiliza la letra T para designar el tiempo pues el utilizar la letra t puede llevar
a confundir la operación P t con la matriz transpuesta de P .

P(0) : Es el vector fila con las condiciones iniciales expresadas en términos de

probabilidades. La suma de sus términos es 1.0.
P: Es la matriz estocástica de probabilidades de transición entre estados y es el

generador de la cadena. Sus términos se definen como:
 p11 p12 p1n 

 
p p22 p2 n 
P =  21
 
 
 pn 1 pn 2 pnn 
p ii : Es la probabilidad de permanecer en el estado i .
pij : Es la probabilidad de hacer una transición del estado i al j después de un

periodo de tiempo t , dado que se estaba en el estado i al iniciar el periodo de
tiempo.
Las filas de la matriz P deben sumar 1.0. Además, P no es necesariamente simétrica ya

que pij no tiene que ser igual a p ji .
La matriz PT también es una matriz estocástica.
4.2.3 No Memoria del Modelo
Se dice que el modelo de cadena de Markov discreta en el tiempo no tiene memoria por
las siguientes dos condiciones:
Las probabilidades de estado estable serán las mismas sin importar el estando inicial en que
1
inicia el proceso.
Estando en un estado dado, la transición a otro estado solo depende del hecho de estar en el
2
estado presente, no del recorrido que se hizo para llegar al estado presente
La primera condición se demostrará en el Ejemplo 4.1
La segunda condición se evidencia al aplicar el modelo matemático P(T ) = P(0) PT :

P(1) = P(0) P
P(2) = P(0) P 2 = P(0) P * P = P(1) * P
P(3) = P(0) P 3 = P(0) P * P * P = P(2) * P
P(t + 1) = P(t ) * P
La probabilidad en un siguiente estado (t + 1) no es más que la probabilidad del estado

actual t por matriz de probabilidades de transición P . Este tipo de modelo se denomina
“cadena de Markov de primer orden”
4.2.4 Análisis de Estabilidad
Si T es grande → lim PT = L
T →
Si el límite existe, entonces P es una matriz ergódica.
Condiciones para la ergodicidad [7]:
Matriz Ergódica
Una matriz estocástica es ergódica si y solo sí el único valor propio de magnitud 1.0 es (1.0 + 0.0i) y
si este valor propio tiene multiplicidad j , existen j vectores propios linealmente independientes
asociados con este valor propio.
Toda matriz P tiene a (1.0 + 0.0i) como valor propio y ninguno de los valores propios tiene
magnitud mayor a 1.0 en valor absoluto.
Una matriz estocástica es “regular” si una de sus potencias contiene solo elementos
positivos y esta matriz regular es ergódica.
Las probabilidades de estado estable del sistema están dadas por:
P() = P(0) L

Las probabilidades de estado estable son independientes de las condiciones iniciales, por
lo cual, no es necesario hallar la matriz L , pues estas probabilidades se pueden hallar
mediante el siguiente procedimiento [3], [6]:
Algoritmo para hallar P()
1. Se calcula la matriz A = [Pt − I ] donde I es una matriz idéntica de dimensión n * n
2. Se reemplaza cada término de la última fila de la matriz A por 1.0
3. Se obtienen la probabilidades de estado estable resolviendo el siguiente sistema de ecuaciones

lineales de coeficientes constantes:
P() = A−1 b
Donde b es un vector fila de dimensión n cuyos términos son cero excepto el de la última fila que es
igual a 1.0
La Referencia [7] presenta un método para hallar la matriz L a partir de los valores
propios y vectores propios de la matriz P .
4.2.5 Cómo Aplicar este Modelo a un Problema Real
Para aplicar este modelo a un problema real se requiere:
Verificar que en el fenómeno aleatorio bajo estudio es válida la condición de NO memoria de

1
este modelo
Definir los estados discretos con los cuales se pueden representar las características de interés
2
del fenómeno aleatorio bajo estudio.
3 Definir el paso discreto de tiempo t
Determinar las probabilidades de transición entre estados.
p
Los ij se pueden determinar a partir de estadísticas, aplicando la definición de frecuencia
4 relativa.
Debe verificarse que las frecuencias (probabilidades) de transición entre estados sean constantes
dentro del periodo de tiempo que se defina para el estudio.

Ejemplo 4.1
Para empresas que financian y aseguran vehículos se conoce que para vehículos que
fueron financiados y asegurados por este tipo de empresa, al finalizar el primer año de
vigencia del seguro la probabilidad de que el cliente mantenga asegurado el vehículo con
esta empresa es del 55%, la probabilidad de que el cliente se vaya a otras aseguradoras es
del 30% y la probabilidad de que no asegure el vehículo es del 15%.
La probabilidad de que un cliente que tiene asegurado su vehículo con otras aseguradoras
pase su vehículo a esta empresa es del 15% y la probabilidad de que no lo asegure mas es
del 25%.
La probabilidad de que un cliente que no tenga asegurado su vehículo lo haga con esta
empresa es del 5% y de que lo haga con otras aseguradoras es del 10%.
• El periodo de tiempo del estudio es t = 1 año
• Existen 3 estados numerados así:
Estado Descripción
1 Vehículo asegurado en esta compañía
2 Vehículo asegurado en otras compañías
3 Vehículo sin asegurar
• Diagrama de transición de estados y matriz estocástica de probabilidades de

transiciones:
 0.55 0.30 0.15 

 
P =  0.15 0.60 0.25 
 0.05 0.10 0.85 
1 3  
• Las probabilidades de cada estado luego de T periodos de tiempo, si el fenómeno

inicia el ciclo del estudio en el estado uno, están dadas por:

T
 P1 (T )   0.55 0.30 0.15 
   
 P2 (T )  = ( 1 0 0 )  0.15 0.60 0.25 
 P (T )   0.05 0.10 0.85 
 3   
T [años] P1 P2 P3
1 0.5500 0.3000 0.1500
2 0.3550 0.3600 0.2850
3 0.2635 0.3510 0.3855
4 0.2169 0.3282 0.4550
5 0.1912 0.3075 0.5013
6 0.1764 0.2920 0.5316
7 0.1674 0.2813 0.5514
8 0.1618 0.2741 0.5641
9 0.1583 0.2694 0.5723
10 0.1561 0.2664 0.5775
11 0.1547 0.2644 0.5809
12 0.1538 0.2631 0.5831
13 0.1532 0.2623 0.5845
14 0.1528 0.2618 0.5854
15 0.1526 0.2615 0.5859
16 0.1524 0.2613 0.5863
17 0.1523 0.2611 0.5865
18 0.1523 0.2610 0.5867
19 0.1522 0.2610 0.5868
20 0.1522 0.2609 0.5868
21 0.1522 0.2609 0.5869
22 0.1522 0.2609 0.5869
23 0.1522 0.2609 0.5869
Como se observa, el fenómeno alcanza el estado estable en 21 transiciones. Entonces,

P es una matriz ergódica. La Figura 4.6 muestra el comportamiento de estas
probabilidades como función del tiempo.

Figura 4.6 Probabilidades como función del tiempo del ejemplo 4.1
Entonces, el fenómeno aleatorio es estacionario, porque luego de 21 transiciones las

probabilidades permanecen igual, lo cual quiere decir, que a partir de allí no hace falta
el tiempo para explicar el fenómeno.
• Las probabilidades de estado estable cambiando las condiciones iniciales:
Transiciones para
P(0) Descripción P1 P2 P3
estado estable
[1 0 0] Empieza en el estado 1 0.1522 0.2609 0.5869 21
Como se observa, las probabilidades de estado estable son las mismas sin importar en
qué estado empezó a operar el fenómeno bajo estudio. Por esto, se dice que este es un
proceso “sin memoria” o Markoviano.

• Valores propios y vectores propios de la matriz P
i i | i |
1 1.0000 1.0000
2 0.3586 0.3000
3 0.6414 0.4100
• Las probabilidades de estado estable también se pueden hallar haciendo:
t
 0.55 0.30 0.15   1.0 0.0 0.0   −0.45 0.15 0.05 
     
Paso 1: A = P − I =  0.15 0.60 0.25  −  0.0 1.0 0.0  =  0.30 −0.40 0.10 
t
 0.05 0.10 0.85   0.0 0.0 1.0   0.15 0.25 −0.15 

     
 −0.45 0.15 0.05 

 
Paso 2: A =  0.30 −0.40 0.10 
 1.00 1.00 1.00 
 
−1
 −0.45 0.15 0.05   0.0   −2.1739 −0.4348 0.1522  0.0   0.1522 
        
Paso 3: P() =  0.30 −0.40 0.10   0.0  =  -0.8696 -2.1739 0.2609  0.0  =  0.2609 
 1.00 1.00 1.00   1.0   3.0435 2.6087 0.5870  1.0   0.5869 
        
Este es el mismo resultado obtenido mediante multiplicación sucesiva de P .

4.3 Cadenas de Markov Discretas en el Estado y Continuas

el Tiempo
4.3.1 Descripción
1 3
Figura 4.7 Cadena de Markov continua en el tiempo
En este modelo los tiempos de transición entre estados tij son variables aleatorias
continuas estacionarias o no estacionarias.
Del valor esperado de cada tiempo de transición entre estados se define la tasa de
transición entre estados:
dE[N(t )]
hij (t) = 1 / E(tij ) =
dt
La tasa de transición entre estados corresponde a una velocidad o razón de cambio del
valor esperado de eventos N(t ) de transición con respecto al tiempo; por ejemplo,
fallas/año, reparaciones/año, inundaciones/año, etc.
Esta tasa de eventos de se presenta en el diagrama de transición de estados, tal como se

muestra en la Figura 4.7.

Tres casos aparecen en el estudio de este proceso estocástico:
Condiciones Nombre Características Método de solución

Todos los hij constantes y todos Analítica y numérica por
Cadena de Proceso
métodos numéricos de
1 los t ij exponencialmente Markov estacionario
ecuaciones diferenciales y
distribuidos homogénea homogéneo
simulación de Montecarlo
Todos los hij constantes, pero Cadena de Simulación de Montecarlo,
Proceso
Markov mecanismo de las etapas
2 no todos los t ij están estacionario
homogénea (device of stages) y adición
exponencialmente distribuidos homogéneo
general de variables
Algunos varían con el Cadena de Proceso
hij Métodos numéricos de
2 Markov no no estacionario
tiempo ecuaciones diferenciales
homogénea no homogéneo
El nombre “Cadena de Markov Homogénea” se reserva para aquel modelo en el cual

todos los tiempos de transición están exponencialmente distribuidos.
4.3.2 Desarrollo del Modelo Matemático
1 2
“operativo” “fallado”
Figura 4.8 Cadena de Markov continua en el tiempo
Para desarrollar las ecuaciones de una cadena de Markov continua en el tiempo, considere
como ejemplo el componente de dos estados operativos mostrado en la figura 4.8
h12 (t ) = (t ) Se denomina tasa de fallas
h21 (t ) = (t ) Se denomina tasa de reparaciones
Considere un intervalo de tiempo dt el cual es muy pequeño de tal manera que la

probabilidad de que ocurran más de una falla o más de una reparación sea muy pequeña
y por lo tanto pueda despreciarse la ocurrencia de estos eventos. Así:
Probabilidad de una falla en t = Probabilidad de una falla en (t + dt) = (t)dt
Probabilidad de una reparación en t = Probabilidad de una reparación en (t + dt) = (t)dt

La probabilidad de estar en el estado operativo después de un intervalo de tiempo dt es

igual a la probabilidad de estar operativo en t y no haber fallado en dt + probabilidad
de estar fallado en t y haber sido reparado en dt :
P1 (t + dt) = P1 (t)[1 − (t)dt] + P2 (t)[u(t)dt]
La probabilidad de estar en el estado de reparación (fallado) después de un intervalo de

tiempo dt es igual a la probabilidad de estar fallado en t y no haber sido reparado en dt
+ probabilidad de estar no fallado en t y haber fallado en dt :
P2 (t + dt) = P2 (t)[1 − (t)dt] + P1 (t)[(t)dt]
Así, reorganizando términos en ambas ecuaciones:
P1 (t + dt ) = P1 (t )[1 − (t )dt ] + P2 (t )[u(t )dt ] P2 (t + dt ) = P2 (t )[1 − (t )dt ] + P1 (t )[(t )dt ]
P1 (t + dt ) = P1 (t ) − (t )dtP1 (t ) + u(t )dtP2 (t ) P2 (t + dt ) = P2 (t ) − (t )dtP2 (t ) + (t )dtP1 (t )
P1 (t + dt ) − P1 (t ) = [ −(t )P1 (t ) + u(t )P2 (t )]dt P2 (t + dt ) − P2 (t ) = [(t )P1 (t ) − u(t )P2 (t )]dt
P1 (t + dt ) − P1 (t ) P2 (t + dt ) − P2 (t )
= −(t )P1 (t ) + u(t )P2 (t ) = (t )P1 (t ) − u(t ) P2 (t )
dt dt
P1 (t + dt ) − P1 (t ) P2 (t + dt ) − P2 (t )
= −(t )P1 (t ) + u(t )P2 (t ) = (t )P1 (t ) − u(t ) P2 (t )
dt dt → 0
dt dt → 0
dP1 (t ) dP2 (t )
= −(t )P1 (t ) + u(t )P2 (t ) = (t )P1 (t ) − u(t ) P2 (t )
dt dt
Lo cual resulta en el siguiente sistema de ecuaciones diferenciales ordinarias:
dP1 (t )
= −(t )P1 (t ) + u(t )P2 (t )
dt
dP2 (t )
= (t )P1 (t ) − u(t )P2 (t )
dt

El cual se puede expresar en alguna de las siguientes formas:
 dP1 (t )   dP1 (t ) dP2 (t )   −(t ) (t ) 

   −(t ) u(t )   P (t )    = ( P1 (t ) P2 (t ) )  
 dt  =  
1
  dt dt   u(t ) −u(t ) 
 dP2 (t )   (t ) −u(t )  P2 (t ) 
 
 dt 
 −(t ) (t ) 
 P1 (t )   −(t ) u(t )   P1 (t )  ( P (t ) )
P2 (t ) = ( P1 (t ) P2 (t ) )  
 u(t ) −u(t ) 
1
  =   
 P2 (t )   (t ) −u(t )  P2 (t ) 
P(t ) = T t P(t )
P(t ) = P(t ) T
T es la matriz estocástica de tasas de transición entre estados.
Generalizando para n estados:
t t
P(t ) = P(t ) T ó P(t) = T t P(t)
Donde:
P(t ) : Es el vector fila de las probabilidades de cada uno de los estados como función
del tiempo
P(t) : Es el vector fila de las derivadas con respecto al tiempo de las probabilidades de
cada uno de los estados como función del tiempo
T: Es la matriz estocástica de tasas de transición entre estados. Es el generador

infinitesimal de la cadena. Sus términos se definen como:
 h11 (t ) h12 (t ) h1n (t ) 

 
h (t ) h22 (t ) h2 n (t ) 
T =  21
 
 
 hn1 (t ) hn 2 (t ) hnn (t ) 

hii (t ) : El negativo de la sumatoria de todas las tasas de transición que salen del estado i
hii (t ) : Es la tasa de transición que sale del estado i al estado j
Las filas de la matriz T deben sumar 0.0. T no necesariamente es simétrica ya que hij (t )
no tiene que ser igual a hji (t) .
La solución del sistema de este sistema de ecuaciones diferenciales entrega las

probabilidades de cada estado en función del tiempo. Para los casos en que existe solución
al sistema de ecuaciones diferenciales (existe estabilidad), la solución tiene las siguientes
partes:
1 Parte transitoria Se utiliza en estudios de corto plazo.
Parte de estado
2 Se utiliza en estudios de mediano y largo plazo.
estable
Cuando se utiliza simulación de Montecarlo para resolver este tipo de procesos, solo se
obtienen las probabilidades de encontrar cada uno de los estados discretos del proceso en
el estado estable, es decir, se pierde el periodo transitorio.
4.3.3 Cómo Aplicar este Modelo a un Problema Real
Verificar que en el fenómeno aleatorio bajo estudio es válida la condición de NO memoria de este
1
modelo.
Definir los estados discretos con los cuales se pueden representar las características de interés del
2
fenómeno aleatorio bajo estudio.
Para cada uno de los tiempos de transición entre estados analizar la tendencia. Dos casos pueden
aparecer:
• No hay tendencia: En este caso la tasa de transición es constante. Se procede a obtener la

3 distribución de probabilidad de los tiempos de transición.
• Si hay tendencia: En este caso la tasa de transición es variable con el tiempo. Se procede a obtener
la función que representa la tasa de transición, por ejemplo, aplicando el método de mínimos
cuadrados.

Una práctica muy difundida en el modelamiento con cadenas de Markov continuas en el

tiempo ha sido el analizar primero si la tasa de transición entre dos estados es constante
y si esto se cumple, asumir que el tiempo de transición entre estados está distribuido
exponencialmente lo cual no es necesariamente cierto porque si el tiempo de transición
entre estados es estacionario, la tasa de transición será constante independientemente de
la distribución que modela al tiempo de transición entre estados. Así:
El que la tasa de transición entre dos estados sea constante no es suficiente argumento para afirmar que
el tiempo de transición entre estos dos estados está distribuido exponencialmente.
La distribución del tiempo de transición entre estados se obtiene mediante el procedimiento de ajuste de
datos a una distribución no de la tasa de transición entre estados!
Si el tiempo de transición entre dos estados está exponencialmente distribuido, la tasa de transición
entre estos estados es constante, lo contrario no es necesariamente cierto!
4.3.4 Cómo Calcular la Tasa de Transición entre Estados
A partir de una muestra de datos tomada durante un periodo de tiempo T , la tasa de

transición entre estados o “tasa de eventos” se define en forma estadística como:
Tasa de transición entre estados
La tasa de transición hij es el número de transiciones nt del estado i al estado j en un periodo de tiempo
T , por unidad de tiempo en que el sistema estuvo en el estado i
nt
hij = nt /  (tij ) k
k =1
nt
Donde  (t
k =1
) es igual a la sumatoria de los tiempos de salida desde el estado i .
ij k
Para verificar si la tasa de eventos es constante durante el periodo de tiempo T de los

registros se hace una gráfica dividiendo el periodo de tiempo de los registros en sub-
periodos para los cuales se determina el número de eventos. Ver los ejemplos de la Figura
4.9.

1 2 3 4 5 1 2 3 4 5
Figura 4.9 Gráficas de la tasa de eventos con respecto al tiempo
4.3.5 A qué se Refiere la Probabilidad de Ocurrencia de Estados en una

Cadena de Markov Continua en el Tiempo
1 2
Figura 4.10 Cadena de Markov de dos estados con tasas de transición constantes
Para entender a que se refieren las probabilidades de ocurrencia de estados en una Cadena
de Markov continua en el tiempo, considere el fenómeno aleatorio que se presentó en la
Figura 4.8 para el desarrollo del modelo matemático, pero considerando ahora por
simplicidad que las tasas de transición son constantes. Esto se presenta en la Figura 4.10.
Las tasas de transición se definen a partir de los tiempos de transición entre estados como:
h12 (t ) =  =
1
=
1  t 12 i
E (t12 ) t12 t12 = i=1
n
n
h21 (t ) =  =
1
=
1  t 21 i
E (t 21 ) t 21 t 21 = i=1
Donde n es el tamaño de muestra con el cual se calculan los tiempos promedios de

transición entre estados.
El sistema de ecuaciones diferenciales que describe el fenómeno aleatorio es:

 P1 (t )   − u   P1 (t ) 
  =   
 P2 (t )    −u  P2 (t ) 
Y su solución:
  −( + )t
P1 (t ) = + e
+ +
  −( + )t
P2 (t ) = − e
+ +
La solución de estado estable es:
 
P1 ( ) = P2 () =
+ +
Expresando probabilidad del estado 1 con respecto a los tiempos de transición:
n n n
( t12 i ) / n t t
 1 / t21 t21 t12 t12 12 i 12 i
P1 () = = = = = i =1
= i =1
= i =1
 +  1 / t12 + 1 / t21 (t21 + t12 ) t21 (t21 + t12 ) n n n n

t
 t12i  t21i  t12i +  t21i
( i =1 + i =1
) i =1 i =1
n n
n n
Donde t =  t12 i +  t21i es el tiempo total que se observó el fenómeno aleatorio.
i =1 i =1
Se llega a que las probabilidades de ocurrencia de los estados se pueden expresar como:
n n
t 12 i t 21i
P1 () = i =1
P2 () = i =1
t t
Y se llega a la siguiente conclusión:
En una cadena de Markov continua en el tiempo la probabilidad de ocurrencia de un estado i

corresponde a la fracción de tiempo ti que el fenómeno estuvo en dicho estado con respecto al
tiempo total t que se observó operar el fenómeno, es decir: Pi = ti / t

Es decir, en una cadena de Markov continua en el tiempo la probabilidad de ocurrencia

de un estado NO es el número de veces que el fenómeno entró a dicho estado sobre el
número total de transiciones que se observó. Esta conclusión es válida para el estado
estable como el transitorio!
De esta conclusión se derivan otros dos importantes resultados:
En una cadena de Markov homogénea, la probabilidad de cada estado se puede calcular como
la fracción de tiempo que se reside en dicho estado con respecto al tiempo total observado.
1
Para esto, se pueden usar registros operativos; es decir, ¡no es necesario resolver el sistema de
ecuaciones diferenciales para obtener las probabilidades de estado estable!
Las probabilidades de estado estable de una cadena de Markov homogénea no dependen del
tipo de distribución de probabilidad de los tiempos de transición entre estados, solo son función
del valor esperado de los tiempos de transición, con cuyos inversos se calculan las tasas de
2 transición.
Quiere esto decir, que las probabilidades de estado estable son las mismas para cualquier tipo
de cadena homogénea. Pero el estado transitorio NO es el mismo.

4.4 Cadenas de Markov Homogéneas Exponenciales
4.4.1 Modelo Matemático
En este modelo todos los tiempos de transición entre estados están distribuidos
exponencialmente, por lo cual, todas las tasas de transición entre estados son constantes
ya que los tiempos de transición entre estados son estacionarios e independientes. Así,
T es una matriz de coeficientes constantes:
 h11 h12 h1n 

 
h h22 h2 n 
T =  21
 
 
 hn1 hn 2 hnn 
El modelo matemático P(t) = P(t) T corresponde a un sistema de ecuaciones diferenciales

ordinarias, lineales de coeficientes constantes cuya solución es independiente de las
condiciones iniciales.
4.4.2 Solución Analítica del Modelo Matemático
Dos métodos de solución analítica para el sistema de ecuaciones diferenciales del proceso
de Markov continuo en el tiempo son:
t t t
1 P(t) = eT *t P(0)
Donde P(0) es el vector columna de las condiciones iniciales, expresadas en términos de

probabilidades.
t n
2 P (t ) =  c i * v i *e i *t
i =1
Donde:

 i : Es el valor propio i de la matriz T . Recordar que T tiene los mismos valores propios
t
de T .
vi : Es el vector propio columna asociado con el valor propio i que es calculado a partir
de T t . Recordar que los vectores propios no son únicos.
ci : Es una constante a ser determinada por medio de las condiciones iniciales
Otros métodos de solución de este sistema de ecuaciones diferenciales se pueden

consultar en textos de ecuaciones diferenciales, teoría de control y métodos numéricos.
4.4.3 Análisis de Estabilidad
Algo muy importante a determinar antes de intentar solucionar un sistema de ecuaciones

diferenciales, es si el sistema descrito es “estable”, es decir, presenta respuesta
amortiguada.
Esto se puede conocer del análisis de los valores propios de la matriz de coeficientes del
sistema de ecuaciones diferenciales, T en el caso del proceso de Markov continuo [9]:
El sistema es asintóticamente estable sí y solo sí todos los valores propios de T están ubicados
1
en el lado izquierdo del plano complejo.
El sistema es marginalmente estable si algunos de los valores propios de T ocurren como un

2 solo valor en el origen del plano complejo o como parejas de valores simples en el eje imaginario
y el resto de valores propios están ubicados en el lado izquierdo del plano complejo.
El sistema es inestable si uno o más valores propios de T ocurren en el lado derecho del plano
3
complejo o si valores múltiples o pares de los valores ocurren en un punto del eje imaginario.
Para una cadena de Markov homogénea exponencial se tiene que [1]:
Uno de los valores propios de la matriz T es cero y todos los otros valores propios tienen parte real
negativa.
Es decir, este proceso es marginalmente estable.

Otros criterios de estabilidad se pueden consultar en textos de ecuaciones diferenciales o

de teoría de control. En términos generales, la estabilidad está dada, antes de todo, por
una correcta representación del fenómeno aleatorio bajo estudio en términos de un
correcto diagrama de transición de estados.
4.4.4 Analogía con la Representación en Variables de Estado
La descripción matemática de la cadena de Markov homogénea exponencial es análoga a

la representación matemática de un sistema dinámico determinístico por variables de
estado:
t t
P(t) = T t P(t) → x(t) = A x(t)
Donde:
x(t ) : En teoría de control, es el vector de las variables de estado
A : En teoría de control, se denomina matriz de estado
En la teoría de control se definen para un sistema dinámico determinístico [10]:
Es el conjunto más pequeño de variables, denominadas variables de estado, tales que el

Estado conocimiento de estas variables en t = t0 determinan completamente el
comportamiento del sistema para t  t0
Son las variables que constituyen el conjunto más pequeño de variables que determinan
Variable de
el estado del sistema. Este conjunto no es único. Las variables de estado no tienen que
estado
ser necesariamente cantidades físicas medibles u observables.
Entonces, las probabilidades de ocurrencia de cada estado discreto de un proceso de

Markov continuo en el tiempo se pueden considerar las “variables de estado” que
permiten predecir el comportamiento futuro del sistema, dado que se conoce su estado
inicial.
Lo anterior contrasta con el hecho de que para un sistema dinámico determinístico, las
variables de estado determinan completamente el comportamiento futuro del sistema,
dado que se conoce su estado inicial.

Ejemplo 4.2
Para un transformador de potencia 220/115 kV, 80/100 MVA, ONAN/ONAF se definen

los siguientes estados operativos:
Estado Descripción Capacidad en MVA

1 Equipo sin falla 100
2 Falla del sistema de aire forzado (ventiladores) 80
3 Fallas que implican la desconexión del equipo 0
Se tiene la siguiente información operativa:
1 El tiempo promedio para que se produzca una falla del sistema de aire forzado es 3 meses.
2 El tiempo promedio para reparar una falla del sistema de aire forzado es 5 días
El tiempo promedio para que se produzca una falla que implique la salida total del equipo es 6
3
meses.
4 El tiempo promedio para reparar una falla que implica la salida total del equipo es de 20 días.
• Convertir los tiempos promedios para transición de estados a las mismas unidades
t12 = 3 / 12 = 0.25 [años]
t13 = 6 / 12 = 0.50 [años]
t21 = 5/ 365 = 0.0137 [años]
t31 = 20 / 365 = 0.0548 [años]
• Diagrama de transición de estados

100 MVA
No fallas
2 3
80 MVA 0 MVA
Falla sistema de aire forzado Falla que implica desconexión
Figura 4.11 Diagrama de transición de estados para el transformador de potencia del Ejemplo 7.2

• Tasas de transición entre estados: En la distribución exponencial, la tasa de fallas es el

inverso del valor esperado del tiempo para falla:
E(tij ) = 1/ hij → hˆij = 1/ tij
Es decir, las tasas de transición entre estados se van a estimar a partir del promedio
estadístico del tiempo de transición entre estados.
Tasa de
Descripción Valor
transición
h12 Es la tasa de fallas del sistema de aire forzado 12 = 4 [fallas/año]
h21 Es la tasa de reparación del sistema de aire forzado 21 = 73 [reparaciones/año]

Es la tasa de fallas que implican desconexión del
h13 13 = 2 [fallas/año]
equipo
Es la tasa de reparación de las fallas que implican 31 = 18.25
h31
desconexión del equipo [reparaciones/año]
• Matriz de tasas de transición entre estados
 −6.00 +4.00 +2.00 

 
T =  +73.00 −73.00 0.00 
 +18.25 0.00 −18.25 

• Modelo matemático de la cadena de Markov
T
 P1 (t )   −6.00 +4.00 +2.00   P1 (t ) 
     
 P2 (t )  =  +73.00 −73.00 0.00   P2 (t ) 
 P (t )   +18.25 0.00 −18.25   P (t ) 
 3     3 
• Valores propios y vectores propios de T t
1 = −77.1406  2 = 0.0 3 = −20.1094

 +0.7190   −0.9926   −0.6800 

     
v1 =  −0.6946  v2 =  −0.0544  v3 =  −0.0514 
 −0.0244   −0.1088   +0.7314 
     
Definiendo: V = ( v1 v2 v3 )
Como se observa, uno de los valores propios es cero y los otros dos tienen parte real
negativa. El proceso estocástico que describe la confiabilidad del transformador de
potencia es marginalmente estable.
• Asumiendo que el sistema comienza la operación en el estado 1 (sin fallas):
P(0) = (1.0 0.0 0.0 )
La solución es del sistema de ecuaciones diferenciales se obtiene mediante el siguiente

procedimiento:
 P1 (t )   +0.7190   −0.9926   −0.6800 

    −77.1406*t   −0.0*t  
 P2 (t )  = c1 *  −0.6946  * e + c2 *  −0.0544  * e + c3 *  −0.0514  * e −20.1094*t
 P (t )   −0.0244   −0.1088   +0.7314 
 3       
Evaluando en t = 0 y reemplazando las condiciones iniciales, se hallan el sistema de

ecuaciones algebraicas para determinar los ci :
 1.0   +0.7190   −0.9926   −0.6800 

       
 0.0  = c1 *  −0.6946  + c2 *  −0.0544  + c3 *  −0.0514 
 0.0   −0.0244   −0.1088   +0.7314 
       
 +0.7190 −0.9926 −0.6800   c1   1.0 

    
 −0.6946 −0.0544 −0.0514   c2  =  0.0 
 −0.0244 −0.1088 +0.7314   c   0.0 
  3   
V * c = P0
Los ci se hallan de la siguiente forma:

−1
 c1   +0.7190 −0.9926 −0.6800   1.0   +0.0771 
       
 c2  =  −0.6946 −0.0544 −0.0514   0.0  =  −0.8652 
 c   −0.0244 −0.1088 +0.7314   0.0   −0.1261 
 3      
c = V −1 * P 0
Reemplazando los valores de ci en las ecuaciones de P(t) :
 P1 (t )   +0.7190   −0.9926   −0.6800 

    −77.1406*t   −0.0*t  
 P2 (t )  = 0.0771*  −0.6946  * e − 0.8652 *  −0.0544  * e − 0.1261*  −0.0514  * e −20.1094*t
 P (t )   −0.0244   −0.1088   +0.7314 
 3       
 P1 (t )   +0.0554   0.8588   +0.0858 

    −77.1406*t   −0.0*t  
 P2 (t )  =  −0.0535  * e +  0.0471  * e +  +0.0065  * e −20.1094*t
 P (t )   −0.0019   0.0941   −0.0922 
 3       
 P1 (t )   +0.0554 +0.8588 +0.0858   e −77.1406*t 

     −0.0*t 
 P2 (t )  =  −0.0535 +0.0471 +0.0065   e 
 P (t )   −0.0019 +0.0941 −0.0922   e −20.1094*t 
 3    
P1 (t ) = +0.0554 e −77.1406*t + 0.8588 e −0.0*t + 0.0858 e −20.1094*t = 0.8588 + 0.0554 e −77.1406*t + 0.0858 e −20.1094*t
P2 (t ) = −0.0535e −77.1406*t + 0.0471e −0.0*t + 0.0065e −20.1094*t = 0.0471 − 0.0535e −77.1406*t + 0.0065e −20.1094*t
P3 (t ) = −0.0019 e −77.1406*t + 0.0941e −0.0*t − 0.0922 e −20.1094*t = 0.0941 − 0.0019 e −77.1406*t − 0.0922 e −20.1094*t
El conjunto P(t) = ( P1 (t) P2 (t) P3 (t) ) constituye la función de distribución de

probabilidad de la cadena de Markov o su modelo matemático ya que da la posibilidad
de encontrar cada estado en cada instante del tiempo.
En la Figura 4.12 se presenta la gráfica de estas probabilidades en el tiempo.

Figura 4.12 Solución del Ejemplo 4.2
En estos resultados se observa que:
• En cualquier instante de tiempo la suma de las tres probabilidades es 1.0.
• Las tres ecuaciones constan de un término constante y un término transitorio que

decrece con el tiempo. Los términos constantes son las probabilidades de estado
estable.
• P1 () = 0.8588 . El primer estado (Transformador sin fallas) es el que tiene mayor
probabilidad de ser encontrado en cualquier instante de tiempo. Esto corresponde a lo
deseado para cualquier equipo.
• El fenómeno aleatorio es estacionario, porque luego de 0.2 años las probabilidades

permanecen igual, lo cual quiere decir, que a partir de allí no hace falta el tiempo para
explicar el fenómeno.
Las probabilidades de estado estable cambiando las condiciones iniciales son:
P(0) Descripción P1 P2 P3
[1 0 0] Empieza en el estado 1 0.8588 0.0471 0.0941

Como se observa, las probabilidades de estado estable son las mismas sin importar en qué
estado empezó a operar el fenómeno bajo estudio. Por esto, se dice que este es un proceso
“sin memoria” o “Markoviano”.
4.4.5 Frecuencia y Duración de los Estados
En el estado estable de una cadena de Markov homogénea de cualquier tipo se pueden

obtener:
Es la probabilidad de ocurrencia del estado i por la

sumatoria de las tasas de salida desde ese estado.
n
La frecuencia esperada de ocurrencia de fi = Pi () *  hij
un estado i j i
También se puede calcular como la probabilidad de NO

encontrar el estado i por la sumatoria de las tasas de
entrada a ese estado.
El tiempo medio gastado en un estado i o duración media
La duración media en un estado i en este estado es el inverso de sumatoria de las tasas de
(sojourning time) salida desde ese estado.
n
mi = 1/  hij
j i
n
Además, se cumple que f
i =1
i
*mi = t , donde t es el tiempo de referencia del estudio o
la unidad que se mide el tiempo.
Para hallar la frecuencia de ocurrencia de un estado acumulado o la duración media en

este estado acumulado, solo se toman en cuenta los estados que se comunican a través de
la frontera de acumulación.

Ejemplo 4.3
Para el transformador de potencia del Ejemplo 4.2 hallar la frecuencia y duración de cada
estado.
Estado i Pi () f i [Veces/año] mi [Días]

1 0.8588 f1 = 0.8588 * (4 + 2) = 5.1529 m1 = 1/(4 + 2) * 365 = 60.8333
2 0.0471 f2 = 0.0471* 73 = 3.4353 m2 = 1/ 73 * 365 = 5.0
3 0.0941 f3 = 0.0941* 18.25 = 1.7176 m3 = 1/ 18.25 * 365 = 20.0
La probabilidad de que el transformador se encuentre disponible para operar a su máxima

capacidad nominal (100 MVA) es de 85.88%. Esta condición operativa se da 5.1529 veces
por año y tiene una duración media de 60.8333 días.
La probabilidad de que el transformador solo se encuentre disponible para operar a una

capacidad máxima de 80 MVA es de 4.71%. Esta condición operativa se da 3.4353 veces
por año y tiene una duración media de 5 días (El mismo tiempo promedio para reparación
de daños del sistema de enfriamiento).
La probabilidad de que el transformador no se encuentre disponible para operar es de

9.41%. Esta condición operativa se da 1.7176 veces por año y tiene una duración media de
20 días (El mismo tiempo promedio para reparación de daños que implican la
desconexión del equipo).
Obsérvese que:
m1 f1 + m2 f2 + m3 f3 = 5.1529 * 60.8333 + 3.4353 * 5 + 1.7176 * 20 = 365 [días]
Es decir, un año que corresponde al tiempo de referencia del estudio ó a la referencia para
la medida de las unidades de tiempo.

4.4.6 Tiempo Medio para Entrar en un Estado Absorbente
Como se mencionó anteriormente, para los fenómenos aleatorios que tienen estados
absorbentes la probabilidad de estado estable del estado absorbente es 1.0, es decir, esta
es una solución trivial.
Así, lo que queda de interés para resolver es el estado transitorio de las probabilidades de
los otros estados o el tiempo medio para entrar en dicho estado absorbente.
El procedimiento es para obtener el tiempo medio para entrar en un estado absorbente es

[6]:
Cómo hallar el tiempo medio para entrar en un estado
1. Se calcula la matriz A = [T + I ] . I es una matriz idéntica de dimensión n * n
2. Hallar Q , la matriz que resulta de eliminar en A la fila y la columna que corresponden al estado
absorbente.
3. Hallar N = [I − Q]−1 . Las fila de N corresponden al estado en que se inició el proceso. I es en este
caso, una matriz idéntica de dimensión (n − 1) * (n − 1)
4. El tiempo medio para entrar en el estado absorbente MTTAS (Mean Time to Absorbing Time) dado
que el proceso comenzó en el estado i es la suma de los términos de la fila i de la matriz N .
Este procedimiento sirve para encontrar el tiempo medio para entrar a un estado dado, si
el estado de interés se asume como un estado absorbente.

Ejemplo 4.4
fallas/año fallas/año
1 2 3
reparaciones/año
Equipo Falla total
nuevo Falla
reparable
Figura 4.13 Diagrama de estados de un componente con un estado absorbente
• Matriz de tasas de transición entre estados
 −10.0 +10.0 0.0 

 
T =  +730 −732 2.0 
 0.0 0.0 0.0 

• Procedimiento para hallar el tiempo medio para entrar en el estado absorbente dado
que el componentes inicia el proceso en el estado 1:
 −10.0 +10.0 0.0   1.0 0.0 0.0   −9 10 0.0 

     
Paso 1: A = T + I =  +730 −732 2.0  +  0.0 1.0 0.0  =  730 −731 2 
 0.0 0.0 0.0   0.0 0.0 1.0   0.0 0.0 1.0 

 −9 10 
Paso 2: Q= 
 730 −731 
 1 0   −9 10   10 −10 
Paso 3: [ I − Q] =   − = 
 0 1   730 −731   −730 732 
−1
−1  10 −10   36.6 0.5 
N = [ I − Q] =   = 
 −730 732   36.5 0.5 
Paso 4: MTTAS = N11 + N12 = 36.6 + 0.5 = 37.10 años
Nótese que en este ejemplo m3 = 1/ 0 =  , la duración media en este estado, una vez se entra
en él es infinita.

4.5 Cadenas de Markov Homogéneas Generales
4.5.1 Descripción
En este caso, todos los tiempos de transición entre estados son estacionarios pero no todos
están exponencialmente distribuidos. Así, al igual que en la cadena de Markov
homogénea exponencial, la matriz de tasas de transiciones tiene todos los términos
constantes:
 h11 h12 h1n 

 
h h22 h2 n 
T =  21
 
 
 hn1 hn 2 hnn 
Como estas tasas son constantes, es decir los tiempos medios de transición entre estados
son constantes, las probabilidades de estado estable son las mismas obtenidas en el caso
de la cadena de Markov homogénea exponencial. O dicho de otra forma:
En una cadena de Markov homogénea de cualquier tipo, las probabilidades de estado estable
son las mismas sin importar el tipo de distribución de los tiempos de transición.
En una cadena de Markov homogénea, las probabilidades de estado estable solo dependen de los
valores de los tiempos medios de transición entre estados o de las tasas de transición los cuales
son constantes sin importar el tipo de distribución
Quiere esto decir, que para hallar las probabilidades de estado estable de cualquier cadena
de Markov homogénea, se puede tomar la solución de estado estable de la cadena de
Markov exponencial y con estas probabilidades calcular la frecuencia y duración de los
estados.
Entonces, ¿qué diferencia existe entre la cadena de Markov homogénea general y una
cadena de Markov exponencial? En el estado transitorio, ya que los modelos
exponenciales tienen coeficiente de variación del 100% mientras que esto no es así en las
otras distribuciones, por lo cual, alcanzar el estado estable en la cadena dependerá de la
variabilidad de los modelos de distribución que están involucrados. Así, para una cadena

de Markov homogénea general NO es válido tomar la solución de estado transitorio de

una cadena de Markov homogénea exponencial. Esto se demuestra a continuación.
4.5.2 Modelo Matemático de la Cadena Homogénea General
En la cadena de Markov homogénea general, el sistema de ecuaciones P(t) = P(t) T no se

puede resolver de la misma forma que en la cadena exponencial pues la siguiente
propiedad que fue utilizada para deducir el sistema de ecuaciones del modelo no se
cumple:
Probabilidad de ocurrencia de un evento en t = Probabilidad de ocurrencia de un evento en

(t + dt)
Esta propiedad solo se cumple para la distribución exponencial y por esto se dice que
dicho modelo “no tiene memoria”. Esto se demuestra a continuación:
Considere que un componente no reparable que se encuentra en el “bueno” definiendo:
“Bueno” “Fallado”
t12
1 2
Sean:
A : El evento de funcionar hasta el tiempo t
B : El evento de fallar en el periodo de tiempo t
Estos eventos son dependientes, porque para que el componente pueda fallar en t debe
haber funcionado hasta t . Así:
P( A  B)
P[ B | A] = = F (t )
P( A)
 tt +t f (t )dt F (t + t ) − F (t )
F ( t ) =  =
 t f (t )dt 1 − F (T )

Ejemplo 4.5
Considere que el tiempo para transición entre los estados 1 y 2 (tiempo para falla) tiene
un valor esperado de 5 años y una desviación estándar de 1.25 años.
Analizando F ( t ) para modelos exponencial y normal se tiene:
1. Modelo Exponencial
1
− t
F (t ) = 1 − e 
 = 5 años
• Si el componente no ha fallado en 3 años, ¿cuál es la probabilidad de que falle en los

siguientes 2 años?
F (t + t ) − F (t ) F (3 + 2) − F (3) 0.6321 − 0.4512

F (2) = = = = 0.3297
1 − F (t ) 1 − F (3) 1 − 0.4512

siguientes 2 años?
F (t + t ) − F (t ) F (4 + 2) − F (4) 0.6988 − 0.5507

F (2) = = = = 0.3297
1 − F (t ) 1 − F (4) 1 − 0.5507

siguientes 2 años?
F (t + t ) − F (t ) F (5 + 2) − F (5) 0.7534 − 0.6321

F (2) = = = = 0.3297
1 − F (t ) 1 − F (5) 1 − 0.6321
La probabilidad de fallar en los dos siguientes años es la misma sin importar cuánto ha
vivido el componente! Por esto se dice que la distribución exponencial es un modelo “sin
memoria”. Y es la única distribución que tiene esta propiedad.

2. Modelo Normal
( t −  )2
1 − t
f (t ) = e 2 2
 = 5 años  = 1.25 años
2 

siguientes 2 años?
F (t + t ) − F (t ) F (3 + 2) − F (3) 0.5000 − 0.0548

F (2) = = = = 0.4710
1 − F (t ) 1 − F (3) 1 − 0.0548

siguientes 2 años?
F (t + t ) − F (t ) F (4 + 2) − F (4) 0.7881 − 0.2119

F (2) = = = = 0.7312
1 − F (t ) 1 − F (4) 1 − 0.2119

siguientes 2 años?
F (t + t ) − F (t ) F (5 + 2) − F (5) 0.9452 − 0.5000

F (2) = = = = 0.8904
1 − F (t ) 1 − F (5) 1 − 0.5000
Conforme pasa el tiempo, la probabilidad de que el componente falle en un periodo t

es mayor. Aquí no hay la propiedad de “NO memoria”.

4.5.3 Métodos para Resolver Cadenas Homogéneas Generales
Si para una cadena de Markov homogénea general se desea resolver el estado estable se
puede tomar la correspondiente solución de la cadena de Markov exponencial o aplicar
el método de simulación de Montecarlo que se explica en la siguiente sección.
Pero si lo que se requiere es el estado transitorio, se tiene que aplicar uno de los siguientes
métodos de solución:
1 El mecanismo de la etapas (Device of stages)

2 Adición de variables
El mecanismo de las etapas consiste en convertir una cadena donde todos los tiempos de
transición entre estados no están distribuidos exponencialmente en una cadena que si
cumple esta condición pero que tiene más estados que la cadena original.
Para diversas combinaciones de distribuciones de probabilidad, los investigadores han

desarrollado las cadenas exponenciales equivalentes. Ver el ejemplo mostrado en la figura
4.14 donde los términos  y  son constantes que se calculan de acuerdo con las
características de las distribuciones de la cadena original
1 2S1 2Sk
Exponencial
1 2
2P1
Lognormal
2P2
Figura 4.14 Cadena de Markov no exponencial y su equivalente exponencial
El método de mecanismo de las etapas tiene la ventaja de que permite hallar la solución
transitoria y de estado estable de las probabilidades de los estados. Pero como desventaja
se tiene que el sistema de ecuaciones diferenciales resultante es de dimensión mayor que
el del modelo original, lo cual puede ser una limitante en aplicaciones reales donde hay
una gran cantidad de estados.
4.6 Solución de Cadenas de Markov Homogéneas

Mediante Datos Operativos
De la propiedad de que en una Cadena de Markov continua en el tiempo la probabilidad
de ocurrencia de un estado i corresponde a la fracción de tiempo ti que el fenómeno
estuvo en dicho estado con respecto al tiempo total t que se observó operar el fenómeno,
se llega a la conclusión que si dispongo de datos o registros operativos por un largo
tiempo de observación, entonces se puede calcular la probabilidad de ocurrencia de cada
estado simplemente aplicando Pi = ti / t . Igualmente, se pueden calcular las tasas de salida,
frecuencia y duración en cada estado.
Ejemplo 4.7
Para un componente reparable de dos estados, que ha operado por 5 años consecutivos
se conoce que el tiempo que ha estado indisponible debido a 4 fallas, o sea la sumatoria
de los tiempos para reparación es de 0.25 años.
t12
1 2
t21
Entonces:
t = 5 años t 21
= 0.25 años n = 4 fallas = 4 reparaciones
t 21
+  t12 = t = 5 años →  t12 = 5 − 0.25 = 4.75años
P1 () = t12 / t = 4.75 / 5 = 0.95 P2 () = t21 / t = 0.25 / 5 = 0.05
1 = n1 / t1 = 4 / 4.75 = 0.8421 fallas / año  2 = n2 / t = 4 / 0.25 = 16 reparaciones / año
Obviamente, la calidad de estos resultados depende del tamaño de la muestra de los

registros operativos.

4.7 Cadenas de Markov No Homogéneas
4.7.1 Descripción
En este modelo algunas o todas las tasas de transición entre estados son funciones del
tiempo, lo cual hace que sea no estacionario y que los tiempos de transición entre estados
no puedan modelarse mediante distribuciones de probabilidad. Así, en este caso T es
una matriz con coeficientes variables:
 h11 (t ) h12 (t ) h1n (t ) 

 
h (t ) h22 (t ) h2 n (t ) 
T =  21
 
 
 hn1 (t ) hn 2 (t ) hnn (t ) 
El modelo matemático P(t) = P(t) T corresponde a un sistema de ecuaciones diferenciales

ordinarias lineales con algunos o todos los coeficientes variables con el tiempo, el cual
puede solucionarse:
1 Analíticamente
2 Numéricamente
Solo es posible hallar soluciones analíticas para ciertas formas de las funciones
matemáticas utilizadas para las tasas de transición entre eventos. El método de solución
a aplicar depende entonces de la forma de estas funciones.
Otra limitación con este tipo de modelo es que no hay un método analítico general para
analizar la estabilidad matemática de la solución.
Así lo recomendado en este texto es utilizar métodos numéricos para ecuaciones

diferenciales como Runge-Kutta.
Aunque en primera instancia este modelo es no homogéneo ya que algunas o todas las
tasas de transición entre estados, no puede afirmarse que las probabilidades de ocurrencia
de los estados sean funciones divergentes del tiempo; dependiendo de la forma de las
tasas, estas probabilidades pueden estabilizarse a unos valores y tener en el largo tiempo
un proceso estacionario.

4.8.2 Tiempo Global y Local
Otro aspecto importante a analizar al aplicar este modelamiento es si las tasas de

transición entre estados varían con el tiempo global o con un tiempo local, ya que el
modelo P(t) = P(t) T considera que es en forma global.
Para explicar este concepto, considere el componente reparable con dos estados
operativos mostrado en la Figura 4.15, donde (t ) y (t ) son respectivamente la tasa de
fallas y la tasa de reparaciones.
“bueno” 1 2 “fallado”
Figura 4.15 Componente reparable con dos estados operativos
Para este tipo de componente puede argumentarse lo siguiente:
La tasa de fallas del componente se incrementa con su uso, así, ésta es función del tiempo de
1 operación del componente. En este caso,  sería función de un tiempo local  f no del tiempo
global t de observación del proceso el cual es la suma de los tiempos de falla y reparación.
La tasa de reparaciones del componente depende de factores propios del proceso de reparación:
la carga de trabajo de los operarios, la pérdida de rendimiento de los operarios debido al
2 envejecimiento, la falta de incentivos laborales, etc. En este caso, (t ) sería función de un tiempo
local r no del tiempo global t de observación del proceso el cual es la suma de los tiempos de
falla y reparación.
Así, si las tasas de transición varían con un tiempo local y no con el tiempo global, al
aplicar el modelamiento (t ) se obtiene una predicción sobre-estimada de las
probabilidades de ocurrencia de los estados del proceso.

Ejemplo 4.8
El comité local de emergencias de una ciudad representa el estado de la ciudad mediante

el diagrama mostrado en la Figura 4.16.
Estado Estado de
1 2
normal emergencia
Figura 4.16 Estados operativos en una ciudad
El estado de emergencia incluye aquellas situaciones de alteración del orden público,

terremotos, inundaciones, huracanes o brotes epidémicos. La tasa de llegada de estos
eventos es (t ) la cual se denomina tasa de problemas.
La tasa de restauraciones al estado normal es (t ) representa la actividad de los

organismos de seguridad, bomberos, defensa civil, paramédicos, médicos, empresas
prestadoras de servicios públicos, etc.
Ambas tasas de transición se pueden representar mediante un modelo h(t ) =  t −1 en el

cual  es el factor de escala y  el factor de forma. La tasa de transición h(t ) será creciente
sí   1 , decreciente sí   1 y constante sí  = 1 .
1. De los registros de años anteriores, se observa que la tasa de problemas ha ido

incrementándose y puede representarse con un modelo donde  p = 6 [problemas/año]
y p = 1.5 . Sin embargo, el gobernante de la ciudad insiste en que los recursos para
restaurar se mantengan constantes.
Con los recursos actuales para restaurar, el tiempo promedio para volver la ciudad al
estado normal es de 60 horas (2.5 días), por lo cual, la tasa de restauraciones se modela
con r = 8760 / 60 = 146 [restauraciones/año] y r = 1.0 .
El modelo matemático del sistema es:
 P1 (t )   −(t ) u(t )   P1 (t ) 
 =  
 P2 (t )   (t ) −u(t )  P2 (t ) 

p −1
(t) =  p p t = 6 * 1.5 * t1.5−1 = 6 * 1.5 * t1.5−1 = 9 t 0.5
(t) = r r tr −1 = 146 * 1.0 * t1.0−1 = 146 t 0 = 146
 P1 (t )   −9 t 0.5 146   P1 (t ) 
  =  0.5  
 P2 (t )   9 t −146   P2 (t ) 
La solución numérica (Método Runge-Kutta) para diez años se muestra en la Figura 4.17.
Figura 4.17 Resultados para el ejemplo 4.7 con tasa de reparaciones constante
Como se observa en la Figura 4.17, si los problemas aumentan con el tiempo y los recursos
para restaurar se mantienen constantes, la probabilidad de que la ciudad esté en el estado
de emergencia crece a un valor muy alto (18%).

2. Considere ahora que los recursos para restaurar se incrementan para seguirle el paso a
al proceso creciente de llegadas de problemas. La tasa de restauraciones se modela en
este caso con r = 146 [restauraciones/año] y r = 1.5 .
La solución numérica (Método Runge-Kutta) para diez años se muestra en la Figura

4.18.
Figura 4.18 Resultados para el ejemplo 4.7 con tasas de reparaciones crecientes
Como se observa en la Figura 4.18, si los recursos para restaurar se incrementan, la

probabilidad de que la ciudad esté en el estado de emergencia en 7%.

4.8 Solución de Cadenas de Markov por Simulación de

Montecarlo
4.8.1 Descripción General
Tanto para las cadenas de Markov discretas en el tiempo como para las continuas en el
tiempo homogéneas, el procedimiento de simulación consiste en pararse en un estado y
desde allí generar la transición a otro de los estados con los cuales hay conexión y en cada
estado al cual se hace transición repetir esta misma acción; esto es, se replica en forma
artificial la operación del fenómeno aleatorio (movimiento entre estados) y se va
contabilizando el tiempo que se reside en cada estado para finalmente calcular la
probabilidad de estado estable de cada estado i aplicando Pi = ti / t .
En la Figura 4.19 se presenta el procedimiento de convergencia de una simulación; la

probabilidad estimada Pi se acerca a la probabilidad verdadera cuando el número de
iteraciones tiende a infinito.
Valor verdadero
10 20 50 100 200 1000 2000 Iteraciones
Figura 4.19 Convergencia en el proceso de simulación
La probabilidad obtenida mediante el procedimiento de simulación no será exactamente

igual a la solución verdadera sino una aproximación; en la zona de convergencia incluso
puede oscilar alrededor del valor verdadero.
No debe confundirse el estado transitorio de la simulación (resultados previos a alcanzar

la convergencia) con el estado transitorio de la solución en el tiempo que se obtiene por
métodos analíticos o numéricos de ecuaciones diferenciales.

El método de simulación tiene las siguientes ventajas:
Permite obtener las probabilidades de estado estable de cadenas de tiempo discreto y de cadenas
1
homogéneas sin recurrir a soluciones analíticas
Se resuelven las probabilidades de estado estable de cadenas homogéneas sin importar la
2
distribución de probabilidad de los tiempos de transición entre estados
En el procedimiento se pueden incorporar para cada estado algoritmos de solución para otras
3
variables relacionadas como optimización, flujos de carga, transformaciones, etc.
Como desventajas tiene:
1 No permite resolver el estado transitorio, lo cual, se requiere para algunas aplicaciones.

Demanda un alto tiempo computacional y memoria de almacenamiento temporal (RAM)
2 En el caso de las cadenas homogéneas esta demanda será inversamente proporcional a las
magnitudes de las tasas de transición entre estados y directamente proporcional a la variabilidad
de las distribuciones de probabilidad de los tiempos de transición
4.8.2 Cadenas discretas en el tiempo
El procedimiento de simulación consiste en pararse en un estado y generar una

probabilidad de transición U para definir a cuál de los estados para los cuales hay
conexión se hace la transición; para esto, se compara en que rango de probabilidades “cae”
U , tal como se muestra en el diagrama de la Figura 4.20.
2
Pasa el estado 3
1 Pasa el estado 2
3
Permanece en estado 1
Figura 4.20 Procedimiento de simulación en cadena discreta en el tiempo
Así, se van recorriendo los estados y se va contabilizando el número de entradas a cada

uno de ellos. Como el tiempo es discreto, cada que se entra a un estado, se reside allí el
periodo t definido para el modelo.

Definiendo:
i : Es el índice para indicar los estados del proceso
t : Tiempo de la simulación, corresponde al tiempo que se observa artificialmente la

operación del fenómeno. Es igual al número de transiciones por t .
ti : Tiempo en que el fenómeno está en el estado i
 : Es el error máximo permitido para estimar las probabilidades
Al iniciar la simulación: t =0 t i = 0 i
Los pasos de la simulación son:
1. Ubíquese en el estado donde inicia el proceso y súmele 1 al tiempo de este estado.
2. Genere un numero aleatorio U y defina si hay transición a alguno de los estados para
los cuales hay conexión o se permanece en este estado.
3. Súmele 1 al tiempo del estado al cual se hace transición (que puede ser el mismo estado
presente)
4. Ubíquese en el estado al cual se hizo la transición y vuelva al paso 2
5. Repetir hasta un número pre-especificado de iteraciones o un error pre-especificado
Cuando se utiliza como criterio de parada un error pre-especificado  , se mira entonces

a partir de la iteración 2 lo siguiente:
Si Pi( j+1) − Pi( j )   → Parar
Si Pi( j+1) − Pi( j )   → Volver al paso 2
7. Calcule las salidas de la simulación aplicando: Pi = ti / t

Ejemplo 4.6
Considere la cadena de Markov de tiempo discreto del Ejemplo 4.1 cuyo diagrama de
transiciones y matriz de probabilidades de transición son:
2
 0.55 0.30 0.15 
 
P =  0.15 0.60 0.25 
 0.05 0.10 0.85 
 
1 3
Para el estado estable, la solución analítica de este proceso es:
P1 P2 P3
0.1522 0.2609 0.5869
Observando la convergencia de la simulación en la probabilidad del estado 1, para

diferentes valores de error se tienen los siguientes resultados:
 P1 t [años] tcomputo [min]

1.0E-03 0.1406 320 0.0018229
1.0E-06 0.1515 410538 0.022917
1.0E-09 0.1521 412985097 18.9172
1.0E-12 0.1522 150000000 69.7284
En la siguiente figura se muestra como converge la estimación de la probabilidad P1 al

valor verdadero:

Para un error de 1E-012 se tienen los siguientes resultados:
Variable Estado 1 Estado 2 Estado 3

P 0.1522 0.2608 0.5870
Estos resultados son prácticamente los mismos obtenidos analíticamente.

4.8.3 Cadenas Homogéneas
El procedimiento de simulación consiste en pararse en un estado y desde allí generar

tiempos de transición a los estados con los cuales hay conexión y moverse al estado al
cual hay el menor tiempo de transición; en este estado se repite el procedimiento. Así, se
van recorriendo los estados y se van contabilizando el número de entradas a los estados
y el tiempo que se reside en cada estado para posteriormente calcular las probabilidades,
frecuencias y duraciones.
En el diagrama de la Figura 4.21 se esquematiza el procedimiento de transición desde un

estado a otros.
2
Si t12  t13 → pasa al estado 2
1
Si t13  t12 → pasa al estado 3
3
Figura 4.21 Procedimiento de simulación en cadena homogénea
Definiendo:
i : Es el índice para indicar los estados del proceso
n : Es el índice para indicar las transiciones entre estados en el proceso de simulación,

equivale a iteraciones o realizaciones.
t : Tiempo de la simulación, corresponde al tiempo que se observa artificialmente la

operación del fenómeno
ti : Tiempo en que el fenómeno está en el estado i
ni : Número de veces que el fenómeno entra al estado i
 : Es el error máximo permitido para estimar las probabilidades

Al iniciar la simulación: n =0 t =0 t i = 0 i ni = 0 i
Los pasos de la simulación son:
1. Ubíquese en el estado donde inicia el proceso y súmele 1 al contador de este estado.
2. Para los estados a los cuales hay conexión desde el estado actual, genere un tiempo de
transición entre estados utilizando las correspondientes distribuciones de
probabilidad.
Esto es, para cada tiempo de transición que existe desde el estado actual genere un
número aleatorio uniformemente distribuido U y conviértalo a un tiempo de
transición utilizando la correspondiente función de distribución de probabilidad:
t = F −1 (U )
3. Seleccione el menor tiempo de transición del estado actual c a los estados a los cuales
existe conexión. Este tiempo se designa por t ck .
El proceso pasa al estado k para el cual hay el menor tiempo de transición t ck .
Incremente en uno el contador de iteraciones: n = n + 1
4. Calcule:
t = t + tck
tc(j) = tc(j −1) + tck
nk(j) = nk(j −1) + 1
5. Ubíquese en el estado k al cual se hizo la transición y vuelva al paso 2
6. Repetir hasta un número pre-especificado de iteraciones o un error pre-especificado

Cuando se utiliza como criterio de parada un error pre-especificado  , se mira entonces
a partir de la iteración 2 lo siguiente:

Si Pi( j+1) − Pi( j )   → Parar
Si Pi( j+1) − Pi( j )   → Volver al paso 2
7. Calcule las salidas de la simulación:
Probabilidad de encontrar el estado i Pi = ti / t
Tasa de salidas desde el estado i  i = ni / ti

Frecuencia de encontrar el estado i fi =  i * Pi
Tiempo medio en el estado i mi = 1 /  i
Ejemplo 4.7
Considere la cadena de Markov homogénea cuyo diagrama de transiciones y matriz de

tasas de transición son:
 −6 +4 +2 
 
T =  +73 −123 50 
 +18 +20 −38 
 
2 3
Para el estado estable, la solución analítica de este proceso es:
Variable Unidades Estado 1 Estado 2 Estado 3

P 0.8520 0.0445 0.1034
f [veces/año] 5.1122 5.4768 3.9304
m [días] 60.8333 2.9675 9.6053
 [veces/año] 6 123 38
Asumiendo que todos los tiempos de transición entre estados están distribuidos
exponencialmente, se tiene la siguiente formulación para las distribuciones de
probabilidad de los tiempos de transición entre los estados i y j :
t / hij
P[tij  t ] = 1 − e

Observando la convergencia de la simulación en la probabilidad del estado 1, para

diferentes valores de error se tienen los siguientes resultados:
 P1 n t [años] tcomputo [min]

1.0E-03 0.8649 41 2.48 0.00078125
1.0E-06 0.8606 246 17.12 0.00052083
1.0E-09 0.8530 13931 952.18 0.0067708
1.0E-12 0.8531 409347 28221.59 0.14219
1.0E-15 0.8521 19893914 1370374.81 7.2172
En la siguiente figura se muestra como converge la estimación de la probabilidad P1 al

valor verdadero:
Para un error de 1E-015 se tienen los siguientes resultados:
Variable Unidades Estado 1 Estado 2 Estado 3

P 0.8521 0.0445 0.1034
f [veces/año] 5.1116 5.4746 3.9310
m [días] 60.8421 2.9685 9.6033
 [veces/año] 5.9991 122.9584 38.0077
Estos resultados son prácticamente los mismos obtenidos analíticamente.

4.9 Referencias
[1] Lawyer G. F, “Introduction to Stochastic Processes”, Chapman and Hall, 1995.
[2] Papoulis Athanasios, “Probability, Random Variables and Stochastic Processes”,

tercera edición, Mc-Graw Hill, 1991.
[3] Viniotis Yannis, “Probability and Random Processes for Electrical Engineers”, Mc-
Graw Hill, 1998.
[4] Torres A, “Probabilidad, variables aleatorias, confiabilidad y procesos estocásticos

en ingeniería eléctrica”, Universidad de los Andes, 1996.
[5] Law Averill M, Kelton W. David, “Simulation modeling and analysis”, Tercera
edición, Mc-Graw Hill, 2000.
[6] Billinton R, Allan R. N, “Reliability evaluation of engineering systems – Concepts

and Techniques”, Plenum Press, 1992.
[7] Bronson R, “Investigación de operaciones”, Mc Graw Hill, 1993.
[8] Dichirico C, Singh C, “Reliability analysis of transmission lines with common mode
failures when repair times are arbitrarily distributed”, IEEE Transactions on Power
Systems, Vol. 3, No. 3, August 1988.
[9] Rowland J. R, “Linear control systems – modeling, analysis and design”, Wiley, 1986.
[10] Ogata K, “Ingeniería de control moderna”, Prentice Hall, 1993.
[11] Singh C, Billinton R, System Reliability Modeling and Evaluation, Hutchinson

Educational Publishers, 1977.
[12] Hassett T. F, Dietrich D. L, Szidarovszky F, “Time-varying failure rates in the

availability & reliability analysis of repairable systems”, IEEE Transactions on
Reliability, Vol. 44, No. 1, March, 1995.

[13] Platis A. G, Limnios N. K, Le Du M, “Asymptotic avalilability of systems modeled

by cyclic non-homogeneous Markov Chains”, IEEE Anual Reliability and
Maintainability Symposium, 1997.

Procesos Estocásticos

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Procesos Estocásticos

Cargado por

Copyright:

Formatos disponibles

Análisis Probabilístico y Simulación Capítulo 4 – Cadenas de Markov

Capítulo 4 – Cadenas de Markov

4.1.1 El Concepto de Cadena de Estados Discretos

Como ayuda para este tipo de modelamiento, el fenómeno aleatorio se representa

En la Figura 4.2 se presentan algunos ejemplos de diagramas de transición entre estados.

El modelo matemático para este tipo de representación se denomina Cadena de Markov.

Equipo Equipo Equipo Falla Falla

Equipo Desgaste Desgaste Obsolescencia

Figura 4.2 Ejemplos de diagramas de transición de estados

4.1.2 Estado Absorbente

Figura 4.3 Diagrama de transición de estados con un estado absorbente

Carlos J. Zapata ©2018 2

4.1.3 Acumulación de Estados

Figura 4.4 Diagrama de transición de estados con un estado absorbente

4.1.4 Tipos de Cadenas de Markov

Tiempo Estado Nombre Clasificación

Continuo Continuo Proceso de difusión -- --

Tabla 4.1 Taxonomía de las cadenas de Markov

Carlos J. Zapata ©2018 3

4.2 Cadena de Markov Discreta en el Estado y el Tiempo

Figura 4.5 Cadena de Markov discreta

Los diagramas de transición de estados muestran las probabilidades de permanecer en

En t = 0 , se conoce el estado en que el sistema inicia el proceso. Estas condiciones iniciales

Carlos J. Zapata ©2018 4

Figura 4.6 Evolución en el tiempo de una cadena de Markov discreta

Las unidades del paso de tiempo discreto t resultan de que:

La observación del proceso solo se hace

4.2.2 Planteamiento Matemático

Carlos J. Zapata ©2018 5

P(0) : Es el vector fila con las condiciones iniciales expresadas en términos de

P: Es la matriz estocástica de probabilidades de transición entre estados y es el

 p11 p12 p1n 

p ii : Es la probabilidad de permanecer en el estado i .

pij : Es la probabilidad de hacer una transición del estado i al j después de un

Las filas de la matriz P deben sumar 1.0. Además, P no es necesariamente simétrica ya

La matriz PT también es una matriz estocástica.

4.2.3 No Memoria del Modelo

La primera condición se demostrará en el Ejemplo 4.1

La segunda condición se evidencia al aplicar el modelo matemático P(T ) = P(0) PT :

Carlos J. Zapata ©2018 6

La probabilidad en un siguiente estado (t + 1) no es más que la probabilidad del estado

4.2.4 Análisis de Estabilidad

Si el límite existe, entonces P es una matriz ergódica.

Condiciones para la ergodicidad [7]:

Las probabilidades de estado estable del sistema están dadas por:

Carlos J. Zapata ©2018 7

Algoritmo para hallar P()

1. Se calcula la matriz A = [Pt − I ] donde I es una matriz idéntica de dimensión n * n

2. Se reemplaza cada término de la última fila de la matriz A por 1.0

3. Se obtienen la probabilidades de estado estable resolviendo el siguiente sistema de ecuaciones

4.2.5 Cómo Aplicar este Modelo a un Problema Real

Para aplicar este modelo a un problema real se requiere:

Verificar que en el fenómeno aleatorio bajo estudio es válida la condición de NO memoria de

3 Definir el paso discreto de tiempo t

Determinar las probabilidades de transición entre estados.

Carlos J. Zapata ©2018 8

• El periodo de tiempo del estudio es t = 1 año

• Existen 3 estados numerados así:

• Diagrama de transición de estados y matriz estocástica de probabilidades de

 0.55 0.30 0.15 

• Las probabilidades de cada estado luego de T periodos de tiempo, si el fenómeno

Carlos J. Zapata ©2018 9

Como se observa, el fenómeno alcanza el estado estable en 21 transiciones. Entonces,