MODELOS ESTOCÁSTICOS Cadenas de Markov Tiempo

Continuo
INTRODUCCIÓN
Las cadenas de Markov en tiempo continuo son una clase
de modelos que tiene una amplia variedad de aplicaciones
en el mundo real.

Son los análogos de tiempo Continuo si tomamos como

referencia las cadenas de Markov en tiempo Discreto y,
como tales, se caracterizan por la propiedad Markoviana de
que dado el estado actual, el futuro es independiente de lo
pasado anteriormente.
INTRODUCCIÓN
Con anterioridad hemos visto un ejemplo de una cadena de
Markov en tiempo continuo – Proceso de Poisson-.
Porque si dejamos que el número total de llegadas al
tiempo t (es decir, N (t)) sea el estado del proceso en el
tiempo t, entonces el proceso de Poisson es una cadena de
Markov de tiempo continuo que tiene estados 0, 1, 2,. . .
que siempre pasa del estado n al estado n + 1, con n> = 0.
Tal proceso se conoce como un proceso de nacimiento puro
ya que cuando ocurre una transición, el estado del sistema
siempre aumenta en uno.
CADENAS DE MARKOV EN TIEMPO
CONTINUO
Definiciones preliminares:
Cadena de Markov en tiempo continuo (CMTC): Una cadena de Markov es
un proceso estocástico a tiempo continuo {X(t), t >=0} tal que para todo s, t >=
0 y para todo i, j, x(u) enteros no negativos con 0 <= u < s se tiene que:
P ( X(t + s) = j|X(s) = i, X(u) = x(u), 0 <= u < s) =P(X(t + s) = j|X(s) = i)
Al igual que en el caso de CMTD, la distribución condicional del futuro
X(t + s) depende sólo del estado presente X(s).
CADENAS DE MARKOV EN TIEMPO
CONTINUO
Definiciones preliminares:
Probabilidades de transición homogéneas:
Si además de lo anterior, se tiene que: P(X(t + s) = j|X(s) = i)
es independiente de s, se dice que la cadena de Markov a
tiempo continuo tiene probabilidades de transición
homogéneas.

¿Se ve alguna similitud en esta condición con las CMTD?

CADENAS DE MARKOV EN TIEMPO
CONTINUO
Supongamos que la CMTC entra en el estado i en un tiempo cualquiera
(supuesto =0), y que el proceso no deja el estado i durante s unidades de
tiempo.
Sea la variable aleatoria Ti la cantidad de tiempo que el proceso pasa en el
estado i
Entonces la probabilidad de que el proceso deje el estado i en t unidades de
tiempo más es:
P(Ti > s + t |Ti > s) = P(Ti > t) para todo s, t >= 0.
La cantidad de tiempo que el proceso pasa en el estado i, Ti, tiene
propiedad de pérdida de memoria, y por lo tanto sigue una distribución
exponencial.
CADENAS DE MARKOV EN TIEMPO
CONTINUO
Lo visto en slide anterior permite definir una cadena de Markov a tiempo
continuo como un proceso estocástico tal que:
1. La cantidad de tiempo que el proceso pasa en el estado i antes de pasar
a un estado diferente sigue una distribución exponencial de media que
denotaremos por 1/vi
2. Cuando el proceso deja el estado i, va al estado j con alguna probabilidad
Pij tal que:
PROCESOS DE NACIMIENTO Y MUERTE
Definición:
Consideremos un sistema cuyos estados representan la cantidad de
personas en dicho sistema en un determinado tiempo. Supongamos
que cuando hay n personas en el sistema, ocurren nuevas llegadas
con tasa exponencial λn, y la gente que actualmente está en el
sistema, lo deja a una tasa exponencial μn.
Este tipo de sistema se conoce como proceso de nacimiento y
muerte.
Los parámetros {λn} y {μn} son conocidos como tasas de
llegada (o nacimiento) y tasas de salida (o muerte) respectivamente.
PROCESOS DE NACIMIENTO Y MUERTE
Interpretación como una cadena de Markov en tiempo continuo
Los procesos de nacimiento y muerte pueden representarse como
una cadena de Markov en tiempo continuo con estados {0, 1, 2...}
donde las transiciones desde el estado n sólo pueden ser hacia el
estado (n + 1) o hacia el estado (n−1).
Las relaciones entre las tasas de nacimiento y muerte y las tasas de
transición entre los estados y probabilidades de transición entre
estados son:
ECUACIONES DE CHAPMAN-
KOLMOGOROV
Probabilidades de transición:
Sea Pij(t) = P(X(t + s) = j|X(s) = i) la probabilidad de que, estando en
el estado i, el proceso esté en el estado j en t unidades de tiempo
después.
Estas probabilidades se conocen como probabilidades de transición
de la cadena de Markov a tiempo continuo.
ECUACIONES DE CHAPMAN-KOLMOGOROV
Tasas de transición instantáneas:
Para cualquier par de estados, sea:
Dado que vi es la tasa a la que el proceso hace una transición desde el
estado i hacia algún otro estado, y Pij representa la probabilidad de que
una transición sea a un estado j partiendo de un estado i, entonces, qij
es la tasa de transición instantánea.
Dado que:
Y

se tiene que, especificando las tasas de transición instantánea,

determina los parámetros de la cadena de Markov a tiempo continuo.
ECUACIONES DE CHAPMAN-KOLMOGOROV
Probabilidad de ir de un estado a otro en (t + s) unidades de tiempo:

Esta expresión nos permitirá obtener dos ecuaciones conjuntos de

ecuaciones diferenciales, que nos permitirán obtener ecuaciones para
las probabilidades estacionarias (en caso de existir).
ECUACIONES DE CHAPMAN-KOLMOGOROV
Son las siguientes:
PROBABILIDADES ESTACIONARIAS
De forma análoga a las cadenas de Markov en tiempo discreto, interesa
calcular:

donde nuevamente esperamos que esta probabilidad sea independiente de

i. El set de ecuaciones que satisfacen estas probabilidades estacionarias
corresponde a:

Recordando las definiciones dadas antes, se puede interpretar vj πj como la

tasa a la que el proceso deja el estado j, y como la tasa a la que
el proceso entra al estado j.
PROBABILIDADES ESTACIONARIAS
Para que existan las probabilidades estacionarias, son
condiciones suficientes:
1. Todos los estados de la cadena de Markov están
comunicados entre sí. Es decir, la cadena de Markov es
irreductible
2. La cadena de Markov es recurrente positiva
REVERSIBILIDAD EN EL TIEMPO
Si para algún conjunto {πi}i se tiene que:

Y además

entonces, la cadena de Markov a tiempo continuo es reversible en el tiempo,

y πi representa la probabilidad estacionaria de estar en el estado i.
REVERSIBILIDAD EN EL TIEMPO
Cadena reversible en el tiempo truncada: Sea una cadena de
Markov reversible en el tiempo con probabilidades estacionarias πj , j
ϵ S. Si la cadena es truncada al conjunto A S y dado esto, sigue
siendo irreductible, entonces también sigue siendo reversible en el
tiempo, y tiene probabilidades estacionarias:
REVERSIBILIDAD EN EL TIEMPO
Cadenas de Markov independientes y reversibles en el tiempo:
Si {Xi(t), t 0} son cadenas de Markov a tiempo continuo
independientes y reversibles en el tiempo para cada i = 1, ..., n,
entonces el proceso
{(Xi(t),Xi+1(t), ...,Xk(t)), t >=0} con 1 <= i <= k <= n también es una
cadena de Markov a tiempo continuo reversible en el tiempo.

(Demostración se propone)