Proc Markov

Porcesos de Markov 1/18
1. Procesos de Markov.
Consideremos un proceso X
t
, donde el tiempo es continuo y las variables que forman este proceso
son discretas. Este proceso ser de Markov si carece de "memoria", es decir, si la probabilidad de
un valor futuro del proceso, condicionado al valor presente y los valores pasados, es simplemente la
probabilidad del valor futuro condicionado al presente. Una denicin formal sera la siguiente:
Denicin 1.1. Sea X
t
un proceso estocstico en tiempo continuo y cuyo espacio de estados es
S = {i
1
, i
2
, . . .}. Se dir que X
t
es un proceso de Markov si para n instantes determinados t
1
< t
2
<
< t
n
se verica que
P
_
X
tn
= i
n
|X
t1
= i
1
, X
t2
= i
2
, . . . , X
tn1
= i
n1
_
= P
_
X
tn
= i
n
|X
tn1
= i
n1
_
i
1
, i
2
, . . . , i
n
S
Observemos que no se est suponiendo que se conoce la historia del proceso en todo el pasado,
sino nicamente en una serie de instantes t
1
, t
2
, . . . , t
n1
.
Podemos identicar los estados con los nmeros naturales {1, 2, . . .} y suponer adems que estas
probabilidades de transicin son estacionarias en el tiempo, es decir, que P(X
t+s
= j | X
s
= i) =
P(X
t
= j | X
0
= i), denotando a esta probabilidad por p
ij
(t).
Se tiene que:
p
ij
(t) 0 y

j
p
ij
(t) = 1.
p
ij
(0) =
_
1 si i = j
0 si i = j
Se puede obtener una matriz de transicin en tiempo t, cuyos elementos sern funciones de t:
P(t) =
_
_
_
_
p
11
(t) p
12
(t) . . .
p
21
(t) p
22
(t) . . .
.
.
.
.
.
.
.
.
.
_
_
_
_
Observacin 1.2. Para cada uno de los estados del proceso se puede denir la variable aleatoria que
designe el tiempo de permanencia en dicho estado. Si denotamos por T
i
al tiempo de permanencia en
el estado i, se puede demostrar que P(T
i
> t +s | T
i
> t) = P(T
i
> s), es decir, que la distribucin de
T
i
carece de memoria, por lo que su distribucin ser una exponencial de parmetro
i
.
Adems, cuando el proceso abandona el estado i, ir al estado j con una probabilidad p
ij
. Es obvio
que p
ii
= 0 y

j
p
ij
= 1.
Ejemplo 1.3. Supongamos un proceso con dos estados que indica en cada instante si en la cola de
un supermercado hay clientes (estado 1) o no los hay (estado 0). El proceso comenzar en el estado
Estadstica Actuarial II
Master en Ciencias Actuariales y Financieras
Curso 13/14
0 hasta que aparezca el primer cliente, instante donde pasar al estado 1 hasta que se vace la cola,
donde de nuevo pasar al estado 0. Si T
i
representa el tiempo de permanencia en el estado i hasta
que se realiza la transicin al otro estado, T
i
ser una variable aleatoria con distribucin Exp(
i
).
Adems, observemos que p
01
= p
10
= 1, pero permite esta informacin determinar las probabilidades
de transicin p
ij
(t)? Veremos ms adelante como obtenerlas.
Estudiemos las propiedades de las probabilidades p
ij
(t):
Proposicin 1.4. (Ecuacin de Chapman-Kolmogorov) Para cualquier par de estados i y j y
para todo t 0 y s 0 se verica que
p
ij
(t +s) =
k
p
ik
(t)p
kj
(s) .
Matricialmente escribiremos este resultado del siguiente modo:
P(t +s) = P(t) P(s) .
Demostracin. Basta aplicar el Teorema de la Probabilidad Total:
p
ij
(t +s) = P(X
t+s
= j | X
0
= i) =
k
P(X
t+s
= j | X
s
= k) P(X
s
= k | X
0
= i)
=
k
P(X
t
= j | X
0
= k) P(X
s
= k | X
0
= i) =
k
p
ik
(t)p
kj
(s)
Denicin 1.5. Un proceso de Markov se dice que es estndar si para cada par de estados i, j, la
funcin p
ij
(t) es una contnua en t = 0, vericando, por tanto, que
lm
t0
+
p
ij
(t) =
_
1 si i = j
0 si i = j
De este modo, la matriz P(t) tender a la matriz identidad cuando t 0.
A partir de ahora, en este apartado vamos a considerar nicamente procesos estndar con un
nmero nito de estados.
Proposicin 1.6. Propiedades de las probabilidades de transicin en un procesos estndar:
1. Para cualquier par de estados i, j, la funcin p
ij
(t) es continua para t 0.
2. Para cualquier estado inicial i, siempre es posible regresar a l, es decir, p
ii
(t) > 0, para cualquier
t 0
3. Si p
ij
(t
0
) > 0, entonces p
ij
(t) > 0 para cualquier t t
0
.
Curso 13/14
4. Para cualquier par de estados i y j se verica que, o bien p
ij
(t) > 0, para cualquier t > 0, o
p
ij
(t) = 0, para cualquier t > 0.
Estas propiedades ayudan a obtener la siguiente proposicin:
Proposicin 1.7. Para cualquier par de estados i y j se verica que p
ij
(t) es derivable en t = 0.
Adems se tiene que:
1. p
ii
(0) = q
ii
= q
i
0 y p
ij
(0) = q
ij
0, donde q
i
y q
ij
representan, respectivamente, las tasas
o intensidades de permanencia en el estado i o de paso al estado j y se denominan las tasas de
transicin del proceso. Se verica que, cuando t 0, entonces
p
ii
(t) 1 +q
i
t.
p
ij
(t) q
ij
t.
2. La matriz Q = P
(0), que contiene todas las derivadas en el origen de las probabilidades de

transicin, es conservativa, es decir, la suma de los elementos de sus las es cero:
j
q
ij
= 0 .
Esta matriz Q es la matriz fundamental del proceso y nos va a permitir determinar de forma nica
el proceso, es decir, el conocimiento de estas tasas de transicin permiten calcular las probabilidades
p
ij
(t).
Observacin 1.8. Estas tasas de transicin verican tambin que:
q
i
=
i
, siendo
i
el parmetro de la distribucin exponencial de la variable T
i
.
q
ij
=
i
p
ij
, si i = j, siendo p
ij
la probabilidad denida en la observacin 1.2.
Consecuentemente, se tiene que p
ij
=
q
ij
q
i
, si i = j.
Ejemplo 1.9. Calculemos la matriz Q en el proceso establecido en el Ejemplo 1.3:
Dado que T
i
Exp(
i
) y como p
01
= p
10
= 1, entonces
q
i
=
i
, para i = 0, 1.
q
01
=
0
p
01
=
0
y q
10
=
1
p
10
=
1
Por lo que la matriz Q obtenida es:
Q =
_

0

0
1

1
_
Curso 13/14
Proposicin 1.10. Ecuaciones diferenciales de Kolmogorov:
1. Ecuaciones diferenciales hacia adelante:
p
ij
(t) =
k
p
ik
(t) p
kj
(0) =
k
p
ik
(t) q
kj
2. Ecuaciones diferenciales hacia atrs:
p
ij
(t) =
k
p
ik
(0) p
kj
(t) =
k
q
ik
p
kj
(t)
Demostracin. Aplicando las ecuaciones de Chapman-Kolmogorov se tiene que
p
ij
(t + t) =
k
p
ik
(t)p
kj
(t)
Adems, dado que p
ij
(t) =
k
p
ik
(t)p
kj
(0), entonces,
p
ij
(t + t) p
ij
(t)
t
=
k
p
ik
(t)p
kj
(t) p
ik
(t)p
kj
(0)
t
=
k
p
ik
(t)
p
kj
(t) p
kj
(0)
t
.
Haciendo ahora que t 0, llegamos a la siguiente conclusin:
p
ij
(t
+
) =
k
p
ik
(t) p
kj
(0) =
k
p
ik
(t) q
kj
.
Por otro lado,
p
ij
(t) =
k
p
ik
(t t)p
kj
(t)
por lo que,
p
ij
(t) p
ij
(t t)
t
=
k
p
ik
(t t)p
kj
(t) p
ik
(t t)p
kj
(0)
t
=
k
p
ik
(tt)
p
kj
(t) p
kj
(0)
t
.
Haciendo de nuevo que t 0, llegamos a que:
p
ij
(t
) =
k
p
ik
(t) p
kj
(0) =
k
p
ik
(t) q
kj
.
De este modo, probamos que
p
ij
(t) =
k
p
ik
(t) p
kj
(0) =
k
p
ik
(t) q
kj
La segunda ecuacin diferencial se demostrara del mismo modo.
Estas ecuaciones diferenciales se pueden escribir de forma matricial del siguiente modo:
Curso 13/14
1. Ecuacin diferencial hacia adelante, o del futuro:
P
(t) = P(t) P
(0) = P(t) Q (1)

.
2. Ecuacin diferencial hacia atrs o del pasado:
P
(t) = P
(0) P(t) = Q P(t) (2)

.
Teorema 1.11. La solucin nica de las ecuaciones diferenciales (1) y (2) es
P(t) = e
Qt
= I +Qt +
(Qt)
2
2!
+
(Qt)
3
3!
+ =
n=0
(Qt)
n
n!
Demostracin. Si derivamos la expresin P(t) = I +Qt +
(Qt)
2
2!
+
(Qt)
3
3!
+ =
n=0
(Qt)
n
n!
se obtiene
que
P
(t) = Q+
2Q
2
t
2!
+
3Q
3
t
2
3!
+ = Q
_
I +Qt +
(Qt)
2
2!
+
_
= Q
n=0
(Qt)
n
n!
= Q P(t)
Anlogamente se demuestra que P(t) verica que P
(t) = P(t) Q.
Observacin 1.12. Clculo de la exponencial de la matriz:
1. Si la matriz Q es diagonalizable, entonces se puede descomponer del modo siguiente: Q =
H D H
1
, siendo D la matriz diagonal formada por los autovalores y H la matriz que contiene
los autovectores correspondientes.
2. Dado que e
Qt
=
n=0
(Qt)
n
n!
, entonces:
e
Qt
=
n=0
(H D H
1
)
n
t
n
n!
= H
n=0
(Dt)
n
n!
H
1
= H e
Dt
H
1
donde e
Dt
es una matriz diagonal tal que d
ii
= e
it
, siendo
i
el i-simo valor propio de Q.
Ejemplo 1.13. Calculemos P(t) si Q =
_
1 1
1 1
_
.
El polinomio caracterstico de la matriz Q es |Q I| =
2
+ 2, cuyas races son
1
= 0 y
2
= 2. La matriz D ser:
D =
_
0 0
0 2
_
Los autovectores que se obtienen son los siguientes:
Curso 13/14
1. Para = 0, (QI)
_
x
y
_
=
_
0
0
_
x = y, as que un autovector sera v
1
=
_
1
1
_
.
2. Para = 2, (QI)
_
x
y
_
=
_
0
0
_
x = y, y un autovector ser v
2
=
_
1
1
_
.
Se tiene por tanto que H =
_
1 1
1 1
_
, siendo su inversa: H
1
=
_
1
2
1
2
1
2

1
2
_
.
La matriz P(t) ser:
P(t) = H e
Dt
H
1
=
_
1 1
1 1
_
_
e
0t
0
0 e
2t
_
_
1
2
1
2
1
2

1
2
_
=
_
1
2
+
1
2
e
2t 1
2

1
2
e
2t
1
2

1
2
e
2t 1
2
+
1
2
e
2t
_
Veamos otro ejemplo donde calculemos nicamente una de las probabilidades de transicin:
Ejemplo 1.14. Calculemos p
11
(t) si Q =
_
_
_
_
2 1 1
1 1 0
2 1 3
_
_
_
_
.
El polinomio caracterstico de la matriz Q es |Q I| = ( + 2)( + 4), cuyos autovalores son
1
= 0,
2
= 2 y
3
= 4, entonces, podemos asegurar que
p
11
(t) = ae
0t
+be
2t
+ce
4t
= a +be
2t
+ce
4t
siendo a, b y c tres constantes a determinar del siguiente modo:
1. p
11
(0) = 1, por lo que a +b +c = 1.
2. p
11
(0) = q
1
= 2, as que como p
11
(t) = 2be
2t
4ce
4t
, entonces, para t = 0 se tiene que
2b 4c = 2
3. Dado que Q
2
=
_
_
_
_
7 2 5
3 2 1
9 2 11
_
_
_
_
y que p
11
(0) = q
(2)
11
, puesto que p
11
(t) = 4be
2t
+ 16ce
4t
,
entonces, para t = 0 se tiene que
4b + 16c = 7
Resolviendo este sistema de ecuaciones obtenemos que
p
11
(t) =
3
8
+
1
4
e
2t
+
3
8
e
4t
Curso 13/14
Ejemplo 1.15. Calculemos las probabilidades de transicin p
ij
(t) en el proceso establecido en el
Ejemplo 1.3:
La matriz Q obtenida en 1.9 ha sido:
Q =
_

0

0
1

1
_
Las matrices D y H que se obtienen son:
D =
_
0 0
0
0
1
_
, H =
_
_
1
0
1
1 1
_
_
por lo que la matriz de transicin es:
P(t) =
_
_
_
_
1
+
0
+

0
e
(10)t
1
+
0
1
+
0

0
e
(10)t
1
+
0
1
+
0
e
(10)t
1
+
0
1
+
0
+
e
(10)t
1
+
0
_
_
_
_
Denicin 1.16. Comunicacin entre estados: Se dice que el estado j es accesible desde el estado
i si p
ij
(t) > 0 (ver 1.6), y se escibe i j. Se dice que los estados i y j comunican si i j y j i,
en tal caso se escribir i j. Un proceso se dir que es irreducible si todos los estados comunican.
Denicin 1.17. Tiempos de primera visita: Dados dos estado i y j, se dene
T
ij
= mn {t > 0 | X
t
= j si X
0
= i}
El tiempo medio de primera visita al estado j ser
ij
= E(T
ij
).
Si los estados i y j coinciden, entonces
i
= E(T
ii
) ser el tiempo medio de recurrencia de ese
estado, es decir, el tiempo esperado en regresar al dicho estado una vez que lo ha abandonado.
Denicin 1.18. Recurrencia y transitoriedad: Se dice que el estado i es transitorio si, partiendo
de i, el conjunto {t | X
t
= i} es acotado, mientras que si no lo es, se dir que es recurrente. Esta
denicin es equivalente a la siguiente:
El estado i se dir que es transitorio si
_

0
p
ii
(t) dt <
y ser recurrente si dicha integral no es nita.
Si el estado i es recurrente y E(T
ii
) = se dir que es recurrente nulo, mientras que si E(T
ii
) <
se dir que es recurrente positivo.
Curso 13/14
Distribuciones lmite: Se puede demostrar que para todo par de estados i y j existe
lm
t
p
ij
(t) =
ij
.
Observemos adems que si
_

0
p
ij
(t) dt representa el tiempo total que el proceso permanece en el
estado j si parti del estado i, entonces
ij
= lm
T
1
T
_
T
0
p
ij
(t) dt
representa la proporcin lmite de tiempo que hay que esperar permanecer en j si el proceso comienza
en el estado i.
Por otro lado, si este lmite es independiente del estado inicial i, entonces podremos encontrar una
distribucin estacionaria = (
1
,
2
, . . .), donde
j
= lm
t
p
ij
(t)
En ese caso, se puede demostrar que esa distribucin asinttica verica la ecuacin Q = 0.
Ejemplo 1.19. En el proceso denido en el ejemplo 1.3, las probabilidades de transicin han sido
obtenidas en 1.15. Se verica que:
lm
t
p
00
(t) = lm
t
_

1
1
+
0
+

0
e
(10)t
1
+
0
_
=

1
1
+
0
lm
t
p
11
(t) = lm
t
_

0
1
+
0
+
e
(10)t
1
+
0
_
=

0
1
+
0
Dado que estos lmites no valen cero, se tendr que
_

0
p
00
(t) dt =
_

0
p
11
(t) dt = , por lo que
ambos estados sern recurrentes. Adems, podemos observar que:
lm
t
p
00
(t) = lm
t
p
10
(t)

1
1
+
0
lm
t
p
11
(t) = lm
t
p
01
(t) =

0
1
+
0
Como estos lmites no dependen del estado inicial, se tiene que la distribucin asinttica del proceso
ser
=
_

1
1
+
0
,

0
1
+
0
_
Esta distribucin lmite la podamos haber obtenido resolviendo el sistema de ecuaciones siguiente:
Q = 0 = (
0

1
)
_

0

0
1

1
_
= (0 0) =
0
0
+
1
1
= 0
Imponiendo la condicin
0
+
1
= 1, llegamos a la misma solucin obtenida anteriormente:
=
_

1
1
+
0
,

0
1
+
0
_
Curso 13/14
2. Procesos de nacimiento y muerte.
Un proceso de nacimiento y muerte es un proceso de Markov en tiempo continuo y con espacio de
estados S = {0, 1, 2, . . . , }, donde slo es posible realizar una transicin de un estado a cada uno de
sus estados contiguos (anterior o posterior), es decir, si el proceso se encuentra en el estado n, slo se
podr realizar la transicin a los estados n 1, que se identicar con una muerte, o al estado n + 1,
que se identicar con un nacimiento.
Supongamos que en el instante t el proceso se encuentra en el estado n. Sean
n
(t) y
n
(t) las
tasas instantneas de nacimiento y muerte respectivamente, de modo que en un intervalo innitesimal
[t , t + t], las probabilidades de un nacimiento o una muerte son, respectivamente,
n
(t) t y
n
(t) t. Es decir:
P(X
t+t
= n + 1 | X
t
= n) =
n
(t) t , P(X
t+t
= n 1 | X
t
= n) =
n
(t) t
Si estas tasas instantneas no dependen de t, es decir, si el proceso es estacionario, segn lo esta-
blecido en 1.2 y 1.8, el tiempo de estancia en el estado n es una variable con distribucin exponencial
de parmetro
n
+
n
(admitiendo que
0
= 0) y que
p
n,n+1
=

n
n
+
n
, p
n,n1
=

n
n
+
n
siendo la matriz Q del proceso:
Q =
_
_
_
_
_
_
_
0

0
0 0
1
(
1
+
1
)
1
0
0
2
(
2
+
2
)
2

.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
Como todo proceso de Markov, un proceso de nacimiento y muerte est caracterizado por unas
ecuaciones diferenciales, tal como demostramos en 1.10. Obtengamos estas ecuaciones para este tipo
de procesos:
Sea p
n
(t) = P(X
t
= n), entonces, en un intervalo innitesimal [t , t + t] se tiene que, para n 1
p
n
(t + t) = p
n
(t)P(X
t+t
= n| X
t
= n) +p
n1
(t)P(X
t+t
= n| X
t
= n 1) +
+ p
n+1
(t)P(X
t+t
= n| X
t
= n + 1) = p
n
(t)[1
n
(t)t
n
(t)t] +
+ p
n1
(t)
n1
(t)t +p
n+1
(t)
n+1
(t)t
De este modo:
p
n
(t + t) p
n
(t)
t
= p
n
(t)[
n
(t) +
n
(t)] +p
n1
(t)
n1
(t) +p
n+1
(t)
n+1
(t)
Curso 13/14
Haciendo t 0 se obtiene que
p
n
(t) = p
n1
(t)
n1
(t) p
n
(t)[
n
(t) +
n
(t)] +p
n+1
(t)
n+1
(t)
Para n = 0, dado que
0
(t) = 0, se tiene que p
0
(t) = p
0
(t)
0
(t) + p
1
(t)
1
(t), por lo que hemos
demostrado el siguiente resultado:
Proposicin 2.1. Ecuaciones diferenciales de un proceso de nacimiento y muerte. En todo
proceso de nacimiento y muerte se verica que:
_
_
p
0
(t) = p
0
(t)
0
(t) +p
1
(t)
1
(t)
p
n
(t) = p
n1
(t)
n1
(t) p
n
(t)[
n
(t) +
n
(t)] +p
n+1
(t)
n+1
(t) n 1
Denicin 2.2. Procesos puros: Un proceso se dir que es de nacimiento si
n
(t) = 0 para cualquier
valor de n y de t. Las ecuaciones diferenciales en este caso son:
_
_
p
0
(t) = p
0
(t)
0
(t)
p
n
(t) = p
n1
(t)
n1
(t) p
n
(t)
n
(t) n 1
Del mismo modo, se dir que un proceso es de muerte si
n
(t) = 0, por lo que resultarn las
siguientes ecuaciones diferenciales:
_
_
p
0
(t) = p
1
(t)
1
(t)
p
n
(t) = p
n
(t)
n
(t) +p
n+1
(t)
n+1
(t) n 1
Denicin 2.3. Procesos homogneos: Un proceso de nacimiento y muerte ser homogneo si las
tasas instantneas de nacimiento y muerte no dependen de t, por lo que
n
(t) =
n
y
n
(t) =
n
,
para cualquier valor de t. Las ecuaciones diferenciales de este proceso son:
_
_
p
0
(t) = p
0
(t)
0
+p
1
(t)
1
p
n
(t) = p
n1
(t)
n1
p
n
(t)[
n
+
n
] +p
n+1
(t)
n+1
n 1
Casos particulares:
1. Proceso homogneo de Poisson: Es un proceso homogneo de nacimiento donde las tasas
de nacimiento son constantes, es decir, donde
n
(t) = . Las ecuaciones diferenciales resultantes
Curso 13/14
son: _
_
p
0
(t) = p
0
(t)
p
n
(t) = p
n1
(t) p
n
(t) n 1
Para resolver estas ecuaciones diferenciales necesitamos una condiciones iniciales, as que supon-
dremos que la poblacin inicial es cero, es decir p
n
(0) =
_
1 si n = 0
0 si n 1
. De este modo:
Para n = 0 la ecuacin a resolver es
_
p
0
(t) = p
0
(t)
p
0
(0) = 1
Cuya solucin es p
0
(t) = e
t
.
_
p
1
(t) = p
1
(t) +e
t
p
1
(0) = 0
Ecuacin cuya solucin es p
1
(t) = te
t
.
_
p
2
(t) = p
2
(t) +
2
te
t
p
2
(0) = 0
2
(t) =
(t)
2
2
e
t
.
De un modo inductivo, se puede demostrar que
p
n
(t) =
(t)
n
n!
e
t
por lo que se comprueba que X
t
sigue una distribucin de Poisson de parmetro t.
Otra forma de obtener este resultado es mediante la funcin generatriz de probabilidad, que se
dene como
G(t, u) = G
Xt
(u) = E
_
u
Xt
n=0
p
n
(t)u
n
derivando con respecto a t esta funcin generatriz y utilizando las ecuaciones diferenciales del
proceso:
G
(t, u) =
n=0
p
n
(t)u
n
=
n=0
[p
n1
(t) p
n
(t)] u
n
= u
n=1
p
n1
(t)u
n1
n=0
p
n
(t)u
n
= uG(t, u) G(t, u) = (u 1)G(t, u)
Curso 13/14
Por lo que la funcin generatriz de probabilidad verica la ecuacin diferencial
G
(t, u)
G(t, u)
= (u 1)
con la condicin inicial de que G(0, u) =
n
p
n
(0)u
n
= p
0
(0) = 1. Integrando se obtiene que
G(t, u) = G(0, u)e
(u1)t
= e
t(u1)
(3)
Ahora bien, si X es una variable aleatoria con distribucin de Poisson de parmetro , entonces
su funcin generatriz de probabilidad es
G
X
(u) =
n=0
e
n
n!
u
n
= e
n=0
(u)
n
n!
= e
e
u
= e
(u1)
por lo que la funcin generatriz de probabilidad obtenida en (3) corresponde a una distribucin
de Poisson de parmetro t
2. Proceso homogneo de nacimiento puro: El proceso de Poisson es un caso particular de un
proceso homogneo de nacimiento puro, donde
n
(t) =
n
, as que las ecuaciones diferenciales
de este proceso ser:
_
_
p
0
(t) = p
0
(t)
0
p
n
(t) = p
n1
(t)
n1
p
n
(t)
n
n 1
Se puede demostrar que, en este proceso:
p
n
(t) =
n1
e
nt
_
t
0
e
ns
p
n1
(s) ds (4)
3. Proceso de Yule: Es un proceso de nacimiento puro en el que la tasa de nacimiento es lineal,
es decir
n
= n , partiendo de una poblacin inicial de un individuo, por lo que las ecuaciones
diferenciales resultantes es:
_
_
p
1
(t) = p
1
(t)
p
n
(t) = p
n1
(t)(n 1) p
n
(t)n n 2
por lo que sustituyendo en (4) se obtiene que:
p
n
(t) = (n 1)e
nt
_
t
0
e
ns
p
n1
(s) ds
Para n = 1: p
1
(t) = e
t
Curso 13/14
Para n = 2:
p
2
(t) = e
2t
_
t
0
e
2s
e
s
ds = e
2t
_
t
0
e
s
ds = e
2t
(e
t
1)
= e
t
(1 e
t
)
Para n = 3:
p
3
(t) = 2e
3t
_
t
0
e
3s
e
2s
(e
s
1) ds = 2e
3t
_
t
0
(e
2s
e
s
) ds
= e
3t
_
e
2s
2e
s
t
0
= e
3t
_
e
2t
2e
t
+ 1
= e
3t
_
e
t
1
2
= e
t
_
1 e
t
2
Tal como se hizo en el proceso homogneo de Poisson, de un modo inductivo se puede demostrar
que
p
n
(t) = e
t
_
1 e
t
n1
, n = 1, 2, . . .
por lo que la distribucin de X
t
es una geomtrica de parmetro p = e
t
.
4. Proceso de homogneo nacimiento y muerte con tasas lineales: En este caso
n
(t) = n
y
n
(t) = n , por lo que las ecuaciones diferenciales del proceso son:
_
_
p
0
(t) = p
1
(t)
p
n
(t) = p
n1
(t)(n 1) p
n
(t)n [ +] +p
n+1
(t)(n + 1) n 1
En este caso observemos que es imposible obtener las probabilidades p
n
(t) mediante un mtodo
recursivo, as que nos conformaremos con calcular la media del proceso:
(t) = E[X
t
] =
n=1
n p
n
(t)
Derivando esta expresin:
(t) =
n=1
n p
n
(t) =
n=1
n [p
n1
(t)(n 1) p
n
(t)n [ +] +p
n+1
(t)(n + 1) ] =
=
n=1
n[(n 1)p
n1
(t) np
n
(t)]
n=1
n[np
n
(t) (n + 1)p
n+1
(t)] =
= [0p
0
(t) 1p
1
(t) + 2p
1
(t) 4p
2
(t) + 6p
2
(t) 9p
3
(t) + ]
[1p
1
(t) 2p
2
(t) + 4p
2
(t) 6p
3
(t) + 9p
3
(t) 12p
4
(t) + ]
=
n=1
n p
n
(t)
n=1
n p
n
(t) = ( )(t)
Curso 13/14
por lo que (t) verica la ecuacin diferencial
(t)
(t)
=
con la condicin inicial (0) = E[X
0
] =
n=1
np
n
(0) = 1, si suponemos que la poblacin inicial
estaba formada por un individuo. Integrando obtenemos:
(t) = e
()t
por lo que se aprecia que si > , lm
t
(t) = , mientras que si < , lm
t
(t) = 0.
Si = , (t) = 1 para cualquier valor de t.
5. Proceso no homogneo de Polya: Es un proceso de nacimiento que nos sirve para estudiar
el nmero de siniestros de una pliza. En este proceso se supone que la tasa de nacimiento en
cada instante es proporcional al nmero de individuos e inversamente proporcional al intervalo
de tiempo transcurrido, es por ello que consideraremos la siguiente tasa de nacimiento:
n
(t) =
a +n
b +t
siendo a y b parmetros positivos. Las ecuaciones diferenciales de este proceso son:
_
_
p
0
(t) = p
0
(t)
a
b +t
p
n
(t) = p
n1
(t)
a +n 1
b +t
p
n
(t)
a +n
b +t
n 1
Partiendo de nuevo de la hiptesis de que la poblacin inicial est formada por un elemento
establecemos las condiciones iniciales: p
n
(0) =
_
1 si n = 0
0 si n 1
. De este modo:
_
_
_
p
0
(t) = p
0
(t)
a
b +t
p
0
(0) = 1
cuya solucin es p
0
(t) =
_
b
b +t
_
a
.
_
_
p
1
(t) =
_
b
b +t
_
a
a
b +t
p
1
(t)
a + 1
b +t
p
1
(0) = 0
1
(t) = a
_
b
b +t
_
a
t
b +t
.
Curso 13/14
_
_
p
2
(t) = a
_
b
b +t
_
a
t
b +t

a + 1
b +t
p
2
(t)
a + 2
b +t
p
2
(0) = 0
2
(t) =
a(a + 1)
2
_
b
b +t
_
a
_
t
b +t
_
2
.
De un modo inductivo, se puede demostrar que
p
n
(t) =
_
a +n 1
n
_
_
b
b +t
_
a
_
t
b +t
_
n
, n = 0, 1, 2, . . .
de lo que se concluye que X
t
sigue una distribucin binomial negativa de parmetros a y p =
b
b +t
.
Curso 13/14
3. Ejercicios.
1. Sea
P(t) =
_
1
3
(1 + 2e
3t
)
1
3
(2 2e
3t
)
1
3
(2 e
3t
)
1
3
(1 +e
3t
)
_
Es P(t) una matriz de transicin de un proceso de Markov en tiempo continuo con dos estados
y probabilidades de transicin estacionarias?
2. Determinar la matriz de transicin P(t) de un proceso de Markov sabiendo que
Q = P
(0) =
_
_
_
_
2 1 1
1 2 1
1 1 2
_
_
_
_
3. Sea X
t
un proceso de Markov con tres estados cuya matriz fundamental es
Q =
_
_
_
_
1 1 0
1 2 1
1 1 2
_
_
_
_
a) Supongamos que en un instante determinado el proceso se encuentra en el estado 2, cul
ser el tiempo medio de permanencia en este estado antes de realizar una transicin a otro
estado?, con qu probabilidad se mover a cada uno de los otros dos estados?
b) Calcular p
11
(t).
c) Calcular su distribucin a largo plazo.
4. Sea X
t
un proceso de Markov con dos estados (0 y 1) en el que el tiempo de estancia en cada
uno de los estados antes de realizar una transicin al otro estado es una variable aleatoria con
distribucin exponencial de parmetro 2.
a) Calcular la matriz de transicin P(t).
b) Calcular E[X
t
].
c) Calcular su distribucin a largo plazo.
5. El tiempo que tarda una mquina en sufrir una avera es una v.a. X con distribucin exponencial
de parmetro . El tiempo necesario para reparar dicha mquina es otra v.a. Y con distribucin
exponencial de parmetro . Denamos el proceso
X
t
=
_
0 si en el instante t la mquina funciona
1 si en el instante t la mquina no funciona
Curso 13/14
a) Obtener P
(0) y P(t).
b) Cul es la probabilidad de que en el instante t la mquina funcione?
c) Calcular la distribucin a largo plazo.
6. Supongamos que la calicacin de la deuda soberana de un pas es un proceso de Markov X
t
con tres estados: A, B y C. Si la matriz fundamental de este proceso es
Q =
_
_
_
_
1 1 0
1 2 1
0 1 1
_
_
_
_
a) Determina el tiempo medio de permanencia en cada estado antes de realizar una transicin
a otro estado distinto. Supongamos que en un instante determinado el proceso se encuentra
en el estado A, con qu probabilidad en dos transiciones se encontrar en el estado C?
b) Calcula p
BA
(t).
c) Calcula la proporcin de tiempo que la deuda se encontrar en cada estado a largo plazo.
7. Consideremos un proceso de nacimiento y muerte homogneo y estacionario, es decir, en el que
n
(t) =
n
,
n
(t) =
n
y P
n
(t) = p
n
para todo t 0. Demostrar que
p
n
=

n1
n2

0
n1

1
p
0
Qu distribucin se obtiene en el caso particular de que
n
= y
n
= ?
8. Sea X
t
un proceso de nacimiento y muerte con espacio de estados S = {0, 1, 2}. Dicho proceso
es homogneo y estacionario, es decir, P
n
(t) = p
n
(no depende de t) y las tasas de nacimiento y
muerte (que tampoco dependen de t) son
0
=
1
=
1
=
2
=
1
2
, siendo cero en el resto de los
casos. Demuestra que p
0
= p
1
= p
2
=
1
3
.
9. Consideremos un proceso homogneo de nacimiento con
n
= 3 n, donde se supone adems
que la poblacin inicial es cero (este proceso se denomina proceso de Bernoulli)
a) Cules son las ecuaciones diferenciales del proceso?
b) Comprueba que p
0
(t) = e
3t
.
c) Demuestra que
p
n
(t) = (4 n)e
(3n)t
_
t
0
e
(3n)s
p
n1
(s) ds para n = 1, 2, 3
y por tanto:
p
1
(t) = 3e
2t
3e
3t
= 3e
2t
(1e
t
) , p
2
(t) = 3e
t
6e
2t
+3e
3t
= 3e
t
(1e
t
)
2
.
Curso 13/14
d) Comprueba que
p
3
(t) = 1 p
0
(t) p
1
(t) p
2
(t) = 1 3e
t
+ 3e
2t
e
3t
= (1 e
t
)
3
.
Consecuentemente, X
t
seguir una distribucin binomial. Cules sern los parmetros de
esta distribucin?
10. Sea X
t
el proceso estocstico que contabiliza el nmero de siniestros de una determinada pliza
en el intervalo [0, t]. Determina su distribucin en cada instante t si se sabe que es un proceso
de nacimiento no homogneo de Polya con a = b = 1. Cul es el nmero esperado de siniestros
producidos en el intervalo [0, t]?
11. Calcular la media de un proceso de Yule a travs de la funcin generatriz de probabilidad
siguiendo los siguientes pasos:
a) Denir la media del proceso:
(t) = E[X
t
] =
n=1
n p
n
(t)
y comprobar que verica la ecuacin diferencial
(t) = (t), con la condicin inicial

(0) = E[X
0
] =
n=1
np
n
(0) = 1.
b) Resolver la ecuacin diferencial anterior para obtener la funcin media.
12. En la isla Paraso los pjaros son inmortales. La tasa instantnea de inmigracin en esta isla
es , mientras que la tasa de nacimiento es . Las condiciones en esta isla son tan buenas que
ningn pjaro abandona la isla. Calcula la probabilidad de que en el instante t la poblacin est
formada por n pjaros y la poblacin media en ese instante.
Curso 13/14

Proc Markov

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Proc Markov

Cargado por

Copyright:

Formatos disponibles

Porcesos de Markov 1/18

(0), que contiene todas las derivadas en el origen de las probabilidades de

(0) = P(t) Q (1)

(0) P(t) = Q P(t) (2)

(t) = (t), con la condicin inicial

También podría gustarte