Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Procesos Estocasticos
Procesos Estocasticos
on a los
procesos estoc
asticos
Luis Rincon
Departamento de Matematicas
Facultad de Ciencias UNAM
Circuito Exterior de CU
04510 Mexico DF
Enero 2012
Pr
ologo
El presente texto contiene material b
asico en temas de procesos estocasticos
a nivel licenciatura, y es producto del mejoramiento continuo de las notas de
clase que he utilizado para el curso de Procesos Estocasticos en la Facultad
de Ciencias de la Universidad Nacional Autonoma de Mexico. Esta dirigido a estudiantes de las carreras de Matematicas, Actuara, Matematicas
Aplicadas y otras carreras cientficas afines. Una mirada al ndice de temas
le dar
a al lector una idea de los temas expuestos y el orden en el que se
presentan. Cada captulo contiene material que puede considerarse como
introductorio al tema, y al final de cada uno de ellos se proporcionan algunas referencias para que el lector pueda profundizar en lo que aqu se
presenta.
La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sab
atica en la universidad de Nottingham durante el a
no 2007, y
agradezco al Prof. Belavkin su amable hospitalidad para llevar a cabo este
proyecto, y a la DGAPA-UNAM por el apoyo econ
omico recibido durante
dicha estancia. Adem
as, la publicacion de este trabajo ha sido posible gracias al apoyo otorgado a traves del proyecto PAPIME PE-103111. Agradezco
sinceramente todos estos apoyos recibidos y expreso tambien mi agradecimiento al grupo de personas del comite editorial de la Facultad de Ciencias
por su ayuda en la publicacion de este trabajo. Finalmente doy las gracias
por todos los comentarios que he recibido por parte de alumnos y profesores para mejorar este material. Hasta donde humanamente me sea posible
mantendre una versi
on digital actualizada de este libro en la p
agina web
http://www.matematicas.unam.mx/lars .
Luis Rincon
Enero 2012
Ciudad Universitaria, UNAM
lars@fciencias.unam.mx
Contenido
1. Ideas preliminares
1.1. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
6
2. Caminatas aleatorias
7
2.1. Caminatas aleatorias . . . . . . . . . . . . . . . . . . . . . . . 7
2.2. El problema del jugador . . . . . . . . . . . . . . . . . . . . . 16
2.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3. Cadenas de Markov
3.1. Propiedad de Markov . . . . . . .
3.2. Ejemplos . . . . . . . . . . . . . .
3.3. Ecuacion de Chapman-Kolmogorov
3.4. Comunicaci
on . . . . . . . . . . . .
3.5. Periodo . . . . . . . . . . . . . . .
3.6. Primeras visitas . . . . . . . . . . .
3.7. Recurrencia y transitoriedad . . . .
3.8. Tiempo medio de recurrencia . . .
3.9. Clases cerradas . . . . . . . . . . .
3.10. N
umero de visitas . . . . . . . . .
3.11. Recurrencia positiva y nula . . . .
3.12. Evoluci
on de distribuciones . . . .
3.13. Distribuciones estacionarias . . . .
3.14. Distribuciones lmite . . . . . . . .
3.15. Cadenas regulares . . . . . . . . .
3.16. Cadenas reversibles . . . . . . . . .
3.17. A. A. Markov . . . . . . . . . . . .
iii
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
27
27
31
39
42
45
47
50
56
57
58
65
69
71
80
86
88
93
iv
Contenido
3.18. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4. El proceso de Poisson
4.1. Definici
on . . . . . . . . . . . . . .
4.2. Definiciones alternativas . . . . . .
4.3. Proceso de Poisson no homogeneo
4.4. Proceso de Poisson compuesto . . .
4.5. Proceso de Poisson mixto . . . . .
4.6. Ejercicios . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
115
115
125
129
132
134
135
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
145
151
153
156
159
167
169
6. Procesos de renovaci
on y confiabilidad
6.1. Procesos de renovacion . . . . . . . . .
6.2. Funci
on y ecuaci
on de renovacion . . .
6.3. Tiempos de vida . . . . . . . . . . . .
6.4. Teoremas de renovacion . . . . . . . .
6.5. Confiabilidad . . . . . . . . . . . . . .
6.6. Ejercicios . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
173
173
176
178
183
188
193
7. Martingalas
7.1. Filtraciones . . . . . . . . . . . . . . . .
7.2. Tiempos de paro . . . . . . . . . . . . .
7.3. Martingalas . . . . . . . . . . . . . . . .
7.4. Ejemplos . . . . . . . . . . . . . . . . .
7.5. Procesos detenidos . . . . . . . . . . . .
7.6. Una aplicaci
on: estrategias de juego . .
7.7. Teorema de paro opcional y aplicaciones
7.8. Algunas desigualdades . . . . . . . . . .
7.9. Convergencia de martingalas . . . . . .
7.10. Representaci
on de martingalas . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
199
200
202
203
205
207
209
212
217
218
224
.
.
.
.
.
.
.
.
.
.
.
.
Contenido
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
239
240
244
248
252
255
256
263
264
265
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
273
. 273
. 286
. 289
. 293
. 294
. 304
Ap
endice: conceptos y resultados varios
307
Bibliografa
315
Indice analtico
318
vi
Contenido
Captulo 1
Ideas preliminares
Considere un sistema que puede caracterizarse por estar en cualquiera de
un conjunto de estados previamente especificado. Suponga que el sistema
evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo con
una cierta ley de movimiento, y sea Xt el estado del sistema al tiempo t. Si
se considera que la forma en la que el sistema evoluciona no es determinista,
sino provocada por alg
un mecanismo azaroso, entonces puede considerarse
que Xt es una variable aleatoria para cada valor del ndice t. Esta coleccion
de variables aleatorias es la definicion de proceso estocastico, y sirve como
modelo para representar la evoluci
on aleatoria de un sistema a lo largo del
tiempo. En general, las variables aleatorias que conforman un proceso no
son independientes entre s, sino que est
an relacionadas unas con otras de
alguna manera particular. Las distintas formas en que pueden darse estas
dependencias es una de las caractersticas que distingue a unos procesos
de otros. Mas precisamente, la definicion de proceso estocastico toma como
base un espacio de probabilidad , F , P y puede enunciarse de la siguiente
forma.
Definici
on 1.1 Un proceso estoc
astico es una colecci
on de variables aleatorias Xt : t T parametrizada por un conjunto T , llamado espacio parametral, en donde las variables toman valores en un conjunto S llamado espacio
de estados.
En los casos m
as sencillos se toma como espacio parametral el conjunto
0, 1, 2, . . . y estos numeros se interpretan como tiempos. En
discreto T
1
1. Ideas preliminares
este caso se dice que el proceso es a tiempo discreto, y en general este tipo
de procesos se denotara por Xn : n 0, 1, . . ., o explcitamente,
X0 , X1 , X2 , . . .
as, para cada n, Xn es el valor del proceso o estado del sistema al tiempo n.
Este modelo corresponde a un vector aleatorio de dimension infinita. Vease
la Figura 1.1.
Xn
X5
X3
X1
X4
X0
n
1
X2
Figura 1.1
Xt
Xt2
Xt1
Xt3
t
t2
t1
t3
Figura 1.2
1. Ideas preliminares
xn1 X0
x0 , . . . , Xn
xn
P Xn1
xn1 Xn
xn .
5
Procesos con incrementos independientes
Se dice que un proceso estocastico a tiempo continuo Xt : t
0 tiene
incrementos independientes si para cualesquiera tiempos 0 t1 t2
tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn1 son independientes. Esto
quiere decir que los desplazamientos que tiene el proceso en estos intervalos
disjuntos de tiempo son independientes unos de otros.
Procesos estacionarios
0 es
Se dice que un proceso estocastico a tiempo continuo Xt : t
estacionario en el sentido estricto si para cualesquiera tiempos t1 , . . . , tn ,
la distribuci
on del vector Xt1 , . . . , Xtn es la misma que la del vector
Xt1 h, . . . , Xtn h para cualquier valor de h 0. En particular, la distribucion de Xt es la misma que la de Xth para cualquier h 0.
Procesos con incrementos estacionarios
Se dice que un proceso estocastico a tiempo continuo Xt : t 0 tiene incrementos estacionarios si para cualesquiera tiempos s t, y para cualquier
h 0, las variables Xth Xsh y Xt Xs tienen la misma distribucion de
probabilidad. Es decir, el incremento que tiene el proceso entre los tiempos
s y t s
olo depende de estos tiempos a traves de la diferencia t s, y no de
los valores especficos de s y t.
Martingalas
Una martingala a tiempo discreto es, en terminos generales, un proceso
Xn : n 0, 1, . . . que cumple la condicion
E Xn1 X0
x0 , . . . , Xn
xn
xn .
(1.1)
1. Ideas preliminares
Procesos de L`
evy
Se dice que un proceso estocastico a tiempo continuo Xt : t
0 es un
proceso de L`evy si sus incrementos son independientes y estacionarios. Mas
adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos.
Procesos Gausianos
0 es un
Se dice que un proceso estocastico a tiempo continuo Xt : t
proceso Gausiano si para cualesquiera coleccion finita de tiempos t1 , . . . , tn ,
el vector Xt1 , . . . , Xtn tiene distribucion normal o Gausiana multivariada. Nuevamente, el movimiento Browniano es un ejemplo de este tipo de
procesos.
En el presente texto el lector encontrar
a una descripcion introductoria a
algunos de estos tipos de procesos y varios resultados elementales al respecto.
1.1.
Ejercicios
1. Sean X0 , X1 , . . . los resultados de una sucesion de ensayos independientes Bernoulli. Determine si el proceso Xn : n 0, 1, . . .
a)
b)
c)
d)
cos t
sin t
si X
si X
0,
1.
0.
Captulo 2
Caminatas aleatorias
En este captulo se presenta una introducci
on breve al tema de caminatas
aleatorias en una dimension. Encontraremos la distribucion de probabilidad
de la posici
on de una partcula que efect
ua una caminata aleatoria en Z,
y la probabilidad de retorno a la posici
on de origen. Se plantea y resuelve
despues el problema de la ruina del jugador, y se analizan algunos aspectos
de la soluci
on.
2.1.
Caminatas aleatorias
2. Caminatas aleatorias
j Xn
p si j
i 1,
q si j i 1,
0 otro caso.
np q .
4npq.
0,
E i
n E
np q .
i 1
Vari
n Var
q,
se tiene que
4npq.
i 1
10
2. Caminatas aleatorias
Proposici
on 2.2 Para cualesquiera n
umeros enteros x y n tales que n
x n, y para el caso cuando x y n son ambos pares o ambos impares,
P Xn
x X0
1
1
n
p 2 nx q 2 nx .
1
(2.1)
1
n Xn
2
i 1
1 i.
Esta ecuaci
on es la identidad clave para obtener el resultado buscado. Observe que esta formula arroja un valor entero para Rn cuando n y Xn son
ambos pares o ambos impares. Como las variables independientes i toman
los valores 1 y 1 con probabilidades p y q respectivamente, entonces las
variables independientes 21 1 i toman los valores 1 y 0 con probabilidades p y q. Esto lleva a la conclusion de que la variable Rn tiene distribucion
binomialn, p. Por lo tanto, para cualquier valor de x que cumpla las condiciones enunciadas se tiene que
P Xn
x X0
P Rn
1
2
1
n x
2
n x
p 2 nx q 2 nx .
1
x X0
n
1
2 n x
1
.
2n
(2.2)
11
x X0
n
1
x y
2
p 2 nxy q 2 nxy .
1
(2.3)
Para valores de la diferencia x y y el entero n que no cumplen las condiciones indicadas la probabilidad en cuesti
on vale cero.
Demostraci
on. Tenemos como hip
otesis que X0
y. Consideremos el
proceso Zn Xn y. Entonces Zn : n 0 es ahora una caminata aleatoria
que inicia en cero como en el caso antes demostrado. El resultado enunciado
se obtiene de la identidad
P Xn
x X0
P Zn
x y Zn
0.
12
2. Caminatas aleatorias
u
ltimo caso demostraremos adem
as que el n
umero de pasos promedio para
regresar al origen es, sin embargo, infinito. La demostraci
on es un tanto
tecnica y hace uso de las funciones generadoras de probabilidad. Como este
captulo es introductorio, tal vez sea mejor recomendar al lector, cuando se
trate de una primera lectura, omitir los detalles de esta demostracion.
Proposici
on 2.4 Para una caminata aleatoria sobre Z, la probabilidad de
un eventual regreso al punto de partida es
1 pq
si p
1 si p
q,
q.
Es decir, s
olo en el caso simetrico, p q, se tiene la certeza de un eventual
retorno, sin embargo el tiempo promedio de regreso en tal caso es infinito.
Demostraci
on. Para demostrar estas afirmaciones utilizaremos los siguientes elementos:
0 denotaremos por pn a la probabilidad de que la
a) Para cada n
caminata se encuentre en el estado 0 al tiempo n, es decir, pn
P Xn 0 X0 0. Esta probabilidad es distinta de cero s
olo cuando
n es un n
umero par. Naturalmente p0 1. Denotaremos tambien por
fk a la probabilidad de que la caminata visite el estado 0 por primera
vez en el paso k 0. El uso de la letra f proviene el termino en ingles
first. Por conveniencia se define f0
0. Observe que en terminos
de las probabilidades fk , la probabilidad de que la caminata regrese
eventualmente al origen es k 0 fk . Esta serie es convergente, pues
se trata de la suma de probabilidades de eventos disjuntos, y por lo
tanto a lo sumo vale uno. Demostraremos que en el caso simetrico
la suma vale uno. Recordemos nuevamente que los valores de fk son
estrictamente positivos s
olo para valores pares de k distintos de cero.
b) No es difcil comprobar que se cumple la siguiente igualdad
pn
fk pnk .
(2.4)
k 0
En esta expresi
on simplemente se descompone la probabilidad de regreso al origen, pn , en las distintas posibilidades en donde se efect
ua
13
Gt
f k tk .
k 0
p n tn
n 1
fk pnk tn
n 1 k 0
fk pnk tn
k 0 n k
f k tk
k 0
Gt
pnk tnk
n k
p n tn .
n 0
Por lo tanto,
n 0
p n tn 1
Gt
p n tn .
(2.5)
n 0
on para la suma
Para encontrar Gt se necesita encontrar una expresi
que aparece en la u
ltima ecuaci
on, y que no es otra cosa sino la funcion
generadora de los n
umeros p0 , p1 , p2 , . . . Haremos esto a continuaci
on.
c) Para el an
alisis que sigue necesitamos recordar que para cualquier
n
umero real a y para cualquier entero n, se tiene el coeficiente binomial
a
n
aa 1 a n 1
.
n!
(2.6)
14
2. Caminatas aleatorias
Observe que en el numerador hay n factores. Este n
umero es una
generalizaci
on del coeficiente binomial usual y aparece en la siguiente
expansi
on binomial infinita valida para t
1,
1 t a
a n
t .
n
n 0
(2.7)
2n
n
2n2n 12n 2 3 2 1
n! n!
2n n! 2n 12n 3 5 3 1
n! n!
2n 2n 2n 1 2n 3
5 3 1
n!
2
2
2 2 2
n
n
2 2
1
3
5
3
1
1n n n
n!
2
2
2
2
2
2
4n n .
(2.8)
n 0
pn t
n 0
n 0
n 0
2n n n 2n
p q t
n
12 n n 2n
4 n p q t
n
12 4pqt2 n
n
1 4pqt2 12.
1 4pqt212 1
Gt 1 4pqt2 12 .
(2.9)
15
Gt
(2.10)
lm Gt
fn
n 0
1 1 4pq 12
1 pq .
lm G t
n fn
n 0
lm
1 t2
r
q
p
0
1
(a)
(b)
Figura 2.3
Puede considerarse tambien el caso de una caminata en donde sea posible
permanecer en el mismo estado despues de una unidad de tiempo. Esta
16
2. Caminatas aleatorias
situaci
on se ilustra en la Figura 2.3(a), en donde p, q y r son probabilidades
tales que p q r 1. Tambien pueden considerarse caminatas aleatorias
en Z2 como la que se muestra en la Figura 2.3(b), en donde p q r s 1,
o m
as generalmente en Zn o cualquier otro conjunto reticulado. Para estos
y otros modelos pueden plantearse diversas preguntas sobre el calculo de
probabilidades de los distintos eventos en caminatas aleatorias. Existe una
amplia literatura sobre la teora y aplicaciones de las caminatas aleatorias,
el lector interesado en el tema puede consultar los textos sugeridos al final
del presente captulo. Mas adelante estudiaremos algunas otras propiedades
de las caminatas aleatorias en el contexto de las cadenas de Markov.
2.2.
En esta secci
on consideraremos un ejemplo particular de una caminata
aleatoria puesta en el contexto de un juego de apuestas.
Planteamiento del problema
Suponga que un jugador A apuesta sucesivamente una unidad monetaria a
un jugador B. Inicialmente el jugador A tiene k unidades y B tiene N
k unidades, es decir, el capital conjunto entre los dos jugadores es de N
unidades monetarias. En cada
apuesta el jugador A tiene proXn
babilidad de ganar p, y probaN
bilidad de perder q
1 p,
suponga adem
as que no hay empates. Sea Xn la fortuna del juk
gador A al tiempo n. Entonces
Xn : n 0, 1, . . . es una can
17
pues una vez que la cadena llega a alguno de ellos, jamas lo abandona. Una
posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra
en la Figura 2.4. Una de las preguntas que resolveremos para esta caminata
es la siguiente: cual es la probabilidad de que eventualmente el jugador A
se arruine? Es decir, cual es la probabilidad de que la caminata se absorba
en el estado 0 y no en el estado N , u oscile entre estos dos estados? Este
problema se conoce como el problema de la ruina del jugador, y encontraremos a continuaci
on su soluci
on. Como veremos, usando probabilidad
condicional es posible transformar este problema en resolver una ecuaci
on
en diferencias.
Soluci
on al problema
Sea el primer momento en el que la caminata visita alguno de los dos
mnn 0 : Xn 0 o Xn N . Puede
estados absorbentes, es decir,
demostrarse que es una variable aleatoria y que es finita casi seguramente.
La pregunta planteada se traduce en encontrar la probabilidad
uk
P X
0 X0
k.
p uk1 q uk1 ,
(2.11)
qp uk uk1.
(2.12)
18
2. Caminatas aleatorias
forma siguiente:
u2 u1
u3 u2
uk uk1
qp u1 1
qp2 u1 1
..
.
qpk1 u1 1.
1 Sk1 u1 1.
(2.13)
De manera an
aloga pero ahora sumando todas las ecuaciones de (2.12) se
obtiene uN
1 SN 1 u1 1. Usando la segunda condici
on de frontera
uN 0 se llega a u1 1 1SN 1 . Substituyendo en (2.13) y simplificando
se llega a la soluci
on
Sk1
.
uk 1
SN 1
Es necesario ahora distinguir los siguientes dos casos:
Sk
1 q p q p
Por lo tanto,
uk
si p
12,
si p
12.
kN
qpk qpN
1 q pN
1
1 q pk1
1 q p
si p
12,
si p
12.
(2.14)
19
uk
1
p
p
p
0.01
0.2
0.35
0.5
p
p
p
p
0.65
0.8
0.99
k
10
20
30
40
50
Figura 2.5
An
alisis de la soluci
on
Es interesante analizar la formula (2.14) en sus varios aspectos. Por ejemplo,
para el caso simetrico p 12, es decir, cuando el juego es justo, la probabilidad de ruina es muy cercana a 1 cuando k es muy peque
no comparado
con N . Esto sugiere que no conviene jugar esta serie de apuestas contra
adversarios demasiado ricos, aun cuando el juego sea justo. Es tambien un
tanto inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 12. Esto puede apreciarse en la Figura 2.6. Cuando p
es distante de 12 la probabilidad uk es casi constante, pero para valores de
apidamente de un extremo a otro.
p cercanos a 12 la probabilidad cambia r
Estas gr
aficas fueron elaboradas tomando N 50.
N
umero esperado de apuestas antes de la ruina
Hemos comprobado en el ejercicio anterior que con probabilidad uno ocurre
que eventualmente alguno de los dos jugadores se arruina. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. Este n
umero
de apuestas promedio antes de la ruina puede encontrarse explcitamente, y
el metodo que usaremos para encontrarlo es nuevamente el planteamiento
de una ecuaci
on en diferencias que resolveremos del modo mostrado antes.
Sea entonces mk el n
umero esperado de apuesta antes de que termine el
juego, en donde el jugador A tiene un capital inicial de k unidades, y B
tiene N k.
20
2. Caminatas aleatorias
uk
uk
uk
5
1 2
25
12
45
12
Figura 2.6
Proposici
on 2.5 El n
umero esperado de apuestas antes de la ruina es
k N
mk
1 q pk
kN
qp
1 q pN
1
si p
q,
si p
q.
Demostraci
on. Condicionando sobre el resultado de la primera apuesta
se obtiene que mk satisface la ecuaci
on
mk
1 p mk1 q mk1 ,
valida para k
1, 2, . . . , N 1. Esta es una ecuaci
on en diferencias, de
segundo orden, lineal y no homogenea. Las condiciones de frontera son ahora
m0 0 y mN 0. Substituyendo p q mk por mk y agrupando terminos
convenientemente la ecuaci
on anterior puede reescribirse del siguiente modo:
mk1 mk
Recordando la notaci
on Sk
q
mk mk1 1p .
p
1
qp qpk ,
(2.15)
y substituyendo
21
qp m1 1p S0,
m3 m2
qp2 m1 p1 S1 ,
mk mk1
..
.
qpk1 m1 1p Sk2.
m1 Sk1 1
Es decir,
m1 Sk1
mk
0. Sumando todas
k 2
1
Si .
p i 0
k 2
1
Si .
p i 0
(2.16)
mN
1
SN 1
N 2
1
Si .
p i 0
0, y se obtiene
k 2
1
Si .
p i 0
Substituyendo en (2.16),
mk
N 2
k 2
Sk1 1
1
Si
Si .
SN 1 p i 0
p i 0
(2.17)
1 q p q p
si p
12,
si p
12.
1
1 q pk1
1 q p
22
2. Caminatas aleatorias
2.3.
Ejercicios
Caminatas aleatorias
xn1 X0
xn1 Xn
x0 , . . . , Xn
xn .
xn
23
2.3. Ejercicios
E etXn
pet qet n.
1
n Xn
2
n
1
1 i.
2 i 1
x X0
P Xn
X0
0.
24
2. Caminatas aleatorias
caminata visita el estado n 1. Usando an
alisis del primer paso (es
decir, condicionando sobre si el primer paso se efect
ua a la izquierda
o a la derecha) demuestre que
P n
pqn
si p
si p
12,
(2.18)
12.
P Xn
j para alguna n
1 X0
i.
Lleve a cabo cada uno de los siguientes pasos para encontrar nuevamente la probabilidad de un eventual retorno a la posici
on de origen
f00 .
a) Demuestre que f1,1
f1,0 f01
2 .
f01
25
2.3. Ejercicios
e) De manera an
aloga obtenga f10
1, q p.
2 mnp, q
1 pq .
p uk1 q uk1 .
26
2. Caminatas aleatorias
k N
si q
12,
si q
12.
qpk 1
qpN 1
1 p mk1 q mk1 .
Captulo 3
Cadenas de Markov
Las cadenas de Markov fueron introducidas por
el matem
atico ruso Andrey Markov alrededor de
1905. Su intenci
on era crear un modelo probabilstico para analizar la frecuencia con la que
aparecen las vocales en poemas y textos literarios. El exito del modelo propuesto por Markov radica en que es lo suficientemente complejo como para describir ciertas caractersticas
no triviales de algunos sistemas, pero al misAndrey Markov
mo tiempo es lo suficientemente sencillo para
(Rusia,
1856-1922)
ser analizado matem
aticamente. Las cadenas de
Markov pueden aplicarse a una amplia gama de
fenomenos cientficos y sociales, y se cuenta con una teora matem
atica extensa al respecto. En este captulo presentaremos una introducci
on a algunos
aspectos b
asicos de este modelo.
3.1.
Propiedad de Markov
28
3. Cadenas de Markov
condicional pxn1 xn es an
alogo. Hacemos enfasis en que esta notaci
on
ayuda a escribir la propiedad de Markov y sus equivalencias de una manera
simple y clara. Mas adelante retomaremos la notaci
on que se usa de manera
est
andar para estas probabilidades.
Definici
on 3.1 Una cadena de Markov es un proceso estoc
astico a tiempo
discreto Xn : n
0, 1, . . . , con espacio de estados discreto, y que satis0, y para
face la propiedad de Markov, esto es, para cualquier entero n
cualesquiera estados x0 , . . . , xn1 , se cumple
pxn1 x0 , . . . , xn
pxn1 xn .
(3.1)
Sin perdida de generalidad tomaremos como espacio de estados de una cadena de Markov al conjunto discreto 0, 1, 2, . . . , o cualquier subconjunto
finito que conste de los primeros elementos de este conjunto. Cuando el espacio de estados de una cadena de Markov es un conjunto finito se dice que
la cadena es finita.
Probabilidades de transici
on
Sean i y j dos estados de una cadena de Markov. A la probabilidad
P Xn1
j Xn
29
n
umeros pij n, n1 no dependen de n se dice que la cadena es estacionaria u
homogenea en el tiempo. Por simplicidad se asume tal situaci
on de modo que
las probabilidades de transicion en un paso se escriben como pij . Variando
los ndices i y j, por ejemplo, sobre el conjunto de estados 0, 1, 2, . . . , se
obtiene la matriz de probabilidades de transicion en un paso que aparece
en la Figura 3.1. La entrada i, j de esta matriz es la probabilidad de
transicion pij , es decir, la probabilidad de pasar del estado i al estado j
en una unidad de tiempo. En general, al escribir estas matrices omitiremos
escribir la identificaci
on de los estados en los renglones y columnas como
aparece en la Figura 3.1, tal identificaci
on ser
a evidente a partir de conocer
el espacio de estados del proceso. El ndice i se refiere al rengl
on de la matriz,
y el ndice j a la columna.
0
0
1
2
..
.
Figura 3.1
Proposici
on 3.1 La matriz de probabilidades de transici
on P
ple las siguientes dos propiedades.
a) pij
b)
pij cum-
0.
pij
1.
Demostraci
on. La primera condici
on es evidente a partir del hecho de que
estos n
umeros son probabilidades. Para la segunda propiedad observamos
primero que se cumple la descomposici
on disjunta:
X1
j .
30
3. Cadenas de Markov
X1
j
j X0
P X1
j X0
pij .
Esto u
ltimo significa que a partir de cualquier estado i con probabilidad uno
la cadena pasa necesariamente a alg
un elemento del espacio de estados al
siguiente momento. En general toda matriz cuadrada que cumpla estas dos
propiedades se dice que es una matriz estocastica. Debido a la propiedad
de Markov, esta matriz captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. Si adem
as la matriz
1, es decir, cuando la suma por columnas
satisface la condici
on i pij
tambien es uno, entonces se dice que es doblemente estocastica.
Distribuci
on de probabilidad inicial
En general puede considerarse que una cadena de Markov inicia su evoluci
on
partiendo de un estado i cualquiera, o m
as generalmente considerando una
distribuci
on de probabilidad inicial sobre el espacio de estados. Una distribuci
on inicial para una cadena de Markov con espacio de estados 0, 1, 2, . . . es
simplemente una distribuci
on de probabilidad sobre este conjunto, es decir,
es una colecci
on de n
umeros p0 , p1 , p2 . . . que son no negativos y que suman
uno. El n
umero pi corresponde a la probabilidad de que la cadena inicie en
el estado i. En general, la distribucion inicial juega un papel secundario en
el estudio de las cadenas de Markov.
Existencia
Hemos mencionado que la propiedad de Markov (3.1) es equivalente a la
px0 px1 x0 pxn xn1 . Esta identidad
igualdad px0 , x1 , . . . , xn
establece que las distribuciones conjuntas px0 , x1 , . . . , xn se encuentran
completamente especificadas por la matriz de probabilidades de transicion
y por una distribuci
on inicial. En el texto de Chung [5] puede encontrarse
una demostracion del hecho de que dada una matriz estocastica y una distribucion de probabilidad inicial, existe un espacio de probabilidad y una
cadena de Markov con matriz de probabilidades de transicion y distribucion
inicial las especificadas. Es por ello que a la matriz misma se le llama a veces
cadena de Markov.
3.2. Ejemplos
31
Probabilidades de transici
on en n pasos
La probabilidad P Xnm
j Xm
i corresponde a la probabilidad de
pasar del estado i al tiempo m, al estado j al tiempo m n. Dado que hemos
supuesto la condici
on de homogeneidad en el tiempo, esta probabilidad no
depende realmente de m, por lo tanto coincide con P Xn j X0 i, y se
n
le denota por pij n. A esta probabilidad tambien se le denota por pij , en
donde el n
umero de pasos n se escribe entre parentesis para distinguirlo de
alg
un posible exponente, y se le llama probabilidad de transicion en n pasos.
Usaremos ambas notaciones a conveniencia. Haciendo variar i y j se obtiene
la matriz de probabilidades de transicion en n pasos que denotaremos por
P n o P n :
p00 n p01 n
P n p10 n p11 n .
..
..
.
.
Cuando el n
umero de pasos n es uno, simplemente se omite su escritura en
estas probabilidades de transicion, a menos que se quiera hacer enfasis en
ello. Adem
as, cuando n 0 es natural definir pij 0 como la funcion delta
de Kronecker:
0 si i j,
pij 0 ij
1 si i j.
Es decir, despues de realizar cero pasos la cadena no puede estar en otro
lugar mas que en su estado de partida. Para algunas pocas cadenas de Markov encontraremos formulas compactas para las probabilidades de transicion
pij n. Estas probabilidades en general no son faciles de encontrar.
3.2.
Ejemplos
Estudiaremos a continuaci
on algunos ejemplos particulares de cadenas de
Markov. Retomaremos m
as adelante varios de estos ejemplos para ilustrar
otros conceptos y resultados generales de la teora, de modo que nos referiremos a estos ejemplos por los nombres que indicaremos y, a menos que se diga
lo contrario, usaremos la misma notaci
on e hip
otesis que aqu se presentan.
Cadena de dos estados
Considere una cadena de Markov con espacio de estados 0, 1, y con matriz
y diagrama de transicion como aparece en la Figura 3.2, en donde 0 a 1,
32
3. Cadenas de Markov
y0 b
0 y p1
P X0
0
1
1a
a
b
1b
1a
1b
1
b
Figura 3.2
Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues es com
un encontrar situaciones en donde se presenta siempre
la dualidad de ser o no ser, estar o no estar, tener o no tener, siempre en
una constante alternancia entre un estado y el otro. Cuando a 1 b, las
variables X1 , X2 , . . . son independientes e identicamente distribuidas con
P Xn 0 1 a y P Xn 1 a, para cada n 1. Cuando a 1 b,
on al problema no
Xn depende de Xn1 . Mas adelante daremos la soluci
trivial de encontrar las probabilidades de transicion en n pasos. Estas probabilidades son, para a b 0,
P n
p00 n p01 n
p10 n p11 n
1
ab
b a
b a
1 a ab b
a
b
a
b
33
3.2. Ejemplos
probabilidades de transicion es de la siguiente forma:
a0 a1 a2
a0 a1 a2
..
..
..
.
.
.
Por la hip
otesis de independencia, esta cadena tiene la cualidad de
poder pasar a un estado cualquiera siempre con la misma probabilidad en cualquier momento, sin importar el estado de partida. En
consecuencia, para cualquiera estados i y j, y para cualquier entero
n 1, las probabilidades de transicion en n pasos son faciles de calcular y est
an dadas por pij n aj . Esta cadena puede modelar, por
ejemplo, una sucesion de lanzamientos independientes de una moneda.
b) Sea Xn
m
ax 1 , . . . , n . La sucesion Xn : n 1 es una cadena
de Markov con espacio de estados 0, 1, . . . y matriz
a0
a1
a2
a3
0 a0 a1
a2
a3
0
0
a0 a1 a2 a3
..
..
..
..
.
.
.
.
c) Sea Xn
1 n . La sucesion Xn : n
1 es una cadena de
Markov con espacio de estados 0, 1, . . . y matriz
a0 a1 a2
0 a0 a1
0 0 a0
..
..
..
.
.
.
Cadena de rachas de
exitos
Sea 1 , 2 , . . . una sucesion de ensayos independientes Bernoulli con probaumero
bilidad de exito p, y probabilidad de fracaso q 1 p. Sea Xn el n
de exitos consecutivos previos al tiempo n, incluyendo el tiempo n. Se dice
que una racha de exitos de longitud r ocurre al tiempo n si en el ensayo
n r se obtiene un fracaso y los resultados de los ensayos n r 1 al n son
todos exitos. Gr
aficamente esta situaci
on se ilustra en la Figura 3.3.
34
3. Cadenas de Markov
r exitos
nr
nr1
Figura 3.3
La colecci
on de variables aleatorias Xn : n
1, 2, . . . es una cadena de
Markov con espacio de estados 0, 1, . . . . Las probabilidades de transicion
y la matriz correspondiente se muestran en la Figura 3.4.
pij
0 1
i 1,
0,
si j
si j
otro caso.
0
1
2
..
.
2 3
q p 0 0
q 0 p 0
q 0 0 p
.. .. ..
. . .
Figura 3.4
Las posibles transiciones de un estado a otro para esta cadena de Markov
se pueden observar en la Figura 3.5.
Cadena de la caminata aleatoria
Una caminata aleatoria simple sobre el conjunto de n
umeros enteros constituye una cadena de Markov con espacio de estados el conjunto Z, y con
probabilidades de transicion
pij
q
0
si j
i 1,
si j i 1,
otro caso,
on 2.3 de la p
agina 11
en donde p q 1. Hemos demostrado en la Proposici
que las probabilidades de transicion en n pasos son las siguientes: si n y j i
35
3.2. Ejemplos
0
p
q
1
q
2
q
3
Figura 3.5
es ambos pares o ambos impares con
pij n
1
2
n
n j i
ji
n, entonces
pnj i2 q nj i2 .
36
3. Cadenas de Markov
0
1N
0
..
.
1
0
2N
..
.
0
N 1N
0
..
.
0
0
N 2N
..
.
0
0
0
0
0
0
0
0
0
0
0
..
.
0
0
0
..
.
0 1 N
Cadena de ramificaci
on
Considere una partcula u objeto que es capaz de generar otras partculas
del mismo tipo al final de un periodo establecido de tiempo. El conjunto de partculas iniciales constituye la generaci
on 0. Cada una de estas
partculas simult
aneamente y de manera independiente genera un n
umero
de descendientes dentro del conjunto 0, 1, . . . , y el total de estos descendientes pertenece a la generaci
on 1, estos a su vez son los progenitores de la
37
3.2. Ejemplos
generaci
on 2, y as sucesivamente. Una posible sucesion de generaciones se
muestra en la Figura 3.7. El posible evento cuando una partcula no genera
ning
un descendiente se interpreta en el sentido de que la partcula se ha
muerto o extinguido.
Generacion
Xn
Figura 3.7
Sea k la variable aleatoria que modela el n
umero de descendientes de la
k-esima partcula. Para cada n 0 defina Xn como el n
umero de partculas
en la generaci
on n. Entonces Xn : n 0, 1, . . . es una cadena de Markov
con espacio de estados 0, 1, . . . y probabilidades de transicion pij P 1
i j , para i 1. Si en algun momento Xn 0, entonces se dice
que la poblaci
on de partculas se ha extinguido. Naturalmente el estado 0
es un estado absorbente. Este modelo ha sido usado para determinar la
probabilidad de extincion de la descendencia de una persona.
Cadena de la fila de espera
Considere una cola o lnea de espera de clientes que solicitan alg
un tipo de
servicio de un servidor. Suponga que el sistema es observado en los tiempos discretos n 0, 1, . . ., y que la fila funciona del siguiente modo: cuando
hay alg
un cliente esperando servicio al inicio de un periodo, el cliente al
frente de la fila es atendido terminando el servicio al final del periodo. Naturalmente si no existiera ning
un cliente en la fila al inicio de alg
un periodo,
entonces ning
un cliente es atendido. Para cada entero n 1 defina n como
el n
umero de nuevos clientes que se incorporan a la fila durante el periodo
38
3. Cadenas de Markov
n. Bajo ciertas condiciones es natural suponer que estas variables aleatorias son independientes, identicamente distribuidas y con valores enteros no
negativos. Suponga que P n
k
ak , con ak
0 y a0 a1
1.
Sea X0 el n
umero de clientes iniciales, y para cada n 1 defina a Xn como
el n
umero de clientes en la fila al final del periodo n. Las dos reglas de
operaci
on mencionadas se pueden escribir de la siguiente forma:
n1
Xn1
Xn n1 1
si Xn
0,
si Xn
1.
pij
Es decir,
si i
0,
j i 1 si i
1.
a0 a1
a0 a1
0 a0
0 0
..
..
.
.
a2
a2
a1
a0
..
.
Cadena de inventarios
Suponga que se almacena un cierto n
umero de bienes en una bodega, y que
se requiere una demanda aleatoria n del bien en el periodo n. Suponga que
P n
k
ak , para k
0, 1, . . . con ak
0 y k ak
1, es decir, la
distribuci
on de n es la misma para cualquier n. El n
umero de bienes en el
almacen es revisado al final de cada periodo y se aplica la siguiente poltica
de reabastecimiento: si al final del periodo la cantidad del bien es menor o
igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente
hasta un nivel m
aximo S. Si al final del periodo el n
umero de bienes es mayor
a s, entonces no hay ning
un reabastecimiento. Naturalmente s S. Sea Xn
el n
umero de bienes al final del periodo n y justo antes de aplicar la poltica
de reabastecimiento. Entonces Xn : n 0 es una cadena de Markov con
n de Chapman-Kolmogorov
3.3. Ecuacio
39
Xn1
S n1
si s
Xn
si Xn
S,
s.
P Xn1
j Xn
P n1
P n1
i j
S j
aij
aS j
si s
si i
s.
S,
La primera expresi
on corresponde al caso cuando no hay reabastecimiento,
la probabilidad de pasar de i a j es la probabilidad de que la demanda al final
a de i i j
de ese periodo sea de j i pues el nuevo nivel del almacen ser
j. La segunda expresi
on corresponde al caso cuando hay reabastecimiento
y el nuevo nivel ser
a de S S j j, cuando la demanda sea S j.
3.3.
Ecuaci
on de Chapman-Kolmogorov
Esta ecuaci
on es una formula sencilla y muy u
til que permite desk
componer la probabilidad de pasar
del estado i al estado j en n paj
sos, en la suma de probabilidades
de las trayectorias que van de i a
i
j, y que atraviesan por un estado
k cualquiera en un tiempo intermer
n
dio r. Gr
aficamente, las trayectorias que van del estado i al estado j
Figura 3.8
en n pasos se descomponen como se
muestra en la Figura 3.8. Para fines
ilustrativos se dibujan las trayectorias de manera continua pero en realidad
no lo son. La ecuaci
on de Chapman-Kolmogorov es importante para hacer
ciertos c
alculos y se usa con regularidad en el estudio de las cadenas de
Markov.
40
3. Cadenas de Markov
Proposici
on 3.2 (Ecuaci
on de Chapman-Kolmogorov) Para cualquier
par de n
umeros enteros r y n tales que 0 r n, y para cualesquiera estados i y j se cumple
pij n
pik r pkj n r .
Demostraci
on.
Markov,
pij n
j X0
P Xn
j, Xr
k, X0
iP X0
P Xn
j Xr
k P Xr
k X0
i
i
pkj n r pik r .
pik r pkj n r .
P nij .
Demostraci
on. Esta identidad es consecuencia de la ecuaci
on de Chapman-Kolmogorov aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada i, j de la matriz resultante de multiplicar P consigo
n de Chapman-Kolmogorov
3.3. Ecuacio
41
misma n veces.
pij n
pi,i1 1 pi1 ,j n 1
i1
i1 ,i2
..
.
i1 ,...,in1
P n ij .
pi ,j 1
n 1
P n
p00 n p01 n
p10 n p11 n
..
..
.
.
p00 p01
p10 p11
..
..
.
.
P n.
pi pij n.
1a
a
b
1b
42
3. Cadenas de Markov
1
1
a
b
Q1
ab
b
1
a
1
1a
a
b
1b
1
1
a
b
1
0
0 1ab
ab
b
1
a
1
Por lo tanto,
Pn
Q D n Q1
1
1
1
ab
a
b
b a
b a
1
0
0
1 a bn
b
1
a
1
1 a bn
a a
ab
b b .
1
ab
3.4.
Comunicaci
on
Definiremos a continuaci
on el concepto de comunicaci
on entre dos estados
de una cadena de Markov como la posibilidad de pasar de un estado a otro
en alg
un n
umero finito de transiciones.
n
3.4. Comunicacio
43
Definici
on 3.2 Se dice que el estado j es accesible desde el estado i si
existe un entero n 0 tal que pij n 0, esto se escribe simplemente como
j. Se dice adem
as que los estados i y j son comunicantes, y se escribe
i
j, si se cumple que i
j yj
i.
i
Observe que siempre se cumple que i
i, pues por
definicion pii 0 1. Adem
as observe que si ocurre
j, la accesibilidad de i a j puede darse en
que i
un n
umero de pasos distinto que la accesibilidad
de j a i. Gr
aficamente la accesibilidad y la comunicaci
on se representan, como lo hemos hecho antes
en los ejemplos, mediante flechas entre nodos como
se muestra en la Figura 3.9. Es sencillo verificar que
la comunicaci
on es una relaci
on de equivalencia, es
decir, cumple las siguientes propiedades.
a) Es reflexiva: i
c) Es transitiva: si i
k.
i
Comunicacion
i
Figura 3.9
i.
b) Es simetrica: si i
Accesibilidad
j, entonces j
j y j
i.
k, entonces
En consecuencia, la comunicaci
on induce una partici
on del espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados pertenecen al mismo elemento de la partici
on si,
y s
olo si, son estados que se comunican. De este modo el espacio de estados
de una cadena de Markov se subdivide en clases de comunicaci
on. A la clase
j
de comunicaci
on de un estado i se le denotara por C i. Por lo tanto, i
si, y s
olo si, C i C j .
Ejemplo 3.3 La cadena de Markov con espacio de estados 0, 1, 2, 3 y
matriz de probabilidades de transici
on que se muestra en la Figura 3.11
0, C 1 1, 2 y
tiene tres clases de comunicaci
on que son C 0
C 3
3. Es evidente que el estado 0 se comunica consigo mismo pues
existe una flecha que parte de tal estado y llega a el mismo. Visualmente
tampoco hay duda de que la segunda colecci
on de estados es una clase de
on fsica del estado
comunicaci
on. Para la clase C 3 no existe una conexi
44
3. Cadenas de Markov
C i
C j
S
Figura 3.10
1, y ello hace que
3 consigo mismo, sin embargo, por definici
on p33 0
esta clase de u
nicamente un estado sea de comunicaci
on. Observe que estas
clases de comunicaci
on conforman una partici
on del espacio de estados.
1
2
0
0 0
0 1 2 0
12 12 0
12 0 12 0
C 0
C 1
2
C 3
Figura 3.11
El estado i de una cadena de Markov se llama absorbente si pii 1
ejemplo, el estado 0 de la cadena de la Figura 3.11 es absorbente.
1. Por
Definici
on 3.3 Se dice que una cadena de Markov es irreducible si todos
los estados se comunican entre s.
En otras palabras, una cadena de Markov es irreducible si existe s
olo una
clase de comunicaci
on, es decir, si la partici
on generada por la relaci
on de
comunicaci
on es trivial. Por ejemplo, la cadena de racha de exitos o la cadena
de la caminata aleatoria son cadenas irreducibles, pues todos los estados se
45
3.5. Periodo
3.5.
Periodo
El periodo es un n
umero entero no negativo que se calcula para cada estado
de una cadena. Una interpretacion de este n
umero ser
a mencionada m
as
adelante y aparecera tambien dentro de los enunciados generales sobre el
comportamiento lmite de cadenas de Markov.
Definici
on 3.4 El periodo de un estado i es un n
umero entero no negativo
denotado por di, y definido como sigue:
di
m.c.d. n
1 : pii n
0,
0 para
en donde m.c.d. significa m
aximo com
un divisor. Cuando pii n
toda n
1, se define di
0. En particular, se dice que un estado i es
1. Cuando di
k
2 se dice que i es peri
odico de
aperi
odico si di
periodo k.
En palabras, para calcular el periodo de un estado i se considera el conjunto
as grande
de n
umeros naturales n tales que pii n 0 y se obtiene el entero m
que divide a todos los elementos de este conjunto. Tal divisor m
aximo es
el periodo del estado i. Observe que si en el conjunto mencionado aparece
como elemento el n
umero uno, o un n
umero primo, o dos n
umeros primos
relativos, entonces el periodo es uno.
Ejemplo 3.4 Considere una cadena de Markov con diagrama de transici
on
como en la Figura 3.12. No es difcil comprobar que d0
1, d1
2,
d2 2 y d3 0.
Demostraremos a continuaci
on
que el periodo es una propiedad
de clase, es decir, todos los estados de una misma clase de comunicaci
on tienen el mismo periodo. De este modo uno puede
hablar de clases de comunicaci
on
peri
odicas o clases aperi
odicas.
Figura 3.12
46
3. Cadenas de Markov
Proposici
on 3.4 Si los estados i y j pertenecen a la misma clase de comunicaci
on, entonces tienen el mismo periodo.
Demostraci
on. Claramente el resultado es valido para i j. Suponga
entonces que i y j son distintos. Como los estados i y j est
an en la misma
clase de comunicaci
on, existen enteros n 1 y m 1 tales que pij n 0
0. Sea s
1 un entero cualquiera tal que pii s
0. Tal
y pji m
entero existe pues por la ecuaci
on de Chapman-Kolmogorov, pii n m
pij n pji m 0. Esto quiere decir que di s y lo hace de manera m
axima.
Por otro lado, nuevamente por la ecuaci
on de Chapman-Kolmogorov,
pjj n m s
pjj n m 2s
0.
Analogamente,
0.
47
tiene que di d, y por lo tanto existe un entero q tal que qdi d. Ahora
se hace uso del siguiente resultado cuya demostracion puede encontrarse
en [17]:
Sean n1 , . . . , nk enteros no negativos y sea d m.c.d.n1 , . . . , nk .
Entonces existe un entero M tal que para cada m M existen
enteros no negativos c1 , . . . , ck tales que md c1 n1 ck nk .
Entonces existe un entero no negativo M tal que para cada m M , md
c1 n1 ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto,
pii md
pii c1 n1 ck nk
pii c1 n1 pii ck nk
0.
M q.
0 para alg
un entero m, entonces existe un
N se cumple pij m ndj 0.
Demostraci
on. Por el resultado anterior y por la ecuaci
on de ChapmanKolmogorov, para n suficientemente grande, se tiene que
pij m ndj
3.6.
0.
Primeras visitas
48
3. Cadenas de Markov
Definici
on 3.5 Sea A un subconjunto del espacio de estados de una cadena
de Markov Xn : n
0. El tiempo de primera visita al conjunto A es la
variable aleatoria
mn n
1 : Xn
si Xn
A para algun n
1,
otro caso.
P Xn
j, Xn1
j, . . . , X1
X0
0, incluyendo el caso i
i.
j.
Es decir, fij n P ij n. En particular, observe que fii n es la probabilidad de regresar por primera vez al mismo estado i en el n-esimo paso, y
que fii 1 es simplemente pii 1. El uso de la letra f para esta probabilidad
proviene del termino en ingles first para indicar que es la probabilidad de
primera visita; saber esto ayuda a recordar su significado.
Ejemplo 3.5 Considere la cadena de Markov de dos estados. Teniendo en
cuenta la Figura 3.2 de la p
agina 32, es inmediato comprobar que
1 an1a, para n
f10 n 1 bn1 b, para n
f00 n a1 bn2 b, para n
f11 n b1 an2 a, para n
a) f01 n
1.
b)
1.
c)
d)
2.
2.
49
q n1 p
para n
1.
b) f00 n
p n 1 q
para n
1.
Proposici
on 3.7 Para cada n
pij n
fij k pjj n k.
(3.2)
k 1
Demostraci
on. Defina los eventos
A1
A2
A3
..
.
An
Xn
Xn
Xn
Xn
j, X1
j, X0
j, X2
j, X1
j, X0
j, X3
j, X2
j, X1
j, X0
j, Xn1
j, . . . , X2
j, X1
i
j, X0
i.
P X0
i fij k Pjj n k.
Por lo tanto,
P Xn
j, X0
P X0
k 1
fij k Pjj n k.
50
3. Cadenas de Markov
fij n.
n 1
3.7.
Recurrencia y transitoriedad
Veremos a continuaci
on que los estados de una cadena de Markov pueden
ser clasificados, en una primera instancia, en dos tipos, dependiendo si la
cadena es capaz de regresar con certeza al estado de partida.
Definici
on 3.7 (I) Se dice que un estado i es recurrente si la probabilidad
de eventualmente regresar a i, partiendo de i, es uno, es decir, si
P Xn
i para alguna n
1 X0
1.
Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad anterior es estrictamente menor a uno.
De manera intuitiva, un estado es recurrente si con probabilidad uno la
cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre
en alg
un momento finito, por la propiedad de Markov, se puede regresar a
el una y otra vez con probabilidad uno. Debido a este comportamiento
es que al estado en cuesti
on se le llama recurrente. En cambio, el estado
se llama transitorio si existe una probabilidad positiva de que la cadena,
iniciando en el, ya no regrese nunca a ese estado. De este modo la definicion
de recurrencia y transitoriedad puede enunciarse de manera equivalente de
la siguiente forma.
Definici
on 3.8 (II) Un estado i es recurrente si fii
1, es decir, si la
probabilidad de regresar a el en un tiempo finito es uno. An
alogamente, un
estado i es transitorio si fii 1.
51
Adem
as de la definicion, tenemos el siguiente criterio u
til para determinar
si un estado es recurrente o transitorio.
Proposici
on 3.8 El estado i es:
a) recurrente si, y s
olo si
pii n
pii n
n 1
b) transitorio si, y s
olo si
n 1
Demostraci
on. Sea Ni la variable aleatoria que cuenta el n
umero de
veces que el proceso regresa al estado i a partir del primer paso, es decir,
Ni
n 1
cuando X0
k 1,
P N i
1Xn
k X0
P Ni
k, Xm
i, Xm1
i, . . . , X1
i X0
P Ni
k Xm
i, Xm1
i, . . . , X1
i, X0
m 1
m 1
P Xm
P Ni
m 1
..
.
i, Xm1
i, . . . , X1
k 1 X0
i fii m
P Ni
k 1 X0
P Ni
1 X0
P Ni
fiik .
k 2 X0
i fii
i fii 2
i fii k1
i X0
52
3. Cadenas de Markov
P Ni
k X0
k 1
fiik
k 1
fii
1 fii
si 0
1,
fii
si fii
1.
n 1
E 1Xn
X0
P Xn
i X0
n 1
pii n.
n 1
mediante la f
ormula de Stirling: n!
2 nn12 en , puede comprobarse
que n 0 p00 n
, confirmando nuevamente la recurrencia del estado
53
j, entonces j es recurrente.
b) Si i es transitorio e i
j, entonces j es transitorio.
Demostraci
on. Como i
j, existen enteros n
1ym
1 tales que
pij n 0 y pji m 0. Entonces pjj m n r pji m pii r pij n. De
modo que, por la ecuaci
on de Chapman-Kolmogorov,
r 1
pjj m n r
pji m
pii r pij n.
r 1
54
3. Cadenas de Markov
f00
f00 n
1 a ab
n 1
n 2
1 bn2 1 a abb
1.
f00
n 1
f00 n
q 1 p p2
q
1p
1.
Veremos a continuaci
on algunos ejemplos de aplicaci
on del criterio de la
Proposici
on 3.8.
Proposici
on 3.10 Sea j un estado transitorio. Para cualquier estado inicial i, se cumple que n 1 pij n
. En consecuencia, lm pij n 0.
n
55
1
n
pij n
n 1
fij n k pjj k
n 1 k 0
fij n k pjj k
k 0 n k 1
fij m pjj k
k 0 m 1
fij
pjj k
k 0
pjj k
k 0
Proposici
on 3.11 Toda cadena de Markov finita tiene por lo menos un
estado recurrente.
Demostraci
on. Por contradicci
on, suponga que todos los estados son
transitorios. Entonces para cualesquiera estados i y j, se cumple que la
suma n 1 pij n es finita. Sumando sobre el conjunto finito de todos los
posibles estados j se obtiene
pij n
j n 1
n 1 j
pij n
n 1
56
3. Cadenas de Markov
3.8.
E ij
nfij n.
n 1
n 1
nf00 n
1 a ab
n 2
n1 bn2
1 a ab b b2 1
ab
.
b
57
De manera an
aloga, o bien intercambiando los valores de a y b, se encuentra
que 1 a ba. Observe que 10 11 1, m
as adelante explicaremos
la raz
on de ello. Observe tambien que estos dos tiempos medios de recurrencia son, en general, distintos. Esto ejemplifica el hecho de que los tiempos
medios de recurrencia no son necesariamente identicos para cada elemento
de una misma clase de comunicaci
on recurrente.
3.9.
Clases cerradas
i
Por ejemplo, si i es un estado absorbente, entonces la coleccion C
es claramente una clase cerrada. Mas generalmente se tiene el siguiente
ejemplo.
Ejemplo 3.11 Demostreremos que toda clase de comunicaci
on recurrente
es cerrada. Sea C una clase de comunicaci
on recurrente. Es claro que esta
clase es cerrada pues de lo contrario, si i C y j C con C recurrente,
e i
j, entonces necesariamente j
i pues hemos supuesto que i es
j, y entonces j C , contrario a la hip
otesis
recurrente. Por lo tanto i
j C . En conclusi
on, no es posible salir de una clase de comunicaci
on
recurrente.
El siguiente resultado es una especie de recproco del ejemplo anterior y
caracteriza a aquellas clases cerradas que son irreducibles.
Proposici
on 3.12 Toda colecci
on de estados que es cerrada e irreducible
es una clase de comunicaci
on.
58
3. Cadenas de Markov
Demostraci
on. Sea C una coleccion no vaca de estados que es irreducible
y cerrada, y sea i C . Entonces C
C i pues como C es irreducible, todos
sus estados se comunican y por lo tanto deben pertenecer a la misma clase
de comunicaci
on. Como C es cerrada, no es posible salir de tal coleccion,
de modo que la diferencia C i C es vaca, pues si existiera j C i C ,
j, lo cual contradice el supuesto de que C es cerrada. Por lo
entonces i
tanto C
C i.
3.10.
N
umero de visitas
En esta secci
on vamos a estudiar la variable aleatoria que registra el n
umero
de visitas que una cadena realiza sobre un estado j a partir del estado i, es
decir, para cualquier tiempo finito n se define la variable aleatoria
Nij n
1Xk
, cuando X0
i.
k 1
Nij
1Xk
, cuando X0
i.
k 1
Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios
respecto de los recurrentes.
Proposici
on 3.13 Para cualesquiera estados i y j,
a) P Nij
b) P Nij
fij fjj
k 1
si k
0,
si k
1.
1 fij
fij fjj k1 1 fjj
si k
si k
0,
1.
mero de visitas
3.10. Nu
c) E Nij
pij n
n 1
59
fij
1 fjj
si fij
d) P Nij
0
fij
e) P Nij
1
1 fij
0,
si 0
fjj
si fij
1,
0 y fjj
1.
si j es transitorio,
si j es recurrente.
si j es transitorio,
si j es recurrente.
Demostraci
on.
a) La primera parte de esta igualdad es evidente. Para demostrar el caso
k 1 se usa an
alisis del primer paso,
P Nij
fij n P Njj
n 1
fij P Njj
fij fjj
k 1
k 1
k 1
P Nij
k P Nij
k 1.
1Xn
X0
E 1Xn
X0
n 1
n 1
n 1
pij n.
60
3. Cadenas de Markov
Por otro lado, usando la primera formula
E Nij
P Nij
k 1
fij fjj k1
k 1
fij
si fij
fjj
si 0
si fij
0,
fjj
1,
0 y fjj
1.
lm P Nij
lm fij fjj k1 .
0
fij
si j es transitorio,
si j es recurrente.
Distribuci
on de probabilidad del n
umero de visitas
La variable aleatoria discreta Nij toma valores en el conjunto 0, 1, . . . , y
la funci
on de probabilidad que hemos encontrado para esta variable incluye
los siguientes tres casos:
1. Si fij 0, entonces no es posible visitar j a partir de i, y por lo tanto
P Nij 0 1, es decir, la probabilidad se concentra completamente
en el valor 0.
2. Si fij 0 y fjj 1, es decir, si se puede pasar de i a j y j es recurrente,
entonces para cualquier valor de k
1, P Nij
k
fij , y por lo
fij . Mientras que P Nij 0 1 fij . Se trata
tanto P Nij
entonces de una medida de probabilidad concentrada en los valores 0
e .
mero de visitas
3.10. Nu
61
Recurrencia y n
umero de visitas
Si j es recurrente, y si se inicia en j, entonces con probabilidad uno la cadena
regresa a j una infinidad de veces, esto es lo que dice la formula del inciso (d)
fjj
1, y el n
umero esperado de visitas al estado j es infinito.
con fij
Si la cadena inicia en cualquier otro estado i, entonces existe la posibilidad
umero esperado de
de que la cadena nunca visite j (es decir,fij 0), y el n
visitas es naturalmente cero (formula del inciso (c) con fij 0). Pero si la
cadena visita j alguna vez (fij 0), entonces regresara a j una infinidad de
veces, y el n
umero esperado de visitas al estado j es infinito por la formula
del inciso (c) con fij 0 y fjj 1.
N
umero esperado de visitas
Anteriormente habamos demostrado un criterio para la transitoriedad y la
recurrencia del estado i en terminos de la convergencia o divergencia de
la serie n 1 pii n. En vista de la formula del inciso (c) ahora podemos
corroborar que un estado i es recurrente si, y s
olo si, el n
umero promedio de
regresos a el es infinito, y es transitorio si, y s
olo si, el n
umero promedio de
regresos es finito. Tambien en particular, la formula del inciso (d) muestra
que toda cadena de Markov irreducible y recurrente, visita cada uno de sus
estados una infinidad de veces con probabilidad uno.
62
3. Cadenas de Markov
j X0
x0 , . . . , X n1
j X n
xn1 , X n
(3.3)
i.
mero de visitas
3.10. Nu
63
Ejemplo 3.13 (El problema del mono). Suponga que un mono escribe
caracteres al azar en una m
aquina de escribir. Cu
al es la probabilidad de
que eventualmente el mono escriba exactamente, y sin ning
un error, las
obras completas de Shakespeare?
Usaremos la teora de cadenas de Markov
para demostrar que la probabilidad buscada es uno. Imaginemos entonces que un
mono escribe caracteres al azar en una
m
aquina de escribir, y que lo hace de
manera continua generando una sucesion
lineal de caracteres. Cada uno de los caracteres tiene la misma probabilidad de apareFigura 3.14
cer y se genera un caracter independientemente de otro. Sea m el total de caracteres disponibles que se pueden imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Sea Xn el n
umero de caracteres correctos obtenidos
inmediatamente antes e incluyendo el u
ltimo momento observado n, es decir, se trata de un modelo de racha de exitos. Es claro que las variables Xn
toman valores en el conjunto 0, 1, 2, . . . , N , y dado que los caracteres se
nicamente del
generan de manera independiente, el valor de Xn1 depende u
valor de Xn y no de los anteriores, es decir, se trata efectivamente de una
cadena de Markov. Considerando entonces un conjunto de smbolos de m
caracteres se tiene que
P Xn1
y
x 1 Xn
P Xn1
0 Xn
x
x
1m
m 1m.
El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n 1. La segunda igualdad refleja la situaci
on de cometer un error en el
siguiente caracter generado cuando ya se haban obtenido x caracteres correctos. Tecnicamente existen algunas otras posibles transiciones de algunos
estados en otros, pero ello no modifica substancialmente el comportamiento cualitativo del modelo. Como se ha observado, se trata de la cadena de
racha de exitos, y por lo tanto la matriz de probabilidades de transicion es
finita, irreducible y recurrente. Entonces, con probabilidad uno la cadena
visita cada uno de sus estados una infinidad de veces. En particular, cada
vez que la cadena visita el estado N el mono concluye una sucesion exitosa
64
3. Cadenas de Markov
Demostraci
on.
Si la cadena es transitoria, entonces ambos lados de
la igualdad se anulan. Suponga que la cadena es recurrente. El tiempo de
primera visita al estado j a partir de i es ij mn n 1 : Xn j X0 i.
Dada la recurrencia e irreducibilidad, P ij
1, y entonces para
cualquier n 1 se cumple la identidad
Nij ij
1 Njj n.
Nij n
n
Nij ij n
n
ij n
1 Njj n
lm
n
ij n
n
Njj n
lm
n
n
ij n
Njj n
.
lm
n
n
lm
65
Njj n
Y 1 Y Njj n 1
.
Njj n
Njj n
n
1
j
c. s.
E lm
n
1
Nij n
n
lm
1
E Nij n
n
lm
n
1
pij k.
n k 1
lm
3.11.
0.
66
3. Cadenas de Markov
E ij
nfij n.
n 1
a) recurrente positivo si i
b) recurrente nulo si i
Demostraremos a continuaci
on que la recurrencia positiva y la recurrencia
nula son propiedades de las clases de comunicaci
on. Es decir, dos estados en
una misma clase de comunicaci
on recurrente, son ambos recurrentes positivos o recurrente nulos.
Proposici
on 3.15 Sea i un estado recurrente. Entonces,
a) si i es recurrente positivo e i
b) si i es recurrente nulo e i
Demostraci
on. Observe que es suficiente demostrar cualquiera de estas
afirmaciones. Demostraremos la primera. Suponga que i es un estado recu. Como i
j,
rrente positivo, es decir, i es recurrente y es tal que i
67
1, . . . , N , y dividiendo entre N ,
N
1
pjj n m k
Nk 1
Haciendo N
pji m
N
1
pii k pij n.
Nk 1
se obtiene
1
j
pji m
1
pij n
i
0.
Estados
recurrentes
nulos
Estados
transitorios
Estados
recurrentes
positivos
Figura 3.15
Ejemplo 3.14 Anteriormente demostramos que para la caminata aleatoria
sobre Z, el tiempo promedio de regreso al estado 0 es
0
n 0
n f00 n
4pq
.
1 4pq
68
3. Cadenas de Markov
n f00 n
n 1
n 1 ppn1
1 p
n 1
n pn1
n 1
1
1p
pij k
1.
j C
Entonces
n
1
pij k
n k 1 j C
Haciendo n
obtiene
n
1
nk
j C
pij k
1.
j C
1.
n de distribuciones
3.12. Evolucio
69
Para que esta suma sea uno debe existir por lo menos un valor de j en C
tal que j
, pues de lo contrario cada sumando sera cero y la suma
total no podra ser uno. Por lo tanto existe un estado j que es recurrente
positivo. Dado que la recurrencia positiva es una propiedad de clase, todos
los elementos de C son recurrentes positivos.
Observe que en particular, todos los estados de una cadena finita e irreducible son recurrentes positivos.
3.12.
Evoluci
on de distribuciones
P X1
n
i 0
n
P X1
j X0
iP X0
i0 pij .
i 0
01 , . . . , n1
00 , . . . , n0
p00
..
.
pn0
p0n
.. .
.
pnn
A su vez el vector
se transforma en el vector
a traves de la ecuaci
on
2
1
0
2
m1 P
0 P m .
(3.5)
70
3. Cadenas de Markov
De esta forma se obtiene una sucesion infinita de distribuciones de probabilidad 0 , 1 , 2 , . . ., en donde cada una de ellas, excepto la primera, es
obtenida de la anterior multiplicada por la derecha por la matriz de probabilidades de transicion en un paso. Es natural preguntarse si existe alg
un
lmite para esta sucesion de distribuciones. En las siguientes secciones estudiaremos tal problema y encontraremos condiciones bajo las cuales existe
un u
nico lmite para esta sucesion.
Ejemplo 3.16 Considere la matriz estoc
astica
0
1 0
0
0 1
1/2 1/2 0
con distribuci
on inicial el vector 0 110, 0, 910. Los subsecuentes vectores de probabilidad 1 , 2 , . . . se calculan a continuaci
on y las gr
aficas de
estas distribuciones se muestran en la Figura 3.16. Existir
a el lmite para
esta sucesi
on de vectores de probabilidad?
0 P
2 P
3 P
..
.
0.45, 0.55, 0
0, 0.45, 0.55
0.275, 0.275, 0.45
0.225, 0.5, 0.275
0 1 2
0 1 2
0 1 2
0 1 2
0 1 2
Figura 3.16
Ejemplo 3.17 Considere la matriz estoc
astica
0 1
1 0
71
con distribuci
on inicial cualquier vector de probabilidad 0 , 1 , con
0
2
3
..
.
, 1
1 ,
, 1
1 ,
3.13.
Distribuciones estacionarias
Definici
on 3.13 Una distribuci
on de probabilidad 0 , 1 , . . . es estacionaria o invariante para una cadena de Markov con matriz de probabilidades de transici
on P pij si
j
i pij .
72
3. Cadenas de Markov
1
0
0
13 13 13
0
0
1
1
1
j 1 j 1 ,
2
2
Z,
1 0
3 2
1 0
2 1
n n1
1 0
..
.
1 0 .
n1 0 .
1,
73
1a
a
P
b
1b
tiene una u
nica distribuci
on estacionaria dada por
0 , 1 a b b , a a b ,
cuando a b
0. En cambio, cuando a
b
0, la matriz resultante es
la matriz identidad que acepta como distribuci
on estacionaria a cualquier
distribuci
on de probabilidad sobre 0, 1, es decir, en este caso existe una
infinidad de distribuciones estacionarias para esta cadena.
Con base en los ejemplos anteriores haremos algunas observaciones sobre las
distribuciones estacionarias. Primeramente observe que para encontrar una
posible distribuci
on estacionaria de una cadena con matriz P , un primer
P , sujeto a la
metodo consiste en resolver el sistema de ecuaciones
condici
on j j 1. Mas adelante expondremos una forma alternativa de
buscar distribuciones estacionarias para cadenas reversibles. Por otro lado,
suponga que y son dos distribuciones estacionarias distintas para una
matriz P . Entonces la combinaci
on lineal convexa 1 , para
0, 1, tambien es una distribucion estacionaria pues
1 P
1 P
1 .
Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena, entonces existe una infinidad de ellas. Esto demuestra que el conjunto
de distribuciones estacionarias es un conjunto convexo. Tomando en cuenta
74
3. Cadenas de Markov
lm
0.
i pij
i pij k
i
n
1
i pij k
nk 1 i
1
pij k
i
nk 1
n
1
pij k
nk 1
n
0.
75
En particular, si j
0, entonces j es un estado recurrente positivo. Esto es una consecuencia inmediata del resultado anterior y para ello puede
usarse un argumento por contradicci
on. Por otro lado, la proposici
on recien
demostrada tambien nos ayuda a corroborar nuevamente, por ejemplo, que
una caminata aleatoria simetrica simple no tiene distribucion estacionaria,
pues se trata de una cadena cuyos estados son todos recurrentes nulos y por
lo tanto j 0 para cualquier valor entero de j. Se presenta a continuaci
on
una soluci
on al problema de encontrar condiciones suficientes que garanticen
la existencia y unicidad de la distribucion estacionaria.
Proposici
on 3.18 (Existencia y unicidad de la distribuci
on estacionaria) Toda cadena de Markov que es irreducible y recurrente positiva
tiene una u
nica distribuci
on estacionaria dada por
1
j
0,
1j . Demostraremos que
Sea j
i pij .
(2)
1.
(3) j es u
nica.
Como la cadena es irreducible y recurrente positiva, se tiene que j
,
para cualquier estado j. Por lo tanto el cociente 1j es estrictamente positivo. Por el teorema erg
odico para cadenas de Markov,
1
pij m
nm 1
n
lm
1
.
j
76
3. Cadenas de Markov
i pij
i 0
i 0
n
1
pki m pij
n m 1
nlm
lm
n
N
1
pki m pij
n m 1i 0
lm
n
1
pkj m 1
n m 1
j .
Haciendo N
i pij
(3.6)
j .
i pij
pij
i .
j 0
j 0
nlm
1
pij k
nk 1
n
lm
N
n
1
pij k
nk 1j 0
lm
1
1
nk 1
1.
Por otra parte, recordemos que si es estacionaria para P , entonces
tambien lo es para P m para cualquier m natural, es decir,
j
i pij m,
(3.7)
77
1
pij m .
nm 1
n
Haciendo n
, por el teorema de convergencia dominada de Lebesgue,
y usando el hecho de que j j 1,
i 0
1
pij m
i lm
n
nm 1
n
i j .
i 0
1.
1
i
Haciendo n
nm
pij m
1
i
i 0
nm
pij m.
,
N
i j .
i 0
Ahora hacemos N
para obtener
j
j .
(3.8)
78
3. Cadenas de Markov
0 , 1 1 , 1 a b b , a a b .
0
Ejemplo 3.22 La cadena de Ehrenfest es finita e irreducible, en consecuencia es recurrente positiva. Por lo tanto tiene una u
nica distribuci
on estacionaria. Resolviendo el sistema de ecuaciones P junto con j j 1
se encuentra que el vector estacionario tiene distribuci
on binN, p, con
p 12, es decir,
N
j
1
,
2N
para j
0, 1, . . . , N.
(3.9)
P se escribe
1
1
N
2
2
N
N 1
3
1
3
N
N
1
2
..
.
2
N 1 N
N
1
N 1 .
N
N 1
N
k 0
N
k
0 2N .
79
14
0
Urna A
Urna B
Figura 3.17
En vista del teorema erg
odico, esto significa que, a largo plazo, la cadena de
Ehrenfest se encontrar
a en el estado 1 el 50 % del tiempo, y en los estados 0 y
2 el 25 % del tiempo en cada uno de ellos. Los tiempos medios de recurrencia
son
0, 1 , 2 4, 2, 4,
es decir, si por ejemplo la cadena se encuentra en alg
un momento en el
estado 0, entonces tardar
a en promedio 4 tiempos para regresar nuevamente
a ese estado. En este caso particular, estos tiempos medios de recurrencia
pueden corroborarse usando la definici
on b
asica de esperanza.
Ejemplo 3.23 La cadena de racha de exitos, aunque no es finita, es irreducible y recurrente positiva. Por lo tanto tiene una u
nica distribuci
on estacionaria dada por la distribuci
on geo1 p, es decir, el sistema de ecua-
80
ciones
ci
on
3. Cadenas de Markov
P junto con
j
1 tiene como u
nica soluci
on la distribu-
1 p p j ,
para j
0, 1, 2 . . .
.
n
f
para 0 a partir de la f
ormula 0
00
n 1
3.14.
Distribuciones lmite
0 P n ,
1.
(3.10)
nlm P .
n
(3.11)
(3.12)
81
Definici
on 3.14 Considere una cadena de Markov con matriz de probabilidades de transici
on P
pij y distribucion inicial 0 . Se le llama distribuci
on lmite de esta cadena al vector
lm 0 P n
lm
i0 pij n.
0 1
1 0
0 1
1 0
P 2n
1 0
0 1
0,
1.
2. j
i pij .
82
3. Cadenas de Markov
Demostraci
on.
Caso 1. Espacio de estados finito. Suponga que el espacio de estados es el
conjunto finito 0, 1, . . . , N . Entonces la primera afirmacion se cumple con
igualdad pues
N
j 0
j 0
lm pij n
lm
pij n
i pij
i 0
i 0
mlm
lm
1.
j 0
1,
pki m pij
pki m pij
i 0
lm pkj m 1
m
j .
j 0
j 0
nlm pij n
lm
j 0
pij n
lm 1
1.
Haciendo N
se obtiene el resultado buscado. Para la segunda afirma1, y para cualquier
ci
on, nuevamente para cualquier n
umero natural N
83
estado j,
N
i pij
i 0
i 0
lm
lm pki n pij
pki n pij
i 0
lm pkj n 1
j .
Tomando el lmite cuando N
i pij
(3.13)
j .
Si j
0 para cualquier j, entonces estas desigualdades se convierten en
identidades como dice el enunciado. Suponga entonces que j j 0. Demostraremos que las desigualdades que aparecen en (3.13) no pueden ser
estrictas. Suponga que para alg
un estado j, i i pij j . Entonces
i pij
i,j
pij
i .
84
3. Cadenas de Markov
j .
Demostraci
on. El metodo de esta demostracion se conoce como tecnica
0 una cadena de Markov independiente de la
de acople. Sea Yn : n
original Xn : n
0, pero con la misma matriz de probabilidades de
transicion. Entonces el proceso Zn : n 0 definido por Zn Xn , Yn es
una cadena de Markov con probabilidades de transicion
P Zn1
xn1 , yn1
Zn
xn, yn
x n yn .
Puede adem
as verificarse que la cadena Zn : n 0 es recurrente positiva.
odiAdem
as es irreducible, pues como Xn : n 0 y Yn : n 0 son aperi
cas, existe un n
umero natural N tal que pij n pkl n 0, para toda n N .
Por lo tanto pi,kj,l n 0.
Sea j un estado cualquiera de la cadena original. Defina el primer momento
en el que la cadena Zn : n 0 visita el estado j, j como j mnn
1 : Zn j, j . Sea adem
as
mnn 1 : Xn Yn . Este es el primer
momento de acople de las dos cadenas. Como Zn : n
0 es recurrente,
1. Ademas j . Por la propiedad de Markov,
P
P Xn
x,
n
j
r 1
n
r 1
n
r 1
n
j
P Xn
x, Xr
j,
P Xn
x Xr
j,
r P Xr
P Yn
x Yr
j,
P Yn
x Yr
j P Yr
r 1
P Yn
x,
n,
r P Yr
j,
j,
j,
r
r
r
85
P Xn
P Yn
j,
n P Xn
P Xn
j P
P Yn
De manera an
aloga, P Yn
P Xn
P Xn
j P
j P Y n
. Si ahora se toma X0
cuando n
tiene que
j
P Xn
n P Xn
j,
j,
n. Por lo tanto,
n
0,
(3.14)
iP X0
j X0
n .
j,
pij n P X0
pij n.
P Yn
j Y0
i i
i pij n
j .
0.
86
3. Cadenas de Markov
lm pij n existen, est
an dadas por
1j , y constituyen la u
nica soluci
on al sistema de ecuaciones
j
i pij ,
(3.15)
0, y
1.
Demostraci
on. Como la cadena es irreducible y recurrente positiva, tiene
nica
una u
nica distribuci
on estacionaria dada por j 1j . Es decir, es la u
soluci
on al sistema de ecuaciones P , con j 0 y j j 1. Ademas,
j .
por la aperiodicidad, pij n
3.15.
Cadenas regulares
Las cadenas de Markov regulares son cadenas finitas que cumplen la propiedad de que a partir de un cierto momento, con probabilidad positiva se
puede pasar de un estado a otro cualquiera en un paso. Demostraremos que
para este tipo de cadenas siempre existe la distribucion lmite.
Definici
on 3.15 Se dice que una cadena finita o su matriz de probabilidades de transici
on es regular si existe un entero natural n tal que pij n 0,
para cualesquiera estados i y j.
En palabras, una cadena de Markov finita es regular si alguna potencia de
su matriz de probabilidades de transicion tiene todas sus entradas estrictamente positivas. Otra forma de definir a una cadena regular es a traves del
siguiente resultado.
Proposici
on 3.20 Una matriz estoc
astica es regular si, y s
olo si, es finita,
irreducible y aperi
odica.
Demostraci
on. Si la matriz es regular, entonces claramente es finita,
irreducible y aperi
odica. Recprocamente, por la irreducibilidad, para cualesquiera dos estados i y j, existe un entero m tal que pij m 0. Entonces
existe un entero N tal que pij m n dj
0, para cada n
N . Como
dj 1 y siendo la matriz finita, esto implica la regularidad.
87
Para este tipo particular de cadenas finitas se conocen los siguientes resultados acerca de su comportamiento lmite.
Proposici
on 3.21 Toda cadena finita que adem
as es:
1. regular, tiene como distribuci
on lmite la u
nica soluci
on no negativa
del sistema de ecuaciones (3.15).
2. regular y doblemente estoc
astica, tiene como distribuci
on lmite la distribuci
on uniforme.
3. irreducible, aperi
odica y doblemente estoc
astica, tiene como distribuci
on lmite la distribuci
on uniforme.
Demostraci
on.
1. Como la cadena es regular, es irreducible, aperi
odica, y es recurrente
positiva por ser finita. Por el Teorema 3.3, la distribucion lmite existe
y est
a dada por el sistema de ecuaciones (3.15).
2. Como la cadena es regular, es aperi
odica, irreducible y recurrente
positiva por ser finita. Entonces la distribucion lmite existe. Por
la hip
otesis de doble estocasticidad y suponiendo que el espacio de
1. Tomando el
estados es 0, 1, . . . , N , se tiene que N
i 0 pij n
1.
Por lo tanto,
88
3. Cadenas de Markov
16
0
16
16
16
16
16
0
16
16
16
16
16
16
1 6
16
0
16
16
16
16
16
16
16
0
16
16
16
16
16
16
16
0
16
16
16
16
16
16
16
0
16
16
16
16
16
16
16
0
El evento Sn es m
ultiplo de 7 es identico al evento Xn
0, de modo
que la probabilidad de que Sn sea m
ultiplo de 7 a largo plazo es el tiempo de
estancia a largo plazo que la cadena Xn : n 1 pasa en el estado 0. El
problema se reduce a encontrar la distribuci
on lmite de P . Pero esta matriz
es regular, y entonces su distribuci
on lmite es la uniforme. Por lo tanto,
lm P Xn
3.16.
17.
Cadenas reversibles
0, esta probabilidad es
y1 , . . . , Xmr1
Xmr1
yr1 ,
yr1 , . . . , Xmn
yn Xmr
yr .
89
y1 , . . . , Xmr1
P Xmr1
yr
yr1 Xmr
yr1 , . . . , Xmn
0, esta probabilidad es
yn Xmr
yr ,
0, . . . , m es la propiedad de Markov
P y1 , . . . , yr1 yr P yr1 , . . . , yn yr .
Sin embargo, las probabilidades de transicion del nuevo proceso no son homogeneas pues para 0 n m,
P Yn1
j Yn
P Xmn i, Xmn1
P Xmn i
P Xmn
pji
i Xmn1
P Yn1 j
,
P Yn i
j
j
P Xmn1 j
P Xmn i
j pji .
(3.17)
90
3. Cadenas de Markov
A la ecuaci
on (3.17) se llama ecuaci
on de balance detallado. La utilidad de
las cadenas reversibles est
a dada por el siguiente resultado, el cual ejemplificaremos m
as adelante con un par de aplicaciones.
Proposici
on 3.22 Considere una cadena irreducible para la cual existe una
distribuci
on que cumple la identidad (3.17). Entonces es una distribuci
on estacionaria y la cadena es reversible.
Demostraci
on. Si cumple (3.17), entonces es una distribucion estacionaria pues i i pij
j . Ademas la cadena es reversible por
i j pji
definicion.
Ejemplo 3.26 Considere nuevamente la cadena de Ehrenfest. El espacio
on son, para i
de estados es 0, . . . , N , y las probabilidades de transici
1, . . . , N 1,
i 1,
N iN si j
si j i 1,
pij
iN
0
otro caso,
1 y pN,N 1
1. Esta cadena es finita, irreducible y recurrente
con p01
positiva. Estas propiedades garantizan que la cadena tiene una u
nica distribuci
on estacionaria. Si se desea encontrar esta distribuci
on estacionaria
a traves de la ecuaci
on P , uno tendra que resolver el sistema
1
1 ,
N
N i1
i1
i1
i1 , para i 1, . . . , N 1,
i
N
N
1
N 1 .
N
N
A partir de estas ecuaciones hemos demostrado en el Ejemplo 3.22 de la
p
agina 78 que es la distribuci
on binN, 12. Alternativamente, usando el
concepto de reversibilidad se puede intentar encontrar una posible soluci
on
al sistema de ecuaciones
i pij j pji ,
0
N i
i ,
i1
para i
0, 1, . . . , N
1.
91
N
0 ,
1
N
0 ,
2
1
2
..
.
N
N
0 .
i 0
N
i
0 2N .
N
N es
Por lo tanto 0
12N , y encontramos nuevamente que i
i 2
la soluci
on al sistema. Esta es la distribuci
on binN, 12. Por la Proposici
on 3.22, sabemos entonces que la distribuci
on encontrada es estacionaria
y la cadena es reversible.
pi
pij
qi
pi q i
si j i 1,
si j i 1,
si j i,
otro caso,
en donde q0 0. Esta es una cadena irreducible. Si uno busca una distribu P , se tendra que resolver
ci
on estacionaria a traves de la ecuaci
on
el sistema de ecuaciones
0
i
0 1 p0 q1 1 ,
i1 qi1 i 1 pi qi i1 pi1 ,
para i
1.
92
3. Cadenas de Markov
fij n
fij
Nij n
n
j, . . . , X1 j X0 i. A veces se escribe tambien como fij . En particular se define fij 0 0 para cualesquiera estados i y j, incluyendo
el caso i j.
Probabilidad de una eventual visita el estado j a partir del estado i.
En terminos de probabilidades de primeras visitas, esta probabilidad
es fij
k 0 fij n.
Variable aleatoria que registra el n
umero de visitas realizadas al estado
j durante las primeras n transiciones, cuando la cadena inicia en el
n
estado i, es decir, Nij n
i.
k 1 1Xk j , cuando X0
Nij
ij
3.17. A. A. Markov
ij
93
3.17.
A. A. Markov
94
3. Cadenas de Markov
de los grandes n
umeros y el teorema central del lmite, as como otros resultados fundamentales de la teora de la probabilidad, y sobre el metodo
de mnimos cuadrados. Markov fue un profesor muy estricto pero tambien
muy claro en sus exposiciones, y demandaba mucho rigor matem
atico en
los argumentos de sus estudiantes. Markov desarrollo su teora de cadenas
de Markov desde un punto de vista matem
atico, aunque tambien aplic
o su
modelo en el an
alisis de estilos de escritura en poemas. Con sus trabajos sobre cadenas de Markov fund
o una nueva rama de la probabilidad e inici
o la
teora de los procesos estocasticos.
Fuente: Archivo MacTutor, Universidad de St. Andrews.
3.18.
Ejercicios
b) Esta condici
on establece que el futuro, sin importar lo distante
que se encuentre, depende solamente del u
ltimo momento observado: para cualesquiera enteros n, m 1,
pxnm x0 , . . . , xn
pxnm xn .
c) Esta es la condici
on de Markov para tiempos no necesariamente
consecutivos: para cualesquiera enteros 0 n1 nm1 ,
pxnm1 xn1 , . . . , xnm
pxnm1 xnm .
95
3.18. Ejercicios
d) Esta condici
on expresa la independencia entre el pasado y el
futuro cuando se conoce el presente: para cualesquiera enteros
0 k n,
px0 , . . . , xk1 , xk1 , . . . , xn xk
e) En esta condici
on se consideran varios eventos en el futuro: para
cualesquiera enteros n, m 1,
pxnm , . . . , xn1 x0 , . . . , xn
pxnm xnm1
pxn1
xn .
Matrices estoc
asticas
21. Demuestre que:
a) si P y Q dos matrices estocasticas (o doblemente estocasticas)
de la misma dimension, entonces P Q tambien es estocastica (o
doblemente estocastica).
b) si P es estoc
astica (o doblemente estocastica), entonces para cualquier entero positivo n, la potencia P n tambien es estocastica (o
doblemente estocastica).
22. Demuestre que una matriz cuadrada P puede ser tal que la potencia
P n sea estoc
astica para alg
un entero n 2, sin ser P misma estocastica.
23. Demuestre que si una matriz estocastica P es simetrica, entonces para
cualquier n 1, la potencia P n tambien es simetrica.
24. Demuestre que toda matriz estocastica simetrica es doblemente estoc
astica.
25. Demuestre que toda matriz estocastica finita tiene siempre al n
umero
uno como valor propio.
96
3. Cadenas de Markov
Probabilidades de transici
on
P
Calcule:
a) P X2
b) P X3
0, X1
0 X0
1, X2
1 X1
1.
2.
410 610
910 110
Calcule:
a) P X0
b) P X0
c) P X1
d) P X2
e) P X0
0, X1
0 X1
0.
1, X2
0.
0, X2
1, X3
1.
1.
0, X1
1.
P
Encuentre:
a) la distribuci
on de X1 .
12 12
23 13
97
3.18. Ejercicios
b) la distribuci
on de X2 .
c) la distribuci
on conjunta de X1 y X2 .
d) la esperanza condicional E X2 X1 .
15 45
12 12
Suponga que la cadena tiene una distribucion inicial dada por el vector
35, 25. Encuentre P X1 0, P X1 1, P X2 0 y P X2 1.
30. Considere una cadena de Markov de dos estados: 0 y 1, con distribuci
on inicial 12, 12, y con matriz de probabilidades de transicion
13 23
34 14
Encuentre:
a) la distribuci
on de X1 .
b) P X5
c) P X3
d) P X100
e) P X1
f) P X1
g) P X3
1 X4
0 X1
0 X98
0.
0.
0.
0 X2
0.
1 X2
1, X3
0, X2
0 X1
1.
0.
31. Ecuaci
on de Chapman-Kolmogorov para cadenas no homogeneas. Considere una cadena de Markov con probabilidades de transicion no necesariamente homogeneas pij n, m P Xm j Xn i, para n m.
Demuestre que para cualquier tiempo u tal que n u m,
pij n, m
pik n, u pkj u, m.
98
3. Cadenas de Markov
a) pij n
b) pij n
pij 1 pjj n 1.
1 pji n.
pii n m
b) sup pij n
fij
j si, y s
olo si, fij
d) i
j si, y s
olo si, fij fji
pij n.
n 1
c) i
e)
pij n
fij
n 1
0.
0.
pjj n 1 .
n 1
Cadenas de Markov
34. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes con
valores en el conjunto 0, 1, . . . , y con identica distribucion dada por
las probabilidades a0 , a1 , . . . Determine si el proceso Xn : n
1
dado por Xn
mn 1 , . . . , n es una cadena de Markov. En caso
afirmativo encuentre la matriz de probabilidades de transicion.
35. Para la cadena de Markov de dos estados, compruebe que:
a) P X0
b) P X0
c) P X2
0, X1
1, X2
ab p0 .
ab 1 aa p0 .
0 1 a ab p0 1 bb b1 a p1 .
0, X2
b) P Xn
b
ab
a
ab
0 a b b 1 a bn .
1 a a b 1 a bn .
Cu
al es el lmite de esta distribucion cuando n
99
3.18. Ejercicios
Figura 3.18
38. Se lanza un dado equilibrado repetidas veces. Sea Xn el n
umero de
lanzamientos realizados al tiempo n desde la u
ltima vez que apareci
o el
n
umero 6. Demuestre que Xn : n 1 es una cadena de Markov y
encuentre las probabilidades de transicion.
39. Sea Xn : n 0 una cadena de Markov con probabilidades de tran1 un entero fijo. Demuestre que los siguientes
sici
on pij , y sea m
procesos son tambien cadenas de Markov y encuentre las correspondientes probabilidades de transicion.
a) Xnm : n
b) Xnm : n
0.
0.
P Xn1
1,
i pij 1.
b) P Xn
P X0
i pij n.
100
3. Cadenas de Markov
y probabilidades de transicion tales que para cualquier estado i,
E Xn1 Xn
j pij
i,
j 0
m
ax n
1 : Xn
k.
P X
P X
i 1
,
i 1
pi,i1
P X
P X
i 2
.
i 1
101
3.18. Ejercicios
n n1 .
Xn1 n .
Xn1 n , (m
od. 2).
0,
0.
48. Modificaci
on de la cadena de Ehrenfest. Considere el esquema de dos
urnas como en la cadena de Ehrenfest con un total de N bolas. Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia
de urna con una distribucion de probabilidad especificada p1 , . . . , pN ,
sin importar la posici
on de las bolas. Sea Xn el n
umero de bolas en
una de las urnas despues del n-esimo ensayo. Es esta una cadena de
Markov? En caso afirmativo encuentre la matriz de probabilidades de
transicion.
0 una cadena de Markov con espacio de estados E.
49. Sea Xn : n
Defina el proceso Yn : n 0 de la siguiente forma: Yn Xn , Xn1 .
102
3. Cadenas de Markov
Determine el espacio de estados del proceso Yn : n 0, demuestre
que es una cadena de Markov y encuentre sus probabilidades de transici
on en terminos de las probabilidades de transicion de Xn : n 0.
Comunicaci
on
0.3
0.5
0.4 0.6
0.7
0
0.5
0 0.2 0 0.8
0.4 0.6 0
0
0
0
1
0
0
0 0.3 0.7
52. Cu
al es el n
umero m
aximo y mnimo de clases de comunicaci
on que
puede existir para una cadena de Markov de n estados? Dibuje un
diagrama de transicion ilustrando cada una de estas dos situaciones.
53. Dibuje el diagrama de transicion de una cadena de Markov que sea:
a) finita e irreducible.
b) finita y reducible.
c) infinita e irreducible.
d) infinita y reducible.
54. Dibuje un diagrama de transicion y encuentre las clases de
caci
on para cada una de las siguientes cadenas de Markov.
0
0
1
12 12 0
1
0
0
a P 12 0 12
b P
12 12 0
0
0
1
13 13 13
0 1 0 0
0 0 0 1
c P
0 1 0 0
12 0 12 0
comuni
0
0
0
0
103
3.18. Ejercicios
13 13 13 0
12 12 0
1
0
0 0
b P
a P 12 12 0
12 12 0 0
0 12 12
13 13 13 0
12 0 12 0
0
0
0
1
12 0 12 0
14 14 14 14
a) P
b) P
14 14 14 14
0 12 12 0
0
0
0
1
0
0
1
0
0
0
0
0
1
0
0
1
0
0
0
0
0 12 12
0
0
1
0
0
15 15 15 15 15
58. En la Proposici
on 3.4 se ha demostrado que el periodo es una propiedad de clase, es decir, dos estados que pertenecen a la misma clase de
comunicaci
on tienen el mismo periodo. El recproco de tal afirmacion
es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Proporcione un ejemplo de tal
situaci
on.
104
3. Cadenas de Markov
j, si y s
olo si, fij
0.
62. Use la identidad (3.2) para demostrar que para cada n 1, se cumple
la desigualdad pij n P ij n. Observe que la igualdad se cumple
en particular cuando j es un estado absorbente.
63. Demuestre las siguientes igualdades.
a) P ij
b) P ij
pij 1.
pik 1 pkj 1.
k j
c) P ij
n 1
pik 1 P kj
n,
para n
1.
k j
105
3.18. Ejercicios
Recurrencia y transitoriedad
12
12
0
0
16
16
12
12
0
0
16
16
0
0
12
12
16
16
0
0
0
0
0
0
12 0
0
12 0
0
16 16 16
16 16 16
12 12 0
0 12 12
0 12 12
12
0
0
14
12 0
0
12 12 0
12 12 0
14 14 14
1 y 0
j, entonces j
i.
72. Demuestre que toda cadena de Markov finita tiene por lo menos una
clase de comunicaci
on recurrente.
106
3. Cadenas de Markov
12
0
12
2
12
1 2
1
3
(b)
(a)
Figura 3.19
Tiempo medio de recurrencia
73. Considere una sucesion de ensayos independientes Bernoulli con resultados A y B, y con probabilidades P A p y P B q 1 p.
Calcule el n
umero promedio de ensayos para la primera ocurrencia de
la secuencia AB.
Clases cerradas
74. Demuestre que:
a) La uni
on de dos clases cerradas es una clase cerrada.
b) Toda cadena de Markov tiene por lo menos una clase cerrada.
75. Demuestre que la coleccion de estados C es cerrada si, y s
olo si, alguna
de las siguientes condiciones se cumple. Para cualesquiera i C y
j C,
a) pij n
b) pij 1
0, para cada n
1.
0.
107
3.18. Ejercicios
c) La uni
on de todas las clases de comunicaci
on recurrentes de una
cadena de Markov es una clase cerrada.
77. Proporcione ejemplos que muestren la invalidez de las siguientes afirmaciones.
a) Si C es una clase cerrada, entonces C c es cerrada.
C2 es cerrada.
C2 ,
x0 , . . . , X n1
j X0
es igual a P X n1
j X n
xn1 , X n
i.
mn n
mn n
S1,
n1 : Xn S1 ,
0 : Xn
1.
108
3. Cadenas de Markov
b) Suponiendo que P n
1 para toda n 0, demuestre que
Yn : n 0 es una cadena de Markov y encuentre su matriz de
probabilidades de transicion. Observe que Yn Xn para n 0.
80. Sea Xn : n
0 una cadena de Markov y defina el proceso Yn :
nicamente cuando cambia de
n 0 como el proceso original visto u
estado.
a) Demuestre que 0 , 1 , . . . definidos abajo son tiempos de paro respecto del proceso Xn : n 0.
0,
mn n
n 1
n : Xn
Xn ,
Xn , para n
0.
n
0.
ai
para i
1 para i
0, 1, 2, . . .
1, 2, 3, . . .
109
3.18. Ejercicios
12 12 0
0 12 12
0 12 12
12
0
0
14
12 0
0
12 12 0
12 12 0
14 14 14
1p
0
1p
0
p
0
0 1p
p
0
1
0
0
p
0
0
12 0 12 0
0 12 0 12
12 0 12 0 .
0 12 0 12
87. Demuestre que la cadena del jugador tiene una infinidad de distribuciones estacionarias.
88. Demuestre que la cadena de variables aleatorias independientes tiene
una u
nica distribuci
on estacionaria dada por 0 , 1 , . . . a0 , a1 , . . ..
89. Demuestre que toda matriz doblemente estocastica, aperi
odica, finita
e irreducible tiene una u
nica distribucion estacionaria dada por la
distribuci
on uniforme.
110
3. Cadenas de Markov
90. Demuestre que si la distribucion uniforme es una distribucion estacionaria para una cadena de Markov finita, entonces la correspondiente matriz de probabilidades de transicion es doblemente estocastica.
91. Considere una cadena de Markov a tiempo discreto con espacio de
estados finito y tal que para cada estado j los siguientes lmites existen
y no dependen del estado i,
lm pij n
j .
Demuestre que
92. Justifique la existencia y unicidad, y encuentre la distribucion estacionaria para una caminata aleatoria simple no simetrica sobre el conjunto 0, 1, . . . , n, en donde los estados 0 y n son reflejantes, es decir:
p00
q, p01
p, pnn
p, pn,n1
q. Las otras probabilidades de
transicion son: pi,i1 p y pi,i1 q para i 1, 2, . . . , n 1.
93. Considere una caminata aleatoria Xn : n
0 sobre el conjunto
0, 1, . . . , N 1, N en donde los estados 0 y N son reflejantes, es decir,
P Xn1 1 Xn 0 1 y P Xn1 N 1 Xn N 1. El resto
de las probabilidades de transicion son P Xn1 i 1 Xn i p
i 1 Xn
i
q, para i
1, 2, . . . , N 1. Vease la
y P Xn1
Figura 3.20. Calcule el n
umero promedio de visitas que la caminata
realiza a cada uno de sus estados.
q
1
0
i 1
p
i
i1
N 1
Figura 3.20
94. Sea P la matriz de probabilidades de transicion de una cadena de Markov con n estados. Demuestre que es una distribucion estacionaria
para P si y s
olo si
I P A a,
111
3.18. Ejercicios
a b
c d
A1
ad bc
d
c
b
a
0 , 1 a b b , a a b .
96. Demuestre que si es una distribucion estacionaria para P , entonces
lo es para P n para cualquier n natural. Por otra parte, si es estacionaria para P n para alg
un n 2, entonces no necesariamente es
estacionaria para P . Considere por ejemplo la matriz estocastica
0 1
1 0
Entonces P 2 es la matriz identidad que acepta como distribucion estacionaria a cualquier distribucion de probabilidad 0 , 1 , sin embargo no es estacionaria para P , a menos que sea la distribucion
uniforme.
Distribuciones lmite
97. Calcule la distribuci
on lmite, cuando existe, de las siguientes cadenas
de Markov.
112
3. Cadenas de Markov
0
0
1
1
0
0
12 12 0
13 13 13
0
0
0
12
1 0
0 0
1 0
0 12
0
0
0
0
0
0
0
1 3
1
0
1
0
0
0
0
23
0
1
0
0
0
1
0
0
0 1 0
0 0 1
1 0 0
0
1
0
0 12 12
12 12 0
100. Cu
antas potencias de una matriz se necesitan calcular como m
aximo
para verificar que es regular?
0 y Yn : n
0 dos cadenas de Markov indepen101. Sean Xn : n
dientes y regulares. Demuestre que Zn
Xn , Yn es una cadena de
Markov regular y encuentre sus probabilidades de transicion.
113
3.18. Ejercicios
Cadenas reversibles
0 , 1 a b b , a a b .
114
3. Cadenas de Markov
Captulo 4
El proceso de Poisson
En el presente y en el siguiente captulo estudiaremos el modelo de cadena
de Markov a tiempo continuo. Como una introducci
on a la teora general que
se expondra m
as adelante, en este captulo estudiaremos uno de los ejemplos
m
as importantes de este tipo de modelos: el proceso de Poisson. Definiremos
este proceso de varias formas equivalentes y estudiaremos algunas de sus
propiedades, sus generalizaciones y algunas de sus aplicaciones. El proceso
de Poisson es un modelo relevante tanto en las aplicaciones como en la teora
general de los procesos estocasticos.
4.1.
Definici
on
116
4. El proceso de Poisson
m
ax n
1 : T1 Tn
t.
Se postula adem
as que el proceso inicia en cero y para ello se define m
ax
0. En palabras, la variable Xt es el entero n m
aximo tal que T1 Tn es
menor o igual a t, y ello equivale a contar el n
umero de eventos ocurridos
hasta el tiempo t. A este proceso se le llama proceso de Poisson homogeneo,
tal adjetivo se refiere a que el par
ametro no cambia con el tiempo, es
decir, es homogeneo en
Xt
el tiempo. Una trayectoria
3
tpica de este proceso puede
observarse en la Figura 4.2,
2
la cual es no decreciente,
1
constante por partes, continua por la derecha y con
t
lmite por la izquierda. A
W1 W2
W3
0
los tiempos T1 , T2 , . . . se les
T1
T2
T3
T4
llama tiempos de estancia
o tiempos de interarribo,
Figura 4.2: El proceso de Poisson
y los tiempos de ocurrencia de eventos.
y corresponden a los tiempos que transcurren entre
un salto del proceso y el siguiente salto. Hemos supuesto que estos tiempos
son independientes y que todos tienen distribucion exp. En consecuencia,
T1 Tn tiene distribucion gaman, . Esta variala variable Wn
ble representa el tiempo real en el que se observa la ocurrencia del n-esimo
evento. Observe la igualdad de eventos Xt n Wn t, esto equivale
a decir que al tiempo t han ocurrido por lo menos n eventos si, y s
olo si, el
n-esimo evento ocurrio antes de t. Una de las caractersticas sobresalientes
n
4.1. Definicio
117
et
tn .
n!
Demostraci
on. Como Wn tiene distribucion gaman, , su funcion de
distribuci
on es, para t 0,
P Wn
1 et
n1
k 0
0 y para cada n
P Xt
tk .
k!
0, 1, . . .
n P Xt
P Wn t P Wn1
tk .
et
k!
n 1
t
118
4. El proceso de Poisson
P Xts
ets
t, y para n
t sn .
0, 1, . . .
(4.1)
n!
P Xt Xs
n Xs
k P Xs
k.
k 0
P Xts
n P Xs
k
k
k 0
P Xts
P Xts
n .
k 0
P Xs
n
4.1. Definicio
119
a) Es un proceso de Markov.
b) Tiene incrementos independientes.
c) Tiene incrementos estacionarios.
0, y enteros 0
d) Para cualesquiera s, t
transici
on son
P Xts
j Xs
j, las probabilidades de
i
et
tj i .
j i!
(4.2)
Demostraci
on.
a) Considere las probabilidades condicionales
P Xtn
P Xtn
xn Xt1
xn Xtn1
x1 , . . . , Xtn1
xn1 ,
xn1 ,
120
4. El proceso de Poisson
x1 , Xt2
Xt
x2 , . . . , Xtn
Xt
n 1
xn
es igual a
P Xt1
P Xt1
P Xt1
s1 , Xt2
sn
s2 , . . . , Xtn
s1 P Xt2
x1 P Xt2
s2 Xt1
Xt
s1 P Xtn
x2 P Xtn
sn Xtn1
Xtn1 xn.
sn1
Las propiedades c), y d) son consecuencia inmediata de (4.1). La estacionariedad de los incrementos significa que la distribucion de la variable Xt Xs ,
s
t, depende de s y de t u
nicamente a traves de la diferencia
para 0
t s, lo cual es evidente de (4.1).
La expresi
on (4.2) establece de manera clara que las probabilidades de transici
on son estacionarias en el tiempo, es decir, no dependen del par
ametro s,
y se escriben simplemente como pij t. Pero tambien es interesante observar
que (4.2) dice que estas probabilidades son estacionarias en el espacio, es
decir, dependen de los estados i y j u
nicamente a traves de la diferencia
j i. En smbolos, para j i,
pij t
p0,j i t.
n
4.1. Definicio
121
XS t Xt tiene distribuci
on Poissont. En efecto, para cualquier entero
k 0, y suponiendo que F s es la funci
on de distribuci
on de la variable S,
P XS t Xt
0
0
P XS t Xt
k S
P Xst Xs
k dF s
P Xt
P Xt
k.
s dF s
k dF s
Xt
Yt
Xt Yt
X Y 0,t
1
0, X
Y T ,T t
1
0, . . . , X
Y T ,T t
n 1
n 1
0,
122
4. El proceso de Poisson
esto es,
X0,t 0 Y0,t 0
XT ,T t 0 YT ,T t 0
XT ,T t 0 YT ,T t
1
n 1
n 1
n 1
0.
n 1
Por la independencia de los procesos, la propiedad de incrementos independientes de cada uno de ellos, y el resultado del Ejemplo 4.2, la probabilidad
de este evento es
P X0,t1
0 P Y0,t1
P XT1 ,T1 t2
0 P YT1 ,T1 t2
P XT ,T t
n 1
n 1
0 P YTn1 ,Tn1 tn
0.
Por lo tanto,
P T1
t1 , T2
t2 , . . . , Tn
tn
e1 2 t1 e1 2 t2
e t
1
k Xt
n
k
t, y sean k y n
st k 1 st nk .
n
4.1. Definicio
Demostraci
on.
P Xs
123
Por la definicion de probabilidad condicional,
k Xt
P Xt
n Xs k P Xs
P Xt n
Recordando que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson, se puede comprobar facilmente el siguiente
resultado.
Proposici
on 4.5 Sean X1 t y X2 t dos procesos de Poisson independientes con par
ametros 1 y 2 respectivamente, y sean k y n enteros tales que
0 k n. Entonces
P X1 t
k X1 t X2 t
Demostraci
on.
P X1 t
n
k
1 k 1 1 nk .
1
2
1
2
Por la hip
otesis de independencia entre los procesos,
k X1 t X2 t
P X1 t
k, X1 t X2 t
P X1 t
k P X2 t
P X1 t
k, X2 t
nP X1 t X2 t
n kP X1 t X2 t
n kP X1 t X2 t
n
n.
n!
tn
si 0
w1
otro caso.
wn
t,
124
4. El proceso de Poisson
Demostraci
on. La formula general para la funcion de densidad conjunta
de las estadsticas de orden Y1 , . . . , Yn de una muestra aleatoria Y1 , . . . , Yn
de una distribuci
on con funcion de densidad f y es, para y1 yn ,
fY1 ,...,Yn y1 , . . . , yn
n! f y1 f yn .
Cuando la funci
on de densidad f y es la uniforme en el intervalo 0, t, esta
funci
on de densidad conjunta es la que aparece en el enunciado. Demostraremos que la distribuci
on conjunta de las variables W1 , . . . , Wn , condicionada
al evento Xt n tambien tiene esta misma funcion de densidad. Usaremos
nuevamente la identidad de eventos Xt
n
Wn t. Para tiempos
0 w1 wn t, la funcion de densidad conjunta condicional
fW1 ,...,Wn Xt w1 , . . . , wn n
se puede obtener a traves de las siguientes derivadas
n
w1 wn
P W1
w1 wn
w1 , W2
P Xw1
w2 , . . . , W n
1, Xw2
wn Xt
2, . . . , Xwn
n Xt
w1 wn
ew w w2 w1 ew w1 et tn n!
n
n! wn wn1 w2 w1 w1 tn
w1 wn
n!tn .
Observe que bajo el signo de derivada, la probabilidad del evento Xw
1, Xw
2, . . . , Xw
n, Xt
n, que aparece en la primera igualdad, es
identica a la probabilidad de Xt Xw
0, Xw Xw
1, . . . , Xw
Xw
1, Xw
1, pues si alguna de estas identidades (exceptuando la
2
n 1
125
4.2.
Definiciones alternativas
La Definici
on 4.1 de proceso de Poisson es constructiva pues a partir de los
tiempos de interarribo se construye el proceso de conteo correspondiente.
Existen otras formas equivalentes y un tanto axiomaticas de definir a este
proceso. Revisaremos y comentaremos a continuaci
on dos de ellas. Una de
las ventajas de contar con estas definiciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de
las definiciones a conveniencia.
Definici
on 4.2 (Segunda definici
on) Un proceso de Poisson de par
ametro 0 es un proceso a tiempo continuo Xt : t 0, con espacio de
estados 0, 1, . . . , y que cumple las siguientes propiedades:
a) X0
0.
ii) P Xth Xt
0, y cuando h
1
h oh.
oh.
0,
126
4. El proceso de Poisson
p0 t p0 t, t h
p0 t 1 h oh.
0 se obtiene la ecuaci
on diferencial
p0 t p0 t,
cuya soluci
on es p0 t c et , en donde la constante c es uno por la condici
on inicial p0 0 1. Ahora encontraremos pn t para n 1. Nuevamente
por independencia,
pn t h
Haciendo h
pn t p0 t, t h pn1 t p1 t, t h oh
pn t 1 h oh pn1 t h oh oh.
0 se obtiene
pn t
pnt pn1t,
con condici
on inicial pn 0
0 para n
1. Definiendo qn t
et pn t
la ecuaci
on diferencial se transforma en qn t qn1 t, con condiciones
qn 0 0 y q0 t 1. Esta ecuaci
on se resuelve iterativamente primero para
q1 t, despues para q2 t, y as sucesivamente, en general qn t tn n!
Por lo tanto,
pn t et tn n!
Esto significa que Xt tiene distribuci
on Poissont. Debido al postulado de
incrementos estacionarios, la variable Xts Xs tiene la misma distribuci
on
que Xt .
127
Definici
on 4.3 (Tercera definici
on) Un proceso de Poisson de par
ametro
0 es un proceso a tiempo continuo Xt : t 0 con espacio de estados
0, 1, . . ., con trayectorias no decrecientes y que cumple las siguientes propiedades:
a) X0
0.
0, t
0.
Def. 4.3. El
Demostraci
on.
Hemos demostrado que Def. 4.2
recproco es inmediato, pues la propiedad de incrementos independientes
y estacionarios aparecen en ambas definiciones, y para cualquier t
0 y
h 0,
P Xth Xt
1 P Xth Xt
1 eh
1 1 h oh
h oh.
Analogamente
P Xth Xt
1 P Xth Xt
1 eh eh h
0 P Xth Xt
1 1 h oh h oh
oh.
128
4. El proceso de Poisson
Estos c
alculos y lo desarrollado antes demuestran que Def. 4.2 Def. 4.3.
Tambien antes hemos demostrado que Def. 4.1
Def. 4.3. Para deDef. 4.1 es necesario comprobar que los tiempos
mostrar Def. 4.3
de interarribo T1 , T2 , . . . son independientes con distribucion exp. Daremos una demostracion no completamente rigurosa de este resultado. Sean
0 tiempos cualesquiera y sean t1 , . . . , tn las longitudes que
t1 , . . . , tn
se muestran en la Figura 4.5.
t1
t1
t2
tn
t2
tn
Figura 4.5
La probabilidad de que T1 tome un valor en el intervalo t1 , T2 tome un
valor en el intervalo t2 , y as sucesivamente es
fT1 ,...,Tn t1 , . . . , tn t1 tn
et et t1 et et t2 et et
et et et t1 tn et t
1
Al hacer t1 , . . . , tn
tn
0 se obtiene
fT1 ,...,Tn t1 , . . . , tn
129
4.3.
ii) P Xth Xt
1
2
t h oh.
oh.
t
0
s ds,
130
es decir, para n
4. El proceso de Poisson
0, 1, . . .
P Xt
et
tn .
n!
Demostraci
on. La prueba es an
aloga a una de las realizadas en el caso homogeneo. Se define nuevamente pn t P Xt n y se considera cualquier
n.
h 0. Denotaremos por pn t, t h a la probabilidad P Xth Xt
Por la hip
otesis de independencia, para t 0 y cuando h
0,
p0 t h
p0 t p0 t, t h
p0 t 1 th oh.
pn t p0 t, t h pn1 t p1 t, t h oh
pn t 1 th oh pn1 t th oh oh.
on inicial pn 0 0
Entonces pn t t pn t t pn1 t, con condici
1. Definiendo qn t
e pn t la ecuaci
on diferencial se transpara n
131
Demostraci
on. Se escribe Xts
Xs Xts Xs , en donde, por el
axioma de incrementos independientes, en el lado derecho aparece la suma
de dos variables aleatorias independientes. Recordando que la funcion generadora de momentos de la distribucion Poisson es M r exp er 1,
al aplicar este resultado a la ecuaci
on anterior se obtiene
exp t s er 1
1 MX X r.
Por lo tanto, MX X r exp t s s er 1.
Si la funci
on t es constante igual a , entonces t t, y se recupera
el proceso de Poisson homogeneo. Cuando t es continua, t es diferenciable y por lo tanto t t. A la funcion t se le llama funcion de
intensidad y a t se le conoce como funcion de valor medio. A un proceso
de Poisson no homogeneo en donde t : t 0 es un proceso estocastico
t s
exp s er
t s
nf u
0 : u
t,
Proposici
on 4.10 Sea Xt : t 0 un proceso de Poisson no homogeneo
t
on de intensidad t
de par
ametro t, y funci
0 s ds. Defina la
funci
on
1 t nf u 0 : u t.
Entonces el proceso X1 t : t
de par
ametro 1.
Demostraci
on. Usaremos la Definici
on 4.3 del proceso de Poisson. El
proceso X1 t : t 0 empieza en cero y tiene incrementos independient1
t2
tn ,
tes, pues si se consideran cualesquiera tiempos 0
132
4. El proceso de Poisson
bajo la funci
on creciente 1 t estos tiempos se transforman en una nueva
colecci
on mon
otona de tiempos
0
1 t1
1 t2
1 tn .
t s s
t.
4.4.
Nt
n 0
Yn .
(4.3)
133
3. VarXt
t E Y .
t E Y 2 .
4. CovXt , Xs
E Y 2 mns, t.
5. La funci
on generadora de momentos de la variable Xt es
MXt u
E euXt
exp t MY u 1 .
Estos resultados se obtienen condicionando sobre el valor de Nt . En el ejercicio 135 se pide dar los detalles de estas demostraciones.
134
4.5.
4. El proceso de Poisson
En esta generalizaci
on del proceso de Poisson se considera que el par
ametro
no es constante sino una variable aleatoria.
Definici
on 4.6 Sea una variable aleatoria positiva con funci
on de distribuci
on F . Se dice que el proceso de conteo Xt : t 0 es un proceso
1, y
de Poisson mixto con variable mezclante si para cada entero n
cada sucesi
on de enteros no negativos k1 , . . . , kn , y cualesquiera tiempos
0 a1 b1 a2 b2 an bn se cumple la igualdad
P Xb1
Xa
k1 , Xb2
Xa k2 , . . . , Xb Xa kn
n
bi aik eb a dF .
2
i 1
ki !
(4.4)
t E .
t2 Var t E .
5. CovXt , Xts Xt
st Var,
s, t
0.
135
4.6. Ejercicios
consultar para profundizar en el tema son: Basu [1], Jones y Smith [15], y
Taylor y Karlin [35]. El lector puede encontrar otros resultados generales
sobre el proceso de Poisson en el captulo sobre procesos de renovacion, en
el caso particular cuando los tiempos de interarribo son exponenciales.
4.6.
Ejercicios
Proceso de Poisson
b) P X1
c) P X1
1.
3, X2
0 X3
6.
4.
d) P X2
e) P X2
f) P X1
4 X1
2.
4 X1
2.
3.
b) E X .
t .
c) E X2
d) VarX .
t.
b) E X5 X2
c) E W2 .
1.
d) E W7 X2
e) E W7 W5
f) E W7 .
2. Sea Wn
3.
4.
106. Simulaci
on de la distribuci
on exponencial. Demuestre que si X es
una variable aleatoria con distribucion unif0, 1, entonces la variable
136
4. El proceso de Poisson
aleatoria Y
1 ln1 X tiene distribucion exp. Este resultado puede ser usado para generar valores de la distribucion exp a
partir de valores de la distribucion unif0, 1.
107. Simulaci
on de la distribuci
on Poisson. Sea T1 , T2 , . . . una sucesion de
variables aleatorias independientes con identica distribucion exp.
Defina la variable aleatoria N de la siguiente forma:
0
k
si T1 1,
si T1 Tk
T1 Tk1 .
et
tk .
k!
k n
, para n 0, 1, . . .
a) P Yt n
1t 1t
nm n m
1
b) P Yt n, Yts n m
t s
nm1 .
n
1ts
0 un proceso de Poisson de par
ametro . Demuestre
110. Sea Xt : t
los siguientes resultados de manera sucesiva.
a) W1
b) P W1
t1 , W2
t1 , W2
c) fW1 ,W2 t1 , t2
t2
t2
Xt
et1
Xt 0 o 1.
1 t2 t1 et t .
0, Xt2
2 et2 , para 0
t1
t2 .
137
4.6. Ejercicios
d) fW1 t1
e) fW2 t2
et1 .
2 t1 et1 .
f) Las variables T1
W1 y T2
W2 W1 son independientes.
b) P Xs
0, Xt
Xt
t set .
ets .
ex ex 2,
ex ex 2.
y coshx
Para un proceso de Poisson Xt : t
0 de par
ametro demuestre
senhx
que:
a) P Xt sea impar
b) P Xt sea par
et senht.
et cosht.
138
4. El proceso de Poisson
a) fW1 ,W2 w1 , w2
w1
w2
w2
w1
b) fW1
W2
c) fW2
W1
2 ew2
si 0
otro caso.
w1
1w2
si w1
otro caso.
w2 ,
0, w2 ,
ew2 w1
si w2
otro caso.
w1 , ,
b) X1 t
1 antes que X2 t
2 antes que X2 t
1.
2.
139
4.6. Ejercicios
122. Sean Xt : t
0 y Xt : t
0 dos procesos de Poisson independientes con par
ametros 1 y 2 , respectivamente. Sea n cualquier
n
umero natural, y defina el tiempo aleatorio
nf t
0 : Xt
n.
Demuestre que X
para k 0, 1, . . .
P X 2
nk1
k
1 2
1 2
140
4. El proceso de Poisson
b) Suponiendo que se recibe un mensaje tipo basura en alg
un
momento, encuentre la distribucion del n
umero total de mensajes
recibidos hasta la llegada del siguiente mensaje tipo basura.
c) Encuentre la probabilidad de que al tiempo t hayan llegado mas
mensajes tipo basura que no basura.
X1 t
Xt
1 Yk
k 1
Xt
Yk .
k 1
2
tiempo t, y sea Xt lo correspondiente a eventos del tipo 2. Estos son
ejemplos de los as llamados procesos de Poisson marcados.
a) Demuestre que Xt : t
0 y Xt : t
0 son procesos de
Poisson de par
ametros y 1 respectivamente.
141
4.6. Ejercicios
1 y
X s n
t
n k s k1
s nk
.
1
t
k t t
fWk
Xt
s n P Xt
n.
n k
142
4. El proceso de Poisson
Proceso de Poisson no homog
eneo
134. Sea Xt : t
0 un proceso Poisson no homogeneo de intensidad
t, sean T1 , T2 , . . . los tiempos de interarribo, y sean W1 , W2 , . . . los
tiempos reales de ocurrencia. Demuestre que para cualquier t 0,
a) fT1 t
et t.
b) fT2 T1 t s
etss t s.
c) fT2 t
ets t s s ds.
f) FTk
tn1 t.
n 1!
1 etss .
W t s
k 2
t 1 ets ks2! s ds,
0
d) fWn t
e) FTk
et
k 1
2.
143
4.6. Ejercicios
t
Demuestre que para k
P Ct
1 F x dx.
0,
k
et
tk .
k!
st E t Var.
144
4. El proceso de Poisson
Captulo 5
Cadenas de Markov
a tiempo continuo
Vamos a estudiar ahora cadenas de Markov en donde el tiempo es continuo
y las variables toman valores enteros. Consideremos un proceso a tiempo
continuo Xt : t 0 que
inicia en un estado i1 al
tiempo cero. El proceso
X t
permanece en ese estado
un tiempo aleatorio Ti1 , y
i4
despues salta a un nuei2
vo estado i2 distinto del
i1
anterior. El sistema peri3
manece ahora en el estat
do i2 un tiempo aleatorio
Ti2
Ti3
Ti1
Ti4
Ti2 al cabo del cual brinca a otro estado i3 distinto del inmediato anterior,
Figura 5.1
y as sucesivamente. Esta
sucesion de saltos se muestra gr
aficamente en la Figura 5.1. Los tiempos aleatorios T son los tiempos
en los que el proceso permanece constante en alguno de sus estados, y se
llaman tiempos de estancia (passage times). Los momentos en donde el proceso tiene saltos son los tiempos Wn Ti1 Tin , para n 1. El proceso
145
146
Xt
i1
i2
i3
..
si 0 t W1 ,
si W1 t W2 ,
si W2 t W3 ,
c.s.
y por lo tanto, para cada t 0, el valor de Xt es finito, c.s. Por otro lado, sin
perdida de generalidad supondremos que el espacio de estados es el conjunto
S
0, 1, . . .
0.
b) pii
0.
147
c)
pij
1.
0 p01 p02
p10 0 p12
p20 p21 0
..
..
..
.
.
.
Supondremos adem
as que los tiempos de estancia Ti1 , Ti2 , . . . son independientes entre s, y tambien son independientes del mecanismo mediante el
cual se escoge el estado j al cual la cadena salta despues de estar en cualquier otro estado i. Mas a
un, supondremos que cada variable Ti es finita
con probabilidad uno, o bien, es infinita con probabilidad uno. En el primer
caso se dice que el estado i es no absorbente, y en el segundo caso que es
se interpreta en el sentido de que el
absorbente. El hecho de que Ti
proceso deja de saltar y permanece en el estado i el resto del tiempo, es
decir, el estado i es absorbente. Estamos entonces suponiendo que s
olo hay
dos tipos de estados: absorbentes o no absorbentes. En otras palabras, con
probabilidad uno el tiempo de estancia es finito o con probabilidad uno es
infinito. Por otra parte, un resultado no trivial establece que
Un proceso de las caractersticas arriba especificadas satisface la
propiedad de Markov si, y s
olo si, los tiempos de estancia en los
estados no absorbentes tienen distribucion exponencial.
Este es un resultado importante cuya demostracion omitiremos y que simplifica dr
asticamente el modelo general planteado. Como deseamos estudiar
procesos de saltos que cumplan la propiedad de Markov, pues tal propiedad
ayuda a calcular probabilidades con cierta facilidad, tendremos que suponer entonces que el tiempo de estancia en un estado no absorbente i tiene
distribuci
on expi , con i 0, es decir,
Fi t
1 ei t
para t
0.
148
P Xts
j Xs
P Xt
j X0
i.
ij
1 si i
0 si i
j,
j.
Pt
pij t
p00 t p01 t
p10 t p11 t
..
..
.
.
149
Observe que en un proceso de Markov a tiempo continuo las probabilidades
de saltos pij y las probabilidades de transicion pij t representan aspectos
distintos del proceso. Las primeras son probabilidades de cambio al estado
j cuando el proceso se encuentra en el estado i y tiene un salto, mientras
que las segundas son probabilidades de encontrar al proceso en el estado j,
partiendo de i, al termino de un intervalo de tiempo de longitud t. Observe
adem
as que un proceso de Markov a tiempo continuo queda completamente
especificado por los siguientes tres elementos: una distribucion de probabilidad inicial en el espacio de estados, el conjunto de los par
ametros no
negativos i , y las probabilidades de saltos pij . En las siguientes secciones
estudiaremos algunas propiedades generales de los procesos arriba descritos
y revisaremos tambien algunos modelos particulares.
Ejemplo 5.1 (Proceso de Poisson) El proceso de Poisson es una cadena
de Markov a tiempo continuo que empieza en cero, es decir, la distribuci
on
de probabilidad inicial tiene el valor uno en el estado cero, los tiempos de
estancia son exponenciales de par
ametro y las probabilidades de saltos de
un estado a otro son
pij
1 si j
0 si j
i 1,
i 1.
Xt
1
exp
Figura 5.2
0 una
Ejemplo 5.2 (Cadena de primera ocurrencia) Sea Xt : t
cadena de Markov a tiempo continuo con espacio de estados 0, 1. Suponga
que X0
0 y que el proceso cambia al estado 1 despues de un tiempo
aleatorio con distribuci
on exp, y permanece all el resto del tiempo. Una
150
p00 t
p10 t
Xt
1
p01 t
p11 t
exp
exp
et
0
1 et
1
exp
exp
Figura 5.3
Ejemplo 5.3 (Cadena de dos estados) Considere el proceso Xt : t 0
con espacio de estados 0, 1 y definido por la siguiente din
amica: cuando
el proceso entra al estado 0 permanece en el un tiempo exp, y luego va al
estado 1, entonces permanece en el estado 1 un tiempo exp y despues regresa a 0, y as sucesivamente. Se postula adem
as que los tiempos de estancia
en cada estado son variables aleatorias independientes. Una trayectoria de
este proceso se muestra en la Figura 5.3. Para este proceso pueden enconas adelante
trarse explcitamente las probabilidades de transici
on pij t. M
demostraremos que para cualquier t 0,
p00 t
et .
et ,
et ,
et .
n
5.1. Probabilidades de transicio
151
En notaci
on matricial,
p00 t p01 t
p10 t p11 t
5.1.
et .
Probabilidades de transici
on
Hemos mencionado antes que para una cadena de Markov a tiempo continuo
las probabilidades de transicion son los n
umeros pij t P Xt j X0 i.
El problema que uno puede plantearse es encontrar una expresi
on para las
probabilidades de transicion pij t para cada par de estados i y j, y para cada
olo en algunos pocos
tiempo t 0. Este es un problema demasiado general y s
casos es posible encontrar explcitamente tales probabilidades. El siguiente
resultado, sin embargo, nos permitira obtener algunas conclusiones generales
acerca de estas funciones.
Proposici
on 5.1 Sean i y j dos estados. Para cualquier t
pij t
ij ei t i ei t
ei s
0,
(5.1)
k i
Demostraci
on. Si i es un estado absorbente, es decir, si i 0, entonces
la formula de la proposici
on se reduce a pij t ij , lo cual es evidente. Si,
en cambio, i no es un estado absorbente, entonces
pij t
P Xt
P Xt
j X0
j, Ti
ij ei t
ij ei t
0
t
i P Xt
t X0
fXt ,Ti
0 k i
X0
j, Ti
t X0
j, u i du
X0
j, k, u i du,
X0
j, k, u i
f Xt
Xu ,Ti ,X0
k, u, i
fX T ,X k u, i fT X u i
pkj t u pik i e u .
u
152
Por lo tanto,
pij t
ij ei t
t
0
i ei u
k i
t u en la integral se obtiene el
pij t s
pik t pkj s.
En notaci
on matricial, Pts
Demostraci
on.
pij t s
Pt Ps .
j X0
P Xts
j, Xt
k X0
P Xts
j Xt
k P Xt
i
k X0
pik t pkj s.
0.
153
k1 ,...,kn1
5.2.
El generador infinitesimal
i pij t i
pik pkj t.
(5.2)
k i
Demostraci
on. Derivando directamente la identidad (5.1) se obtiene la
expresi
on anunciada.
La ecuaci
on (5.2) constituye todo un sistema de ecuaciones diferenciales
para las probabilidades de transicion pij t, en donde, como se indica en la
formula, la derivada pij t puede depender de todas las probabilidades de
transicion de la forma pkj t para k i. Observe que la derivada pij t es
0, se
una funci
on continua del tiempo. Tomando ahora el lmite cuando t
154
tiene que
pij 0
i ij i
pik kj
k i
i ij i pij
i si i
i pij si i
j,
j.
Definici
on 5.2 A las cantidades pij 0 se les denota por gij , y se les conoce
con el nombre de par
ametros infinitesimales del proceso. Es decir, estos
par
ametros son
i si i j,
(5.3)
gij
i pij si i j.
Haciendo variar los ndices i y j, estos nuevos par
ametros conforman una
matriz G llamada el generador infinitesimal del proceso de Markov, es decir,
0 0 p01 0 p02
1 p10 1 1 p12
2 p. 20 2 p. 21 .2 .
..
..
(5.4)
..
0,
b) gii
0.
c)
gij
si i
j.
0.
gij i
i pij i i 1 pii 0.
j
j i
155
0
0
..
.
0
..
.
0 0
0
..
.
(5.5)
(5.6)
Demostraremos a continuaci
on que el generador infinitesimal caracteriza de
manera u
nica a la cadena de Markov. As, a esta misma matriz se le llama
a veces cadena de Markov a tiempo continuo.
Proposici
on 5.4 El generador infinitesimal determina de manera u
nica a
la cadena de Markov a tiempo continuo.
Demostraci
on. Este resultado es consecuencia de la igualdad (5.3), pues
a partir del generador G
gij se obtienen los parametros iniciales que
definen a la cadena de Markov:
i
gii ,
0
gij gii
y pij
si i
si i
j,
j.
(5.7)
1 gii t ot.
0,
156
2. pij t
gij t ot,
para i
j.
5.3.
Ecuaciones de Kolmogorov
Ecuaciones retrospectivas
En terminos de los par
ametros infinitesimales, el sistema de ecuaciones diferenciales dado por la expresi
on (5.2) puede escribirse de la siguiente forma:
pij t
gik pkj t.
(5.8)
G P t.
(5.9)
Explcitamente,
p00 t p01 t
p t p t
11
10
..
..
.
.
1 p10
..
.
0 p01
1
..
.
p00 t
p10t
..
.
p01 t
p11 t
..
.
pij t
piit
pij t pi1,j t
para i
j.
157
et
tj i
j i!
para i
j.
Ejemplo 5.7 (Cadena de dos estados) El sistema de ecuaciones retrospectivas de Kolmogorov para la cadena de Markov de dos estados definida
en el Ejemplo 5.3 est
a dado por
p00 t
p01 t
p10 t
p t
11
p00 t p10 t,
p01 t p11 t,
p10t p00t,
p11t p01t.
t
q00
t
q10
et q10 t,
et q00 t.
t q t q00 t
q00
00
0,
158
y c2
et .
pik t gkj .
(5.10)
pij t
piit
pij t pi,j 1t
para i
j.
159
pij t
tj i
j i!
para i
j.
Ejemplo 5.9 (Cadena de dos estados) El sistema de ecuaciones prospectivas de Kolmogorov para la cadena de Markov de dos estados definida en
el Ejemplo 5.3 est
a dado por
p00 t
p00 t p01 t,
p01t p00 t,
p10 t p11 t,
p11t p10 t.
p01 t
p10 t
p t
11
5.4.
0
..
.
1 1
2
..
.
0
1
2 2
..
.
0
0
2
si j i 1,
i i
i
(5.11)
pij
si j i 1,
i
i
0
otro caso.
De este modo, un proceso de nacimiento y muerte permanece en cada uno
160
j Xs
i.
0,
c) pi,i1 h
d) pi,i1 h
e) pi,i h
P Xts
i h oh,
i h oh,
para i
0.
para i
1.
1 i i h oh,
para i
0.
161
Ejemplo 5.10 Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instant
aneas de muerte 0 , 1 , . . . son cero, y las tasas
instant
aneas de nacimiento 0 , 1 , . . . son todas ellas iguales a una cons0. La matriz de par
ametros infinitesimales es entonces de la
tante
forma (5.5).
Ejemplo 5.11 Las ecuaciones prospectivas de Kolmogorov del proceso de
Poisson de par
ametro para las probabilidades pn t : p0n t son
p0 t
p t
n
p0t.
pn1 t pn t,
para n
1,
Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene dison inicial p0 0
1, la primera
tribuci
on Poissont. Usando la condici
ecuaci
on tiene soluci
on p0 t et . Definiendo qn t et pn t, la segunda ecuaci
on se transforma en qn t qn1 t, con condiciones qn 0 0n
y q 0 t
1. Esta nueva ecuaci
on se resuelve iterativamente, primero para
q1 t, despues para q2 t, y as sucesivamente. En general, qn t tn n!
para n 0. De aqu se obtiene pn t et tn n!
Ejemplo 5.12 Esta es otra derivaci
on mas de la distribuci
on Poisson en
el proceso de Poisson, ahora usando las ecuaciones prospectivas de Kolmogorov y la funci
on generadora de probabilidad. La variable aleatoria Xt
puede tomar los valores 0, 1, . . . de modo que su funci
on generadora de probabilidad es
GXt u
E uXt
pn t un ,
n 0
1, y en donde pn t
P Xt
para valores reales de u tales que u
n. Consideraremos a esta funci
on tambien como funci
on del tiempo t y
por comodidad en los siguientes c
alculos la llamaremos Gt, u. Derivando
respecto de t, para el mismo radio de convergencia u
1, y usando las
ecuaciones prospectivas de Kolmogorov para el proceso de Poisson se tiene
162
que
G t, u
pn t un
n 0
pn1t pntun
n 0
uGt, u Gt, u
u 1Gt, u,
de donde se obtiene la ecuaci
on diferencial G G u 1. Integrando de
0 a t y usando la condici
on G0, u 1 se llega a
tn un.
Gt, u G0, u eu1t et etu
et
n 0
n!
Esta es la funci
on generadora de probabilidad de la distribuci
on Poissont.
Por la propiedad de unicidad se obtiene que la variable Xt tiene distribuci
on
Poissont.
Derivaci
on intuitiva de los sistemas de ecuaciones diferenciales
prospectivo y retrospectivo de Kolmogorov
Explicaremos a continuaci
on los terminos prospectivo y retrospectivo de los
sistemas de ecuaciones diferenciales de Kolmogorov para las probabilidades de transicion pij t en el caso particular de un proceso de nacimiento
y muerte. Veamos primero el caso restrospectivo. Para cualquier t
0 y
0 peque
no consideremos el intervalo 0, t h visto como la siguiente
h
descomposici
on:
0, t h 0, h h, t h.
163
oh
.
h
0 p1,j t 0 p0j t,
pij t
1.
0, t h 0, t t, t h.
Ahora el intervalo de longitud infinitesinal h se encuentra en la parte final del
intervalo de tiempo completo. Nuevamente por la propiedad de incrementos
independientes y estacionarios, cuando h
0,
pij t h
0 pi0t 1 pi1 t,
j 1 pi,j 1 t j 1 pi,j 1 t j j pij t.
164
0 0 0 0
nacimiento puro. La matriz
de par
ametros infinitesima 0 1 1 0
G 0
0
2 2
.
les tiene la forma que se
.
..
..
..
muestra en la Figura 5.5, en
.
donde, como antes, los par
ametros 0 , 1 , . . . se conoFigura 5.5
cen como las tasas instantaneas de nacimiento.
En la Figura 5.6 se muestra una trayectoria de este
X t
proceso cuando inicia en el
3
estado cero. Por construc2
ci
on, el tiempo de estancia
en el estado i tiene dis1
tribucion exponencial con
t
par
ametro i . Las probabilidades de saltos son eviexp0 exp1
exp2
exp3
dentemente pij
1 cuanFigura 5.6
i 1, y cero en
do j
cualquier otro caso. Puede
demostrarse que los incrementos de un proceso de nacimiento puro son
independientes pero no son necesariamente estacionarios. Un proceso de
nacimiento puro puede tambien definirse mediante las siguientes probabili0,
dades infinitesimales: cuando h
a) P Xth Xt
b) P Xth Xt
1 Xt
k h oh.
0 Xt
1 k h oh.
165
n1 en t
p0n t
en s p0,n1 s ds.
(5.12)
Demostraci
on. El sistema de ecuaciones diferenciales prospectivas de
Kolmogorov para este proceso es
pij t
j 1 pi,j 1 t j pij t.
p00 t
p0n t
0 p00t,
n1 p0,n1 t n p0n t,
1,
1.
166
1 Xt
n
h oh 1 h ohn1
1
nh oh.
pkn t
k pkk t,
n 1 pk,n1 t n pkn t,
n 1 ent
k 1.
k 1,
t
0
(5.13)
Demostraremos a continuaci
on que el incremento Xt X0 tiene distribucion
binomial negativa de par
ametros r, p, con r k y p et .
Proposici
on 5.7 Las probabilidades de transici
on para el proceso de Yule
son
n 1 kt
pkn t
e
1 et nk , para n k.
nk
k se tiene la
Demostraci
on. Usaremos induccion sobre n. Para n
ecuaci
on diferencial pkk t
k pkk t, con condicion inicial pkk 0 1.
Esto produce la soluci
on pkk t ekt , que es de la forma enunciada. Para
167
ns
e
0
n2
eks 1 es n1k ds
n1k
t
n2
n 1
ent
es nk 1 es n1k ds
n1k
0
t
n2
n 1
ent
1 es 1 es 1nk ds
n1k
0
t
n2
es es 1n1k ds
n 1
ent
n1k
0
t
n2
d s
1
nt
n 1
e
e 1nk ds
n1k
0 n k ds
n1
n2
ent et 1nk
nk n1k
n 1 kt
e
1 et nk .
k1
En la siguiente secci
on revisaremos muy brevemente algunos conceptos generales que se pueden definir para cadenas de Markov a tiempo continuo y
que corresponden a los conceptos an
alogos para el caso de tiempo discreto.
5.5.
Comunicaci
on
Se dice que el estado j es accesible desde el estado i si pij t 0 para alg
un
j. Se dice que los estados i y j se comunican si i
j
t 0, y se escribe i
i, y en tal caso se escribe i
j. Nuevamente puede demostrarse que
yj
la comunicaci
on es una relaci
on de equivalencia, y eso lleva a una partici
on
del espacio de estados en clases de comunicaci
on. Se dice nuevamente que la
cadena es irreducible cuando todos los estados pertenecen a la misma clase
de comunicaci
on.
168
nf t
j ,
0 : Xt
cuando X0
i.
p
P Xt j
169
5.6. Ejercicios
0, 1 , .
Puede comprobarse adem
as que las probabilidades de transici
on mostradas
en el Ejemplo 5.3 convergen a esta distribuci
on estacionaria, es decir,
lm
p00 t p01 t
p10 t p11 t
0 1
0 1
5.6.
Ejercicios
Cadenas de Markov a tiempo continuo
142. Para la cadena de Markov de dos estados, demuestre que para cualquier t 0,
p00 t
et .
170
10 Xs ds
Nt
Yj .
j 1
et .
p01 t et .
p10 t et .
a) p00 t
b)
c)
171
5.6. Ejercicios
d) p11 t
et .
b) VarXt
1.
k et .
k e2t 1 et .
k
.
k 1 k
172
Captulo 6
Procesos de renovaci
on
y confiabilidad
En este captulo se presenta otra generalizaci
on del proceso de Poisson. Se
considera ahora que los tiempos de interarribo no son necesariamente exponenciales. A tales procesos de saltos unitarios se les conoce como procesos de
renovaci
on, y en general dejan de cumplir la propiedad de Markov. Ademas
de estudiar algunas propiedades generales de los procesos de renovacion, estudiaremos tambien el concepto de confiabilidad para sistemas conformados
por varios componentes, los cuales son susceptibles de tener fallas en tiempos aleatorios. Este captulo es breve y se presentan s
olo algunos aspectos
elementales de los procesos de renovacion.
6.1.
Procesos de renovaci
on
n y confiabilidad
6. Procesos de renovacio
174
P T1 Tn
En particular, F 1 t
F n t
F t y cuando n
F 0 t
0
1
F F t.
0 se define
si t
si t
0,
0.
n
6.1. Procesos de renovacio
175
Una de las primeras preguntas que uno puede hacerse acerca de un proceso
de renovaci
on es la de conocer la distribucion de la variable Nt . La respuesta
no es facil de encontrar, pues la distribucion de esta variable depende de la
distribuci
on de los tiempos de vida como indica la siguiente formula general.
0,
Proposici
on 6.1 Para cualquier n
P N t
F n t F n1 t.
Demostraci
on. Tomando en consideracion que las variables Wn y Tn1
son independientes, tenemos que
P Nt
P Wn
P Wn
t, Wn1
t, Wn Tn1
P t Tn1
Wn
FWn
Tn1
t u u dF u
F n t u dF u
F n t F n1 t.
t
0
xn1 ex dx
n
k n
et
tk .
k!
n y confiabilidad
6. Procesos de renovacio
176
F n t F n1 t
et
tn .
n!
Del mismo modo que sucedio en el caso del proceso de Poisson, para un
proceso de renovaci
on tambien es valida la igualdad de eventos Nt n
Wn t, para t 0 y para n 0 entero. Esta identidad nos sera de
utilidad m
as adelante.
6.2.
Funci
on y ecuaci
on de renovaci
on
F t
t
0
t s dF s.
(6.1)
Demostraci
on. Condicionando sobre el valor del primer tiempo de vida
T1 se obtiene t
s dF s, en donde
0 E Nt T1
E Nt T1
0
1 t s
si s
si s
t,
t.
Por lo tanto
t
t
0
1 t s dF s
F t
t
0
t s dF s.
n y ecuacio
n de renovacio
n
6.2. Funcio
177
ht
gt s dF s.
(6.2)
g t
ht
ht s ds,
(6.3)
en donde s es la funci
on de renovacion. La demostracion de este resultado
general puede ser encontrado en el texto de Karlin y Taylor [17]. Acerca de
la funci
on de renovaci
on tenemos la siguiente expresi
on general.
Proposici
on 6.3 Para cualquier t
t
0,
n 1
F n t.
(6.4)
n y confiabilidad
6. Procesos de renovacio
178
Demostraci
on.
n P Nt
n 0
P Nt
1 2 P Nt
F 1 t F 2 t 2 F 2 t F 3 t
F n t.
n 1
t
0
xn1 ex dx
n
k n
et
tk .
k!
6.3.
Tiempos de vida
Junto a todo proceso de renovacion y para cada tiempo fijo, pueden considerarse tres variables aleatorias no negativas, t , t y t , cuyo significado
geometrico se muestra en la Figura 6.2, y que definiremos con mayor precisi
on a continuaci
on.
179
Nt 1
Nt
Nt 1
WNt
WNt 1
Figura 6.2
WNt 1 t.
gt
1 F t x
P t
t
0
x satisface la ecuaci
on
gt s dF s.
(6.5)
P t
x T1
s dF s.
Se consideran entonces los tres posibles casos para los valores de T1 como
se muestran en la Figura 6.3.
n y confiabilidad
6. Procesos de renovacio
180
T1
T1
T1
tx
Figura 6.3
Puesto que un proceso de renovacion puede considerarse que inicia nuevamente a partir del momento en que se observa una renovacion, se tiene
que
si s t x,
1
0
si t s t x,
P t x T1 s
P ts x si 0 s t.
Por lo tanto,
gt
t x
P t
s dF s
x T1
dF s
1 F t x
P ts
t
0
x dF s
gt s dF s.
t W Nt .
181
, la funcion gt
tx
1 F t
P t
x satisface la
gt s dF s.
Demostraci
on. Nuevamente se condiciona sobre el valor de T1 . Los tres
posibles casos se muestran en la Figura 6.4.
T1
T1
T1
tx
Figura 6.4
Por lo tanto,
P t
x T1
0
P ts
si s
si 0
si 0
t,
tx s
s t x.
Entonces,
gt
P t
dF s
1 F t
s dF s
x T1
tx
0
tx
0
P ts
x dF s
gt s dF s.
t,
n y confiabilidad
6. Procesos de renovacio
182
En resumen,
gt
0
1
F t
tx
gt s dF s
si 0
si t
x.
x,
ex
si 0
t,
si x t,
otro caso.
t t
WNt 1 WNt
TNt 1 .
Demostraci
on.
la variable T1 .
1 F t
P t
x
t
0
x satisface la ecuaci
on de
gt s dF s,
P t
x T1
s dF s.
n
6.4. Teoremas de renovacio
183
T1
T1
T1
tx
Figura 6.5
El caso s t, t x se debe subdividir en dos casos: s
modo se obtienen los siguientes resultados
P t
x T1
1
1
P ts
si
si
si
si
t
t
s
0
x o s
s t x, y s
s t x, y s
t x,
s t.
x. De este
x,
x,
g t
P t
t x
dF s
1 F t
s dF s
x T1
t
P ts
t
0
x dF s
gt s dF s.
6.4.
1 1 t
x ex si x
0,
otro caso.
Teoremas de renovaci
on
En esta secci
on se estudian algunos resultados sobre el comportamiento
lmite de los procesos de renovacion. Primeramente se demuestra que todo
n y confiabilidad
6. Procesos de renovacio
184
proceso de renovaci
on crece a infinito con probabilidad uno cuando el tiempo
crece a infinito.
Proposici
on 6.7 Para todo proceso de renovaci
on, lm Nt
t
Demostraci
on. Recordemos la igualdad de eventos Nt
Entonces para cualquier n natural,
lm FWn t
lm P Wn
lm P Nt
P lm Nt
t
c.s.
W n
t.
n.
Nt es
Para la u
ltima igualdad se ha utilizado el hecho de que la funcion t
mon
otona no decreciente. Como el resultado demostrado vale para cualquier
valor de n natural, se tiene que P lm Nt
1.
t
W Nt
Nt
0 en donde
c.s.
Demostraci
on. Para valores enteros de n, por la ley fuerte de los grandes
n
umeros, Wn n
casi seguramente cuando n
. Ahora observe la
contenci
on de eventos
Wnn
N t
WNN
t
n
6.4. Teoremas de renovacio
185
Los dos eventos del lado izquierdo tienen probabilidad uno, por lo tanto
la intersecci
on tambien, y ello implica que el lado derecho tambien tiene
probabilidad uno.
El siguiente resultado establece la forma en la que la variable Nt crece a
infinito. Observe que el cociente Nt t es una variable aleatoria que cuenta
el n
umero de renovaciones por unidad de tiempo efectuadas hasta el tiemla aleatoriedad
po t. Demostraremos a continuaci
on que cuando t
desaparece y el cociente se vuelve constante.
Teorema 6.1 (Teorema elemental de renovaci
on) [J. L. Doob, 1948]
, se tiene
Para un proceso de renovaci
on en donde E T , con 0
que
Nt
1
c.s.
lm
t
t
Demostraci
on.
lo tanto,
Para cualquier t
0 se cumple WNt
WNt 1 . Por
t
WNt 1 Nt 1
W Nt
.
Nt
Nt
Nt 1 Nt
Cuando t tiende a infinito ambos extremos de estas desigualdades convergen
a casi seguramente. Por lo tanto el termino de en medio tambien.
Otra forma de interpretar el resultado anterior es diciendo que Nt crece a
a la misma velocidad que la funcion lineal t. Ahora
infinito cuando t
veremos que la esperanza de Nt tiene el mismo comportamiento.
Teorema 6.2 (Teorema elemental de renovaci
on) [W. Feller, 1941]
Considere un proceso de renovaci
on en donde E T , con 0
.
Entonces
t
1
.
lm
t
t
Demostraci
on.
E WNt 1
E Nt 1 E T
t 1.
1
1
E WNt 1 t
t
1t .
186
Como WNt 1
n y confiabilidad
6. Procesos de renovacio
t, se tiene que E WNt 1 t
t
t
lm inf
t
0. Por lo tanto
1
.
t1 E TN 1.
t
Consideremos primero el caso particular cuando las variables T son uniformemente acotadas, es decir, supongamos que existe un entero k 0 tal
1, P Tn
k
1. Entonces, condicionando sobre el
que para cada n
valor de Nt , puede comprobarse que E TNt 1 k y por lo tanto
lm sup
t
t
t
1
.
Tnk
si Tn
si Tn
k,
k.
Tn cuando k
. A partir de estos tiempos se considera
Observe que Tnk
k
un nuevo proceso de renovacion Nt con funcion de renovacion kt . Se cumple
que t kt y por lo tanto
lm sup
t
t
t
1
.
E T k
n
6.4. Teoremas de renovacio
187
h
.
nd
.
t h t
h
1
h
.
H t
t
0
At s dF s,
H t dt.
d
H t kd.
k 0
n y confiabilidad
6. Procesos de renovacio
188
6.5.
Confiabilidad
P T
t,
f t
.
1 F t
A la funci
on de confiabilidad se le llama tambien funcion de supervivencia,
y a la funci
on de tasa de falla se le conoce tambien como funcion hazard. A
esta u
ltima se le llama as pues dado que un componente ha sobrevivido al
tiempo t, fallara en el intervalo t, t t con probabilidad r t t ot,
en efecto,
P t
t t T
P t
T t t
P t t
f t
t ot
1 F t
r t t ot.
Despues de algunos c
alculos sencillos es inmediato comprobar que estas dos
funciones est
an relacionadas de la siguiente forma:
r t
f t
Rt
Rt
exp
dtd ln Rt,
t
0
r s ds.
189
6.5. Confiabilidad
Rt dt.
t
on de tasa de falla es constante r t . El hecho de
Rt e , y la funci
que la funci
on de tasa de falla sea constante significa que la probabilidad de
falla en un intervalo de tiempo peque
no t, dado que el componente se encuentra operando al tiempo t, es aproximadamente t, independiente del
valor de t. Esta es otra manifestaci
on de la propiedad de perdida de memoria de la distribuci
on exponencial, y es la u
nica distribuci
on absolutamente
continua con tasa de falla constante. Por otro lado, el tiempo medio de falla
es E T 1.
Confiabilidad para sistemas en serie
Considere un sistema de n componentes puestos en serie, como se muestra en
la Figura 6.6. Supondremos que cada uno de estos componentes funciona de
manera independiente uno del otro. Es intuitivamente claro que tal sistema
en su conjunto funciona si todos y cada uno de los componentes se encuentra
en buen estado. Nos interesa encontrar las funciones de confiabilidad y de
tasa de falla de este tipo de sistemas. Observe que el tiempo de
falla T de un sistema de este tipo
C1
C2
Cn
es el tiempo de falla m
as peque
no
de cada uno de los componentes, es
mnT1 , . . . , Tn . Esquedecir, T
Figura 6.6
mas fsicos de este tipo ayudan a
justificar el plantearse la pregunta
de encontrar la distribuci
on de probabilidad del mnimo de n variables
aleatorias independientes. No es difcil comprobar que si los tiempos de
falla T1 , . . . , Tn de los componentes del sistema en serie de la Figura 6.6 son
n y confiabilidad
6. Procesos de renovacio
190
1 1 F tn ,
n1 F tn1 f t.
fT t
Calcularemos a continuaci
on las funciones de confiabilidad y de tasa de falla
para sistemas en serie. Denotaremos por R1 t, . . . , Rn t las funciones de
confiabilidad de cada componente en el sistema, y las funciones de tasa de
falla ser
an r1 t, . . . , rn t.
Proposici
on 6.9 Las funciones de confiabilidad y de tasa de falla del sistema en serie de la Figura 6.6 son
a) Rt
b) r t
R1 t Rn t.
r1 t rn t.
Demostraci
on.
a) Rt
P T1
b) r t
dtd ln Rt
P T1
t, . . . , Tn
t P Tn
R1 t Rn t.
n
d
dt ln Rk t
k 1
rk t.
k 1
r t
ent ,
nt.
191
6.5. Confiabilidad
La distribuci
on del tiempo de falla T es exponencial de par
ametro n. El
tiempo medio de falla es E T 1n, naturalmente decreciente conforme
mayor es el n
umero de componentes en el sistema, es decir, mientras mas
componentes haya en el sistema en serie, menor es el tiempo de vida operacional del sistema en su conjunto, pues una falla de cualesquiera de los
componentes provoca que el sistema completo deje de funcionar.
1 1 R1 t 1 Rn t.
P T
P T1
t
t, . . . , Tn
F1 t Fn t.
n y confiabilidad
6. Procesos de renovacio
192
Por lo tanto,
Rt
1 F t
1 F1 t Fn t
1 1 R1 t 1 Rn t.
Observemos que la funci
on de confiabilidad Rt para sistemas en paralelo
recien encontrada es una funcion creciente de n. Es decir, mientras mas
componentes haya en el sistema m
as seguro es este. En consecuencia, el
tiempo medio de falla es una funcion creciente de n. Por otro lado, no es
difcil demostrar que las funciones de distribucion y de densidad del tiempo
de falla T del sistema en paralelo de la Figura 6.7 son:
FT t
y
fT t
F n t,
n F n1 t f t.
r t
1 1 et n ,
n1 et n1 et
.
1 1 et n
R1 t1 1 R2 t1 R3 t.
193
6.6. Ejercicios
C2
C1
C2
C3
C1
C3
C1
Figura 6.8
Notas y referencias. En los textos de Karlin y Taylor [17], Basu [1], y
Lawler [21] se pueden encontrar algunos otros resultados y aplicaciones de
los procesos de renovaci
on.
6.6.
Ejercicios
Procesos de renovaci
on
c) Nt
b) Nt
d) Nt
e) Nt
n
n
n
W n
W n
W n
W n
W n
t
t
t
t
t
b) F n t
F n t, para n
F m t, para n
1.
m.
n y confiabilidad
6. Procesos de renovacio
194
n 1k nk F n1 t.
n 0
155. Sea Nt : t
0 un proceso de renovacion. Demuestre directamente
que para cada n fijo,
lm P Nt
0.
Funci
on y ecuaci
on de renovaci
on
156. Sea Nt : t 0 un proceso de renovacion con funcion de renovacion
t E Nt . Demuestre que para cualquier t 0,
0
157. Sea Nt : t
Defina t
1
.
1 F t
195
6.6. Ejercicios
a) 2 t
2n 1F n t.
n 1
b) 2 t
t 2
t
0
t s ds.
Encuentre adem
as 2 t cuando Nt : t
0 es un proceso de Poisson.
E T
t
0
At s dF s.
Tiempos de vida
159. Demuestre que el tiempo de vida restante t y el tiempo de vida
transcurrido t , para un proceso de renovacion, tienen distribucion
conjunta dada por la siguiente expresi
on: para 0 y t,
P t
x, t
t y
1 F t x u du.
1 et
t
0
t ses ds.
ametro 0 visto
161. Considere un proceso de Poisson Nt : t 0 de par
como un proceso de renovacion. Para el tiempo de vida transcurrido
t demuestre que:
n y confiabilidad
6. Procesos de renovacio
196
a) La funci
on de distribucion de t es
P t
ex
si 0
t,
si x t,
otro caso.
b) La funci
on de densidad de t es
ex si 0
f x
c) E t
t,
otro caso.
1
1 et .
0 de par
ametro
0
162. Considere un proceso de Poisson Nt : t
visto como un proceso de renovacion. Para el tiempo de vida total t
demuestre que:
a) La funci
on de distribucion de t es
P t
1 1 t
x ex si x
0,
otro caso.
b) La funci
on de densidad de t es
f x
c) E t
2 x
xe
si 0
1 tex si x
t,
t,
otro caso.
1
2 et .
163. Sea t
WNt 1 t el tiempo de vida restante al tiempo t en un
proceso de renovaci
on.
197
6.6. Ejercicios
a) Dibuje una posible trayectoria del proceso t : t
0.
b) Demuestre que
lm
1
t
E T 2
2E T
s ds
0
c.s.,
Confiabilidad
164. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes
puestos en serie como en la Figura 6.6. Suponga que las correspondientes funciones de distribucion y de densidad son F1 t, . . . , Fn t,
y f1 t, . . . , fn t, respectivamente. Demuestre que las funciones de
distribuci
on y de densidad del tiempo de falla del sistema dado por
T mn T1 , . . . , Tn son:
a) F t
1 1 F1 t 1 Fn t.
b) f t
fk t 1 F1 t 1k
1 Fn t 1k n .
k 1
F1 t Fn t.
b) f t
k 1
fk t 1 1 F1 t 1k
1 1 Fn t 1k n .
n y confiabilidad
6. Procesos de renovacio
198
b) fT t
1 1 F tn .
n1 F tn1 f t.
b) fT t
F n t.
n F n1 t f t.
C1
C2
C3
Figura 6.9
C1
C3
C2
C4
Captulo 7
Martingalas
Existen varias acepciones para el termino martingala. Una de ellas hace referencia a un tipo
de proceso estoc
astico que b
asicamente cumple la identidad
E Xn1 X0
x0 , . . . , Xn
xn
xn .
199
200
7.1.
7. Martingalas
Filtraciones
F2
En este caso la
en donde efectivamente se cumple que F1
-
algebra Fn contiene los eventos para los cuales puede determinarse su
ocurrencia o no ocurrencia, s
olo con la informaci
on o historia del proceso
hasta el tiempo n.
X1 , . . . , Xn ,
1.
201
7.1. Filtraciones
Fs Ft , cuando 0 s t. La filtraci
on natural o can
onica de un proceso
a tiempo continuo Xt : t 0 es la coleccion de -algebras Ft t 0 dadas
Xs : 0 s t, esto es, Ft es la mnima -algebra que hace
por Ft
que cada una de las variables Xs , para valores de s en el intervalo 0, t,
sean medibles. A la -
algebra Ft se le denomina la historia del proceso al
tiempo t. Regresemos al caso de tiempo discreto.
Definici
on 7.2 Se dice que un proceso estoc
astico Xn : n 1 es adaptado
a una filtraci
on Fn n 1 si la variable Xn es Fn -medible, para cada n 1.
Inicialmente sabemos que cada variable aleatoria Xn del proceso es F medible. La condici
on de adaptabilidad requiere que Xn sea tambien una
variable aleatoria respecto de la sub -algebra Fn . Esta condici
on tecnica
de adaptabilidad facilita el calculo de probabilidades de los eventos de un
proceso en ciertas situaciones. Naturalmente todo proceso es adaptado a
su filtraci
on natural, y puede demostrarse que la filtraci
on natural es la filtraci
on m
as peque
na respecto de la cual el proceso es adaptado. El siguiente
caso particular es necesario de considerar.
Definici
on 7.3 Se dice que el proceso Xn : n 1 es predecible respecto
de la filtraci
on Fn n 0 si para cada n 1, la variable Xn es Fn1 -medible.
Observe que en este caso la filtraci
on debe comenzar con el subndice cero.
Evidentemente todo proceso predecible es adaptado. La definicion de adaptabilidad es la misma en el caso de procesos a tiempo continuo, y se pueden
definir adem
as las siguientes dos -algebras:
F
Ft ,
t 0
Ft
Fs .
s t
202
7.2.
7. Martingalas
Tiempos de paro
mn n
1 : Xn
A,
X1 A Xn1 A Xn A Fn .
203
7.3. Martingalas
1 : Xn
A.
n 1
Xk1 A Xn1 A Xn A.
k 1
0, es un tiempo
Definici
on 7.5 Una variable aleatoria :
de paro respecto de una filtraci
on Ft t 0 si se cumple que para cada t 0,
7.3.
t Ft .
Martingalas
Definici
on 7.6 Se dice que un proceso a tiempo discreto Xn : n 1 es
una martingala respecto de una filtraci
on Fn n 1 si cumple las siguiente
tres condiciones:
a) Es integrable.
b) Es adaptado a la filtraci
on.
c) Para cualesquiera n
m,
E Xm Fn
Xn , c.s.
(7.1)
Cuando en lugar de (7.1) se cumple la desigualdad E Xm Fn Xn , entonces el proceso es una submartingala, y si E Xm Fn Xn , entonces es
una supermartingala.
204
7. Martingalas
Xn .
Esta u
ltima condici
on es la que a menudo usaremos para verificar la propiedad de martingala de un proceso a tiempo discreto. Ademas, cuando la
filtraci
on es la natural, es decir, cuando Fn X1 , . . . , Xn , la condici
on
de martingala puede escribirse en la forma
E Xn1 X1 , . . . , Xn
Xn .
E X1 ,
para cada m
1,
esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. Analogamente, tomando esperanza ahora
en la condici
on de submartingala se obtiene que para cualesquiera tiempos
1 n m,
(7.2)
E Xm E Xn ,
esto puede interpretarse en el sentido de que las submartingalas son procesos
cuyas trayectorias, en promedio, tienden a crecer. Mas adelante demostraremos que cuando la submartingala es acotada superiormente, es convergente.
Este interesante resultado es el an
alogo estocastico al hecho de que toda
205
7.4. Ejemplos
sucesion de n
umeros reales creciente y acotada es convergente. Para procesos
a tiempo continuo, la condici
on de martingala se escribe E Xt Fs Xs ,
s
t, sin olvidar la condipara cualesquiera tiempos s y t tales que 0
ciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una
martingala.
7.4.
Ejemplos
Veremos a continuaci
on algunos ejemplos de martingalas.
Martingala del juego de apuestas
Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes identicamente distribuidas y con esperanza finita. Defina Xn
1 n , y
1 , . . . , n . La variable aleatoria Xn puede
considere la filtraci
on Fn
interpretarse como la fortuna de un jugador despues de n apuestas sucesivas
en donde la ganancia o perdida en la k-esima apuesta es k . Claramente el
proceso Xn : n 1 es integrable y es adaptado. Ademas, para cada n 1,
E Xn1 Fn
E Xn n1 Fn
Xn E n1 Fn
Xn E n1 .
Cuando el resultado promedio de cualquiera de las apuestas es cero, el segundo sumando se anula y se tiene un ejemplo de martingala, es decir, un
juego justo. En particular, una caminata aleatoria simetrica es una martingala. Si el resultado promedio de las apuestas es mayor o igual a cero,
entonces E Xn1 Fn Xn , y por lo tanto el proceso es una submartingala,
un juego favorable al jugador. Finalmente, cuando el resultado promedio de
cualquier apuesta es menor o igual a cero, el proceso es una supermartinXn , correspondiente a un juego desfavorable al
gala pues E Xn1 Fn
jugador.
Martingala del proceso de Poisson centrado
Sea Xt : t 0 un proceso de Poisson de par
ametro . Entonces el proceso
centrado Xt t : t 0 es una martingala. En efecto, este nuevo proceso
206
7. Martingalas
t,
E Xt Fs t
E Xt Xs Xs Fs t
E Xt Xs Fs Xs t
E Xt Xs Xs t
t s Xs t
Xs s.
Este ejemplo es un caso particular del siguiente resultado que el lector puede
facilmente verificar siguiendo el calculo anterior: si un proceso integrable
Xt : t 0 tiene incrementos independientes, entonces el proceso centrado
Xt E Xt : t 0 es una martingala.
Martingala de la esperanza condicional
Sea X una variable aleatoria integrable, y sean F1 y F2 dos sub -algebras
tales que F1
F2 . No es difcil comprobar la siguiente propiedad de la
esperanza condicional:
E E X F2 F1
E X F1 .
E E X Fn1 Fn
E X Fn
Xn .
Figura 7.1
207
P Xn1
k 1 Xn
P Xn1
k Xn
,
n2
n2k
.
n2
Xn 0
n 2 Xn
n2
1 nXn2
n3
Xn .
n2
Este c
alculo demuestra que el proceso Xn : n 0 no es una martingala.
Sin embargo, si se define Mn Xn n 2, lo cual representa la fraccion de
bolas blancas en la urna despues de la n-esima extraccion, entonces se tiene
que
Xn1
Xn
E Mn1 Fn E
Fn
Mn .
n3
n2
7.5.
Procesos detenidos
on Fn n 0 ,
Sea Xn n 0 un proceso estocastico adaptado a una filtraci
y sea un tiempo de paro respecto de la misma filtraci
on. En ocasiones
es necesario considerar un proceso de la forma X n , en donde n
mn, n. A este tipo de procesos se les llama procesos detenidos, por ejemplo, suponga que k, entonces,
X
Xn si n
Xk si n
k,
k.
208
7. Martingalas
Xk
Xn
x.
k 1
La expresi
on del lado derecho es claramente un elemento de Fn . Si el proceso
original es integrable, entonces el proceso detenido es tambien integrable,
pues
E X
E X 1
n
k 1
n
E Xn 1 n
E Xk 1
E Xk
E Xn 1 n
E Xn
k 1
n: estrategias de juego
7.6. Una aplicacio
209
n1 Fn
k 1
n
k 1
n
E Xk 1
Fn E Xn1 1 n Fn
Xk 1
E Xn1 Fn 1 n
Xk 1
Xn 1 n
k 1
7.6.
Una aplicaci
on: estrategias de juego
1 n .
210
7. Martingalas
E An an1 n1 Fn
An an1 E n1 Fn
An an1 E Xn1 Xn Fn
An an1 E Xn1 Fn Xn
An .
Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganan1 es una martingala siempre y cuando el proceso original
cias An : n
Xn : n 1 lo sea. Es importante que los apostadores conozcan este resultado pues quiere decir que no existe una estrategia de juego que convierta
un juego justo en un juego favorable o desfavorable al jugador. El mismo
an
alisis demuestra que si el proceso original Xn : n 1 es una submartingala o supermartingala y la estrategia de juego consta de variables aleatorias
no negativas y acotadas, entonces el proceso An : n 1 sigue siendo una
submartingala o supermartingala.
Uno de los varios significados del temino martingala, y que parece ser el original, establece que una martingala es una estrategia de juego en la cual un
jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta
del siguiente modo: inicialmente apuesta una unidad monetaria. En caso de
perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso
de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo
esta estrategia de juego.
Monto de la apuesta
Resultado del lanzamiento
Ganancia
1
x
-1
2
x
-3
4
x
-7
1
x
1
2
3
1
x
2
Figura 7.2
Bajo esta estrategia de juego resulta que cada vez que el jugador acierta se
recupera de las perdidas anteriores e incluso incrementa su fortuna en una
unidad monetaria. En efecto, si el jugador pierde las primeras n apuestas y
n: estrategias de juego
7.6. Una aplicacio
211
1 2
n 1
1 2
2
2
n apuestas perdidas
apuesta n 1 ganada
n1
2k 2n
k 0
1122 2n
1 2n 2n
n
1.
De esta manera si el jugador pudiera mantener esta estrategia de juego
tendra una unidad ganada por cada acierto que haya conseguido. Parece
ser una estrategia segura de ganar, sin embargo, veamos cu
anto, en promedio, podra ser su deficit justo antes de recuperarse, es decir, calcularemos
E X 1 , en donde es el tiempo de paro en el que el jugador acierta por
primera vez. Puede comprobarse que este tiempo de paro es finito casi seguramente, es decir, P
1. De hecho, con probabilidad uno, el jugador
tendra eventualmente un exito aun cuando sus probabilidades de acertar
fueran peque
nas. Como hemos visto, despues de n apuestas consecutivas
perdidas el capital empe
nado es
1 21 22 2n1
1 2n ,
E X 1
n P
n 1
E Xn1 P
n 1
1 2n1 21n
n 1
212
7.7.
7. Martingalas
Entonces
E X
Demostraci
on.
0.
E Xn , para cualquier n
1.
X Xn 1
E X
E X
1,
.
es una martingala,
E X Xn 1 n
E X1 E X 1 n E Xn 1 n .
n
k 1
Xk 1
k 1
E Xk 1
213
mn n
1 : Xn
b,
n
es decir, es el primer momento en el
mn n
0 : Xn
b o Xn
a,
214
7. Martingalas
E
E X2 . Ahora no es tan sencillo calcular esta esperanza pues X2
puede tomar dos valores, b2 o a2 . Entonces,
E
E X2
b2 P X
b a2 P X
a.
Defina uk P X b X0 k. Usando an
alisis del primer paso, es decir,
condicionando sobre el valor que toma la caminata aleatoria en el primer
paso, puede comprobarse que la probabilidad uk cumple la ecuaci
on en
diferencias
2uk uk1 uk1 ,
con condiciones de frontera ub
1 y ua
ak
.
ab
uk
Analogamente, definiendo vk P X
cumple la ecuaci
on en diferencias
X0
k, se encuentra que vk
vk1 vk1 ,
2vk
con condiciones de frontera vb
0, y cuya soluci
on es
0 y va
vk
bk
.
ab
1, y cuya soluci
on es
Por lo tanto,
E
E X2
b2 P X
b a2 P X
b u0 a v0
a
b
b2
a2
ab
ab
ab.
2
Cuando a
ca.
Xn np q : n
215
lo es. Suponiendo nuevamente que las condiciones del teorema de paro opcional se cumplen, se tiene que E X p q E X1 p q 0.
E X p q . El problema es nuevamente
De donde se obtiene E
encontrar E X . Tenemos que
E X
b P X
b a P X
a.
Defina nuevamente uk
P X
b X0
k. Usando an
alisis del primer
paso puede comprobarse que uk cumple la ecuaci
on en diferencias
p uk1 q uk1 ,
uk
con condiciones de frontera ub
1 y ua
0, y cuya soluci
on es
pqbk pqab .
1 pq ab
P X
a X0 k, se encuentra que vk
uk
Analogamente, definiendo vk
cumple la ecuaci
on en diferencias
p vk1 q vk1 ,
vk
con condiciones de frontera vb
vk
0 y va
1, y cuya soluci
on es
qpak qpab .
1 q pab
Por lo tanto,
E X
b u0 a v0
pqb pqab a qpa qpab
b
1 pq ab
1 q pab
1 p q b
.
b a b
1 pq ab
Entonces,
E
a b 1 pq b
.
p q p q 1 pq ab
b
Verificaremos a continuaci
on la validez de las tres condiciones del teorema
de paro opcional para esta aplicaci
on cuando la caminata y las barreras son
simetricas.
216
7. Martingalas
a) Demostraremos que
c.s. La estrategia consiste en considerar
bloques sucesivos de 2b pasos en la caminata aleatoria. Observe que
el evento
es el lmite de la sucesion decreciente de eventos
2bk, para k 1, 2, . . ., y que el evento 2bk esta contenido
en el evento Ninguno de los primeros k bloques contiene u
nicamente
valores 1. La utilidad de este evento mayor radica en que es facil
calcular su probabilidad, como veremos a continuaci
on. Tenemos que
P
lm P
2bk
contiene u
nicamente valores
lm 1 12
2b k
0.
b) Demostraremos ahora que E X2
que
E X2
. Como X2
b2 , se tiene
b2 E
b2
k P
k 0
b2
2b
2bk j P
2bk j
k 0 j 1
b2
2b
2bk 1 P
2bk
k 0 j 1
b2 2b2
k 1 1 122b k
k 0
.
c) Finalmente verificaremos que E Xn2 n1
E Xn2 n 1
E Xn2 1
N P
2
0, cuando
E n1 n
n E 1 n .
217
7.8.
Algunas desigualdades
En esta secci
on se demostraran algunas desigualdades asociadas a submartingalas. No haremos mayor uso de ellas en lo sucesivo pero en sus
demostraciones se pondran en pr
actica algunos resultados estudiados antes.
Proposici
on 7.2 (Desigualdad maximal de Doob) Sea Xn : n 1
una submartingala no negativa y defina Xn m
axX1 , . . . , Xn . Entonces
para cualquier 0,
P Xn
Demostraci
on.
E Xn 1Xn
mn1
n : Xk
E X
E X 1Xn
P X
n
E X 1Xn
E Xn 1Xn .
Es decir,
P Xn
E Xn E Xn 1Xn
E Xn 1Xn .
218
7. Martingalas
Proposici
on 7.3 (Desigualdad maximal de Doob en L2 ) Sea Xn :
n
1 una submartingala no negativa y cuadrado integrable. Para Xn
m
axX1 , . . . , Xn se tiene que
E Xn
4 E Xn2 .
Demostraci
on. El segundo momento de una variable aleatoria no negativa X puede expresarse, cuando existe, de la siguiente forma:
E X 2
x P X
2
0
x dx.
2
2
x P Xn
E Xn 1Xn
Xn x
dx.
Xn dP dx
X
n
Xn
dx dP
0
Xn Xn dP
2E Xn Xn
2
x dx
E Xn
E Xn 2 .
Por lo tanto,
E Xn 2
2 E Xn 2 .
E Xn 2
Elevando al cuadrado se obtiene el resultado.
7.9.
Convergencia de martingalas
En esta secci
on revisaremos algunos elementos que nos llevar
an a enunciar y
demostrar el teorema de convergencia de submartingalas de Doob. Usaremos
algunas herramientas de la teora de la medida.
219
Proposici
on 7.4 Sea Xn : n 0 una submartingala y sean 1 y 2 dos
tiempos de paro acotados tales que 0
1
2
N , con N N fijo.
Entonces
E X1 E X2 .
Sea k fijo tal que k
Demostraci
on.
E Xn1 11
12 n
N . Entonces
E E Xn1 11
12 n Fn
E E Xn1 Fn 11 k 12 n
E Xn 11 k 12 n .
k
Por lo tanto,
E X2
n 1 1 k
E X2 11
12 n E Xn 11 k 12 n
E X2 11 k 12 n E Xn1 11 k 12 n
E X2 n1 11 k .
k
E X2 n 11 k es mon
otona crek y despues en n N se obtiene la
E X2 11
E X1 11
Entonces,
E X1
k 0
N
k 0
N
E Xk 11
E X2 11
k 0
E X2 .
N
umero de cruces
Sea Xk : k 0 un proceso adaptado a una filtraci
on Fk k 0 , y sean a b
dos n
umeros reales. Consideraremos que n es un n
umero natural cualquiera.
220
7. Martingalas
mn k
mn k
3
4
..
.
mn k
1 : Xk
1 : Xk
2 : Xk
3 : Xk
b,
a,
b,
a,
m
ax k
1 : 2k
n.
221
ba
E Xn b
ba
sup E Xn b .
n
Demostraci
on. Defina la sucesion de eventos Ak
k n para k
1, 2, . . . Por la monotona de los tiempos de paro (7.3) se tiene que A1
A2
Eventualmente los elementos de esta sucesion son el conjunto
vaco, pues no pueden efectuarse demasiados cruces en un tiempo limitado
n. Observe adem
as que cuando ocurre el evento A2k1 el proceso al tiempo
2k1 se encuentra por arriba de b, mientras que cuando ocurre A2k , el
proceso al tiempo 2k se encuentra por abajo de a. A continuaci
on usaremos
la propiedad de submartingala aplicada a los tiempos de paro acotados
2k1 2k n. Tenemos entonces que E X2k1 E X2k , es decir,
X2k1 dP
X2k dP.
A2k1
X2k1 dP
A2k1
Ac2k1
X2k1 dP
A2k1
X2k dP
Ac2k1 , se tiene
Ac2k1
X2k dP.
222
7. Martingalas
esta desigualdad. A
nadiendo la constante b, se llega al siguiente resultado:
A2k1
A2k1
2k 1
b dP
X b dP.
2k
Entonces,
A2k1
A2k
X b dP
2k
X b dP
2k
a bP A2k
A2k1 A2k
A2k1 A2k
X b dP
2k
Xn b dP.
Por lo tanto,
P A2k
Como P A2k
P 2k
E Dn a, b
Xn b dP
b a A2k1 A2k
1
Xn b dP.
b a A2k1 A2k
1
P Dn a, b
n
k 1
n
P Dn a, b
k,
k
P A2k
k 1
bak
1
E Xn b .
1 A2k1 A2k
Xn b dP
ba
Para la u
ltima desigualdad se hace uso del hecho de que las diferencias
A2k1 A2k son conjuntos ajenos. Esto concluye la demostracion de la primera
223
c.s.
Demostraci
on. Verificaremos primero que la convergencia de tal sucesi
on de variables aleatorias es equivalente a la condici
on: D a, b
casi
seguramente, para cualesquiera n
umeros a b. Sea en y considere la
umero de cruces es D a, b .
sucesion numerica X1 , X2 , . . . cuyo n
Demostraremos que la sucesion Xn : n 1 es convergente si, y s
olo si,
, para cualesquiera a b.
D a, b
para
lm sup Xn .
n
a1
b1
lm sup Xn .
n
224
7. Martingalas
lm E Dn a, b
ba
sup E Xn b
E lm inf Xn
n
lm inf E Xn
n
sup E Xn
7.10.
Representaci
on de martingalas
En esta secci
on demostraremos que toda martingala que cumple la condici
on
de ser uniformemente integrable puede escribirse en terminos de una esperanza condicional. Antes de enunciar el resultado explicaremos la condici
on
de integrabilidad uniforme para un proceso.
n de martingalas
7.10. Representacio
225
Integrabilidad uniforme
Puede comprobarse que una variable aleatoria X es integrable si, y s
olo si,
para cada 0 puede encontrarse un n
umero M 0 tal que
X dP
Xn
Mn
Xn dP
Xn
Xn dP
Xn
Xn dP
1 si n
0 si n
M,
M.
Ejemplo 7.5 Sea X una variable aleatoria integrable y sea Fn una filE X Fn es uniformetraci
on. Demostraremos que la martingala Xn
mente integrable. Como X es integrable, tenemos que para cada
0
0 tal que si P A
, entonces A X dP
. Adem
as, como
existe
226
Xn
que
7. Martingalas
E X Fn , tomando esperanzas y para cualquier M
EX
E Xn
Xn
Xn dP
M P Xn
M .
E X , con
De modo que si se toma M
P Xn
M E X M . Por lo tanto,
Xn
0 se tiene
Xn dP
X
n
Xn
0 arbitrario, entonces
E X Fn dP
X dP
La siguiente proposici
on establece que la convergencia en media es una
condici
on suficiente para que se cumpla la propiedad de integrabilidad uniforme en un proceso.
Proposici
on 7.6 Toda sucesi
on X1 , X2 , . . . de variables aleatorias integrables que es convergente en media es uniformemente integrable.
Demostraci
on. Suponga que X1 , X2 , . . . es una sucesion de variables
aleatorias integrables convergente en media a la variable aleatoria integrable
0. Esto es, para cada
0 existe un natural
X, es decir, E Xn X
2. Dado que el lmite X
N tal que para cualquier n N , E Xn X
es integrable, para cada
0 existe
0 tal que si P A
, entonces
2. Tomando un valor de 0 m
as peque
no si es necesario se
A X dP
tiene adem
as que A Xn dP , para cada n 1, . . . , N , cuando P A .
Por otro lado, para cualquier n 1,
E Xn
Xn
M P Xn
Xn dP
M .
1
1
M
si se toma M
Es decir, P Xn
M E Xn
supn E Xn .
Tal valor de M es finito pues como la sucesion converge en media, es acotada en media. En particular y con el valor de M mencionado, lo anterior
n de martingalas
7.10. Representacio
227
Xn
Xn dP
X
n
X dP
Xn
X dP
Xn
Xn X dP
E Xn X
Xn X dP
.
3
Xn X M
Por otro lado, como la convergencia casi segura implica la convergencia en
3
0, cuando n
, es decir,
probabilidad se tiene que P Xn X
existe un entero N tal que para n N ,
P Xn X
,
3M
228
7. Martingalas
en donde M
E Xn X
0 es la constante de la estimaci
on anterior. Entonces
XnX
Xn X dP
Xn X
Xn X 3
Xn X dP
Xn X dP
M P Xn X
3
.
3 P Xn X
3
Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional.
Teorema 7.3 (Teorema de representaci
on de martingalas)
on
Sea Xn : n 0 una martingala uniformemente integrable, con filtraci
natural Fn n 0 , y teniendo a la variable X como su lmite en media. Entonces,
Xn E X Fn c.s.
Demostraci
on. Para cualquier m
n, E Xm Fn
decir que para cualquier evento A en Fn ,
Xm dP
A
Xn dP.
A
Entonces,
Xn X dP
Xm X dP
Xm X dP
Xm X dP.
Xn . Esto quiere
229
7.11. J. L. Doob
Por lo demostrado antes, el u
ltimo termino converge a cero cuando m
Es decir, para cualquier A en Fn ,
Xn dP
A
X dP.
A
E X Fn c.s.
La variable Xn
E X Fn puede interpretarse como una aproximacion
de la variable desconocida X cuando se cuenta con la informaci
on dada por
la -
algebra Fn . Conforme n crece, la informaci
on acerca de X aumenta a
traves de la filtraci
on, y en el lmite se obtiene o reconstruye X.
Notas y referencias. Se pueden encontrar otras exposiciones introductorias al tema de martingalas a tiempo discreto en Karlin y Taylor [17],
y Lawler [21]. Para lecturas m
as avanzadas pueden consultarse Revuz y
Yor [28] y Tudor [36].
7.11.
J. L. Doob
230
7. Martingalas
7.12. Ejercicios
231
d) Snell J. L., Obituary: Joseph Leonard Doob, Journal of Applied Probability, Vol. 42, 247256, 2005.
Fuente: Archivo MacTutor, Universidad de St. Andrews.
7.12.
Ejercicios
Filtraciones
169. Sea Xt : t
0 un proceso adaptado a la filtraci
on Ft t 0 , y sea
Gt t 0 la filtracion natural del proceso. Demuestre que para cada
on natural es la
t 0 se cumple Gt Ft . Esto significa que la filtraci
filtraci
on m
as peque
na respecto de la cual un proceso es adaptado.
Tiempos de paro
170. Sea Xn : n 1 la sucesion de resultados que se obtienen al lanzar
sucesivamente un dado equilibrado. Sea Fn n 1 la filtraci
on natural
de este proceso y defina la variable como el primer tiempo n tal que
X1 Xn 10. Determine si es un tiempo de paro respecto de
la filtraci
on dada.
171. Demuestre que la condici
on en la definicion de tiempo de paro a tiempo
discreto n Fn es equivalente a la condici
on n Fn .
172. Sea n un entero positivo. Demuestre que la variable aleatoria constante
as que
es tambien
n es un tiempo de paro. Compruebe adem
un tiempo de paro.
173. Sea un tiempo de paro con valores en 1, 2, . . . , y sea n un
entero positivo. Demuestre que las siguientes variables tambien son
tiempos de paro.
a)
n.
b)
n.
c)
n.
232
7. Martingalas
2 .
b) 1
2 .
c) 1 2 .
175. Sea Xn : n
1 un proceso a tiempo discreto, y sea x un n
umero
real cualquiera dentro del espacio de estados del proceso. Defina las
variables aleatorias: 1 como el primer momento en el que el proceso
toma el valor x, 2 como el segundo momento en el que el proceso
toma el valor x, etc. Demuestre que 1
2
son tiempos de
paro.
176. Sea un tiempo de paro con valores en 0,
tante. Demuestre que c es tiempo de paro.
y sea c
1 una cons-
sup 1 , 2 , . . ..
b)
nf 1 , 2 , . . ..
c)
on Fn n 0 , y sea
178. Sea Xn : n 0 un proceso adaptado a la filtraci
un tiempo de paro discreto con valores en 0, 1, . . . y que adem
as
1. Demuestre que X es una variable
es finito, es decir, P
aleatoria.
Martingalas
179. Definiciones equivalentes. Sea Xn : n 0 una martingala a tiempo
discreto. Demuestre que la propiedad de martingala
a) E Xm Fn
Xn , para cualquier m
233
7.12. Ejercicios
es equivalente a la condici
on
b) E Xn1 Fn
Xn , para cada n
1.
0,
a) E Xt
E Xs cuando Xt : t
0 es una martingala.
c) E Xt
E Xs cuando Xt : t
0 es una supermartingala.
b) E Xt
E Xs cuando Xt : t
0 es una submartingala.
E X Ft .
234
7. Martingalas
b) Si Xn : n 0 es una supermartingala, entonces Xn
0 es una supermartingala.
M :n
0 and Yt : t
0 dos martingalas, submartingalas
186. Sean Xt : t
o supermartingalas respecto de la misma filtraci
on. Demuestre que
el proceso aXt bYt c : t
0 es tambien una martingala, submartingala o supermartingala, respectivamente, en donde a, b y c son
constantes. Para el caso de submartingala y supermartingala se necesita suponer adem
as que a y b son no negativos. En particular esto
demuestra que la suma de dos martingalas es una martingala, y que
el conjunto de martingalas respecto de la misma filtraci
on y definidas
en un mismo espacio de probabilidad es un espacio vectorial.
187. Sea Xn : n
dado por Xn
188. Sean Xt : t
0 y Yt : t
0 dos martingalas o submartingalas
respecto de la misma filtraci
on. Demuestre que el proceso Xt Yt :
t 0 es una submartingala.
235
7.12. Ejercicios
a) Xn
b) Xn
m
ax Xn , 0.
mn Xn , 0.
0 es una martingala.
194. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes e identicamente distribuidas. Defina
Xn 1 n . Demuestre que:
a) Si E
, entonces el proceso Xn nE : n
martingala.
1 es una
1 es una
b) Cuando Xt : t
decreciente.
0 es una martingala.
k k 2
k 1
k 1
k2 .
236
7. Martingalas
199. Sea n : n
0 un proceso integrable y adaptado a la filtraci
on
Fn n 0. Demuestre que el siguiente proceso es una martingala.
Xn
k E k
Fk1 .
k 1
0. Demuestre
Xt t2 t.
b) Yt exp Xt t 1 e , en donde R.
Sea Xt : t 0 un proceso integrable con incrementos independientes. Demuestre que el proceso centrado Xt E Xt : t 0 es una
a) Yt
201.
martingala.
Xn Xn
2
n1
n2
0.
237
7.12. Ejercicios
Teorema de paro opcional
P X
1 q pa
,
1 q pab
1 pq b
,
1 pq ab
b) Demuestre que
E
ab
pq
a b 1 pq b
p q 1 pq ab
si p
q,
si p
q.
Integrabilidad uniforme
208. Demuestre que una variable aleatoria X es integrable si, y s
olo si, para
cada 0 existe M 0 tal que
X dP
238
7. Martingalas
Captulo 8
Movimiento Browniano
El fenomeno natural que ahora se conoce como
movimiento Browniano tiene una interesante
historia. El primer registro, aunque no as la
primera observaci
on, data de 1828, cuando el
bot
anico Robert Brown report
o en una revista
cientfica que granos de polen suspendidos en
una cierta substancia y vistos a traves de un
microscopio realizaban un movimiento irregular e inexplicable [2]. Este extra
no movimiento fue objeto de mucha discusion y muy diversas controversias se suscitaron a partir de su diR. Brown
vulgacion en la comunidad cientfica de aquella
epoca. Con la intenci
on de dar una explicacion
satisfactoria del extra
no fenomeno observado, se llevaron a cabo diversos
experimentos y se formularon muy diversas hip
otesis [23]. Hoy en da este
movimiento es entendido y explicado a traves de las m
ultiples colisiones
aleatorias de las moleculas del lquido con los granos de polen. Llegar a
tal aseveraci
on tom
o muchos a
nos, pues debi
o aceptarse la teora cinetico
molecular de la materia, y el seminal trabajo de Einstein de 1905 sobre este
fenomeno contribuy
o decididamente a tal tarea. Aparentemente sin tener
informaci
on precisa de las observaciones de Brown, Einstein pudo predecir que el movimiento irregular de partculas suspendidas en lquidos deba
poder observarse a traves de un microscopio. En [8] se puede encontrar la
239
240
8. Movimiento Browniano
reimpresi
on de los primeros trabajos de Einstein sobre el movimiento Browniano. En este captulo se presenta una introducci
on al modelo matem
atico
para el movimiento Browniano. Se trata del ejemplo m
as importante de un
proceso de Markov a tiempo continuo y con espacio de estados continuo.
8.1.
Definici
on
0 c.s.
n
8.1. Definicio
241
0 c.s.
2. Las trayectorias t
Bt son continuas.
A1, . . . , Bt An
n
es igual a
A1
An
en donde
1
2 2 t
eyx
22 t .
(8.1)
242
8. Movimiento Browniano
ps, 0, x pt s, x, u x dx
1
2 2 s
1
ex
2 2 t s
pt s, 0, u,
2s
u2
1
2 2
22
ts
t s
eu
22 ts dx
n
8.1. Definicio
243
Esto demuestra que las variables Bt1 , Bt2 Bt1 , . . . , Btn Btn1 son independientes, cada una de ellas con distribucion normal con los par
ametros
mencionados.
Se dice que un movimiento Browniano es est
andar cuando 2 1. A traves
2
t un movimiento Browniano no est
andar
del cambio de variable
puede convertirse en uno est
andar. Entonces, a menos que se especifique
lo contrario y sin perdida de generalidad, a partir de ahora supondremos
que el movimiento Browniano es est
andar, es decir, el incremento Bt Bs
tiene distribuci
on N 0, t s. Puede demostrarse que los siguientes procesos
tambien son movimientos Brownianos.
a) Wt
B t : t
0.
b) Wt
1
c Bc 2 t
:t
0,
con c
c) Wt
t B1t : t
0,
con W0
d) Wt
Bt0 t Bt0 : t
0,
0 constante.
0.
con t0
0 fijo.
Funci
on de probabilidad de transici
on
A la funci
on pt, x, y definida por (8.1) se le llama funcion de probabilidad
de transicion del movimiento Browniano de par
ametro 2 . En particular, la
probabilidad de que un movimiento Browniano que inicia en x se encuentre
en un conjunto A R (apropiadamente medible) despues de t unidades de
tiempo es
pt, x, A
pt, x, y dy.
244
8. Movimiento Browniano
1 2p
.
2 x2
8.2.
Propiedades b
asicas
sicas
8.2. Propiedades ba
245
Demostraci
on. Para cualesquiera tiempos 0
y para cualquier evento A en R,
t1
t2
tn
tn1 ,
A F
:A
t Ft para cada t
0.
E Bt Bs Bs Fs
E Bt Bs Fs E Bs Fs
E Bt Bs Bs
Bs .
246
8. Movimiento Browniano
t 1
t n ,
1.
sicas
8.2. Propiedades ba
247
f y pt, y, x dx
f y pt, x, y dx,
248
8.3.
8. Movimiento Browniano
n1
lm sup
t
gti1 gti .
i 0
Cuando este n
umero es finito se dice que la funcion tiene variaci
on finita en
dicho intervalo. Analogamente, la variaci
on cuadratica es
lm sup
t
n1
gti1 gti 2 .
i 0
Demostraremos a continuaci
on que sobre un intervalo de tiempo acotado
a, b, casi todas las trayectorias del movimiento Browniano tienen variacion
no acotada, esto es,
lm sup
t
n1
Bti1
Bt
c.s.
i 1
Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como
funciones integradoras en el sentido de Riemann-Stieltjes. El hecho de que
se desee definir alg
un tipo de integral respecto del movimiento Browniano
ser
a claro en el siguiente captulo cuando se estudian ecuaciones diferenciales estoc
asticas. Por otro lado, demostraremos tambien que la variaci
on
cuadratica del movimiento Browniano sobre a, b es finita, de hecho, es la
longitud del intervalo en cuesti
on.
Proposici
on 8.4 La variaci
on cuadr
atica de una trayectoria del movimiento Browniano sobre el intervalo a, b es la longitud del intervalo, es decir,
lm sup
t
n1
i 1
Bti1
Bt
b a,
en el sentido L2 P .
249
Demostraci
on. Sea Pn : n
1 una sucesion de particiones finitas
del intervalo a, b. Denote por ti el incremento ti1 ti , y sea Bi la
diferencia Bti1 Bti . Entonces
E
Bi2 b a 2
Bi2 Bj 2 2b aE Bi2 b a2
i,j
E Bi 4
3ti
E Bi 2 E Bj 2 2b a
i j
ti tj
i j
2ti 2
ti b a2
b a
ti 2 b a2
2ti
2b a m
ax ti
0.
0 i n
Recordemos ahora el resultado que establece que toda toda sucesion conon convergente casi seguvergente en el sentido L2 P tiene una subsucesi
ramente. Por lo tanto existe una subsucesi
on de particiones Pnk : k 1
del intervalo a, b tal que
lm sup
t
n1
i 1
Bti1
Bt
b a,
c.s.
Proposici
on 8.5 (Variaci
on del movimiento Browniano) La variaci
on
de una trayectoria del movimiento Browniano sobre el intervalo a, b es infinita, casi seguramente, es decir,
lm sup
t
n1
Bti1
Bt
c.s.
i 1
Demostraci
on. Para cada n natural sea Pn la partici
on uniforme del
intervalo a, b en n subintervalos, es decir cada incremento ti ti1 ti
250
8. Movimiento Browniano
n1
0miaxn
Bi
i 0
Sea Pnk : k
Bi
n1
Bi .
(8.2)
i 0
1 una subsucesi
on de particiones uniformes tal que
lm
n
k 1
Bi
b a,
c.s.
i 0
Por otro lado, como las trayectorias del movimiento Browniano son continuas casi seguramente, se tiene que
lm
0 m
ax
i n
Bi
k
0,
c.s.
Substituyendo los u
ltimos dos resultados en (8.2) se obtiene que, respecto
de la subsucesi
on de particiones,
lm
n
k 1
Bi
c.s.
i 0
No diferenciabilidad
Demostraremos a continuaci
on que para cualquier tiempo t0
0 fijo, con
Bt no es diferenciable en t0 . Mas adeprobabilidad uno la trayectoria t
lante se enuncia sin demostracion un resultado m
as fuerte acerca de esta no
diferenciabilidad.
Proposici
on 8.6 Sea t0
0 fijo. Con probabilidad uno, el movimiento
Browniano Bt : t 0 no es diferenciable en t0 .
Demostraci
on.
Debido a que Bt0 t Bt0 : t
0 es tambien un
movimiento Browniano, es suficiente demostrar la no diferenciabilidad de
Bt en t 0. Demostraremos que con probabilidad uno, para cada n
umero
1
2
n. Esta propiedad
natural n existe t en el intervalo 0, 1n tal que t Bt
251
A2
1
Bt
t
P
P
n,
0. Para cada n
umero natural n
para alg
un t 0, 1n2 ,
Entonces,
1
B 4
1n4 1n
1
B1n4
n3
P n2 B1n4 1
P B1
1
n
1
n
1 cuando n
252
8. Movimiento Browniano
8.4.
B1 t, . . . , Bn t.
VarB t B s
t s12
0
..
t sn2
Es decir, la funci
on de densidad del vector B t B s es
f x1 , . . . , xn
2
2
1
ex1 2ts1
2
2 t s1
2
2
1
exn 2tsn .
2 t sn2
253
B s adquiere la expresi
on compacta
f x 1 , . . . , x n
2t s
n 2
2ts ,
en donde x
x21 x2n . Como en el caso unidimensional, puede
considerarse un movimiento Browniano que inicie en x Rn , y entonces
para cualquier t 0 la probabilidad de transicion o densidad de B t es
pt, x, y
1
e
n
2
2t
y x
2t ,
Rn
El proceso de Bessel
Sea B t : t 0 un movimiento Browniano en Rn . El proceso de Bessel
es el proceso dado por
Rt
B t
Es decir, Rt es la distancia Euclideana que guarda un movimiento Browniano n-dimensional respecto al origen al tiempo t, y por eso se le llama a
veces movimiento Browniano radial. Se trata pues de un proceso con valores
en 0, que evidentemente tiene trayectorias continuas. Puede demostrarse
(vease [1]) que este proceso cumple la propiedad de Markov y que la funcion
de probabilidades de transicion pt, x, y puede expresarse en terminos de las
funciones de Bessel, y de all es de donde adquiere este nombre alternativo.
Ecuaci
on de calor en dominios acotados
Vamos a enunciar sin demostracion un resultado que nos llevar
a a una aplicaci
on del movimiento Browniano. Considere una regi
on abierta y acotada
D de Rn con frontera D, y suponga que la funcion ut, x representa la
on en el tiempo
temperatura en el punto x D al tiempo t 0. La evoluci
de esta funci
on est
a dada por la ecuaci
on de calor
t
ut, x
d
ut, x,
2
254
8. Movimiento Browniano
E f Btx 1
gB 1 t .
(8.3)
la estructura de la ecuaci
on de calor hace que la soluci
on
Conforme t
ut, x se aproxime a una funcion ux, la soluci
on estacionaria de la ecuaci
on
de calor, que satisface
ux 0,
(8.4)
on de frontera ux gx para x D,
para x D, y conservando la condici
es decir,
E gBx si x D,
lm ut, x
ux
t
g x
si x D.
Ejemplo 8.1 (El problema de la ruina del jugador con trayectorias
Brownianas) Suponga que un movimiento Browniano unidimensional ini. Cu
al es la
cia en el punto x dentro del intervalo a, b, con 0 a b
probabilidad de que el proceso tome el valor a antes que b? Una trayectoria
Browniana que cumple tal condici
on se muestra en la Figura 8.5(a). Este es
el problema de la ruina del jugador estudiado antes s
olo que ahora el capital del jugador cambia continuamente siguiendo un movimiento Browniano.
Llegar primero al valor a se interpreta como ruina, y el juego es justo pues
los incrementos del movimiento Browniano tienen esperanza nula. Defina
nf t
0 : Btx
a o
Btx
b. Nos
nuevamente el tiempo de paro
interesa encontrar
ux
P Bx
E 1a Bx .
0, para
Por la igualdad (8.4), esta funci
on cumple la ecuaci
on u x
on es
a x b, con condiciones de frontera ua 1 y ub 0. La soluci
ux b xb a, cuya gr
afica se muestra en la Figura 8.5(b).
n
8.5. El principio de reflexio
255
ux
Bt
1
b
x
a
t
Figura 8.5
8.5.
El principio de reflexi
on
t
alg
un punto arriba de b, y
el conjunto de trayectorias
Figura 8.6
que terminan por abajo de
b. Una vez que una trayectoria toca el punto b es igualmente probable que finalice al tiempo t arriba de
b o abajo de b. Este resultado adquiere su nombre debido a esta propiedad de
reflexi
on y facilita el c
alculo de algunas probabilidades, en particular, lo us-
256
8. Movimiento Browniano
b para alg
un s 0, t
2 P Bta
b.
(8.5)
Demostraci
on. Sea el primer momento en el que el movimiento Browniano es igual a b, es decir, sea
nf t
0 : Bta
b. Esta variable
aleatoria puede tomar el valor infinito si el evento mencionado nunca ocurre.
Entonces
P Bsa
b para alg
un s 0, t
t.
t P
t P Bta
La u
ltima igualdad se debe a que P
una variable aleatoria continua. Por otro lado,
P Bta
P Bta
P
Bta
t P
b
t
t P
t,
(8.6)
8.6.
2 P Bta
b.
Recurrencia y transitoriedad
En esta secci
on encontraremos la probabilidad de que el movimiento Browniano eventualmente regrese a su posici
on de origen. Veremos que la respuesta depende de la dimension del proceso. Empezaremos estudiando una
propiedad general en el caso unidimensional.
257
Proposici
on 8.9 Sea Bt : t
0 un movimiento Browniano unidimensional que inicia en cero y considere dos tiempos t1 y t2 tales que 0 t1 t2 .
Entonces,
P Bt
0 para alg
un t t1 , t2
2
arctan
t1
t2 t1
on
Demostraci
on. Para cualquier u 0, mediante argumentos de traslaci
y por el principio de reflexion se tiene que
P Bt
0 para alg
un t t1 , t2 Bt1
P Bt
P Bt
para alg
un t 0, t2 t1
u para alg
un t 0, t2 t1
2 P Bt2 t1
u.
0. Entonces,
0 para alg
un t t1 , t2
P Bt
2 P Bt2 t1
u pt1 , 0, u du
P Bt2 t1
u pt1 , 0, u du
0 para alg
un t t1 , t2 Bt1
0 u
pt2 t1 , 0, v dv pt1 , 0, u du
1
2
ev 2t2 t1
2 t2 t1
4
0
4
0
u pt1 , 0, u du
x t1
t2 t1
1
2
eu 2t1 dv du.
2t1
t1 , v t2 t1 se obtiene la
1 x2 y2 2
e
dy dx.
2
258
8. Movimiento Browniano
2
arctan
t1
t2
t 1
4
1 r2 2
e
r dr d
2
arctan
2
arctan
1
t2 t1 2
t1
t1
t2 t1
er
2 r dr
t1
x
t2 t1
arctan
t1
t2 t1
Figura 8.7
Con ayuda de este resultado demostramos ahora la recurrencia puntual del
movimiento Browniano unidimensional.
Proposici
on 8.10 (Recurrencia puntual del movimiento Browniano unidimensional) Con probabilidad uno el movimiento Browniano unidimensional es recurrente puntual, es decir, regresa a su posici
on de origen
una infinidad de veces casi seguramente.
Demostraci
on. Haciendo t2 tender a infinito en la formula recien demostrada e intercambiando el lmite con la probabilidad, lo cual es valido,
pues la sucesion de eventos es creciente, se obtiene que para cualquier valor
positivo de t1 ,
P Bt
0 para alg
un t t1 ,
lm 1
t2
2
arctan
t1
t2 t1
1.
259
0 para alg
un t 0, t2
lm 1
t1
2
arctan
t1
t2 t1
1.
260
8. Movimiento Browniano
x
r1
r2
Figura 8.8
Suponga que el movimiento Browniano inicia en el origen y que en alg
un
tiempo posterior se encuentra en un punto x dentro de la regi
on A. Defina
la funci
on f x como la probabilidad de que el movimiento Browniano que
r2 antes que
parte de x llegue a la circunferencia exterior x Rn : x
a la circunferencia interior x Rn : x
r1 . Es decir, si se define el
tiempo de paro
nf t 0 : B t D ,
entonces f x P B
escribirse como
f x
en donde g x : A
r2 B 0
E gB B 0
x ,
R es la funcion indicadora
g y
1 si x
r2 ,
0 si x
r1 .
261
0,
(8.7)
g y
1 si y
r2 ,
0 si y
r1 .
1 d n1 d
r dr
r n1 dr
d2
n1 d
.
dr 2
r dr
n1
r
r
0,
para r
c1 ln r c2
c1 r 2n c2
r1, r2 ,
1 y r1
si n
2,
si n
3,
0. La soluci
on
ln x ln r1
ln r2 ln r1
r12n x 2n
r12n r22n
si n
si n
2,
3.
(8.8)
(8.9)
Estos resultados nos permitiran encontrar las probabilidades buscadas tomando algunos lmites sobre los radios r1 y r2 . Para el caso n 2, la probabilidad
262
8. Movimiento Browniano
r2
lm
r2
0.
r2 antes que B
ln x ln r1
ln r2 ln r1
r1 B 0
r1
lm 1
r1
0.
r1 antes que B
ln x ln r1
ln r2 ln r1
r2 B 0
r2
lm
r2
r2 antes que B
r12n x 2n
r12n r22n
r1 n2
r1 B 0
0.
Es decir, existe una probabilidad estrictamente positiva de que el proceso
nunca visite el disco de radio r1 alrededor del origen, cuando inicia en x.
263
8.7. N. Wiener
r1
lm 1
r1
r1 antes que B
r12n x 2n
r12n r22n
r2 B 0
0.
Notas y referencias. El lector puede encontrar una muy interesante y motivadora exposici
on hist
orica sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward Nelson [23]. Este libro se encuentra
disponible en formato electr
onico en la p
agina web del autor. Para otras
primeras lecturas y mas resultados sobre el movimiento Browniano pueden
consultarse, por ejemplo, los textos de Karlin y Taylor [17], Lawler [21],
Nelson [23], y Tudor [36].
8.7.
N. Wiener
264
8. Movimiento Browniano
8.8.
P. P. L`
evy
y trabajo en la Ecole
Polytechnique. De
peque
no, L`evy asisti
o al Lycee Saint Louis en
Pars, en donde mostro ser un excelente estudiante, sobresaliendo y ganando premios no
s
olo en matem
aticas sino tambien en griego,
8.9. Ejercicios
265
En 1910 concluy
o sus estudios en la Ecole
des Mines, y realiz
o a partir de
entonces trabajos de investigaci
on en an
alisis funcional que le llevaron a
obtener el grado de Docteur es Sciences en 1912 bajo el escrutinio de E. Pi
card, H. Poincare y J. Hadamard. Trabajo como profesor en la Ecole
des
8.9.
Ejercicios
Movimiento Browniano unidimensional
ametro 2 .
209. Simetra. Sea Bt : t 0 un movimiento Browniano de par
Demuestre que para cualesquiera tiempos t s, P Bt Bs 12.
210. Cambios de escala 1. Sea una constante distinta de cero. Demuestre
266
8. Movimiento Browniano
que si Bt : t
0 es un movimiento Browniano est
andar, entonces
los siguientes procesos son movimientos Brownianos de par
ametro 2 .
a) Wt
b) Wt
Bt : t
B 2 t : t
0.
0.
b) Wt
Bt : t
Bt2 : t
0.
0.
212. Traslaci
on. Sea s 0 fijo y sea Bt : t 0 es un movimiento Browniano est
andar. Demuestre que el proceso Xt Bts Bs : t 0 es
un movimiento Browniano est
andar.
213. Sean las funciones at
e2t y bt
et . Calcule la funcion de
covarianza del proceso Xt btBat : t 0 en donde Bt : t 0
un movimiento Browniano est
andar.
214. Sea Bt : t 0 un movimiento Browniano de par
ametro 2 . A partir
de la definicion, demuestre que el proceso Wt
tB1t : t
0, con
ametro 2 .
W0 0, es un movimiento Browniano de par
215. Movimiento Browniano con tiempo invertido. Sea s
0 fijo y sea
Bt : t 0 es un movimiento Browniano estandar. Demuestre que
el proceso Xt Bs Bst : t 0, s es un movimiento Browniano
en el intervalo 0, s. Este es un movimiento Browniano con tiempo
invertido.
216. Demuestre que la probabilidad de transicion pt, x, y del movimiento
Browniano unidimensional de par
ametro 2 satisface la ecuaci
on de
difusi
on, tambien llamada ecuaci
on de calor:
p
t
2p
y2
267
8.9. Ejercicios
2ts
.
ts .
a) E Bt Bs
b) E Bt Bs 2
c) E Bs Bt
d) CovBs , Bt
t.
s
e) Bt , Bs
t.
st, para 0
t.
b) Wt
c) Wt
d) Wt
B t : t
1
c Bc 2 t
:t
t B1t : t
0.
0,
0,
Bt0 t Bt0 : t
con c
0 constante.
con W0
0,
0.
con t0
0 fijo.
sup Bs
0 s t
Xt
Mt Bt .
268
8. Movimiento Browniano
pt, x, y pt, x, y ,
b) VarXt
2t.
1 2t.
Btx si 0
0
si t
t
,
0,
21 F x,
269
8.9. Ejercicios
exp cBt c2 t2 .
a) Compruebe que Xt : t
0 es efectivamente una martingala
respecto de la filtraci
on natural del movimiento Browniano.
2
b) Compruebe que E Xt 1 y VarXt ec t 1.
0 un movimiento
226. El puente Browniano en 0, 1. Sea Bt : t
Browniano unidimensional est
andar. Demuestre que la distribucion
condicional de la variable Bt , con t 0, 1, dado que B0 0 y B1 0,
es
2
1
f x
ex 2t1t , para
x
,
2 t1 t
es decir, Bt tiene distribucion condicional N0, t1 t. A este proceso
condicionado se le conoce con el nombre de puente Browniano en el
intervalo unitario 0, 1. El siguiente ejercicio generaliza este resultado.
a
b a,
t2 t1
t2 tt t1 .
y 2
t2 t1
228. Sea Bt : t 0 un movimiento Browniano que empieza en cero. Use
el principio de reflexi
on para demostrar que para cualquier a 0,
P Bt
a para alg
un t
1.
270
8. Movimiento Browniano
2
n
2
2
R , y sea r 0. Sea x
x1 xn la norma Euclideana en
Rn . Demuestre que la funcion de densidad de B t es, para x 0,
f x
1
n2
n2
1
2
x2
t
1 ex
2x x2 2t
e
.
t
2,
n21
2t .
f x, y
2f
x2
y2
f
2
1r
r12
f.
d2
f
dr 2
1r drd f.
Este resultado fue usado en la demostracion de la propiedad de recurrencia por vecindades del movimiento Browniano en R2 .
231. Demuestre que el operator Laplaciano en R3 :
f x, y, z
2f
x2
2f
y2
2f
z2
1
r2 r f
r2 r
1
1
r2 sen
sen f r2 sen
2
f.
271
8.9. Ejercicios
d2
f
dr 2
2r drd f.
Este resultado fue usado en la demostracion de la propiedad de transitoriedad del movimiento Browniano en R3 .
272
8. Movimiento Browniano
Captulo 9
C
alculo estoc
astico
En este u
ltimo captulo se presenta una breve introducci
on al calculo estoc
astico de Ito y est
a basado en [30]. Vamos a definir la integral de Ito de
un proceso estoc
astico respecto del movimiento Browniano. Mostraremos
adem
as el uso y aplicaci
on de la formula de Ito, y resolveremos algunos
modelos sencillos de ecuaciones estocasticas.
9.1.
Integraci
on estoc
astica
Xs dBs .
(9.1)
Este tipo de integrales no pueden definirse trayectoria por trayectoria, es decir, como si fuera una integral de Riemann-Stieltjes de una funcion respecto
de otra funci
on, pues en este caso la funcion integradora es una trayectoria
del movimiento Browniano que, como hemos visto antes, no tiene variaci
on
finita. La justificaci
on para desear definir este tipo de integrales ser
a evidente m
as adelante cuando estudiemos ecuaciones estocasticas basadas en
este tipo de integrales. Definir la integral de Ito a un nivel elemental nos conducira necesariamente a dejar sin demostracion algunos resultados tecnicos.
Daremos la definicion de integral estocastica en varios pasos, primero para
procesos simples y despues, por aproximacion, para procesos m
as generales.
273
lculo estoca
stico
9. Ca
274
Primeras hip
otesis
Consideraremos como elementos iniciales un espacio de probabilidad , F , P ,
0, junto
y un movimiento Browniano est
andar unidimensional Bt : t
con su filtraci
on natural Ft t 0 . Supondremos dado un proceso Xt con
espacio parametral el intervalo 0, T , con T 0 fijo, y que visto como fun, es FT B 0, T -medible, en donde el termino
ci
on X : 0, T
FT B 0, T corresponde a la mnima -algebra generada por el espacio
as que el proceso es adaptado,
producto FT B 0, T . Supondremos adem
es decir, para cada t en el intervalo 0, T , la variable aleatoria Xt es medible
respecto de Ft .
El espacio L2 P
Denotaremos por L2 P al espacio vectorial de variables aleatorias X que
son cuadrado integrables, es decir, que cumplen la condici
on
X
L2 P
2 1 2
La funci
on L2P define una norma en L2 P , es decir, es una funcion
real definida sobre este espacio lineal que cumple las siguientes cuatro condiciones:
a)
0.
b)
c)
XY
d)
0 c.s.
Y .
X , constante.
L2 P
Bt
2 1 2
n estoca
stica
9.1. Integracio
275
El espacio L2 P dt
Denotaremos tambien por L2 P dt al espacio lineal de todos los procesos
on
X Xt : 0 t T , que cumplen la condici
X
L2 P dt
Xt 2 dt12
L2 P dt
T
2
Bt 2 dt 12
E Bt 2 dt 12
t dt 12
.
Procesos simples
Definiremos primero la integral de Ito para procesos que tienen la forma
indicada a continuaci
on y que llamaremos procesos simples.
Definici
on 9.1 Sea 0
t0
t1
tn T una particion finita del
astico simple es un proceso de la forma
intervalo 0, T . Un proceso estoc
Xt
n1
k 0
X k 1tk ,tk1 t,
(9.2)
lculo estoca
stico
9. Ca
276
condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias cuadrado integrables. Estas propiedades permitir
an dar una definicion
adecuada para la integral estocastica. Una trayectoria de este tipo de procesos se muestra en la Figura 9.1. Denotaremos por H02 al espacio de todos los
procesos simples. Haciendo posiblemente algunos refinamientos
X t
en las particiones, dos procesos
X n1
1
X
simples pueden siempre expresarse en terminos de una misma
X 0
partici
on com
un. De modo que
la suma de dos procesos simples
tiene sentido y resultara ser tamt
bien un proceso simple. El espatn1 tn
t1
t2
cio H02 es efectivamente un espaFigura 9.1
cio vectorial.
Integral para procesos simples
Esta es la definicion intuitiva de integral y establece simplemente que si el
integrando es constante en alg
un subintervalo, entonces la integral debe ser
esa constante multiplicada por el incremento del movimiento Browniano en
dicho subintervalo.
Definici
on 9.2 La integral estoc
astica de It
o de un proceso simple X de
la forma (9.2), respecto del movimiento Browniano, denotada por I X , se
define como la variable aleatoria
I X
Xs dBs
0
n1
X k Btk1
Bt .
k
k 0
L2 P
L2 P dt
(9.3)
n estoca
stica
9.1. Integracio
277
2
L2 P
n1
k 0
n1
X k Btk1
Bt 2
k
E X j X k Bj Bk
j,k 0
n1
k 0
n1
E X k 2 Bk 2
E X k 2 tk
k 0
Xt 2 dt
0
2
L2 P dt
n1
Btk Btk1
Bt .
k
k 0
Extensi
on por aproximaci
on
Ahora extenderemos la integral estocastica a procesos un poco m
as gene2
rales. Sea H el espacio de todos los procesos Xt medibles y adaptados,
lculo estoca
stico
9. Ca
278
tales que
Xt 2 dt
L2 P dt
0.
(9.4)
I X k X l
X X L2P dt
X X k L2P dt X X l
L2 P
L2 P
L2 P dt
Debido a (9.4) la u
ltima expresi
on puede hacerse tan peque
na como se desee,
tomando ndices k y l suficientemente grandes.
Definici
on 9.3 Sea X un proceso en H2 , y sea X k una sucesi
on de procesos
2
astica de X como
en H0 aproximante a X. Se define la integral estoc
I X
lm I X k ,
n estoca
stica
9.1. Integracio
279
H02
H2
L2 P
dt
L 2 P
Figura 9.2
La isometra de Ito se cumple tambien para procesos en H2 como se muestra
a continuaci
on.
Proposici
on 9.1 (Isometra de It
o) Para cualquier proceso X en H2 se
cumple
I X L2P
X L2P dt .
(9.5)
Demostraci
on. Sea X en H2 y sea Xn en H02 tal que X Xn L2P dt
0. Esta convergencia y la desigualdad a b
a b implican que
Xn L2P dt
X L2P dt . Analogamente, como I X I Xn L2P
0 se tiene que I Xn L2P
I X L2P . El resultado buscado se obtiene al tomar el lmite en la isometra de Ito como se muestra en el siguiente
diagrama:
I Xn
L2 P
I X
L2 P
Xn
L2 P dt
L2 P dt
lculo estoca
stico
9. Ca
280
E 2 I X I X k
E I X I X k 2
De donde se obtiene E I X I X k
E I X
0.
0, es decir,
lm E I X k
0.
Xt
n1
k 0
en donde 0
t0
t1
tn T es una particion de 0, T . Se tiene
entonces la siguiente integral estocastica particular, y su aproximacion como
lmite en media cuadratica
Bt dBt
0
lm
n1
Btk Btk1
Bt ,
k
k 0
T
0
Xs 10,t s dBs
Xs dBs .
0
Este peque
no artificio permite ver a la integral estocastica no como una
variable aleatoria sino como un proceso. Es claro que tal proceso no es
n estoca
stica
9.1. Integracio
281
Xt 2 dt
1.
(9.6)
Denotaremos por L2loc el espacio de todos estos procesos. Este nuevo espacio
contiene a H2 y es tal que para cada proceso X en L2loc existe una sucesion
creciente de tiempos de paro 0
1
2
tales que n T cuando
n
, y para cada n 1 el proceso Xt 1n t pertenece al espacio H2 . Se
define entonces la integral estocastica como el siguiente lmite en el espacio
L2 P ,
T
Xs dBs
0
lm
Xs 1n
10,t s dBs .
Nuevamente es posible demostrar que tal lmite existe, que existe una versi
on continua de el, y que es independiente de la sucesion de tiempos de
paro localizante. En este caso la integral ya no es una martingala sino una
martingala local, esto quiere decir que el proceso detenido It n X es una
martingala para cada natural n. En general, la isometra de Ito ya no se
cumple cuando la integral estocastica tiene como dominio de definicion el
espacio L2loc .
Ejemplo 9.1 Para el movimiento Browniano unidimensional Bt : t 0
y para cualquier funci
on continua f , el proceso f Bt : 0
t
T tiene
trayectorias continuas y acotadas, por lo tanto se cumplen las condiciones
de adaptabilidad y medibilidad y se cumple tambien (9.6), por lo tanto este
proceso es un elemento de L2loc , y tiene sentido la expresi
on
t
0
f Bs dBs ,
T.
lculo estoca
stico
9. Ca
282
Se puede demostrar que esta integral puede ser calculada mediante el siguiente lmite en el espacio L2 P , aunque tambien se verifica la convergencia en
probabilidad:
t
0
f Bs dBs
lm
n1
k 0
f Btk Btk1
Bt ,
k
(9.7)
H02
H2
L2loc
Definicion
Aproximacion
Localizacion
L 2 P
Figura 9.3
Ejemplo 9.2 Con la ayuda de la identidad (9.7) calcularemos la integral
estoc
astica
t
Bs dBs .
(9.8)
0
Sea 0
t0
t1
tn t una particion uniforme de 0, t, es decir
ti1 ti 1n. Usando la identidad
ab a
1 2
1
b a2 a b2
2
2
n estoca
stica
9.1. Integracio
283
se obtiene
Bs dBs
0
lm
lm
n1
j 0
Btk Btk1
Bt
k
n1
2 Bt2 Bt2 12 Bt Bt 2
k 1
j 0
k 1
1 2 1
B t.
2 t
2
La primera suma es telesc
opica mientras que la segunda suma corresponde
a la variaci
on cuadr
atica del movimiento Browniano. Los lmites indicados
son v
alidos en el sentido de media cuadr
atica. Observe que aparece el termion usual, pero aparece
no 21 Bt2 como si se siguieran las reglas de integraci
1
tambien el termino 2 t, conocido como la correcci
on de It
o. Ahora veamos
el cambio en la soluci
on de la integral (9.8) cuando se modifica ligeramente
la forma de calcularla. El cambio consiste en evaluar el integrando en el
extremo derecho de cada subintervalo. Observe que en este caso el proceso
a integrar ya no es adaptado y por lo tanto queda fuera de la teora desarrollada antes. Usando la identidad
bb a
1 2
1
b a2 a b2
2
2
Bs dBs
0
lm
lm
n1
j 0
Btk1 Btk1
Bt
k
n1
2 Bt2 Bt2 12 Bt Bt 2
k 1
j 0
k 1
1 2 1
B t.
2 t
2
El signo del segundo termino cambi
o de negativo a positivo. Esto muestra
que, a diferencia de la integral de Riemann, la integral estoc
astica es sensible al punto donde se eval
ua el integrando. Al considerar el promedio de
las dos evaluaciones en los extremos se obtiene la as llamada integral de
lculo estoca
stico
9. Ca
284
Stratonovich, denotada de la forma siguiente:
t
0
Bs dBs
1 2
B .
2 t
Bs dBs .
0
Var
Bs dBs
Bs dBs 2
Bs2 ds
0
t
t
0
E Bs2 ds
s ds
0
1 2
t .
2
1 2
1
Alternativamente, como 0 Bs dBs
2 Bt 2 t, las cantidades anteriores
pueden calcularse usando el lado derecho de esta igualdad. Claramente E 12 Bt2
1
0. Adem
as,
2 t
t
1
1
Var Bt2 t
2
2
1
VarBt2
4
1
E Bt4 E 2 Bt2
4
1 2
3t t2
4
1 2
t .
2
n estoca
stica
9.1. Integracio
285
Xs dBs
0
Ys dBs
t
0
E Xs Ys ds.
Esta f
ormula es f
acil de comprobar usando la isometra de It
o y la igualdad
1
1 2
2
2
ab 2 a b 2 a b . En efecto,
t
Xs dBs
0
Ys dBs
t
t
1 t
1
E
Xs Ys dBs 2 E
Xs dBs 2 E
Ys dBs
2 0
2
0
0
1 t
1 t
2
2
E Xs Ys ds E Xs ds E Ys 2 ds
2 0
2 0
0
t
0
E Xs Ys ds.
Propiedades de la integral
La integral estoc
astica de Ito cumple varias propiedades aunque s
olo mencionaremos algunas de ellas aqu, a manera de resumen de las caractersticas
se
naladas antes.
L2 P es lineal, es decir, para c constante y
a) La integral It : L2loc
para cualesquiera procesos Xs y Ys en L2loc , se cumple que
t
0
cXs Ys dBs
c
0
Xs dBs
Ys dBs ,
c.s.
Xs dBs
0,
c.s.
Xs dBs
E
0
E
0
Xs 2 ds.
lculo estoca
stico
9. Ca
286
Xu dBu Fs
Xu dBu .
0
9.2.
F
ormula de It
o
t
0
1
f Bs dBs
2
t
0
f Bs ds.
(9.9)
f x0 f x0 x x0 Rx,
rmula de Ito
9.2. Fo
287
R x
x0
1
0
f tx t dt
1 f x0 x x0x x02 d.
f Bt f B0
f Bt f Bt
k 1
k 1
n
f Btk1 Bk
k 1
1
0
f Btk1
Bk Bk 2 d.
k 1
t
0
t
0
f Bs dBs
f Bs dBs
1
0
1
2
t
0
t
0
f Bs ds.
1 2
2x .
1 2 1 2
B B0
2 t
2
Entonces la f
ormula de It
o establece que
t
0
Bs dBs
1
2
1 ds.
0
lculo estoca
stico
9. Ca
288
Es decir,
1 2 1
B t.
2 t
2
0
Este resultado haba sido encontrado antes, ahora lo hemos obtenido de
manera inmediata a partir de la f
ormula de It
o. De manera an
aloga, para
la funci
on f x 13 x3 se obtiene
Bs dBs
t
0
M
as generalmente, para f x
t
0
1 3
B
3 t
Bs2 dBs
Bs ds.
0
se obtiene
1
n 1
n 1x
Bsn dBs
n1
Btn1
1
2
t
0
nBsn1 ds.
1 2n
1 2n
1 t
2n 1Bs2n2 ds.
Bt
B0
Bs2n1 dBs
2n
2n
2
0
0
Tomando esperanza y resolviendo de manera iterada se obtiene
E
Bt2n
2n2n 1 t
E Bs2n2 ds
2
0
2n2n 1 2n 22n 3 t t1
E Bs2n4 ds dt1
2
2
0 0
..
.
2n! t t t
2n
n 1
1 ds dtn1 dt1 .
9.3.
289
bt, Xt dt t, Xt dBt ,
(9.10)
on inicial
definida para valores de t en el intervalo 0, T , y con condici
la variable aleatoria X0 que se presupone F0 -medible e independiente del
movimiento Browniano. La ecuaci
on (9.10) se interpreta como la ecuaci
on
integral
Xt
X0
t
0
bs, Xs ds
t
0
s, Xs dBs ,
(9.11)
lculo estoca
stico
9. Ca
290
la variable x,
bt, x bt, y 2 t, x t, y 2
K x y 2,
y la condici
on de crecimiento en x,
bt, x 2 t, x 2
K 1 x 2 ,
Xt
n1
X
t
X0 ,
X0
t
0
bs, X n ds
s
t
0
s, Xsn dBs .
Para que estas iteraciones tengan sentido es necesario verificar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. Para comprobar que tal sucesion de procesos es convergente se demuestra que, con probabilidad uno, esta sucesion
constituye una sucesion de Cauchy en el espacio de funciones continuas
C 0, T , respecto de la norma uniforme X
sup0 t T Xt . Dado lo anterior, existe entonces un proceso continuo Xt , tal que con probabilidad
n
uno, Xt converge a Xt de manera uniforme en el intervalo 0, T . Adicionalmente puede demostrarse que el proceso lmite es L2 -acotado en 0, T , y
n X tambien es valida en L2 P . Tambien debe
que la convergencia Xt
t
demostrarse que el proceso lmite es efectivamente soluci
on de la ecuaci
on
estoc
astica. Para ello se toma el lmite en la ecuaci
on que define las iteraciones, y se verifica la convergencia uniforme en 0, T con probabilidad
uno, termino a termino. Los detalles de esta demostracion pueden encontrarse por ejemplo en [33]. Observe que el teorema anterior no establece la
291
1
ft t, Xt dt fx t, Xt dXt fxx t, Xt dXt 2 .
2
(9.12)
s dBs
0
tBt
Bs ds.
0
Bt y la funci
on
1
ft t, Bt dt fx t, Bt dBt fxx t, Bt dBt 2
2
Bt dt t dBt .
dtBt
eB
ex . Por la f
ormula de It
o,
eBs dBs
1
2
t
0
eBs ds,
lculo estoca
stico
9. Ca
292
es decir, el proceso Xt
con condici
on inicial X0
niano geometrico.
1
Xt dBt Xt dt,
2
Bt 1 t es soluci
on
1Xt t dt 1 1 t dBt,
0. Sea f t, x
x1 t. El proceso Xt
con condici
on inicial X0
f t, Bt cumple la condici
on inicial y por la f
ormula de It
o satisface la
ecuaci
on
dXt
1
ft t, Bt dt fx t, Bt dBt fxx t, Bt dt
2
Bt
1
1 t2 dt 1 t dBt
1Xt t dt 1 1 t dBt .
1
ft t, Bt dt fx t, Bt dBt fxx t, Bt dt,
2
1
ft t, x fxx t, x
2
et
f t, x.
n
9.4. Simulacio
293
De la primera ecuaci
on se obtiene f t, x et x ct. Substituyendo en
la segunda ecuaci
on y simplificando se obtiene c t ct, cuya soluci
on
t
es ct ce , en donde c es una constante. Por lo tanto f t, x et x
c. Para que el proceso Xt
f t, Bt
et Bt c cumpla la condici
on
inicial X0 0 forzosamente la constante c debe ser cero. De esta forma la
ormula de It
o asegura que
funci
on buscada es f t, x et x. En tal caso la f
efectivamente,
dXt
9.4.
et Bt dt et dBt
Xt dt et dBt .
Simulaci
on
Una ecuaci
on estoc
astica ha resultado muy u
til para modelar sistemas que
presentan alg
un tipo de ruido o perturbacion aleatoria. Aplicaciones de tales
modelos se estudian en ingeniera, finanzas y fsica entre muchas otras areas
del conocimiento. Debido a la imposibilidad de encontrar soluciones explcitas a ciertas ecuaciones de interes, los metodos numericos del caso determinista se han extendido al caso estocastico. En las siguientes secciones
presentaremos algunos modelos particulares de ecuaciones estocasticas, y explicaremos un mecanismo para simular las trayectorias del proceso soluci
on.
Una trayectoria de un proceso Xt : t 0 que sigue la ley de movimiento
de una ecuaci
on estoc
astica de la forma:
dXt
X0
bt, Xt dt t, Xt dBt ,
x0 ,
x0 ,
Xtj1
Xtj
btj , Xt t tj , Xt
j
t Yj .
lculo estoca
stico
9. Ca
294
9.5.
Xt dt Xt dBt ,
(9.13)
x0 ,
1
x0 exp 2 t Bt .
2
(9.14)
La ecuaci
on (9.13) puede interpretarse de la siguiente forma: en ausencia
del termino estoc
astico, la ecuaci
on se reduce a dXt Xt dt, cuya soluci
on
t
es Xt x0 e . Esta funci
on representa el comportamiento en el tiempo de
un capital inicial positivo x0 que
crece de manera continua y deX t
terminista a una tasa efectiva del
E Xt
100 %, suponiendo 0. Por otro
lado, la parte estoc
astica corresponde a la volatilidad de una inversi
on con riesgo sujeta a las fluctuaciones de los mercados financieros.
x0
t
El modelo supone que dicha varia1
2
bilidad es proporcional al valor de
Figura 9.5
la inversi
on. A este proceso se le
conoce tambien con el nombre de
movimiento Browniano exponencial. En la Figura 9.5 puede apreciarse una
trayectoria de este proceso con una inversi
on inicial x0 de una unidad monetaria, y con par
ametros 1, y 13. La curva creciente corresponde
295
randn(state,100)
T=2; N=300; dt=T/N; xcero=1; mu=1; sigma=1/3;
dW=zeros(1,N); MBG=zeros(1,N);
dW(1)=sqrt(dt)*randn;
MBG(1)=xcero+mu*dt+sigma*xcero*dW(1);
for j=2:N
dW(j)=sqrt(dt)*randn
MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j)
end
plot([0:dt:T],[xcero,MBG],r-)
Figura 9.6
Observe que los coeficientes de la ecuaci
on (9.13) son bt, x x y t, x
x, y satisfacen las condiciones para la existencia y unicidad de la soluci
on.
Resolveremos esta ecuaci
on usando el metodo de igualaci
on de coeficientes.
Encontraremos una funci
on f t, x tal que al aplicar la formula de Ito al
proceso Xt f t, Bt se obtenga la ecuaci
on (9.13). Comparando entonces
los coeficientes de la formula general
dXt
1
ft t, Xt dt fx t, Xt dBt fxx t, Xt dt
2
lculo estoca
stico
9. Ca
296
con los de (9.13) se obtienen las igualdades
f t, x
1
ft t, x fxx t, x,
2
fx t, x.
f t, x
De la segunda ecuaci
on se obtiene que f t, x exp x gt, para alguna
funci
on gt. Substituyendo en la primera ecuaci
on se obtiene g t
1 2
1 2
on es gt 2 t. De donde Xt f t, Bt adquiere la
2 , cuya soluci
expresi
on indicada. Demostraremos ahora algunas caractersticas numericas
de este proceso.
Proposici
on 9.2 Para el movimiento Browniano geometrico se cumple lo
siguiente:
1. E Xt
2. VarXt
x0 et .
x20 e2t e
3. CovXt , Xs
2t
1.
x20 est e
2s
1,
para 0
t.
Demostraci
on. Usaremos el hecho de que la funcion generadora de momentos de la distribuci
on N, 2 es M s exps 12 2 s2 .
1. Para la esperanza se tiene que
E Xt
1
E x0 exp 2 t Bt
2
1 2
x0 exp t E expBt
2
1
1
x0 exp 2 t exp t 2
2
2
t
x0 e .
297
1
Varx0 exp 2 t Bt
2
1 2
2
x0 exp2 t VarexpBt
2
1
x20 exp2 2 t E exp2Bt E 2 expBt
2
1
1
1
2
x0 exp2 2 t exp t2 2 exp2 t 2
2
2
2
2 2t 2 t
x0 e e 1.
1
E x20 exp 2 t s Bt Bs
2
1 2
2
x0 exp t s E exp Bt Bs
2
1
x20 exp 2 t s E e2Bs E eBt Bs
2
1
2
1
2
2
x0 exp 2 t se2s e 2 ts
2
x20 expt s s 2 .
Por lo tanto,
CovXt , Xs
E Xt Xs E Xt E Xs
x20 etss
x20 ets
x20 ets e 1
2
s2
Proceso de Ornstein-Uhlenbeck
Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una partcula en intervalos de tiempo
peque
nos.
lculo estoca
stico
9. Ca
298
Definici
on 9.6 Sean y dos constantes positivas. El proceso de OrnsteinUhlenbeck es aquel proceso Xt : t 0 soluci
on de la ecuaci
on estoc
astica
Xt dt dBt ,
dXt
x0 .
X0
y dado por
Xt
(9.15)
x0 et
ets dBs .
(9.16)
at x0
t
0
bs dBs ,
(9.17)
a t x0
t
0
bs dBs dt at bt dBt
a t
Xt dt at bt dBt .
at
299
Suponiendo a0 1 se obtiene at expt, y bt expt. Substituyendo en (9.17) se obtiene (9.16). Calcularemos a continuaci
on la esperanza y varianza de este proceso.
Proposici
on 9.3 Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente.
a) E Xt
x0 et .
b) VarXt
2
1 e2t .
2
c) CovXt , Xs
2 ts
ets .
e
2
Demostraci
on.
a) Este resultado se obtiene al tomar esperanza en (9.16), y observar que
la integral estoc
astica es una martingala que inicia en cero.
b) El c
alculo de la varianza de Xt es una aplicaci
on de la isometra de
Ito,
VarXt
Var
2
2 E
ets dBs
ets dBs 2
e2ts ds
2 e2t
1 2s
e
2
2
1 e2t .
2
t
0
lculo estoca
stico
9. Ca
300
t,
E Xt Xs E Xt E Xs
E x0 et
x0 es
E
0s
0
etu dBu
esu dBu x20 ets
etu dBu
s
0
esu dBu .
2 ets E
ets
2
eu dBu 2
e2u du
2 ts
e
ets .
2
Puente Browniano
El puente Browniano es un movimiento Browniano con espacio parametral
el intervalo unitario 0, 1 y es tal que en los extremos de este intervalo
el proceso se hace cero. Una trayectoria de tal proceso se muestra en la
Figura 9.8. Existen varias formas equivalentes de definir a este proceso, la
siguiente es una de ellas.
Definici
on 9.7 El puente Browniano en el intervalo 0, 1 es aquel proceso
Xt : t 0, 1 solucion de la ecuacion estocastica
dXt
X0
1Xt t dt dBt ,
0.
t 0, 1,
(9.18)
301
1 t
t
0
1s
t, x
X t
1 x t
1,
Figura 9.8
at x0
t
0
bs dBs ,
(9.19)
dBs .
a t x0
t
0
(9.20)
0. Derivando
bs dBs dt at bt dBt
a t
Xt dt at bt dBt .
at
11 t,
Igualando coeficientes se obtienen las ecuaciones a tat
y atbt
1. Suponiendo a0
1 se obtiene at
1 t, y por lo
11 t. Substituyendo en (9.20) se obtiene (9.19). Puede
tanto bt
demostrarse que
lm Xt 0,
t
lculo estoca
stico
9. Ca
302
Proposici
on 9.4 Para el puente Browniano dado por (9.19) se cumple
1. E Xt
0.
2. VarXt
t 1 t .
3. CovXt , Xs
s1 t,
para 0
1.
Demostraci
on.
1. La integral es una martingala continua que inicia en cero, por lo tanto
E Xt 0.
2. Por la isometra de Ito,
VarXt
1 t2 Var
dBs
1s
t
2
1 t E 1 1 s dBs 2
0
t
1 t2 E 1 1 s 2 ds
0
0
1 t2 1 1 s
t1 t.
3. Para 0
CovXs , Xt
1,
E Xs Xt
1 s1 tE
s
0
1u
dBu
0
1u
dBu .
303
1 s1 tE
1
dBu 2
1
u
s 0
1 s1 t 1 1 u 2 du
0
s
1 s1 t 1 1 u
0
s1 t.
Como era de esperarse, la varianza se anula en los extremos del intervalo pues all el proceso es cero con probabilidad uno. Observe adem
as que
la varianza se hace m
axima exactamente en la mitad de dicho intervalo.
El puente Browniano en 0, 1 puede representarse de varias formas, por
ejemplo, se conocen las siguientes representaciones m
as compactas:
a) Xt
Bt tB1 ,
para t 0, 1.
b) Xt
B1t 1 tB1 ,
para t 0, 1.
lculo estoca
stico
9. Ca
304
9.6.
Ejercicios
Integral de It
o
a)
s dBs
0
t
b)
0
Bs2 dBs
tBt
Bs ds.
0
1 3
B
3 t
Bs ds.
0
1 3
y x3 y x3.
3
F
ormula de It
o
235. Use la formula de Ito para demostrar que:
t
a)
0
b)
0
Bs2 dBs
Bsn dBs
t
1 3
Bt Bs ds.
3
0
1
1 t
n1
B
2 nBsn1 ds.
n1 t
0
Bt2 , dXt
b) Xt
Bt3 ,
c) Xt
tBt , dXt
dXt
dt 2Bt dBt .
3Xt dt 3Xt
Xt
dt t dBt .
t
1 3
dB .
t
2 3
0 es
305
9.6. Ejercicios
Ecuaciones estoc
asticas
238. Demuestre que el proceso Xt
estoc
astica
dXt
expBt
t2 satisface la ecuacion
Xt dBt .
239. Demuestre que cada una de las siguientes ecuaciones estocasticas tiene
una u
nica soluci
on. En cada caso encuentre dicha soluci
on. Los terminos b, y x0 son constantes.
b Xt dt dBt , X0 x0 .
b dt Xt dBt , X0 x0 .
b Xt dt Xt dBt , X0 x0 .
a) dXt
b) dXt
c) dXt
Puente Browniano
240. Sea Xt : t 0, 1 un puente Browniano. Demuestre que efectivamente lm Xt 0 c.s.
t
Bt tB1 ,
para t 0, 1.
B1t 1 tB1 ,
para t 0, 1.
306
lculo estoca
stico
9. Ca
Ap
endice: conceptos
y resultados varios
Igualdad de procesos
Se dice que dos procesos estocasticos Xt : t
0 y Yt : t
0 son
equivalentes, o tambien se dice que uno es una versi
on o modificaci
on del
otro, si para cada valor de t 0 fijo se cumple que
P Xt
Yt
1,
Yt para cada t
1.
Esto significa que con probabilidad uno las trayectorias de los dos procesos son identicas. Claramente la indistinguibilidad es m
as fuerte que la
equivalencia. Sin embargo, puede demostrarse que cuando los procesos son
continuos, es decir, cuando sus trayectorias son funciones continuas del
par
ametro, ambas nociones de igualdad coinciden. Cuando el par
ametro es
discreto, las definiciones son an
alogas y se puede demostrar la equivalencia
entre los dos tipos de igualdad sin ninguna condici
on adicional.
Distribuciones finito dimensionales
Las distribuciones finito dimensionales de un proceso estocastico a tiempo
continuo Xt : t 0 es la coleccion de todas las funciones de distribucion
conjuntas
FXt1 ,...,Xtn x1 , . . . , xn ,
307
. Ap
endice: conceptos y resultados varios
308
FX x FXt1 ,...,Xtn x1 , . . . , xn ,
AP Xt A1 , . . . , Xt An .
Mas generalmente, dos procesos estocasticos Xt : t 0 y Yt : t
n
0 son
independientes si para cualesquiera dos enteros naturales n y m, y tiempos
0
t1
t2
tn y 0 s1 s2 sm, se cumple que la
distribuci
on conjunta
FXt1 ,...,Xtn ,Ys1 ,...,Ysm x1 , . . . , xn , y1 , . . . , ym
coincide con el producto
FXt1 ,...,Xtn x1 , . . . , xn FYs1 ,...,Ysm y1 , . . . , ym .
En palabras, esta condici
on significa que las distribuciones finito dimensionales conjuntas son el producto de las distribuciones finito dimensionales
marginales. Las definiciones para el caso de tiempo discreto son an
alogas.
Lema de Abel
a) Si la serie
k 0 ak
es convergente, entonces
lm
k 0
ak tk
k 0
ak .
309
b) Inversamente, si ak
0 y lmt
lm
ak
k 0
tk
k 0 ak
, entonces
ak t k .
k 0
lm inf anm
n
b) Adem
as, si anm
bm con
lm sup
n
lm inf
n
anm
anm .
, entonces
bm
lm sup anm .
n
X1
lm E Xn
E lm Xn .
n
E lm Xn .
n
m 0
anm
m 0
lm anm .
310
. Ap
endice: conceptos y resultados varios
Ecuaci
on de Wald
Sea X1 , X2 , . . . una sucesion de variables aleatorias independientes con la
misma distribuci
on que X y con esperanza finita. Sea N una variable aleatoria con valores en el conjunto 1, 2, . . . , con esperanza finita e independiente
de la sucesion. Entonces,
E
Xk
E X E N .
k 1
Distribuci
on tipo reticular
Se dice que una variable aleatoria discreta X, o su distribucion de probabilidad, es de tipo reticular o que es de tipo lattice si P X c nd 0, en
donde c y d 0 son constantes reales y n 1, 2, . . .
Notaci
on o peque
na
Sean f t y g t dos funciones que se encuentran definidas y son positivas
as
para valores de t suficientemente grandes. Se dice que f t es de orden m
peque
no que g t cuando t
, y se escribe f t ogt cuando t
,
si se cumple
f t
0.
lm
t
g t
En particular, se escribe f t
o1 cuando f t converge a cero cuando
. Se usa la misma notaci
on cuando t tiende a alg
un valor finito
t
particular y las funciones se encuentran definidas y son positivas en una
vecindad no trivial alrededor de ese valor. En este texto se usa la notaci
on o
peque
na para establecer el comportamiento de probabilidades dependientes
del tiempo pt, cuando t se aproxima a cero a traves de valores positivos.
F
ormula de Stirling
Para n suficientemente grande,
n!
2 nn12 en .
Esperanza condicional
Sea , F , P un espacio de probabilidad. Sea X una variable aleatoria con
esperanza finita y sea G una sub -algebra de F . La esperanza condicional
311
de X dado G , es una variable aleatoria denotada por E X G , que cumple
las siguientes tres propiedades:
a) Es G -medible.
b) Tiene esperanza finita.
c) Para cualquier evento G en G ,
E X G dP
X dP.
G
Es importante enfatizar que la esperanza condicional es una variable aleatoria. Usando el teorema de Radon-Nikodym (vease por ejemplo [7]), puede
demostrarse que esta variable aleatoria existe y es u
nica casi seguramente.
Esto significa que si existe otra variable aleatoria con las tres propiedades
anteriores, entonces con probabilidad uno coincide con E X G . Cuando
la -
algebra G es generada por una variable aleatoria Y , es decir, cuando
Y , la esperanza condicional se escribe simplemente como E X Y .
G
Mencionaremos a continuaci
on algunas propiedades de esta variable aleatoria, en estas expresiones se postula de manera implcita que la variable a la
que se le aplica la esperanza condicional es integrable.
1. Si c es constante, entonces E c G
2. E X
c.
E X .
3. Si A es un evento, entonces E 1A
4.
, P A.
Si A y B son eventos con 0 P B 1, entonces
E 1A , B, B c , P A B 1B P A B c 1B .
c
on de tal que P Bi
5. Si A es un evento y B1 , . . . , Bn es una partici
0 para i 1, . . . , n, entonces
E 1A B1 , . . . , Bn
i 1
P A Bi 1Bi .
. Ap
endice: conceptos y resultados varios
312
E X Y
n 0
7. E E X G
n 1Y
E X .
8. E X G
E X G . Este es un caso particular de la desigualdad
de Jensen que se enunciara m
as adelante. En particular, tomando
esperanza se tiene el siguiente resultado.
9. E E X G
E X .
Y G c E X G E Y
Si X es G -medible, entonces E X G X c.s.
Si X 0, entonces E X G 0.
Si X Y , entonces E X G E Y G .
14. Si G1
G2 , entonces
E E X G1 G2
E E X G2 G1
E X G1 .
E X .
G2
E X G1 E X G2 E X .
G2
E X G1 .
E X G .
E X G c.s.
G .
313
20. Si XY es integrable y X es G -medible, entonces
E XY G
X E Y G .
E uX G .
nf H t : n 1h
sup H t : n 1h
t
t
0, y para cada
nh ,
nh .
n h,
n 1
n h,
n 1
y que adem
as lmh 0 h lmh 0 h. Entonces se dice que la funcion
H es directamente Riemann integrable. Esta condici
on de integrabilidad es
m
as fuerte que la integrabilidad usual de Riemann, es decir, toda funcion
directamente Riemann integrable es Riemann integrable, por ejemplo,
a) H t
10,a t es d. R. integrable.
b) H : 0,
integrable.
0,
H t dt
, es d. R.
314
. Ap
endice: conceptos y resultados varios
Bibliografa
[1] Basu A. K., Introduction to stochastic processes, Alpha Science
International Ltd., 2003.
[2] Brown R., A brief account of Microscopical Observations made
in the Months of June, July, and August, 1827, on the Particles
contained in the Pollen of Plants; and on the general Existence of
active Molecules in Organic and Inorganic Bodies, Philosophical
Magazine N. S. 4, 161-173, 1828.
[3] Brzezniak Z. y Zastawniak T., Basic stochastic processes,
Springer, 1999.
[4] Caballero M. E. et al., Cadenas de Markov: un enfoque elemental, Aportaciones Matematicas, Serie Textos 29, Sociedad
Matematica Mexicana, 2004.
[5] Chung K. L., Markov chains with stationary transition probabilities, Springer, 1960.
[6] Chung K. L. y Williams R. J., Introduction to stochastic integration, Birkhauser, 1983.
[7] Cohn D. L., Measure theory, Birkhauser, 1980.
[8] Einstein A., Investigations on the theory of the Brownian movement, Dover, 1956.
[9] Feller W., Introducci
on a la teora de probabilidades y sus aplicaciones, Limusa, 1973.
315
316
Bibliografa
[10] Gard T. C., Introduction to stochastic differential equations,
Marcel Dekker, 1988.
[11] Grimmett G. R. y Stirzaker D. R., Probability and random processes, Clarendon Press, Oxford, 1982.
[12] Gut A., Probability: a graduate course, Springer, 2005.
[13] Higham D. J., An algorithmic introduction to numerical simulation of stochastic differential equations, SIAM Review Vol. 43,
N
um. 3, pp. 525-546, 2001.
[14] Hoel P. G., Port S. C. y Stone C. J., Introduction to stochastic
processes, Hougthon Mifflin Company, 1972.
[15] Jones P. W. y Smith P., Stochastic processes: an introduction,
Arnold, 2001.
[16] Jordan D. W. y Smith P., Mathematical techniques, Oxford University Press, 1997.
[17] Karlin S. y Taylor H. M., A first course in stochastic processes,
Academic Press, 1975.
[18] Klebaner F. C., Introduction to stochastic calculus with applications, Imperial College Press, 1998.
[19] Kloeden P. E. y Platen E., Numerical solution of stochastic differential equations, SpringerVerlag, 1999.
[20] Kuo H., Introduction to stochastic integration, Springer, 2006.
[21] Lawler G. F., Introduction to stochastic processes, Chapman &
Hall / CRC, 2006.
[22] Lawler G. F., Random walk and the heat equation, Student
Mathematical Library, Vol. 55, AMS, 2010.
[23] Nelson E., Dynamical theories of Brownian motion, Princeton
University Press, 1967.
[24] Norris J., Markov chains, Cambridge University Press, 1997.
Bibliografa
317
Indice analtico
Abel
lema, 308
del jugador, 16
simetrica, 9
Chapman-Kolmogorov, 39, 244
Clase
aperi
odica, 45
cerrada, 57
de comunicaci
on, 43
peri
odica, 45
Coeficiente
de difusi
on, 289
de tendencia, 289
Comunicaci
on, 42
Confiabilidad, 188
Correccion de Ito, 283
Coseno hiperb
olico, 137
Cox
proceso de, 131
Cadena de Markov, 28
a tiempo continuo, 148
accesibilidad de edos, 43
comunicaci
on de edos, 43
de dos estados, 31
de Ehrenfest, 35
de inventarios, 38
de la caminata aleatoria, 34
de la fila de espera, 37
de rachas de exitos, 33
de ramificacion, 36
de v.a.s independientes, 32
del jugador, 35
distribuci
on inicial, 30
erg
odica, 44
estacionaria, 29
existencia, 30
finita, 28
irreducible, 44
recurrente, 53
regular, 86
reversible, 89
transitoria, 53
Caminata aleatoria, 7
asimetrica, 9
Delta de Kronecker, 31
Deriva, 289
Desigualdad
de Jensen, 313
Distribucion
estacionaria, 71
invariante, 71
lmite, 81
reticulada, 310
tipo lattice, 310
318
Indice analtico
319
Distribucion exponencial
simulaci
on, 135
Distribucion Poisson
simulaci
on, 136
Distribuciones
finito dimensionales, 307
Doob, J. L., 229
Downcrossing, 221
Drift, 289
absorbente, 44
aperi
odico, 45
peri
odico, 45
recurrente, 50
recurrente nulo, 66
recurrente positivo, 66
transitorio, 50
Estrategia de juego, 209
Euler-Maruyama, 293
Ecuacion
de balance detallado, 90
de calor, 244
de Chapman-Kolmogorov, 39,
244
de difusi
on, 244
de renovaci
on, 176, 177
de Wald, 310
estoc
astica, 289
soluci
on fuerte, 290
Ecuaciones
de Kolmogorov, 156
prospectivas, 158
retrospectivas, 156
Espacio
C 1 , 286
C 2 , 286
L2 P , 274
L2 P dt, 275
H2 , 278
H02 , 275
L2loc , 281
de estados, 1
parametral, 1
Esperanza
condicional, 310
Estado
Formula
de Stirling, 310
Fatou
lema, 309
Filtracion, 200
can
onica, 200
continua por la derecha, 201
est
andar, 201
natural, 200
Funci
on
coseno hiperb
olico, 137
de confiabilidad, 188
de intensidad, 131
de renovacion, 176
de supervivencia, 188
de tasa de falla, 188
de valor medio, 131
delta de Kronecker, 31, 148
dir. Riemann integrable, 313
hazard, 188
seno hiperb
olico, 137
variaci
on cuadratica de una,
248
variaci
on de una, 248
Igualdad de procesos, 307
Independencia
320
de procesos, 308
Integrabilidad uniforme, 225
Integral estoc
astica, 273
como un proceso, 280
de Ito, 276, 278, 280, 281
de Stratonovich, 284
extensi
on por aproximacion, 277
extensi
on por localizaci
on, 281
para procesos simples, 276
propiedades, 285
Ito
correci
on de, 283
formula de, 286, 291
integral de, 276, 278, 280, 281
isometra de, 279
proceso de, 289
Kronecker, 31
L`evy, P. P., 264
Lema
de Abel, 308
de Fatou, 309
Metodo de discretizacion, 293
Markov, A. A., 93
Martingala, 5, 203
de de Moivre, 234
detenida, 208
estrategia de juego, 209, 210
exponencial, 269
producto, 234, 235
sub , 203
super , 203
Martingalas
teorema de convergencia, 223
teorema de representacion, 228
Indice analtico
Matriz
de prob. de transicion, 29
doblemente estocastica, 30
estocastica, 30
regular, 86
McKean
Tabla de multiplicaci
on, 291
Movimiento Browniano, 239
est
andar, 240, 241, 243
exponencial, 294
geometrico, 294
martingala, 245
multidimensional, 252
probabilidad de transicion, 243
radial, 253
recurrencia
por vecindades, 262
puntual, 258
reflejado en el origen, 268
unidimensional, 240, 241
variaci
on, 249
variaci
on cuadratica, 248
N
umero de cruces, 219
Notacion o peque
na, 310
Par
ametros infinitesimales, 154
Periodo, 45
Probabilidades
de transicion, 28, 31
de transicion en n pasos, 31
de transicion en un paso, 28
infinitesimales, 125, 155
Problema
de la ruina del jugador, 17
Proceso, 1
a tiempo continuo, 2
Indice analtico
a tiempo discreto, 2
adaptado, 201
con inc. estacionarios, 5
con inc. independientes, 5
de Bessel, 253
de Cox, 131
de ensayos independientes, 4
de Ito, 289
de L`evy, 6
de Markov, 4
de muerte puro, 165
de nacimiento puro, 164
de nacimiento y muerte, 159
de Ornstein-Uhlenbeck, 297
de Poisson, 116, 125, 127
compuesto, 132
generalizado, 133
homogeneo, 116
marcado, 140
mixto, 134
no homogeneo, 129
simulaciones, 125
de renovaci
on, 174
de saltos, 146
de Wiener, 241
de Yule, 165
detenido, 207
distribuciones fin. dim., 307
equivalencia de s, 307
espacio de estados, 1
espacio parametral, 1
estacionario, 5
filtraci
on de un, 200
Gausiano, 6
historia de un , 201
igualdad de s, 307
321
independencia, 308
indistinguibilidad, 307
modificaci
on de un , 307
predecible, 201
realizaci
on de un , 3
simple, 275
trayectoria de un , 3
versi
on de un , 307
Propiedad
de Markov, 4
de perdida de memoria, 117,
180
de semigrupo, 152
Puente Browniano, 269, 300
densidad, 269
Racha de exitos, 33
Recurrencia, 50
nula, 66
positiva, 66
Renovacion
ecuaci
on de, 177
funcion de, 176
Seno hiperb
olico, 137
Simulaci
on
distribucion exponencial, 135
distribucion Poisson, 136
Stirling, 310
Stratonovich, 284
Submartingala, 203
Supermartingala, 203
Tecnica de acople, 84
Tabla de multiplicaci
on de McKean, 291
Teorema
322
de conv. a la dist. est, 83
de conv. de martingalas, 223
de conv. dominada, 309
de conv. mon
otona, 309, 312
de conv. para cadenas, 85
de Doob, 223
de paro opcional, 212
de rep. de martingalas, 228
erg
odico para cadenas, 64
Tiempo
s de estancia, 116, 145
s de interarribo, 116
s de paro, 202
de primera visita, 48, 56, 66
de vida restante, 179
medio de recurrencia, 56, 66
Tiempo de paro, 203
Transitoriedad, 50
Variaci
on, 248
cuadratica, 248
Wald
ecuaci
on de, 310
Wiener, N., 263
Indice analtico