Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Introducción A Los Procesos Estocásticos - Luis Rincón
Introducción A Los Procesos Estocásticos - Luis Rincón
on a los
procesos estoc
asticos
Luis Rincon
Departamento de Matematicas
Facultad de Ciencias UNAM
Circuito Exterior de CU
04510 Mexico DF
Enero 2012
Pr
ologo
El presente texto contiene material b
asico en temas de procesos estocasticos
a nivel licenciatura, y es producto del mejoramiento continuo de las notas de
clase que he utilizado para el curso de Procesos Estocasticos en la Facultad
de Ciencias de la Universidad Nacional Autonoma de Mexico. Esta dirigido a estudiantes de las carreras de Matematicas, Actuara, Matematicas
Aplicadas y otras carreras cientficas afines. Una mirada al ndice de temas
le dar
a al lector una idea de los temas expuestos y el orden en el que se
presentan. Cada captulo contiene material que puede considerarse como
introductorio al tema, y al final de cada uno de ellos se proporcionan algunas referencias para que el lector pueda profundizar en lo que aqu se
presenta.
La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sab
atica en la universidad de Nottingham durante el a
no 2007, y
agradezco al Prof. Belavkin su amable hospitalidad para llevar a cabo este
proyecto, y a la DGAPA-UNAM por el apoyo econ
omico recibido durante
dicha estancia. Adem
as, la publicacion de este trabajo ha sido posible gracias al apoyo otorgado a traves del proyecto PAPIME PE-103111. Agradezco
sinceramente todos estos apoyos recibidos y expreso tambien mi agradecimiento al grupo de personas del comite editorial de la Facultad de Ciencias
por su ayuda en la publicacion de este trabajo. Finalmente doy las gracias
por todos los comentarios que he recibido por parte de alumnos y profesores para mejorar este material. Hasta donde humanamente me sea posible
mantendre una versi
on digital actualizada de este libro en la p
agina web
http://www.matematicas.unam.mx/lars .
Luis Rincon
Enero 2012
Ciudad Universitaria, UNAM
lars@fciencias.unam.mx
Contenido
1. Ideas preliminares
1.1. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
6
2. Caminatas aleatorias
7
2.1. Caminatas aleatorias . . . . . . . . . . . . . . . . . . . . . . . 7
2.2. El problema del jugador . . . . . . . . . . . . . . . . . . . . . 16
2.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3. Cadenas de Markov
3.1. Propiedad de Markov . . . . . . .
3.2. Ejemplos . . . . . . . . . . . . . .
3.3. Ecuacion de Chapman-Kolmogorov
3.4. Comunicaci
on . . . . . . . . . . . .
3.5. Periodo . . . . . . . . . . . . . . .
3.6. Primeras visitas . . . . . . . . . . .
3.7. Recurrencia y transitoriedad . . . .
3.8. Tiempo medio de recurrencia . . .
3.9. Clases cerradas . . . . . . . . . . .
3.10. N
umero de visitas . . . . . . . . .
3.11. Recurrencia positiva y nula . . . .
3.12. Evoluci
on de distribuciones . . . .
3.13. Distribuciones estacionarias . . . .
3.14. Distribuciones lmite . . . . . . . .
3.15. Cadenas regulares . . . . . . . . .
3.16. Cadenas reversibles . . . . . . . . .
3.17. A. A. Markov . . . . . . . . . . . .
iii
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
27
27
31
39
42
45
47
50
56
57
58
65
69
71
80
86
88
93
iv
Contenido
3.18. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4. El proceso de Poisson
4.1. Definici
on . . . . . . . . . . . . . .
4.2. Definiciones alternativas . . . . . .
4.3. Proceso de Poisson no homogeneo
4.4. Proceso de Poisson compuesto . . .
4.5. Proceso de Poisson mixto . . . . .
4.6. Ejercicios . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
115
115
125
129
132
134
135
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
145
151
153
156
159
167
169
6. Procesos de renovaci
on y confiabilidad
6.1. Procesos de renovacion . . . . . . . . .
6.2. Funci
on y ecuaci
on de renovacion . . .
6.3. Tiempos de vida . . . . . . . . . . . .
6.4. Teoremas de renovacion . . . . . . . .
6.5. Confiabilidad . . . . . . . . . . . . . .
6.6. Ejercicios . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
173
173
176
178
183
188
193
7. Martingalas
7.1. Filtraciones . . . . . . . . . . . . . . . .
7.2. Tiempos de paro . . . . . . . . . . . . .
7.3. Martingalas . . . . . . . . . . . . . . . .
7.4. Ejemplos . . . . . . . . . . . . . . . . .
7.5. Procesos detenidos . . . . . . . . . . . .
7.6. Una aplicaci
on: estrategias de juego . .
7.7. Teorema de paro opcional y aplicaciones
7.8. Algunas desigualdades . . . . . . . . . .
7.9. Convergencia de martingalas . . . . . .
7.10. Representaci
on de martingalas . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
199
200
202
203
205
207
209
212
217
218
224
.
.
.
.
.
.
.
.
.
.
.
.
Contenido
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
239
240
244
248
252
255
256
263
264
265
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
273
. 273
. 286
. 289
. 293
. 294
. 304
Ap
endice: conceptos y resultados varios
307
Bibliografa
315
Indice analtico
318
vi
Contenido
Captulo 1
Ideas preliminares
Considere un sistema que puede caracterizarse por estar en cualquiera de
un conjunto de estados previamente especificado. Suponga que el sistema
evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo con
una cierta ley de movimiento, y sea Xt el estado del sistema al tiempo t. Si
se considera que la forma en la que el sistema evoluciona no es determinista,
sino provocada por alg
un mecanismo azaroso, entonces puede considerarse
que Xt es una variable aleatoria para cada valor del ndice t. Esta coleccion
de variables aleatorias es la definicion de proceso estocastico, y sirve como
modelo para representar la evoluci
on aleatoria de un sistema a lo largo del
tiempo. En general, las variables aleatorias que conforman un proceso no
son independientes entre s, sino que est
an relacionadas unas con otras de
alguna manera particular. Las distintas formas en que pueden darse estas
dependencias es una de las caractersticas que distingue a unos procesos
de otros. Mas precisamente, la definicion de proceso estocastico toma como
base un espacio de probabilidad p, F , P q y puede enunciarse de la siguiente
forma.
Definici
on 1.1 Un proceso estoc
astico es una colecci
on de variables aleatorias tXt : t P T u parametrizada por un conjunto T , llamado espacio parametral, en donde las variables toman valores en un conjunto S llamado espacio
de estados.
En los casos m
as sencillos se toma como espacio parametral el conjunto
umeros se interpretan como tiempos. En
discreto T t0, 1, 2, . . . u y estos n
1
1. Ideas preliminares
este caso se dice que el proceso es a tiempo discreto, y en general este tipo
de procesos se denotara por tXn : n 0, 1, . . .u, o explcitamente,
X0 , X1 , X2 , . . .
as, para cada n, Xn es el valor del proceso o estado del sistema al tiempo n.
Este modelo corresponde a un vector aleatorio de dimension infinita. Vease
la Figura 1.1.
Xn p q
X5
b
X3
b
X1
X4
X0
b
n
1
X2
Figura 1.1
Xt p q
Xt2
b
Xt1
b
Xt3
t
b
t2
t1
t3
Figura 1.2
S
1. Ideas preliminares
5
Procesos con incrementos independientes
Se dice que un proceso estocastico a tiempo continuo tXt : t 0u tiene
incrementos independientes si para cualesquiera tiempos 0 t1 t2
tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn1 son independientes. Esto
quiere decir que los desplazamientos que tiene el proceso en estos intervalos
disjuntos de tiempo son independientes unos de otros.
Procesos estacionarios
Se dice que un proceso estocastico a tiempo continuo tXt : t 0u es
estacionario en el sentido estricto si para cualesquiera tiempos t1 , . . . , tn ,
la distribuci
on del vector pXt1 , . . . , Xtn q es la misma que la del vector
pXt1 h, . . . , Xtn hq para cualquier valor de h 0. En particular, la distribucion de Xt es la misma que la de Xt h para cualquier h 0.
Procesos con incrementos estacionarios
Se dice que un proceso estocastico a tiempo continuo tXt : t 0u tiene incrementos estacionarios si para cualesquiera tiempos s t, y para cualquier
h 0, las variables Xt h Xs h y Xt Xs tienen la misma distribucion de
probabilidad. Es decir, el incremento que tiene el proceso entre los tiempos
s y t s
olo depende de estos tiempos a traves de la diferencia t s, y no de
los valores especficos de s y t.
Martingalas
Una martingala a tiempo discreto es, en terminos generales, un proceso
tXn : n 0, 1, . . .u que cumple la condicion
E pXn
(1.1)
1. Ideas preliminares
Procesos de L`
evy
Se dice que un proceso estocastico a tiempo continuo tXt : t 0u es un
proceso de L`evy si sus incrementos son independientes y estacionarios. Mas
adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos.
Procesos Gausianos
Se dice que un proceso estocastico a tiempo continuo tXt : t 0u es un
proceso Gausiano si para cualesquiera coleccion finita de tiempos t1 , . . . , tn ,
el vector pXt1 , . . . , Xtn q tiene distribucion normal o Gausiana multivariada. Nuevamente, el movimiento Browniano es un ejemplo de este tipo de
procesos.
En el presente texto el lector encontrar
a una descripcion introductoria a
algunos de estos tipos de procesos y varios resultados elementales al respecto.
1.1.
Ejercicios
1. Sean X0 , X1 , . . . los resultados de una sucesion de ensayos independientes Bernoulli. Determine si el proceso tXn : n 0, 1, . . . u
a)
b)
c)
d)
0,
1.
Dibuje todas las trayectorias del proceso tXt : t 0u.
Xt
cos t
sin t
a)
b) Calcule la distribucion de Xt .
c) Calcule E pXt q.
si X
si X
Captulo 2
Caminatas aleatorias
En este captulo se presenta una introducci
on breve al tema de caminatas
aleatorias en una dimension. Encontraremos la distribucion de probabilidad
de la posici
on de una partcula que efect
ua una caminata aleatoria en Z,
y la probabilidad de retorno a la posici
on de origen. Se plantea y resuelve
despues el problema de la ruina del jugador, y se analizan algunos aspectos
de la soluci
on.
2.1.
Caminatas aleatorias
2. Caminatas aleatorias
$
& p si j
i 1,
si j i 1,
0 otro caso.
q
1 j | Xn iq
%
Sin perdida de generalidad supondremos que X0 0. Nos interesa encontrar algunas propiedades de la variable Xn , y de su comportamiento como
funci
on de n. Por ejemplo, a partir de la expresi
on anterior, es inmediato
encontrar su esperanza y varianza.
Proposici
on 2.1 Para cualquier entero n 0,
1. E pXn q npp q q.
2. VarpXn q 4npq.
E pi q n E p q npp q q.
i 1
p q,
se tiene que
i 1
Analicemos estas dos primeras formulas. Si p q, es decir, si la caminata toma pasos a la derecha con mayor probabilidad, entonces el estado
promedio despues de n pasos es un n
umero positivo, es decir, su comportamiento promedio es tender hacia la derecha, lo cual es intuitivamente
claro. Analogamente, si p q, entonces el estado final promedio de la caminata despues de n pasos es un n
umero negativo, es decir, en promedio la
caminata tiende a moverse hacia la izquierda. En ambos casos la varianza
crece conforme el n
umero de pasos n crece, eso indica que mientras mayor
es el n
umero de pasos que se dan, mayor es la incertidumbre acerca de la
posici
on final del proceso. Cuando p q se dice que la caminata es asimetrica. Cuando p q 1{2 se dice que la caminata es simetrica, y en promedio
el proceso se queda en su estado inicial, pues E pXn q 0, sin embargo, para
tal valor de p la varianza es VarpXn q n, y es sencillo demostrar que ese
valor es el m
aximo de la expresi
on 4npq, para p P p0, 1q.
Probabilidades de transici
on
Como hemos supuesto que la caminata inicia en cero, es intuitivamente
claro que despues de efectuar un n
umero par de pasos el proceso s
olo puede
terminar en una posici
on par, y si se efect
uan un n
umero impar de pasos la
posici
on final s
olo puede ser un n
umero impar. Ademas, es claro que despues
de efectuar n pasos, la caminata s
olo puede llegar a una distancia m
axima
de n unidades, a la izquierda o a la derecha. Teniendo esto en mente, en el
siguiente resultado se presenta la distribucion de probabilidad de la variable
Xn .
10
2. Caminatas aleatorias
Proposici
on 2.2 Para cualesquiera n
umeros enteros x y n tales que n
x n, y para el caso cuando x y n son ambos pares o ambos impares,
P pXn
x | X0 0q
1
n
p 2 pn
1
p
n
x
q
2
q q 21 pnxq .
(2.1)
12 pn
Xn q
2
p1
i q.
i 1
Esta ecuaci
on es la identidad clave para obtener el resultado buscado. Observe que esta formula arroja un valor entero para Rn cuando n y Xn son
ambos pares o ambos impares. Como las variables independientes i toman
los valores 1 y 1 con probabilidades p y q respectivamente, entonces las
variables independientes 21 p1 i q toman los valores 1 y 0 con probabilidades p y q. Esto lleva a la conclusion de que la variable Rn tiene distribucion
binomialpn, pq. Por lo tanto, para cualquier valor de x que cumpla las condiciones enunciadas se tiene que
P pXn
x | X0 0q
P pRn
1
2
pn
12 pn
n
xq
xqq
p 2 pn
1
q q 21 pnxq .
x | X0 0q
n
1
xq
2 pn
1
.
2n
(2.2)
11
x | X0 yq
n
1
p
n
x yq
2
p 2 pn
1
q q 21 pnx yq .
x y
(2.3)
Para valores de la diferencia x y y el entero n que no cumplen las condiciones indicadas la probabilidad en cuesti
on vale cero.
Demostraci
on. Tenemos como hip
otesis que X0 y. Consideremos el
proceso Zn Xn y. Entonces tZn : n 0u es ahora una caminata aleatoria
que inicia en cero como en el caso antes demostrado. El resultado enunciado
se obtiene de la identidad
P pXn
x | X0 yq P pZn x y | Zn 0q.
12
2. Caminatas aleatorias
u
ltimo caso demostraremos adem
as que el n
umero de pasos promedio para
regresar al origen es, sin embargo, infinito. La demostraci
on es un tanto
tecnica y hace uso de las funciones generadoras de probabilidad. Como este
captulo es introductorio, tal vez sea mejor recomendar al lector, cuando se
trate de una primera lectura, omitir los detalles de esta demostracion.
Proposici
on 2.4 Para una caminata aleatoria sobre Z, la probabilidad de
un eventual regreso al punto de partida es
"
si p q,
1 si p q.
Es decir, s
olo en el caso simetrico, p q, se tiene la certeza de un eventual
1 |p q |
Demostraci
on. Para demostrar estas afirmaciones utilizaremos los siguientes elementos:
a) Para cada n 0 denotaremos por pn a la probabilidad de que la
caminata se encuentre en el estado 0 al tiempo n, es decir, pn
P pXn 0 | X0 0q. Esta probabilidad es distinta de cero s
olo cuando
n es un n
umero par. Naturalmente p0 1. Denotaremos tambien por
fk a la probabilidad de que la caminata visite el estado 0 por primera
vez en el paso k 0. El uso de la letra f proviene el termino en ingles
first. Por conveniencia se define f0 0. Observe que en terminos
de las probabilidades fk , la
probabilidad de que la caminata regrese
eventualmente al origen es k80 fk . Esta serie es convergente, pues
se trata de la suma de probabilidades de eventos disjuntos, y por lo
tanto a lo sumo vale uno. Demostraremos que en el caso simetrico
la suma vale uno. Recordemos nuevamente que los valores de fk son
estrictamente positivos s
olo para valores pares de k distintos de cero.
b) No es difcil comprobar que se cumple la siguiente igualdad
pn
fk pnk .
(2.4)
k 0
En esta expresi
on simplemente se descompone la probabilidad de regreso al origen, pn , en las distintas posibilidades en donde se efect
ua
13
Gptq
f k tk .
k 0
p n tn
n 1
n
8
8
8
fk pnk q tn
n 1 k 0
8
fk pnk tn
k 0 n k
f k tk
k 0
Gptq
pnk tnk
n k
p n tn .
n 0
Por lo tanto,
n 0
pn tn q 1 Gptq
p n tn .
(2.5)
n 0
on para la suma
Para encontrar Gptq se necesita encontrar una expresi
que aparece en la u
ltima ecuaci
on, y que no es otra cosa sino la funcion
generadora de los n
umeros p0 , p1 , p2 , . . . Haremos esto a continuaci
on.
c) Para el an
alisis que sigue necesitamos recordar que para cualquier
n
umero real a y para cualquier entero n, se tiene el coeficiente binomial
a
n
(2.6)
14
2. Caminatas aleatorias
Observe que en el numerador hay n factores. Este n
umero es una
generalizaci
on del coeficiente binomial usual y aparece en la siguiente
expansi
on binomial infinita valida para |t| 1,
p1
t qa
a n
t .
n
n 0
(2.7)
2n
n
2np2n 1qp2n 2q 3 2 1
n! n!
2n n! p2n 1qp2n 3q 5 3 1
n! n!
2n 2n 2n 1 2n 3
5 3 1
p
qp
q
p
qp qp q
n!
2
2
2 2 2
n
n
2 2
1
3
5
3
1
p
1qn pn
qp
n
q
p
qp
qp
q
n!
2
2
2
2
2
p4qn 1n{2 .
(2.8)
pn t
n 0
8
n 0
8
n 0
n 0
2n n n 2n
p q t
n
1{2 n n 2n
p4q n p q t
n
1{2
p4pqt2 qn
n
p1 4pqt2 q1{2.
e) Substituyendo (2.9) en (2.5) se llega a la igualdad
(2.9)
15
(2.10)
fn
n 0
n fn
n 0
8.
1 t2
r
q
b
1
p
b
1
1
(a)
(b)
Figura 2.3
Puede considerarse tambien el caso de una caminata en donde sea posible
permanecer en el mismo estado despues de una unidad de tiempo. Esta
16
2. Caminatas aleatorias
situaci
on se ilustra en la Figura 2.3(a), en donde p, q y r son probabilidades
tales que p q r 1. Tambien pueden considerarse caminatas aleatorias
en Z2 como la que se muestra en la Figura 2.3(b), en donde p q r s 1,
o m
as generalmente en Zn o cualquier otro conjunto reticulado. Para estos
y otros modelos pueden plantearse diversas preguntas sobre el calculo de
probabilidades de los distintos eventos en caminatas aleatorias. Existe una
amplia literatura sobre la teora y aplicaciones de las caminatas aleatorias,
el lector interesado en el tema puede consultar los textos sugeridos al final
del presente captulo. Mas adelante estudiaremos algunas otras propiedades
de las caminatas aleatorias en el contexto de las cadenas de Markov.
2.2.
En esta secci
on consideraremos un ejemplo particular de una caminata
aleatoria puesta en el contexto de un juego de apuestas.
Planteamiento del problema
Suponga que un jugador A apuesta sucesivamente una unidad monetaria a
un jugador B. Inicialmente el jugador A tiene k unidades y B tiene N
k unidades, es decir, el capital conjunto entre los dos jugadores es de N
unidades monetarias. En cada
apuesta el jugador A tiene proXn
babilidad de ganar p, y probaN
bilidad de perder q 1 p,
suponga adem
as que no hay empates. Sea Xn la fortuna del juk
gador A al tiempo n. Entonces
tXn : n 0, 1, . . .u es una can
17
pues una vez que la cadena llega a alguno de ellos, jamas lo abandona. Una
posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra
en la Figura 2.4. Una de las preguntas que resolveremos para esta caminata
es la siguiente: cual es la probabilidad de que eventualmente el jugador A
se arruine? Es decir, cual es la probabilidad de que la caminata se absorba
en el estado 0 y no en el estado N , u oscile entre estos dos estados? Este
problema se conoce como el problema de la ruina del jugador, y encontraremos a continuaci
on su soluci
on. Como veremos, usando probabilidad
condicional es posible transformar este problema en resolver una ecuaci
on
en diferencias.
Soluci
on al problema
Sea el primer momento en el que la caminata visita alguno de los dos
estados absorbentes, es decir, mntn 0 : Xn 0 o Xn N u. Puede
demostrarse que es una variable aleatoria y que es finita casi seguramente.
La pregunta planteada se traduce en encontrar la probabilidad
uk
P pX 0 | X0 kq.
p uk
q uk1 ,
(2.11)
(2.12)
18
2. Caminatas aleatorias
forma siguiente:
u2 u1
u3 u2
pq{pq pu1 1q
pq{pq2 pu1 1q
..
.
De manera an
aloga pero ahora sumando todas las ecuaciones de (2.12) se
obtiene uN 1 SN 1 pu1 1q. Usando la segunda condici
on de frontera
uN 0 se llega a u1 1 1{SN 1 . Substituyendo en (2.13) y simplificando
se llega a la soluci
on
Sk1
.
uk 1
SN 1
Es necesario ahora distinguir los siguientes dos casos:
Sk
$
'
& k
Por lo tanto,
$
'
& N
p kq{N
uk
pq{pqk pq{pqN
'
%
1 pq {pqN
k 1
si p 1{2,
si p 1{2.
si p 1{2,
si p 1{2.
(2.14)
19
uk
p 0.01
p 0.2
p 0.35
p 0.5
1
p 0.65
p 0.8
p 0.99
k
10
20
30
40
50
Figura 2.5
An
alisis de la soluci
on
Es interesante analizar la formula (2.14) en sus varios aspectos. Por ejemplo,
para el caso simetrico p 1{2, es decir, cuando el juego es justo, la probabilidad de ruina es muy cercana a 1 cuando k es muy peque
no comparado
con N . Esto sugiere que no conviene jugar esta serie de apuestas contra
adversarios demasiado ricos, aun cuando el juego sea justo. Es tambien un
tanto inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 1{2. Esto puede apreciarse en la Figura 2.6. Cuando p
es distante de 1{2 la probabilidad uk es casi constante, pero para valores de
apidamente de un extremo a otro.
p cercanos a 1{2 la probabilidad cambia r
Estas gr
aficas fueron elaboradas tomando N 50.
N
umero esperado de apuestas antes de la ruina
Hemos comprobado en el ejercicio anterior que con probabilidad uno ocurre
que eventualmente alguno de los dos jugadores se arruina. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. Este n
umero
de apuestas promedio antes de la ruina puede encontrarse explcitamente, y
el metodo que usaremos para encontrarlo es nuevamente el planteamiento
de una ecuaci
on en diferencias que resolveremos del modo mostrado antes.
Sea entonces mk el n
umero esperado de apuesta antes de que termine el
juego, en donde el jugador A tiene un capital inicial de k unidades, y B
tiene N k.
20
2. Caminatas aleatorias
uk
uk
uk
5
p
1 {2
25
1{2
45
1{2
p
1
Figura 2.6
Proposici
on 2.5 El n
umero esperado de apuestas antes de la ruina es
$
'
& k N
mk
'
%
p kq
si p q,
si p q.
1 pq {pqk
p
kN
q
qp
1 pq {pqN
Demostraci
on. Condicionando sobre el resultado de la primera apuesta
se obtiene que mk satisface la ecuaci
on
mk
1
p mk
q mk1 ,
mk
mk pq pmk mk1q 1p .
Recordando la notaci
on Sk
pq{pq pq{pqk ,
(2.15)
y substituyendo
21
pq{pq m1 1p S0,
m3 m2
pq{pq2 m1 p1 S1 ,
mk mk1
..
.
pq{pqk1 m1 1p Sk2.
m1 pSk1 1q 1p
Es decir,
mk
m1 Sk1
0. Sumando todas
k2
Si .
i 0
k 2
1
Si .
p i0
(2.16)
m1 SN 1 1p
S
N 1
N2
Si .
i 0
0, y se obtiene
k 2
1
Si .
p i0
Substituyendo en (2.16),
mk
SSk1
N 1
N 2
k 2
1
1
Si
Si .
p i0
p i0
(2.17)
$
'
& k
k 1
si p 1{2,
si p 1{2.
22
2. Caminatas aleatorias
2.3.
Ejercicios
Caminatas aleatorias
xn 1 | X0 x0 , . . . , Xn xnq
1 xn 1 | Xn xn q.
1
23
2.3. Ejercicios
qet qn .
12 pn Xn q 12
p1 iq.
i 1
x | X0 0q P pXn x | X0 0q.
24
2. Caminatas aleatorias
caminata visita el estado n 1. Usando an
alisis del primer paso (es
decir, condicionando sobre si el primer paso se efect
ua a la izquierda
o a la derecha) demuestre que
P p n
n
8q p1p{qq
si p 1{2,
si p 1{2.
(2.18)
Lleve a cabo cada uno de los siguientes pasos para encontrar nuevamente la probabilidad de un eventual retorno a la posici
on de origen
f00 .
a) Demuestre que f1,1
25
2.3. Ejercicios
e) De manera an
aloga obtenga f10
1, q{p.
2 mntp, qu 1 |p q|.
p uk
q uk1 .
26
2. Caminatas aleatorias
$
'
& k N
si q
1{2,
si q
1{2.
'
{
pq{pqk 1
pq{pqN 1
1
p mk
q mk1 .
Captulo 3
Cadenas de Markov
Las cadenas de Markov fueron introducidas por
el matem
atico ruso Andrey Markov alrededor de
1905. Su intenci
on era crear un modelo probabilstico para analizar la frecuencia con la que
aparecen las vocales en poemas y textos literarios. El exito del modelo propuesto por Markov radica en que es lo suficientemente complejo como para describir ciertas caractersticas
no triviales de algunos sistemas, pero al misAndrey Markov
mo tiempo es lo suficientemente sencillo para
(Rusia,
1856-1922)
ser analizado matem
aticamente. Las cadenas de
Markov pueden aplicarse a una amplia gama de
fenomenos cientficos y sociales, y se cuenta con una teora matem
atica extensa al respecto. En este captulo presentaremos una introducci
on a algunos
aspectos b
asicos de este modelo.
3.1.
Propiedad de Markov
28
3. Cadenas de Markov
condicional ppxn 1 | xn q es an
alogo. Hacemos enfasis en que esta notaci
on
ayuda a escribir la propiedad de Markov y sus equivalencias de una manera
simple y clara. Mas adelante retomaremos la notaci
on que se usa de manera
est
andar para estas probabilidades.
Definici
on 3.1 Una cadena de Markov es un proceso estoc
astico a tiempo
discreto tXn : n 0, 1, . . . u, con espacio de estados discreto, y que satisface la propiedad de Markov, esto es, para cualquier entero n 0, y para
cualesquiera estados x0 , . . . , xn 1 , se cumple
ppxn
(3.1)
j | Xn iq
29
n
umeros pij pn, n 1q no dependen de n se dice que la cadena es estacionaria u
homogenea en el tiempo. Por simplicidad se asume tal situaci
on de modo que
las probabilidades de transicion en un paso se escriben como pij . Variando
los ndices i y j, por ejemplo, sobre el conjunto de estados t0, 1, 2, . . . u, se
obtiene la matriz de probabilidades de transicion en un paso que aparece
en la Figura 3.1. La entrada pi, j q de esta matriz es la probabilidad de
transicion pij , es decir, la probabilidad de pasar del estado i al estado j
en una unidad de tiempo. En general, al escribir estas matrices omitiremos
escribir la identificaci
on de los estados en los renglones y columnas como
aparece en la Figura 3.1, tal identificaci
on ser
a evidente a partir de conocer
el espacio de estados del proceso. El ndice i se refiere al rengl
on de la matriz,
y el ndice j a la columna.
0
0
1
2
..
.
Figura 3.1
Proposici
on 3.1 La matriz de probabilidades de transici
on P
ple las siguientes dos propiedades.
a) pij
b)
ppij q cum-
0.
pij 1.
Demostraci
on. La primera condici
on es evidente a partir del hecho de que
estos n
umeros son probabilidades. Para la segunda propiedad observamos
primero que se cumple la descomposici
on disjunta:
pX1 j q.
30
3. Cadenas de Markov
1 Pp
pX1 j q | X0 iq
P pX1
j | X0 iq
pij .
Esto u
ltimo significa que a partir de cualquier estado i con probabilidad uno
la cadena pasa necesariamente a alg
un elemento del espacio de estados al
siguiente momento. En general toda matriz cuadrada que cumpla estas dos
propiedades se dice que es una matriz estocastica. Debido a la propiedad
de Markov, esta matriz captura la esencia del proceso y determina el comportamiento de la cadena
en cualquier tiempo futuro. Si adem
as la matriz
satisface la condici
on i pij 1, es decir, cuando la suma por columnas
tambien es uno, entonces se dice que es doblemente estocastica.
Distribuci
on de probabilidad inicial
En general puede considerarse que una cadena de Markov inicia su evoluci
on
partiendo de un estado i cualquiera, o m
as generalmente considerando una
distribuci
on de probabilidad inicial sobre el espacio de estados. Una distribuci
on inicial para una cadena de Markov con espacio de estados t0, 1, 2, . . . u es
simplemente una distribuci
on de probabilidad sobre este conjunto, es decir,
es una colecci
on de n
umeros p0 , p1 , p2 . . . que son no negativos y que suman
uno. El n
umero pi corresponde a la probabilidad de que la cadena inicie en
el estado i. En general, la distribucion inicial juega un papel secundario en
el estudio de las cadenas de Markov.
Existencia
Hemos mencionado que la propiedad de Markov (3.1) es equivalente a la
igualdad ppx0 , x1 , . . . , xn q ppx0 q ppx1 | x0 q ppxn | xn1 q. Esta identidad
establece que las distribuciones conjuntas ppx0 , x1 , . . . , xn q se encuentran
completamente especificadas por la matriz de probabilidades de transicion
y por una distribuci
on inicial. En el texto de Chung [5] puede encontrarse
una demostracion del hecho de que dada una matriz estocastica y una distribucion de probabilidad inicial, existe un espacio de probabilidad y una
cadena de Markov con matriz de probabilidades de transicion y distribucion
inicial las especificadas. Es por ello que a la matriz misma se le llama a veces
cadena de Markov.
3.2. Ejemplos
31
Probabilidades de transici
on en n pasos
La probabilidad P pXn m j | Xm iq corresponde a la probabilidad de
pasar del estado i al tiempo m, al estado j al tiempo m n. Dado que hemos
supuesto la condici
on de homogeneidad en el tiempo, esta probabilidad no
depende realmente de m, por lo tanto coincide con P pXn j | X0 iq, y se
pnq
le denota por pij pnq. A esta probabilidad tambien se le denota por pij , en
donde el n
umero de pasos n se escribe entre parentesis para distinguirlo de
alg
un posible exponente, y se le llama probabilidad de transicion en n pasos.
Usaremos ambas notaciones a conveniencia. Haciendo variar i y j se obtiene
la matriz de probabilidades de transicion en n pasos que denotaremos por
P pnq o P pnq :
p00 pnq p01 pnq
P pnq p10 pnq p11 pnq
.
..
..
.
.
Cuando el n
umero de pasos n es uno, simplemente se omite su escritura en
estas probabilidades de transicion, a menos que se quiera hacer enfasis en
ello. Adem
as, cuando n 0 es natural definir pij p0q como la funcion delta
de Kronecker:
"
0 si i j,
pij p0q ij
1 si i j.
Es decir, despues de realizar cero pasos la cadena no puede estar en otro
lugar mas que en su estado de partida. Para algunas pocas cadenas de Markov encontraremos formulas compactas para las probabilidades de transicion
pij pnq. Estas probabilidades en general no son faciles de encontrar.
3.2.
Ejemplos
Estudiaremos a continuaci
on algunos ejemplos particulares de cadenas de
Markov. Retomaremos m
as adelante varios de estos ejemplos para ilustrar
otros conceptos y resultados generales de la teora, de modo que nos referiremos a estos ejemplos por los nombres que indicaremos y, a menos que se diga
lo contrario, usaremos la misma notaci
on e hip
otesis que aqu se presentan.
Cadena de dos estados
Considere una cadena de Markov con espacio de estados t0, 1u, y con matriz
y diagrama de transicion como aparece en la Figura 3.2, en donde 0 a 1,
32
3. Cadenas de Markov
0
1
1a
a
b
1b
P pX0
1a
1b
1
b
Figura 3.2
Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues es com
un encontrar situaciones en donde se presenta siempre
la dualidad de ser o no ser, estar o no estar, tener o no tener, siempre en
una constante alternancia entre un estado y el otro. Cuando a 1 b, las
variables X1 , X2 , . . . son independientes e identicamente distribuidas con
P pXn 0q 1 a y P pXn 1q a, para cada n 1. Cuando a 1 b,
on al problema no
Xn depende de Xn1 . Mas adelante daremos la soluci
trivial de encontrar las probabilidades de transicion en n pasos. Estas probabilidades son, para a b 0,
P pn q
1
a
b a
b a
p1 a bqn
a
a
b
a
b
33
3.2. Ejemplos
probabilidades de transicion es de la siguiente forma:
a0 a1 a2
a0 a1 a2
P
..
..
..
.
.
.
Por la hip
otesis de independencia, esta cadena tiene la cualidad de
poder pasar a un estado cualquiera siempre con la misma probabilidad en cualquier momento, sin importar el estado de partida. En
consecuencia, para cualquiera estados i y j, y para cualquier entero
n 1, las probabilidades de transicion en n pasos son faciles de calcular y est
an dadas por pij pnq aj . Esta cadena puede modelar, por
ejemplo, una sucesion de lanzamientos independientes de una moneda.
b) Sea Xn m
ax t1 , . . . , n u. La sucesion tXn : n 1u es una cadena
de Markov con espacio de estados t0, 1, . . . u y matriz
a0
a1
0 a0 a1
0
0
a0
..
..
.
.
a2
a2
a1
..
.
a3
a3
a3
..
.
a2
a0 a1 a2
0 a0 a1
0 0 a0
..
..
..
.
.
.
Cadena de rachas de
exitos
Sea 1 , 2 , . . . una sucesion de ensayos independientes Bernoulli con probaumero
bilidad de exito p, y probabilidad de fracaso q 1 p. Sea Xn el n
de exitos consecutivos previos al tiempo n, incluyendo el tiempo n. Se dice
que una racha de exitos de longitud r ocurre al tiempo n si en el ensayo
n r se obtiene un fracaso y los resultados de los ensayos n r 1 al n son
todos exitos. Gr
aficamente esta situaci
on se ilustra en la Figura 3.3.
34
3. Cadenas de Markov
r exitos
nr
nr
Figura 3.3
La colecci
on de variables aleatorias tXn : n 1, 2, . . . u es una cadena de
Markov con espacio de estados t0, 1, . . . u. Las probabilidades de transicion
y la matriz correspondiente se muestran en la Figura 3.4.
$
'
& p
pij
' q
%
si j
si j
0 1
i
0,
1,
P
otro caso.
0
1
2
..
.
2 3
q p 0 0
q 0 p 0
q 0 0 p
.. .. ..
. . .
Figura 3.4
Las posibles transiciones de un estado a otro para esta cadena de Markov
se pueden observar en la Figura 3.5.
Cadena de la caminata aleatoria
Una caminata aleatoria simple sobre el conjunto de n
umeros enteros constituye una cadena de Markov con espacio de estados el conjunto Z, y con
probabilidades de transicion
$
'
& p
pij
' q
%
i 1,
si j i 1,
si j
otro caso,
on 2.3 de la p
agina 11
en donde p q 1. Hemos demostrado en la Proposici
que las probabilidades de transicion en n pasos son las siguientes: si n y j i
35
3.2. Ejemplos
0
p
q
1
q
2
q
3
Figura 3.5
es ambos pares o ambos impares con
pij pnq
n j i n, entonces
n
1
j iq
2 pn
ppn
q{ q pnj iq{2 .
j i 2
36
3. Cadenas de Markov
0
1{N
0
..
.
1
0
2{N
..
.
0
pN 1q{N
0
..
.
0
0
pN 2q{N
..
.
0
0
0
0
0
0
0
0
0
0
0
..
.
0
0
0
..
.
0 1 N
Cadena de ramificaci
on
Considere una partcula u objeto que es capaz de generar otras partculas
del mismo tipo al final de un periodo establecido de tiempo. El conjunto de partculas iniciales constituye la generaci
on 0. Cada una de estas
partculas simult
aneamente y de manera independiente genera un n
umero
de descendientes dentro del conjunto t0, 1, . . . u, y el total de estos descendientes pertenece a la generaci
on 1, estos a su vez son los progenitores de la
37
3.2. Ejemplos
generaci
on 2, y as sucesivamente. Una posible sucesion de generaciones se
muestra en la Figura 3.7. El posible evento cuando una partcula no genera
ning
un descendiente se interpreta en el sentido de que la partcula se ha
muerto o extinguido.
Xn
Generacion
0
1
2
1
b
4
b
3
b
Figura 3.7
Sea k la variable aleatoria que modela el n
umero de descendientes de la
k-esima partcula. Para cada n 0 defina Xn como el n
umero de partculas
en la generaci
on n. Entonces tXn : n 0, 1, . . . u es una cadena de Markov
con espacio de estados t0, 1, . . . u y probabilidades de transicion pij P p1
i j q, para i 1. Si en algun momento Xn 0, entonces se dice
que la poblaci
on de partculas se ha extinguido. Naturalmente el estado 0
es un estado absorbente. Este modelo ha sido usado para determinar la
probabilidad de extincion de la descendencia de una persona.
Cadena de la fila de espera
Considere una cola o lnea de espera de clientes que solicitan alg
un tipo de
servicio de un servidor. Suponga que el sistema es observado en los tiempos discretos n 0, 1, . . ., y que la fila funciona del siguiente modo: cuando
hay alg
un cliente esperando servicio al inicio de un periodo, el cliente al
frente de la fila es atendido terminando el servicio al final del periodo. Naturalmente si no existiera ning
un cliente en la fila al inicio de alg
un periodo,
entonces ning
un cliente es atendido. Para cada entero n 1 defina n como
el n
umero de nuevos clientes que se incorporan a la fila durante el periodo
38
3. Cadenas de Markov
n. Bajo ciertas condiciones es natural suponer que estas variables aleatorias son independientes, identicamente distribuidas y con valores enteros no
negativos. Suponga que P pn kq ak , con ak 0 y a0 a1 1.
Sea X0 el n
umero de clientes iniciales, y para cada n 1 defina a Xn como
el n
umero de clientes en la fila al final del periodo n. Las dos reglas de
operaci
on mencionadas se pueden escribir de la siguiente forma:
Xn
n
Xn
1
0,
si Xn 1.
si Xn
P p
jq
P p j i
Es decir,
a0 a1
a0 a1
0 a0
0 0
..
..
.
.
si i 0,
1q si i 1.
a2
a2
a1
a0
..
.
.
Cadena de inventarios
Suponga que se almacena un cierto n
umero de bienes en una bodega, y que
se requiere una demanda aleatoria n del bien en el periodo
n. Suponga que
n de Chapman-Kolmogorov
3.3. Ecuacio
39
Xn n
S n
si s Xn
si Xn
S,
s.
P pXn 1 j | Xn iq
P pn
i j q aij
P pn 1 S j q aS j
1
si s i S,
si i s.
La primera expresi
on corresponde al caso cuando no hay reabastecimiento,
la probabilidad de pasar de i a j es la probabilidad de que la demanda al final
a de i pi j q
de ese periodo sea de j i pues el nuevo nivel del almacen ser
j. La segunda expresi
on corresponde al caso cuando hay reabastecimiento
y el nuevo nivel ser
a de S pS j q j, cuando la demanda sea S j.
3.3.
Ecuaci
on de Chapman-Kolmogorov
Esta ecuaci
on es una formula sencilla y muy u
til que permite desk
componer la probabilidad de pasar
del estado i al estado j en n paj
sos, en la suma de probabilidades
de las trayectorias que van de i a
i
j, y que atraviesan por un estado
k cualquiera en un tiempo intermer
n
dio r. Gr
aficamente, las trayectorias que van del estado i al estado j
Figura 3.8
en n pasos se descomponen como se
muestra en la Figura 3.8. Para fines
ilustrativos se dibujan las trayectorias de manera continua pero en realidad
no lo son. La ecuaci
on de Chapman-Kolmogorov es importante para hacer
ciertos c
alculos y se usa con regularidad en el estudio de las cadenas de
Markov.
b
40
3. Cadenas de Markov
Proposici
on 3.2 (Ecuaci
on de Chapman-Kolmogorov) Para cualquier
par de n
umeros enteros r y n tales que 0 r n, y para cualesquiera estados i y j se cumple
pij pnq
pik pr q pkj pn r q.
Demostraci
on.
Markov,
pij pnq
P pXn
j | X0 iq
P pXn j, Xr k, X0 iq{P pX0 iq
P pXn
j | Xr kq P pXr k | X0 iq
pkj pn r q pik pr q.
En particular, la siguiente desigualdad ser
a utilizada m
as adelante: para
cualquier estado k y para 0 r n, se tiene que
pij pnq pik pr q pkj pn r q.
Como una consecuencia importante de la ecuaci
on de Chapman-Kolmogorov
se tiene el siguiente resultado.
Proposici
on 3.3 La probabilidad de transici
on en n pasos, pij pnq, est
a dada por la entrada pi, j q de la n-esima potencia de la matriz P , es decir,
pij pnq pP n qij .
Demostraci
on. Esta identidad es consecuencia de la ecuaci
on de Chapman-Kolmogorov aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada pi, j q de la matriz resultante de multiplicar P consigo
n de Chapman-Kolmogorov
3.3. Ecuacio
41
misma n veces.
pij pnq
i1
i1 ,i2
..
.
i1 ,...,in1
P n ij .
pi ,j p1q
n 1
p q
En palabras este resultado establece que el difcil problema de calcular las
probabilidades de transicion en n pasos se transforma en obtener la n-esima
potencia de la matriz de probabilidades de transicion en un paso, es decir,
p00
p10
p01
p11
..
.
..
.
n
P n.
jq
pi pij pnq.
1a
a
b
1b
42
3. Cadenas de Markov
1
1
a
b
Q1
1
a
b
1
a
1
1a
a
b
1b
1
1
a
b
1
0
0 1ab
1
a
b
1
a
1
Por lo tanto,
Pn
Q D n Q1
1
1
a
b
1
a
b a
b a
1
0
0
p1 a bqn
p1 a bqn
a
b
1
a
b
a
1
a
b
1
a
3.4.
Comunicaci
on
Definiremos a continuaci
on el concepto de comunicaci
on entre dos estados
de una cadena de Markov como la posibilidad de pasar de un estado a otro
en alg
un n
umero finito de transiciones.
n
3.4. Comunicacio
43
Definici
on 3.2 Se dice que el estado j es accesible desde el estado i si
existe un entero n 0 tal que pij pnq 0, esto se escribe simplemente como
as que los estados i y j son comunicantes, y se escribe
i j. Se dice adem
i j, si se cumple que i j y j i.
Observe que siempre se cumple que i i, pues por
definicion pii p0q 1. Adem
as observe que si ocurre
que i j, la accesibilidad de i a j puede darse en
un n
umero de pasos distinto que la accesibilidad
de j a i. Gr
aficamente la accesibilidad y la comunicaci
on se representan, como lo hemos hecho antes
en los ejemplos, mediante flechas entre nodos como
se muestra en la Figura 3.9. Es sencillo verificar que
la comunicaci
on es una relaci
on de equivalencia, es
decir, cumple las siguientes propiedades.
a) Es reflexiva: i i.
Comunicacion
i
Figura 3.9
b) Es simetrica: si i j, entonces j
c) Es transitiva: si i
i k.
Accesibilidad
j y j
i.
k, entonces
En consecuencia, la comunicaci
on induce una partici
on del espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados pertenecen al mismo elemento de la partici
on si,
y s
olo si, son estados que se comunican. De este modo el espacio de estados
de una cadena de Markov se subdivide en clases de comunicaci
on. A la clase
de comunicaci
on de un estado i se le denotara por C piq. Por lo tanto, i j
si, y s
olo si, C piq C pj q.
Ejemplo 3.3 La cadena de Markov con espacio de estados t0, 1, 2, 3u y
matriz de probabilidades de transici
on que se muestra en la Figura 3.11
tiene tres clases de comunicaci
on que son C p0q t0u, C p1q t1, 2u y
C p3q t3u. Es evidente que el estado 0 se comunica consigo mismo pues
existe una flecha que parte de tal estado y llega a el mismo. Visualmente
tampoco hay duda de que la segunda colecci
on de estados es una clase de
on fsica del estado
comunicaci
on. Para la clase C p3q no existe una conexi
44
3. Cadenas de Markov
C pi q
C pj q
S
Figura 3.10
3 consigo mismo, sin embargo, por definici
on p33 p0q 1, y ello hace que
esta clase de u
nicamente un estado sea de comunicaci
on. Observe que estas
clases de comunicaci
on conforman una partici
on del espacio de estados.
1
1
{2
P
0
0
0 0
0 1 {2 0
1{2 1{2 0
1{2 0 1{2 0
C p0q
C p1q
2
C p3q
Figura 3.11
El estado i de una cadena de Markov se llama absorbente si pii p1q 1. Por
ejemplo, el estado 0 de la cadena de la Figura 3.11 es absorbente.
Definici
on 3.3 Se dice que una cadena de Markov es irreducible si todos
los estados se comunican entre s.
En otras palabras, una cadena de Markov es irreducible si existe s
olo una
clase de comunicaci
on, es decir, si la partici
on generada por la relaci
on de
comunicaci
on es trivial. Por ejemplo, la cadena de racha de exitos o la cadena
de la caminata aleatoria son cadenas irreducibles, pues todos los estados se
45
3.5. Periodo
3.5.
Periodo
El periodo es un n
umero entero no negativo que se calcula para cada estado
de una cadena. Una interpretacion de este n
umero ser
a mencionada m
as
adelante y aparecera tambien dentro de los enunciados generales sobre el
comportamiento lmite de cadenas de Markov.
Definici
on 3.4 El periodo de un estado i es un n
umero entero no negativo
denotado por dpiq, y definido como sigue:
dpiq m.c.d. tn 1 : pii pnq 0u,
Figura 3.12
46
3. Cadenas de Markov
Proposici
on 3.4 Si los estados i y j pertenecen a la misma clase de comunicaci
on, entonces tienen el mismo periodo.
Demostraci
on. Claramente el resultado es valido para i j. Suponga
entonces que i y j son distintos. Como los estados i y j est
an en la misma
clase de comunicaci
on, existen enteros n 1 y m 1 tales que pij pnq 0
y pji pmq 0. Sea s 1 un entero cualquiera tal que pii psq 0. Tal
entero existe pues por la ecuaci
on de Chapman-Kolmogorov, pii pn mq
pij pnq pji pmq 0. Esto quiere decir que dpiq|s y lo hace de manera m
axima.
Por otro lado, nuevamente por la ecuaci
on de Chapman-Kolmogorov,
pjj pn
Analogamente,
pjj pn
Por lo tanto dpj q|pn m sq y dpj q|pn m 2sq. Entonces dpj q divide a la
diferencia pn m 2sq pn m sq s. Por lo tanto, todo entero s 1
axima,
tal que pii psq 0 cumple dpj q|s. Pero dpiq divide a s de manera m
por lo tanto dpiq dpj q. De manera an
aloga, escribiendo i por j, y j por i,
se obtiene dpj q dpiq. Se concluye entonces que dpiq dpj q.
El recproco del resultado anterior es en general falso, es decir, dos estados
pueden tener el mismo periodo y sin embargo no ser comunicantes. Puede
usted dar un ejemplo de tal situaci
on? El siguiente resultado establece que
despues de un n
umero suficientemente grande de pasos, con probabilidad
positiva toda cadena puede regresar a cada estado i cada dpiq pasos. Esta
es la raz
on por la que a tal n
umero se le llama periodo.
Proposici
on 3.5 Para cada estado i, existe un entero N tal que para toda
n N , se cumple pii pndpiqq 0.
Demostraci
on. Si pii pnq 0 para cada n 1, entonces dpiq 0 y por lo
tanto la afirmacion es valida pues pii p0q 1, sin embargo la interpretacion
de recurrencia peri
odica no se aplica en este caso. Suponga entonces que
n1 , . . . , nk son enteros tales que pii pn1 q 0, . . ., pii pnk q 0. Sea d
m.c.d.tn1 , . . . , nk u dpiq. Como dpiq es divisor de cada entero n1 , . . ., nk , se
47
tiene que dpiq|d, y por lo tanto existe un entero q tal que qdpiq d. Ahora
se hace uso del siguiente resultado cuya demostracion puede encontrarse
en [17]:
Sean n1 , . . . , nk enteros no negativos y sea d m.c.d.tn1 , . . . , nk u.
Entonces existe un entero M tal que para cada m M existen
enteros no negativos c1 , . . . , ck tales que md c1 n1 ck nk .
Entonces existe un entero no negativo M tal que para cada m M , md
c1 n1 ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto,
pii pmdq pii pc1 n1
M q.
3.6.
Primeras visitas
48
3. Cadenas de Markov
Definici
on 3.5 Sea A un subconjunto del espacio de estados de una cadena
de Markov tXn : n 0u. El tiempo de primera visita al conjunto A es la
variable aleatoria
A
mn tn 1 : Xn
P Au
si Xn
P A para algun n 1,
otro caso.
j, Xn1 j, . . . , X1 j | X0 iq.
Adicionalmente se define fij p0q 0, incluyendo el caso i j.
Es decir, fij pnq P pij nq. En particular, observe que fii pnq es la proba-
para n 1.
para n 1.
para n 2.
para n 2.
49
para n 1.
para n 1.
(3.2)
k 1
Demostraci
on. Defina los eventos
A1
A2
A3
pXn j, X1 j, X0 iq
pXn j, X2 j, X1 j, X0 iq
pXn j, X3 j, X2 j, X1 j, X0 iq
..
.
An
Por lo tanto,
P pXn
j, X0 iq P pX0 iq
k 1
50
3. Cadenas de Markov
fij pnq.
n 1
3.7.
Recurrencia y transitoriedad
Veremos a continuaci
on que los estados de una cadena de Markov pueden
ser clasificados, en una primera instancia, en dos tipos, dependiendo si la
cadena es capaz de regresar con certeza al estado de partida.
Definici
on 3.7 (I) Se dice que un estado i es recurrente si la probabilidad
de eventualmente regresar a i, partiendo de i, es uno, es decir, si
P pXn
i
para alguna n 1 | X0
iq 1.
Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad anterior es estrictamente menor a uno.
De manera intuitiva, un estado es recurrente si con probabilidad uno la
cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre
en alg
un momento finito, por la propiedad de Markov, se puede regresar a
el una y otra vez con probabilidad uno. Debido a este comportamiento
es que al estado en cuesti
on se le llama recurrente. En cambio, el estado
se llama transitorio si existe una probabilidad positiva de que la cadena,
iniciando en el, ya no regrese nunca a ese estado. De este modo la definicion
de recurrencia y transitoriedad puede enunciarse de manera equivalente de
la siguiente forma.
Definici
on 3.8 (II) Un estado i es recurrente si fii 1, es decir, si la
probabilidad de regresar a el en un tiempo finito es uno. An
alogamente, un
estado i es transitorio si fii 1.
51
Adem
as de la definicion, tenemos el siguiente criterio u
til para determinar
si un estado es recurrente o transitorio.
Proposici
on 3.8 El estado i es:
a) recurrente si, y s
olo si
8
pii pnq 8.
n 1
b) transitorio si, y s
olo si
pii pnq 8.
n 1
Demostraci
on. Sea Ni la variable aleatoria que cuenta el n
umero de
veces que el proceso regresa al estado i a partir del primer paso, es decir,
Ni
n 1
cuando X0
k 1,
1pXn iq ,
P pN i
k | X0 iq
8
P pNi k, Xm i, Xm1 i, . . . , X1 i | X0 iq
m 1
m 1
..
.
P pNi
k | Xm i, Xm1 i, . . . , X1 i, X0 iq
P pXm
i, Xm1 i, . . . , X1 i | X0 iq
P pNi k 1 | X0 iq fii pmq
m 1
P pNi
k 1 | X0 iq fii
P pNi k 2 | X0 iq pfii q2
52
3. Cadenas de Markov
iq
P pNi
8
k | X0 iq
k 1
pfiiqk
k 1
$
&
%
fii
1 fii
si 0 fii
si fii
1.
1,
iq
8
n 1
8
E p1pXn iq | X0
P pXn
iq
i | X0 iq
n 1
pii pnq.
n 1
mediante
la f
ormula de Stirling: n! 2 nn 1{2 en , puede comprobarse
8
que n0 p00 pnq 8, confirmando nuevamente la recurrencia del estado
53
Demostraci
on. Como i j, existen enteros n 1 y m 1 tales que
pij pnq 0 y pji pmq 0. Entonces pjj pm n r q pji pmq pii pr q pij pnq. De
modo que, por la ecuaci
on de Chapman-Kolmogorov,
r 1
pjj pm
r q pji pmq
r 1
54
3. Cadenas de Markov
f00
f00 pnq p1 aq
ab
n 1
p1 bqn2 p1 aq
n 2
ab
b
1.
f00
n 1
f00 pnq q p1
p2
q 1 q p 1.
Veremos a continuaci
on algunos ejemplos de aplicaci
on del criterio de la
Proposici
on 3.8.
Proposici
on 3.10 Sea
j un estado transitorio. Para cualquier estado ini
cial i, se cumple que 8
m pij pnq 0.
n1 pij pnq 8. En consecuencia, l
n
55
Demostraci
on.
pij pnq
n 1
8 n
1
8
8
n 1 k 0
k 0 n k 1
k 0 m 1
fij
pjj pkq
k 0
pjj pkq
k 0
8.
Proposici
on 3.11 Toda cadena de Markov finita tiene por lo menos un
estado recurrente.
Demostraci
on. Por contradicci
on, suponga que todos los estados son
transitorios.
Entonces para cualesquiera estados i y j, se cumple que la
suma 8
p
n1 ij pnq es finita. Sumando sobre el conjunto finito de todos los
posibles estados j se obtiene
pij pnq 8.
j n 1
n 1 j
pij pnq
1 8.
n 1
56
3. Cadenas de Markov
3.8.
E pij q
nfij pnq.
n 1
nf00 pnq
p1 aq
n 1
ab
np1 bqn2
n 2
p1 aq
b
b
ab p
b
b2
57
De manera an
aloga, o bien intercambiando los valores de a y b, se encuentra
que 1 pa bq{a. Observe que 1{0 1{1 1, m
as adelante explicaremos
la raz
on de ello. Observe tambien que estos dos tiempos medios de recurrencia son, en general, distintos. Esto ejemplifica el hecho de que los tiempos
medios de recurrencia no son necesariamente identicos para cada elemento
de una misma clase de comunicaci
on recurrente.
3.9.
Clases cerradas
58
3. Cadenas de Markov
Demostraci
on. Sea C una coleccion no vaca de estados que es irreducible
y cerrada, y sea i P C . Entonces C C piq pues como C es irreducible, todos
sus estados se comunican y por lo tanto deben pertenecer a la misma clase
de comunicaci
on. Como C es cerrada, no es posible salir de tal coleccion,
de modo que la diferencia C piq C es vaca, pues si existiera j P C piq C ,
entonces i j, lo cual contradice el supuesto de que C es cerrada. Por lo
tanto C C piq.
3.10.
N
umero de visitas
En esta secci
on vamos a estudiar la variable aleatoria que registra el n
umero
de visitas que una cadena realiza sobre un estado j a partir del estado i, es
decir, para cualquier tiempo finito n se define la variable aleatoria
Nij pnq
1pXk j q ,
cuando X0
i.
k 1
1pXk j q ,
cuando X0
i.
k 1
Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios
respecto de los recurrentes.
Proposici
on 3.13 Para cualesquiera estados i y j,
a) P pNij
b) P pNij
kq
kq
fij pfjj q
k 1
0,
k 1.
si k
si
1 fij
fij pfjj qk1 p1 fjj q
si k
si k
0,
1.
mero de visitas
3.10. Nu
c) E pNij q
pij pnq
n 1
d) P pNij
e) P pNij
8q
8q
"
"
0
fij
59
$
0
'
'
'
&
fij
1 fjj
'
'
'
%
0,
0 fjj 1,
fij 0 y fjj 1.
si fij
8
si
si
si j es transitorio,
si j es recurrente.
1
1 fij
si j es transitorio,
si j es recurrente.
Demostraci
on.
a) La primera parte de esta igualdad es evidente. Para demostrar el caso
k 1 se usa an
alisis del primer paso,
P pNij
kq
n 1
fij P pNjj
fij pfjj q
k 1q
k 1q
.
k 1
kq P pNij kq P pNij k
Ep
8
n 1
1pXn j q | X0
iq
E p1pXn j q | X0
iq
n 1
n 1
pij pnq.
1q.
60
3. Cadenas de Markov
Por otro lado, usando la primera formula
E pNij q
P pNij
8
kq
k 1
k 1
$
0
'
'
'
&
fij
0,
0 fjj 1,
fij 0 y fjj 1.
si fij
fjj
8
1
'
'
'
%
si
si
8q
lm P pNij
kq
lm fij pfjj qk1 .
k 8
k
"
0
fij
si j es transitorio,
si j es recurrente.
mero de visitas
3.10. Nu
61
Recurrencia y n
umero de visitas
Si j es recurrente, y si se inicia en j, entonces con probabilidad uno la cadena
regresa a j una infinidad de veces, esto es lo que dice la formula del inciso (d)
umero esperado de visitas al estado j es infinito.
con fij fjj 1, y el n
Si la cadena inicia en cualquier otro estado i, entonces existe la posibilidad
umero esperado de
de que la cadena nunca visite j (es decir,fij 0), y el n
visitas es naturalmente cero (formula del inciso (c) con fij 0). Pero si la
cadena visita j alguna vez (fij 0), entonces regresara a j una infinidad de
veces, y el n
umero esperado de visitas al estado j es infinito por la formula
del inciso (c) con fij 0 y fjj 1.
N
umero esperado de visitas
Anteriormente habamos demostrado un criterio para la transitoriedad y la
recurrencia
del estado i en terminos de la convergencia o divergencia de
8
la serie n1 pii pnq. En vista de la formula del inciso (c) ahora podemos
corroborar que un estado i es recurrente si, y s
olo si, el n
umero promedio de
regresos a el es infinito, y es transitorio si, y s
olo si, el n
umero promedio de
regresos es finito. Tambien en particular, la formula del inciso (d) muestra
que toda cadena de Markov irreducible y recurrente, visita cada uno de sus
estados una infinidad de veces con probabilidad uno.
62
3. Cadenas de Markov
j | X0 x0, . . . , X
1 j | X n iq.
n 1
n
n 1
xn1, X n iq
(3.3)
mero de visitas
3.10. Nu
63
Ejemplo 3.13 (El problema del mono). Suponga que un mono escribe
caracteres al azar en una m
aquina de escribir. Cu
al es la probabilidad de
que eventualmente el mono escriba exactamente, y sin ning
un error, las
obras completas de Shakespeare?
Usaremos la teora de cadenas de Markov
para demostrar que la probabilidad buscada es uno. Imaginemos entonces que un
mono escribe caracteres al azar en una
m
aquina de escribir, y que lo hace de
manera continua generando una sucesion
lineal de caracteres. Cada uno de los caracteres tiene la misma probabilidad de apareFigura 3.14
cer y se genera un caracter independientemente de otro. Sea m el total de caracteres disponibles que se pueden imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Sea Xn el n
umero de caracteres correctos obtenidos
inmediatamente antes e incluyendo el u
ltimo momento observado n, es decir, se trata de un modelo de racha de exitos. Es claro que las variables Xn
toman valores en el conjunto t0, 1, 2, . . . , N u, y dado que los caracteres se
nicamente del
generan de manera independiente, el valor de Xn 1 depende u
valor de Xn y no de los anteriores, es decir, se trata efectivamente de una
cadena de Markov. Considerando entonces un conjunto de smbolos de m
caracteres se tiene que
P pXn
y
x
P pXn
1 | Xn
xq 1{m
1 0 | Xn xq pm 1q{m.
El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n 1. La segunda igualdad refleja la situaci
on de cometer un error en el
siguiente caracter generado cuando ya se haban obtenido x caracteres correctos. Tecnicamente existen algunas otras posibles transiciones de algunos
estados en otros, pero ello no modifica substancialmente el comportamiento cualitativo del modelo. Como se ha observado, se trata de la cadena de
racha de exitos, y por lo tanto la matriz de probabilidades de transicion es
finita, irreducible y recurrente. Entonces, con probabilidad uno la cadena
visita cada uno de sus estados una infinidad de veces. En particular, cada
vez que la cadena visita el estado N el mono concluye una sucesion exitosa
64
3. Cadenas de Markov
8.
Demostraci
on.
Si la cadena es transitoria, entonces ambos lados de
la igualdad se anulan. Suponga que la cadena es recurrente. El tiempo de
primera visita al estado j a partir de i es ij mn tn 1 : Xn j | X0 iu.
Dada la recurrencia e irreducibilidad, P pij 8q 1, y entonces para
cualquier n 1 se cumple la identidad
Nij pij
nq 1
Njj pnq.
Nij pij nq
n8
ij n
1 Njj pnq
lm
n8
ij n
n
Njj pnq
lm
n8
n
ij n
Njj pnq
.
lm
n8
n
lm
65
Y pNjj pnqq
Njj pnq
1q
jj
Njj pnq
n
1
c. s.
Interpretacion: para una cadena de Markov irreducible, el n
umero j 1{j
representa el tiempo promedio que la cadena permanece en el estado j a
largo plazo, suponiendo que tal cantidad es positiva.
Tomando esperanza en (3.4), por el teorema de convergencia dominada, y
para una cadena irreducible, se cumple que
1
j
1
1
1
E pnl8
m Nij pnqq lm E pNij pnqq lm
n8 n
n8 n
n
pij pkq.
k 1
lm
3.11.
66
3. Cadenas de Markov
E pij q
nfij pnq.
n 1
8.
recurrente nulo si i 8.
a) recurrente positivo si i
b)
Demostraremos a continuaci
on que la recurrencia positiva y la recurrencia
nula son propiedades de las clases de comunicaci
on. Es decir, dos estados en
una misma clase de comunicaci
on recurrente, son ambos recurrentes positivos o recurrente nulos.
Proposici
on 3.15 Sea i un estado recurrente. Entonces,
a) si i es recurrente positivo e i j, entonces j es recurrente positivo.
b) si i es recurrente nulo e i j, entonces j es recurrente nulo.
Demostraci
on. Observe que es suficiente demostrar cualquiera de estas
afirmaciones. Demostraremos la primera. Suponga que i es un estado recurrente positivo, es decir, i es recurrente y es tal que i 8. Como i j,
67
1, . . . , N , y dividiendo entre N ,
N
1
pjj pn
N k1
Haciendo N
kq pji pmq
8 se obtiene
1
1
pji pmq
N
1
pii pkq pij pnq.
N k1
pij pnq 0.
Estados
recurrentes
positivos
Estados
recurrentes
nulos
Estados
transitorios
Figura 3.15
Ejemplo 3.14 Anteriormente demostramos que para la caminata aleatoria
sobre Z, el tiempo promedio de regreso al estado 0 es
0
n 0
n f00 pnq
?14pq
4pq .
68
3. Cadenas de Markov
n f00 pnq
n 1
n p1 pqpn1
p1 p q
n 1
n pn1
n 1
1 1 p 8.
pij pkq 1.
j C
Entonces
n
n
1
1
pij pkq
pij pkq 1.
n k1 j PC
n k1
j PC
Haciendo n
obtiene
P j
j C
1.
n de distribuciones
3.12. Evolucio
69
Para que esta suma sea uno debe existir por lo menos un valor de j en C
tal que j 8, pues de lo contrario cada sumando sera cero y la suma
total no podra ser uno. Por lo tanto existe un estado j que es recurrente
positivo. Dado que la recurrencia positiva es una propiedad de clase, todos
los elementos de C son recurrentes positivos.
Observe que en particular, todos los estados de una cadena finita e irreducible son recurrentes positivos.
3.12.
Evoluci
on de distribuciones
P pX1
n
i 0
n
jq
P pX1
j | X0 iqP pX0 iq
i0 pij .
i 0
01 , . . . , n1
qp
00 , . . . , n0
p00
..
.
pn0
p0n
..
.
.
pnn
A su vez el vector
se transforma en el vector
a traves de la ecuaci
on
2
1
0
2
P P , y as sucesivamente. En general, para m 1,
m
m1 P 0 P m .
(3.5)
70
3. Cadenas de Markov
De esta forma se obtiene una sucesion infinita de distribuciones de probabilidad 0 , 1 , 2 , . . ., en donde cada una de ellas, excepto la primera, es
obtenida de la anterior multiplicada por la derecha por la matriz de probabilidades de transicion en un paso. Es natural preguntarse si existe alg
un
lmite para esta sucesion de distribuciones. En las siguientes secciones estudiaremos tal problema y encontraremos condiciones bajo las cuales existe
un u
nico lmite para esta sucesion.
Ejemplo 3.16 Considere la matriz estoc
astica
0
1 0
0
0 1
P
1/2 1/2 0
con distribuci
on inicial el vector 0 p1{10, 0, 9{10q. Los subsecuentes vectores de probabilidad 1 , 2 , . . . se calculan a continuaci
on y las gr
aficas de
estas distribuciones se muestran en la Figura 3.16. Existir
a el lmite para
esta sucesi
on de vectores de probabilidad?
1
3
4
..
.
p0.45, 0.55, 0q
P p0, 0.45, 0.55q
2 P p0.275, 0.275, 0.45q
3 P p0.225, 0.5, 0.275q
0 P
1
0 1 2
0 1 2
0 1 2
0 1 2
0 1 2
Figura 3.16
Ejemplo 3.17 Considere la matriz estoc
astica
P
0 1
1 0
71
con distribuci
on inicial cualquier vector de probabilidad 0 p, 1 q, con
0 1. No es difcil darse cuenta que la multiplicaci
on de un vector
rengl
on por la matriz P tiene el efecto de intercambiar las entradas del
vector. Por lo tanto la sucesi
on de vectores de probabilidad es
0
2
3
..
.
p, 1 q
p1 , q
p, 1 q
p1 , q
3.13.
Distribuciones estacionarias
Definici
on 3.13 Una distribuci
on de probabilidad p0 , 1 , . . .q es estacionaria o invariante para una cadena de Markov con matriz de probabilidades de transici
on P ppij q si
j
i pij .
72
3. Cadenas de Markov
1
0
0
1{3 1{3 1{3
0
0
1
Es inmediato comprobar que el vector p1 , 0, q satisface el sistema de ecuaciones P para cada P r0, 1s. Existen entonces una infinidad de distribuciones estacionarias para esta cadena. Observe que el vecon lineal p1 qp1, 0, 0q
tor p1 , 0, q se puede escribir como la combinaci
p0, 0, 1q.
Ejemplo 3.19 (No existencia) Para la caminata aleatoria simetrica simple sobre Z no existe ninguna distribuci
on estacionaria pues la condici
on
P se traduce en el sistema de ecuaciones
j
12 j 1
1
j
2
1,
P Z,
1 0
3 2
n n1
1 0 .
2 1
..
.
1 0
1 0
np1 0 q.
73
1a
a
P
b
1b
tiene una u
nica distribuci
on estacionaria dada por
p0 , 1 q p a b b , a a b q,
condici
on j j 1. Mas adelante expondremos una forma alternativa de
buscar distribuciones estacionarias para cadenas reversibles. Por otro lado,
suponga que y 1 son dos distribuciones estacionarias distintas para una
matriz P . Entonces la combinaci
on lineal convexa p1 q 1 , para
P r0, 1s, tambien es una distribucion estacionaria pues
p p1 q1 q P P p1 q1 P p1 q1 .
Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena, entonces existe una infinidad de ellas. Esto demuestra que el conjunto
de distribuciones estacionarias es un conjunto convexo. Tomando en cuenta
74
3. Cadenas de Markov
lm
i pij
i pij pkq
n
1
i pij pkq
n k1 i
1
pij pkq q
i p
n k1
n
1
pij pkq q 0.
j
i p lm
n8 n
i
k 1
75
En particular, si j 0, entonces j es un estado recurrente positivo. Esto es una consecuencia inmediata del resultado anterior y para ello puede
usarse un argumento por contradicci
on. Por otro lado, la proposici
on recien
demostrada tambien nos ayuda a corroborar nuevamente, por ejemplo, que
una caminata aleatoria simetrica simple no tiene distribucion estacionaria,
pues se trata de una cadena cuyos estados son todos recurrentes nulos y por
lo tanto j 0 para cualquier valor entero de j. Se presenta a continuaci
on
una soluci
on al problema de encontrar condiciones suficientes que garanticen
la existencia y unicidad de la distribucion estacionaria.
Proposici
on 3.18 (Existencia y unicidad de la distribuci
on estacionaria) Toda cadena de Markov que es irreducible y recurrente positiva
tiene una u
nica distribuci
on estacionaria dada por
j
1 0,
j
Sea j
i pij .
(2)
1.
(3) j es u
nica.
Como la cadena es irreducible y recurrente positiva, se tiene que j 8,
para cualquier estado j. Por lo tanto el cociente 1{j es estrictamente positivo. Por el teorema erg
odico para cadenas de Markov,
1
1
pij pmq .
n m1
j
n
lm
76
3. Cadenas de Markov
i pij
i 0
i 0
Haciendo N
n
1
n m1
lm
8,
1
p nl8
m
n
8
8
j .
m 1
N
i 0
n
1
pkj pm
n m1
lm
i pij
1q
j .
(3.6)
i pij
pij
i .
j 0
j 0
1
p nl8
m
n
pij pkq q
k 1
N
n
1
pij pkq
n8 n
k 1 j 0
lm
1
1
n k1
n
lm
1.
i pij pmq,
(3.7)
77
i p
1
pij pmq q.
n m1
n
i 0
1
pij pmq q
i p lm
i j .
n8 n
m1
i0
n
1.
1
1 p
i
Haciendo n 8,
n m1
pij pmqq
i 0
1
1 p
i
n m1
pij pmqq.
i1 j .
i 0
Ahora hacemos N
8 para obtener
j1 j .
(3.8)
78
3. Cadenas de Markov
p0 , 1q p 1 , 1 q p a b b , a a b q.
0
Ejemplo 3.22 La cadena de Ehrenfest es finita e irreducible, en consecuencia es recurrente positiva. Por lo tanto tiene una u
nica distribuci
on esta
cionaria. Resolviendo el sistema de ecuaciones P junto con j j 1
se encuentra que el vector estacionario tiene distribuci
on binpN, pq, con
p 1{2, es decir,
j
N
j
1
,
2N
para j
0, 1, . . . , N.
P
(3.9)
se escribe
1
1
N
2
2
N
N 1
3
1
3
N
N
..
.
N 1
2
N 1 N
N
1
N 1 .
N
N
j
0 , para j 0, 1, . . . , N.
j
Sumando todas estas ecuaciones se llega a la identidad
1 0
k 0
N
k
0 2N .
79
1{4
0
Urna A
Urna B
Figura 3.17
En vista del teorema erg
odico, esto significa que, a largo plazo, la cadena de
Ehrenfest se encontrar
a en el estado 1 el 50 % del tiempo, y en los estados 0 y
2 el 25 % del tiempo en cada uno de ellos. Los tiempos medios de recurrencia
son
p0, 1 , 2 q p4, 2, 4q,
es decir, si por ejemplo la cadena se encuentra en alg
un momento en el
estado 0, entonces tardar
a en promedio 4 tiempos para regresar nuevamente
a ese estado. En este caso particular, estos tiempos medios de recurrencia
pueden corroborarse usando la definici
on b
asica de esperanza.
Ejemplo 3.23 La cadena de racha de exitos, aunque no es finita, es irreducible y recurrente positiva. Por lo tanto tiene una u
nica distribuci
on estacionaria dada por la distribuci
on geop1 pq, es decir, el sistema de ecua-
80
ciones
ci
on
3. Cadenas de Markov
P
junto con
j
p1 p q p j ,
para j
0, 1, 2 . . .
3.14.
Distribuciones lmite
n1P 0 P n,
n 1.
(3.10)
pnl8
m P q.
n
(3.11)
(3.12)
81
Definici
on 3.14 Considere una cadena de Markov con matriz de probabilidades de transici
on P ppij q y distribuci
on inicial 0 . Se le llama distribuci
on lmite de esta cadena al vector
nl8
m 0 P n lm
n8
i0 pij pnq.
0 1
1 0
2n 1
0 1
1 0
2n
1 0
0 1
1.
2. j
i pij .
82
3. Cadenas de Markov
Demostraci
on.
Caso 1. Espacio de estados finito. Suponga que el espacio de estados es el
conjunto finito t0, 1, . . . , N u. Entonces la primera afirmacion se cumple con
igualdad pues
N
j 0
lm pij pnq lm
pij pnq 1.
n8
n8
j 0
j 0
i pij
i 0
i 0
m
j .
r mlm
8 pki pmq s pij
lm
8 i0
lm pkj pm
1q
j 0
j 0
rnl8
m s pij pnq lm
n8
j 0
pij pnq lm 1 1.
n
83
estado j,
N
i pij
i 0
n8
i 0
lm
nl8
m pkj pn 1q
j .
Tomando el lmite cuando N 8 se obtiene que para cualquier estado j,
i pij j .
(3.13)
i
i pij
i,j
pij
i .
84
3. Cadenas de Markov
Demostraci
on. El metodo de esta demostracion se conoce como tecnica
de acople. Sea tYn : n 0u una cadena de Markov independiente de la
original tXn : n 0u, pero con la misma matriz de probabilidades de
transicion. Entonces el proceso tZn : n 0u definido por Zn pXn , Yn q es
una cadena de Markov con probabilidades de transicion
P pZ n
px n
1 , yn 1
q | Zn pxn, ynqq px ,x
n
n 1
pyn ,yn 1 ,
x
yn .
Puede adem
as verificarse que la cadena tZn : n 0u es recurrente positiva.
odiAdem
as es irreducible, pues como tXn : n 0u y tYn : n 0u son aperi
cas, existe un n
umero natural N tal que pij pnq pkl pnq 0, para toda n N .
Por lo tanto ppi,kqpj,lq pnq 0.
Sea j un estado cualquiera de la cadena original. Defina el primer momento
en el que la cadena tZn : n 0u visita el estado pj, j q como j mntn
1 : Zn pj, j qu. Sea adem
as mntn 1 : Xn Yn u. Este es el primer
momento de acople de las dos cadenas. Como tZn : n 0u es recurrente,
as j . Por la propiedad de Markov,
P p 8q 1. Adem
P pXn
x, nq
n
j
r 1
n
r 1
n
r 1
r 1
P pYn
P pXn
x, Xr j, rq
P pXn
x | Xr j, rq P pXr j, rq
P pYn
x | Yr j, rq P pYr j, rq
P pYn
x | Yr j q P pYr j, rq
x, nq,
85
j q P pXn j, nq P pXn j, nq
P pYn j, nq P pXn j, nq
P pYn j q P p nq.
De manera an
aloga, P pYn j q P pXn j q P p nq. Por lo tanto,
|P pXn j q P pYn j q| P p nq 0,
(3.14)
cuando n 8. Si ahora se toma X0 i con probabilidad uno, entonces se
tiene que
P pXn
jq
P pYn
j | Y0 iq i
i pij pnq j .
|pij pnq j | 0.
El siguiente resultado establece condiciones suficientes para la existencia
del lmite de las probabilidades de transicion cuando el n
umero de pasos
crece a infinito, asegurando adem
as que el lmite obtenido constituye una
distribuci
on de probabilidad estacionaria.
Teorema 3.3 (Convergencia para cadenas de Markov) Considere
una cadena de Markov que es:
a) irreducible,
b) recurrente positiva, y
c) aperi
odica.
86
3. Cadenas de Markov
nl8
m pij pnq existen, est
an dadas por
j
i pij ,
(3.15)
0, y j j 1.
Demostraci
on. Como la cadena es irreducible y recurrente positiva, tiene
Es decir, es la u
nica
una u
nica distribuci
on estacionaria dada por j 1{j .
soluci
on al sistema de ecuaciones P , con j 0 y j j 1. Ademas,
por la aperiodicidad, pij pnq j .
3.15.
Cadenas regulares
Las cadenas de Markov regulares son cadenas finitas que cumplen la propiedad de que a partir de un cierto momento, con probabilidad positiva se
puede pasar de un estado a otro cualquiera en un paso. Demostraremos que
para este tipo de cadenas siempre existe la distribucion lmite.
Definici
on 3.15 Se dice que una cadena finita o su matriz de probabilidades de transici
on es regular si existe un entero natural n tal que pij pnq 0,
para cualesquiera estados i y j.
En palabras, una cadena de Markov finita es regular si alguna potencia de
su matriz de probabilidades de transicion tiene todas sus entradas estrictamente positivas. Otra forma de definir a una cadena regular es a traves del
siguiente resultado.
Proposici
on 3.20 Una matriz estoc
astica es regular si, y s
olo si, es finita,
irreducible y aperi
odica.
Demostraci
on. Si la matriz es regular, entonces claramente es finita,
irreducible y aperi
odica. Recprocamente, por la irreducibilidad, para cualesquiera dos estados i y j, existe un entero m tal que pij pmq 0. Entonces
existe un entero N tal que pij pm n dpj qq 0, para cada n N . Como
dpj q 1 y siendo la matriz finita, esto implica la regularidad.
87
Para este tipo particular de cadenas finitas se conocen los siguientes resultados acerca de su comportamiento lmite.
Proposici
on 3.21 Toda cadena finita que adem
as es:
1. regular, tiene como distribuci
on lmite la u
nica soluci
on no negativa
del sistema de ecuaciones (3.15).
2. regular y doblemente estoc
astica, tiene como distribuci
on lmite la distribuci
on uniforme.
3. irreducible, aperi
odica y doblemente estoc
astica, tiene como distribuci
on lmite la distribuci
on uniforme.
Demostraci
on.
1. Como la cadena es regular, es irreducible, aperi
odica, y es recurrente
positiva por ser finita. Por el Teorema 3.3, la distribucion lmite existe
y est
a dada por el sistema de ecuaciones (3.15).
2. Como la cadena es regular, es aperi
odica, irreducible y recurrente
positiva por ser finita. Entonces la distribucion lmite existe. Por
la hip
otesis de doble estocasticidad y
suponiendo que el espacio de
pij pnq 1. Tomando el
estados es t0, 1, . . . , N u, se tiene que N
i0
lmite cuando n tiende a infinito se obtiene N
i0 j 1. Por lo tanto,
j 1{pN 1q.
3. Este resultado es identico al anterior, pues hemos demostrado que la
regularidad es equivalente a la finitud, irreducibilidad y aperiodicidad
conjuntamente.
88
3. Cadenas de Markov
1{6
0
1{6
1{6
1{6
1{6
1{6
0
1{6
1{6
1{6
1{6
1{6
1{6
1 {6
1{6
0
1{6
1{6
1{6
1{6
1{6
1{6
1{6
0
1{6
1{6
1{6
1{6
1{6
1{6
1{6
0
1{6
1{6
1{6
1{6
1{6
1{6
1{6
0
1{6
1{6
1{6
1{6
1{6
1{6
1{6
0
El evento pSn es m
ultiplo de 7q es identico al evento pXn 0q, de modo
que la probabilidad de que Sn sea m
ultiplo de 7 a largo plazo es el tiempo de
estancia a largo plazo que la cadena tXn : n 1u pasa en el estado 0. El
problema se reduce a encontrar la distribuci
on lmite de P . Pero esta matriz
es regular, y entonces su distribuci
on lmite es la uniforme. Por lo tanto,
lm P pXn
3.16.
0q 1{7.
Cadenas reversibles
89
1 , . . . , yn
| yr q.
Sin embargo, las probabilidades de transicion del nuevo proceso no son homogeneas pues para 0 n m,
P pYn
j | Yn iq
P pXmn i, Xmn1
P pXmn iq
jq
i | Xmn1 j q PPpXpXmn1iqj q
mn
P pYn 1 j q
pji P pY iq ,
n
es decir, estas probabilidades dependen de n a traves del cociente P pYn 1
j q{P pYn iq. Tal dependencia desaparece cuando se toma como hip
otesis
la existencia de una distribucion estacionaria para tXn : n 0u, pues en
P pXmn
j | Yn iq pji
j
.
i
(3.16)
j pji.
(3.17)
90
3. Cadenas de Markov
A la ecuaci
on (3.17) se llama ecuaci
on de balance detallado. La utilidad de
las cadenas reversibles est
a dada por el siguiente resultado, el cual ejemplificaremos m
as adelante con un par de aplicaciones.
Proposici
on 3.22 Considere una cadena irreducible para la cual existe una
distribuci
on que cumple la identidad (3.17). Entonces es una distribuci
on estacionaria y la cadena es reversible.
Demostraci
o
n. Si cumple
(3.17), entonces es una distribucion esta
cionaria pues i i pij i j pji j . Ademas la cadena es reversible por
definicion.
Ejemplo 3.26 Considere nuevamente la cadena de Ehrenfest. El espacio
on son, para i
de estados es t0, . . . , N u, y las probabilidades de transici
1, . . . , N 1,
$
& pN iq{N si j i 1,
si j i 1,
pij
i{N
%
0
otro caso,
1
1 ,
N
N i 1
i 1
i1
i 1 , para i 1, . . . , N 1,
i
N
N
1
N 1 .
N
N
A partir de estas ecuaciones hemos demostrado en el Ejemplo 3.22 de la
p
agina 78 que es la distribuci
on binpN, 1{2q. Alternativamente, usando el
concepto de reversibilidad se puede intentar encontrar una posible soluci
on
al sistema de ecuaciones
i pij j pji ,
0
Ni 1i i,
para i 0, 1, . . . , N
1.
91
..
.
N
0 ,
1
N
0 ,
2
N
N
0 .
i 0
N
i
0 2N .
pij
' q1i p q
i
i
'
%
0
si j i 1,
si j i 1,
si j i,
otro caso,
0 p1 p0 q
i
1 qi 1
q 1 1 ,
i p1 pi qi q
i1 pi1 ,
para i 1.
92
3. Cadenas de Markov
fij pnq
fij
Nij pnq
Nij
ij
3.17. A. A. Markov
ij
93
3.17.
A. A. Markov
94
3. Cadenas de Markov
de los grandes n
umeros y el teorema central del lmite, as como otros resultados fundamentales de la teora de la probabilidad, y sobre el metodo
de mnimos cuadrados. Markov fue un profesor muy estricto pero tambien
muy claro en sus exposiciones, y demandaba mucho rigor matem
atico en
los argumentos de sus estudiantes. Markov desarrollo su teora de cadenas
de Markov desde un punto de vista matem
atico, aunque tambien aplic
o su
modelo en el an
alisis de estilos de escritura en poemas. Con sus trabajos sobre cadenas de Markov fund
o una nueva rama de la probabilidad e inici
o la
teora de los procesos estocasticos.
Fuente: Archivo MacTutor, Universidad de St. Andrews.
3.18.
Ejercicios
c) Esta es la condici
on de Markov para tiempos no necesariamente
consecutivos: para cualesquiera enteros 0 n1 nm 1 ,
p px n m
| xn , . . . , xn q ppxn
1
m 1
| x n q.
m
95
3.18. Ejercicios
d) Esta condici
on expresa la independencia entre el pasado y el
futuro cuando se conoce el presente: para cualesquiera enteros
0 k n,
ppx0 , . . . , xk1 , xk
1 , . . . , xn
| xk q
1 , . . . , xn
| xk q.
e) En esta condici
on se consideran varios eventos en el futuro: para
cualesquiera enteros n, m 1,
ppxn
m , . . . , xn 1
Matrices estoc
asticas
21. Demuestre que:
a) si P y Q dos matrices estocasticas (o doblemente estocasticas)
de la misma dimension, entonces P Q tambien es estocastica (o
doblemente estocastica).
b) si P es estoc
astica (o doblemente estocastica), entonces para cualquier entero positivo n, la potencia P n tambien es estocastica (o
doblemente estocastica).
22. Demuestre que una matriz cuadrada P puede ser tal que la potencia
P n sea estoc
astica para alg
un entero n 2, sin ser P misma estocastica.
23. Demuestre que si una matriz estocastica P es simetrica, entonces para
cualquier n 1, la potencia P n tambien es simetrica.
24. Demuestre que toda matriz estocastica simetrica es doblemente estoc
astica.
25. Demuestre que toda matriz estocastica finita tiene siempre al n
umero
uno como valor propio.
96
3. Cadenas de Markov
Probabilidades de transici
on
27.
0, X1 0 | X0 1q.
b) P pX3 1, X2 1 | X1 2q.
Sea tXn : n 0u una cadena de Markov con dos estados t0, 1u, con
distribuci
on inicial P pX0 0q 1{2, P pX0 1q 1{2, y con matriz
de probabilidades de transicion
P
4{10 6{10
9{10 1{10
Calcule:
a) P pX0
28.
0, X1 1, X2 0q.
b) P pX0 0 | X1 1q.
c) P pX1 0q.
d) P pX2 1q.
e) P pX0 0, X1 0, X2 1, X3 1q.
Sea tXn : n 0u una cadena de Markov con espacio de estados t0, 1u,
con distribuci
on inicial P pX0 0q 1{5, P pX0 1q 4{5, y con
matriz de probabilidades de transicion
P
Encuentre:
a) la distribuci
on de X1 .
1{2 1{2
2{3 1{3
97
3.18. Ejercicios
b) la distribuci
on de X2 .
c) la distribuci
on conjunta de X1 y X2 .
1{5 4{5
1{2 1{2
Suponga que la cadena tiene una distribucion inicial dada por el vector
p3{5, 2{5q. Encuentre P pX1 0q, P pX1 1q, P pX2 0q y P pX2 1q.
30. Considere una cadena de Markov de dos estados: 0 y 1, con distribuci
on inicial p1{2, 1{2q, y con matriz de probabilidades de transicion
P
1{3 2{3
3{4 1{4
Encuentre:
a) la distribuci
on de X1 .
b) P pX5
c)
d)
e)
f)
g)
1 | X4 0q.
P pX3 0 | X1 0q.
P pX100 0 | X98 0q.
P pX1 0 | X2 0q.
P pX1 1 | X2 1, X3 1q.
P pX3 0, X2 0 | X1 0q.
31. Ecuaci
on de Chapman-Kolmogorov para cadenas no homogeneas. Considere una cadena de Markov con probabilidades de transicion no necesariamente homogeneas pij pn, mq P pXm j | Xn iq, para n m.
Demuestre que para cualquier tiempo u tal que n u m,
pij pn, mq
98
3. Cadenas de Markov
a) pij pnq pij p1q pjj pn 1q.
e)
pij pnq.
n 1
p1 piipnqq.
0.
i j si, y s
olo si, fij fji 0.
8
n 1
pjj pnq
1 s.
n 1
Cadenas de Markov
34. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes con
valores en el conjunto t0, 1, . . . u, y con identica distribucion dada por
las probabilidades a0 , a1 , . . . Determine si el proceso tXn : n 1u
dado por Xn mn t1 , . . . , n u es una cadena de Markov. En caso
afirmativo encuentre la matriz de probabilidades de transicion.
35. Para la cadena de Markov de dos estados, compruebe que:
a) P pX0
b)
c)
0, X1 1, X2 0q ab p0.
P pX0 0, X2 1q rab p1 aqas p0 .
P pX2 0q rp1 aq2 abs p0 rp1 bqb
bp1 aqs p1 .
0q a b b p0 a b b q p1 a bqn .
1q a a b p1 a a b q p1 a bqn .
Cu
al es el lmite de esta distribucion cuando n 8?
99
3.18. Ejercicios
Figura 3.18
38. Se lanza un dado equilibrado repetidas veces. Sea Xn el n
umero de
lanzamientos realizados al tiempo n desde la u
ltima vez que apareci
o el
n
umero 6. Demuestre que tXn : n 1u es una cadena de Markov y
encuentre las probabilidades de transicion.
39. Sea tXn : n 0u una cadena de Markov con probabilidades de transici
on pij , y sea m 1 un entero fijo. Demuestre que los siguientes
procesos son tambien cadenas de Markov y encuentre las correspondientes probabilidades de transicion.
a) tXn
: n 0u.
b) tXnm : n 0u.
jq
P pXn1
iq pij p1q.
b) P pXn
jq
P pX0
iq pij pnq.
100
3. Cadenas de Markov
y probabilidades de transicion tales que para cualquier estado i,
E pXn
1 | Xn iq
j pij
i,
j 0
max tn 1 : Xn ku.
i
PP ppX
X i
1q
,
1q
pi,i
i
PP ppX
X i
2q
.
1q
43. Considere la cadena de inventarios en donde n tiene distribucion uniforme en el conjunto t0, 1, 2, 3u, con s 1 y S 4. Encuentre la
matriz de probabilidades de transicion de esta cadena.
44. Sea tXn : n 0u la cadena de Markov de dos estados. Demuestre
que el proceso Yn pXn1 , Xn q es una cadena de Markov. Determine
el espacio de estados de este nuevo proceso y encuentre la matriz de
probabilidades de transicion. Generalice este resultado para cualquier
cadena con espacio de estados t0, 1, . . . u.
101
3.18. Ejercicios
n n1.
Xn Xn1 n .
Xn Xn1 n ,
a) Xn
b)
c)
(m
od. 2).
0,
Xn
(m
od. 5), para n 0.
48. Modificaci
on de la cadena de Ehrenfest. Considere el esquema de dos
urnas como en la cadena de Ehrenfest con un total de N bolas. Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia
de urna con una distribucion de probabilidad especificada p1 , . . . , pN ,
sin importar la posici
on de las bolas. Sea Xn el n
umero de bolas en
una de las urnas despues del n-esimo ensayo. Es esta una cadena de
Markov? En caso afirmativo encuentre la matriz de probabilidades de
transicion.
49. Sea tXn : n 0u una cadena de Markov con espacio de estados E.
Defina el proceso tYn : n 0u de la siguiente forma: Yn pXn , Xn 1 q.
102
3. Cadenas de Markov
Determine el espacio de estados del proceso tYn : n 0u, demuestre
que es una cadena de Markov y encuentre sus probabilidades de transici
on en terminos de las probabilidades de transicion de tXn : n 0u.
Comunicaci
on
aq
0.3
0.5
0.4 0.6
0.7
0
0.5
bq
0 0.2 0 0.8
0.4 0.6 0
0
P
0
0
1
0
0
0 0.3 0.7
52. Cu
al es el n
umero m
aximo y mnimo de clases de comunicaci
on que
puede existir para una cadena de Markov de n estados? Dibuje un
diagrama de transicion ilustrando cada una de estas dos situaciones.
53. Dibuje el diagrama de transicion de una cadena de Markov que sea:
a) finita e irreducible.
b) finita y reducible.
c) infinita e irreducible.
d) infinita y reducible.
54. Dibuje un diagrama de transicion y encuentre las clases de
caci
on para cada una de las siguientes cadenas de Markov.
0
0
1
1{2 1{2 0
1
0
0
aq P 1{2 0 1{2
bq P
1{2 1{2 0
0
0
1
1{3 1{3 1{3
0 1 0 0
0 0 0 1
cq P
0 1 0 0
1{2 0 1{2 0
comuni
0
0
0
0
103
3.18. Ejercicios
bq P
aq P 1{2 1{2 0
1{2 1{2 0 0
0 1{2 1{2
1{3 1{3 1{3 0
cq
1{2 0 1{2 0
0
0
0
1
P
1{2 0 1{2 0
1{4 1{4 1{4 1{4
a) P
b) P
0
0
0
1
0
0
1
0
0
0
0
0
1
0
0
1
0
0
0
0
0 1{2 1{2
0
0
1
0
0
1{5 1{5 1{5 1{5 1{5
58. En la Proposici
on 3.4 se ha demostrado que el periodo es una propiedad de clase, es decir, dos estados que pertenecen a la misma clase de
comunicaci
on tienen el mismo periodo. El recproco de tal afirmacion
es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Proporcione un ejemplo de tal
situaci
on.
104
3. Cadenas de Markov
0.
62. Use la identidad (3.2) para demostrar que para cada n 1, se cumple
la desigualdad pij pnq P pij nq. Observe que la igualdad se cumple
en particular cuando j es un estado absorbente.
63. Demuestre las siguientes igualdades.
a) P pij
b)
1q pij p1q.
k j
c) P pij
n
1q
nq,
para n 1.
k j
105
3.18. Ejercicios
Recurrencia y transitoriedad
1{2
1{2
0
0
1{6
1{6
1{2
1{2
0
0
1{6
1{6
0
0
1{2
1{2
1{6
1{6
0
0
0
0
0
0
1{2 0
0
1{2 0
0
1{6 1{6 1{6
1{6 1{6 1{6
aq
1{2 1{2 0
0 1{2 1{2
P
0 1{2 1{2
bq
1{2
0
P
0
1{4
1{2 0
0
1{2 1{2 0
1{2 1{2 0
1{4 1{4 1{4
i.
72. Demuestre que toda cadena de Markov finita tiene por lo menos una
clase de comunicaci
on recurrente.
106
3. Cadenas de Markov
1{2
0
1{2
2
1{2
1 {2
1
1
3
1
(b)
(a)
Figura 3.19
Tiempo medio de recurrencia
73. Considere una sucesion de ensayos independientes Bernoulli con resultados A y B, y con probabilidades P pAq p y P pB q q 1 p.
Calcule el n
umero promedio de ensayos para la primera ocurrencia de
la secuencia AB.
Clases cerradas
74. Demuestre que:
a) La uni
on de dos clases cerradas es una clase cerrada.
b) Toda cadena de Markov tiene por lo menos una clase cerrada.
75. Demuestre que la coleccion de estados C es cerrada si, y s
olo si, alguna
de las siguientes condiciones se cumple. Para cualesquiera i P C y
j R C,
a) pij pnq 0, para cada n 1.
b) pij p1q 0.
107
3.18. Ejercicios
c) La uni
on de todas las clases de comunicaci
on recurrentes de una
cadena de Markov es una clase cerrada.
77. Proporcione ejemplos que muestren la invalidez de las siguientes afirmaciones.
a) Si C es una clase cerrada, entonces C c es cerrada.
C2 ,
n 1
j | X0 x0 , . . . , X
es igual a P pX
n 1
n 1
xn1, X n iq
j | X n iq.
79. Sea tXn : n 0u una cadena de Markov con espacio de estados S y sea
S1 es subconjunto propio no vaco de S. Defina el proceso tYn : n 0u
como el proceso original visto u
nicamente cuando toma valores en S1 .
a) Demuestre que 0 , 1 , . . . definidos abajo son tiempos de paro respecto del proceso tXn : n 0u.
0
n
mn tn 0 : Xn
P S1u,
mn tn n1 : Xn P S1 u,
n 1.
108
3. Cadenas de Markov
b) Suponiendo que P pn 8q 1 para toda n 0, demuestre que
tYn : n 0u es una cadena de Markov y encuentre su matriz de
probabilidades de transicion. Observe que Yn Xn para n 0.
0,
mn tn n : Xn
X u,
n
X
n 0.
, para n 0.
ai para i 0, 1, 2, . . .
pi,i1 1 para i 1, 2, 3, . . .
a1 1. Encuentre condiciones suficientes sobre
p0,i
en donde a0
estas probabilidades para que la cadena sea:
a) Irreducible.
b) Recurrente.
c) Recurrente positiva.
109
3.18. Ejercicios
aq
1{2 1{2 0
P
0 1{2 1{2
0 1{2 1{2
bq
1{2
0
P
0
1{4
1{2 0
0
1{2 1{2 0
1{2 1{2 0
1{4 1{4 1{4
1p
0
P
1p
0
p
0
0 1p
p
0
1
0
0
p
0
0
1{2 0 1{2 0
0 1{2 0 1{2
P
1{2 0 1{2 0
.
0 1{2 0 1{2
87. Demuestre que la cadena del jugador tiene una infinidad de distribuciones estacionarias.
88. Demuestre que la cadena de variables aleatorias independientes tiene
una u
nica distribuci
on estacionaria dada por p0 , 1 , . . .q pa0 , a1 , . . .q.
89. Demuestre que toda matriz doblemente estocastica, aperi
odica, finita
e irreducible tiene una u
nica distribucion estacionaria dada por la
distribuci
on uniforme.
110
3. Cadenas de Markov
90. Demuestre que si la distribucion uniforme es una distribucion estacionaria para una cadena de Markov finita, entonces la correspondiente matriz de probabilidades de transicion es doblemente estocastica.
91. Considere una cadena de Markov a tiempo discreto con espacio de
estados finito y tal que para cada estado j los siguientes lmites existen
y no dependen del estado i,
lm pij pnq j .
Demuestre que
92. Justifique la existencia y unicidad, y encuentre la distribucion estacionaria para una caminata aleatoria simple no simetrica sobre el conjunto t0, 1, . . . , nu, en donde los estados 0 y n son reflejantes, es decir:
p00 q, p01 p, pnn p, pn,n1 q. Las otras probabilidades de
transicion son: pi,i 1 p y pi,i1 q para i 1, 2, . . . , n 1.
93. Considere una caminata aleatoria tXn : n 0u sobre el conjunto
t0, 1, . . . , N 1, N u en donde los estados 0 y N son reflejantes, es decir,
P pXn 1 1 | Xn 0q 1 y P pXn 1 N 1 | Xn N q 1. El resto
de las probabilidades de transicion son P pXn 1 i 1 | Xn iq p
y P pXn 1 i 1 | Xn iq q, para i 1, 2, . . . , N 1. Vease la
Figura 3.20. Calcule el n
umero promedio de visitas que la caminata
realiza a cada uno de sus estados.
q
1
0
i 1
p
i
1
1
N 1
Figura 3.20
94. Sea P la matriz de probabilidades de transicion de una cadena de Markov con n estados. Demuestre que es una distribucion estacionaria
para P si y s
olo si
pI P Aq a,
111
3.18. Ejercicios
a b
c d
A1
ad bc
d
c
b
a
p0 , 1q p a b b , a a b q.
96. Demuestre que si es una distribucion estacionaria para P , entonces
lo es para P n para cualquier n natural. Por otra parte, si es estacionaria para P n para alg
un n 2, entonces no necesariamente es
estacionaria para P . Considere por ejemplo la matriz estocastica
P
0 1
1 0
Entonces P 2 es la matriz identidad que acepta como distribucion estacionaria a cualquier distribucion de probabilidad p0 , 1 q, sin embargo no es estacionaria para P , a menos que sea la distribucion
uniforme.
Distribuciones lmite
97. Calcule la distribuci
on lmite, cuando existe, de las siguientes cadenas
de Markov.
112
3. Cadenas de Markov
aq
0
0
1
1
0
0
P
1{2 1{2 0
1{3 1{3 1{3
0
0
P
0
1{2
cq
1 0
0 0
1 0
0 1{2
0
0
0
0
bq
0
0
0
1 {3
1
0
1
0
0
0
0
2{3
0
1
0
0
0
1
0
0
aq
0 1 0
P 0 0 1
1 0 0
bq
0
1
0
P 0 1{2 1{2
1{2 1{2 0
100. Cu
antas potencias de una matriz se necesitan calcular como m
aximo
para verificar que es regular?
101. Sean tXn : n 0u y tYn : n 0u dos cadenas de Markov independientes y regulares. Demuestre que Zn pXn , Yn q es una cadena de
Markov regular y encuentre sus probabilidades de transicion.
113
3.18. Ejercicios
Cadenas reversibles
p0 , 1q p a b b , a a b q.
114
3. Cadenas de Markov
Captulo 4
El proceso de Poisson
En el presente y en el siguiente captulo estudiaremos el modelo de cadena
de Markov a tiempo continuo. Como una introducci
on a la teora general que
se expondra m
as adelante, en este captulo estudiaremos uno de los ejemplos
m
as importantes de este tipo de modelos: el proceso de Poisson. Definiremos
este proceso de varias formas equivalentes y estudiaremos algunas de sus
propiedades, sus generalizaciones y algunas de sus aplicaciones. El proceso
de Poisson es un modelo relevante tanto en las aplicaciones como en la teora
general de los procesos estocasticos.
4.1.
Definici
on
116
4. El proceso de Poisson
max tn 1 : T1
Tn
tu.
Se postula adem
as que el proceso inicia en cero y para ello se define m
ax H
0. En palabras, la variable Xt es el entero n m
aximo tal que T1 Tn es
menor o igual a t, y ello equivale a contar el n
umero de eventos ocurridos
hasta el tiempo t. A este proceso se le llama proceso de Poisson homogeneo,
tal adjetivo se refiere a que el par
ametro no cambia con el tiempo, es
decir, es homogeneo en
Xt p q
el tiempo. Una trayectoria
3
tpica de este proceso puede
observarse en la Figura 4.2,
2
la cual es no decreciente,
1
constante por partes, continua por la derecha y con
t
lmite por la izquierda. A
W1 W2
W3
0
los tiempos T1 , T2 , . . . se les
T1
T2
T3
T4
llama tiempos de estancia
o tiempos de interarribo,
Figura 4.2: El proceso de Poisson
y los tiempos de ocurrencia de eventos.
y corresponden a los tiempos que transcurren entre
un salto del proceso y el siguiente salto. Hemos supuesto que estos tiempos
son independientes y que todos tienen distribucion exppq. En consecuencia,
la variable Wn T1 Tn tiene distribucion gamapn, q. Esta variable representa el tiempo real en el que se observa la ocurrencia del n-esimo
evento. Observe la igualdad de eventos pXt nq pWn tq, esto equivale
a decir que al tiempo t han ocurrido por lo menos n eventos si, y s
olo si, el
n-esimo evento ocurrio antes de t. Una de las caractersticas sobresalientes
b
bc
bc
bc
n
4.1. Definicio
117
nq et ptn!q
Demostraci
on. Como Wn tiene distribucion gamapn, q, su funcion de
distribuci
on es, para t 0,
P pWn tq 1 et
n1
k 0
ptqk .
k!
nq
P pXt
nq P pXt n 1q
P pWn tq P pWn 1 tq
ptqk .
et
k!
Entonces, dado que Xt tiene una distribucion Poissonptq, se tiene que
E pXt q t, y VarpXt q t. Por lo tanto t es el promedio de observaciones o registros del evento de interes en el intervalo r0, ts. As, mientras
mayor es la longitud del intervalo de observacion, mayor es el promedio de
observaciones realizadas, y mayor tambien la incertidumbre del n
umero de
observaciones.
P
erdida de memoria y sus consecuencias
Una de las propiedades que caracterizan de manera u
nica a la distribucion
exponencial dentro del conjunto de distribuciones absolutamente continuas
es que satisface la propiedad de perdida de memoria, esto es, si T tiene
distribuci
on exppq, entonces para cualesquiera tiempos s, t 0 se cumple
la igualdad
P pT t s | T sq P pT tq.
118
4. El proceso de Poisson
bc
bc
bc
Proposici
on 4.2 Para cualesquiera tiempos 0 s t, y para n 0, 1, . . .
P pXt Xs
Demostraci
on.
P pXt Xs
sqs
nq P pXts nq eptsq rpt n!
(4.1)
nq
P pXt Xs
n | Xs kq P pXs kq.
k 0
nq
P pXts
nq P pXs kq
k 0
P pXts
nq
P pXts
n q.
P pXs
kq
k 0
n
4.1. Definicio
119
(4.2)
Demostraci
on.
a) Considere las probabilidades condicionales
P pXtn
P pXtn
xn | Xt x1 , . . . , Xt xn1q,
xn | Xt xn1q,
1
n 1
n 1
120
4. El proceso de Poisson
x1, Xt Xt x2 , . . . , Xt Xt xnq
2
n 1
es igual a
P pXt1
n 1
n 1
Las propiedades c), y d) son consecuencia inmediata de (4.1). La estacionariedad de los incrementos significa que la distribucion de la variable Xt Xs ,
nicamente a traves de la diferencia
para 0 s t, depende de s y de t u
t s, lo cual es evidente de (4.1).
La expresi
on (4.2) establece de manera clara que las probabilidades de transici
on son estacionarias en el tiempo, es decir, no dependen del par
ametro s,
y se escriben simplemente como pij ptq. Pero tambien es interesante observar
que (4.2) dice que estas probabilidades son estacionarias en el espacio, es
decir, dependen de los estados i y j u
nicamente a traves de la diferencia
j i. En smbolos, para j i,
pij ptq p0,j i ptq.
Ejemplo 4.1 (Paradoja del autob
us) Suponga que la llegada de autobuses a una estaci
on se modela mediante un proceso de Poisson de par
ametro
, es decir, el tiempo que transcurre entre la llegada de un autob
us y el siguiente es una variable aleatoria con distribuci
on exppq. Suponga que el
tiempo es medido en minutos. La propiedad de perdida de memoria en este
contexto puede interpretarse de la siguiente forma: una persona ha llegado a la estaci
on y ha esperado s minutos sin que un autob
us aparezca. La
probabilidad de que tenga que esperar m
as de t minutos adicionales es la
misma que la probabilidad de espera de m
as de t minutos para una persona
que acaba de llegar a la estaci
on!
ametro y sea
Ejemplo 4.2 Sea tXt : t 0u un proceso de Poisson de par
S una variable aleatoria continua con soporte el intervalo p0, 8q e independiente del proceso de Poisson. Entonces para cualquier t 0, el incremento
n
4.1. Definicio
121
XS t Xt tiene distribuci
on Poissonptq. En efecto, para cualquier entero
k 0, y suponiendo que F psq es la funci
on de distribuci
on de la variable S,
P pXS
t Xt k q
8
0
8
08
P pXS
Xt k | S sq dF psq
P pXs
Xs kq dF psq
kq dF psq
P pXt kq.
0
P pXt
Xt
Yt
Xt
Yt
ppX
Y qr0,t1 s
0, pX
Y qrT1 ,T1
t2
s 0, . . . , pX
Y qrTn1 ,Tn1
tn
s 0q,
122
4. El proceso de Poisson
esto es,
pXr0,t s 0q X pYr0,t s 0q
pXrT ,T t s 0q X pYrT ,T t s 0q
pXrT ,T t s 0q X pYrT ,T
n 1
n 1
n 1
n 1
tn
s 0q.
Por la independencia de los procesos, la propiedad de incrementos independientes de cada uno de ellos, y el resultado del Ejemplo 4.2, la probabilidad
de este evento es
0q P pYr0,t s 0q
P pXrT ,T t s 0q P pYrT ,T t s 0q
P pXrT ,T t s 0q P pYrT ,T
P pXr0,t1 s
1
n 1
n 1
n 1
n 1
tn
s 0q.
Por lo tanto,
P pT1
q ep1
2 t1
2 t2
ep
q .
2 tn
k | Xt nq
n
k
s t, y sean k
p st qk p1 st qnk .
y n
n
4.1. Definicio
Demostraci
on.
P pXs
123
Por la definicion de probabilidad condicional,
n
k
1
1
qk p1
1
1
qnk .
Por la hip
otesis de independencia entre los procesos,
X2 ptq nq
X2 ptq nq
X2 ptq nq
X2 ptq nq
X2 ptq nq.
Proposici
on 4.6 Dado el evento pXt nq, el vector de tiempos reales
pW1, . . . , Wnq tiene la misma distribucion que el vector de las estadsticas de
on
orden pYp1q , . . . , Ypnq q de una muestra aleatoria Y1 , . . . , Yn de la distribuci
uniforme en el intervalo r0, ts, es decir,
fW1,...,Wn|Xt pw1 , . . . , wn | nq
$
& n!
tn
%
0
si 0 w1
otro caso.
wn t,
124
4. El proceso de Poisson
Demostraci
on. La formula general para la funcion de densidad conjunta
de las estadsticas de orden Yp1q , . . . , Ypnq de una muestra aleatoria Y1 , . . . , Yn
de una distribuci
on con funcion de densidad f py q es, para y1 yn ,
fYp1q ,...,Ypnq py1 , . . . , yn q n! f py1 q f pyn q.
Cuando la funci
on de densidad f py q es la uniforme en el intervalo r0, ts, esta
funci
on de densidad conjunta es la que aparece en el enunciado. Demostraremos que la distribuci
on conjunta de las variables W1 , . . . , Wn , condicionada
al evento pXt nq tambien tiene esta misma funcion de densidad. Usaremos
nuevamente la identidad de eventos pXt nq pWn tq. Para tiempos
0 w1 wn t, la funcion de densidad conjunta condicional
fW1 ,...,Wn |Xt pw1 , . . . , wn | nq
se puede obtener a traves de las siguientes derivadas
Bn P pW w , W w , . . . , W w | X nq
1
1
2
2
n
n
t
Bw1 Bwn
n
Bw B Bw P pXw 1, Xw 2, . . . , Xw n | Xt nq
1
n
n
B
Bw Bw P pXt Xw 0, Xw Xw 1, . . .
1
n
. . . , Xw Xw 1, Xw 1q{P pXt nq
n
Bw B Bw eptw q epw w q pwn wn1q
1
n
epw w q pw2 w1q ew w1 {r et ptqn {n! s
n
Bw B Bw n! pwn wn1q pw2 w1qw1 {tn
1
n
n!{tn.
Observe que bajo el signo de derivada, la probabilidad del evento pXw
1, Xw 2, . . . , Xw n, Xt nq, que aparece en la primera igualdad, es
identica a la probabilidad de pXt Xw 0, Xw Xw 1, . . . , Xw
Xw 1, Xw 1q, pues si alguna de estas identidades (exceptuando la
1
n 1
n 1
n 1
125
4.2.
Definiciones alternativas
La Definici
on 4.1 de proceso de Poisson es constructiva pues a partir de los
tiempos de interarribo se construye el proceso de conteo correspondiente.
Existen otras formas equivalentes y un tanto axiomaticas de definir a este
proceso. Revisaremos y comentaremos a continuaci
on dos de ellas. Una de
las ventajas de contar con estas definiciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de
las definiciones a conveniencia.
Definici
on 4.2 (Segunda definici
on) Un proceso de Poisson de par
ametro 0 es un proceso a tiempo continuo tXt : t 0u, con espacio de
estados t0, 1, . . . u, y que cumple las siguientes propiedades:
a) X0
0.
Xt 1q h ophq.
h Xt 2q ophq.
h
126
4. El proceso de Poisson
hq
p0 ptq p0 pt, t
p0 ptq p1 h
hs
ophqq.
cuya soluci
on es p0 ptq c et , en donde la constante c es uno por la condici
on inicial p0 p0q 1. Ahora encontraremos pn ptq para n 1. Nuevamente
por independencia,
p n pt
hq
pn ptq p0 pt, t
pn ptq p1 h
hs
ophqq
Haciendo h 0 se obtiene
1
pn ptq pn ptq
pn1 ptq ph
hs
ophq
ophqq
ophq.
pn1 ptq,
con condici
on inicial pn p0q 0 para n 1. Definiendo qn ptq et pn ptq
1
la ecuaci
on diferencial se transforma en qn ptq qn1 ptq, con condiciones
qn p0q 0 y q0 ptq 1. Esta ecuaci
on se resuelve iterativamente primero para
q1 ptq, despues para q2 ptq, y as sucesivamente, en general qn ptq ptqn {n!
Por lo tanto,
pn ptq et ptqn {n!
Esto significa que Xt tiene distribuci
on Poissonptq. Debido al postulado de
incrementos estacionarios, la variable Xt s Xs tiene la misma distribuci
on
que Xt .
127
Definici
on 4.3 (Tercera definici
on) Un proceso de Poisson de par
ametro
0 es un proceso a tiempo continuo tXt : t 0u con espacio de estados
t0, 1, . . .u, con trayectorias no decrecientes y que cumple las siguientes propiedades:
a) X0
0.
Xt 1q
1 P pXt
1 eh
1 p1 h
h
ophq.
Xt 0q
ophqq
Analogamente
P pXt
Xt 2q 1 P pXt h Xt 0q P pXt h Xt 1q
1 eh eh h
1 p1 h ophqq ph ophqq
ophq.
128
4. El proceso de Poisson
Estos c
alculos y lo desarrollado antes demuestran que pDef. 4.2q pDef. 4.3q.
Tambien antes hemos demostrado que pDef. 4.1q pDef. 4.3q. Para demostrar pDef. 4.3q pDef. 4.1q es necesario comprobar que los tiempos
de interarribo T1 , T2 , . . . son independientes con distribucion exppq. Daremos una demostracion no completamente rigurosa de este resultado. Sean
t1 , . . . , tn 0 tiempos cualesquiera y sean t1 , . . . , tn las longitudes que
se muestran en la Figura 4.5.
t1
t1
t2
tn
t2
tn
Figura 4.5
La probabilidad de que T1 tome un valor en el intervalo t1 , T2 tome un
valor en el intervalo t2 , y as sucesivamente es
fT1 ,...,Tn pt1 , . . . , tn qt1 tn
tn q
129
4.3.
a) X0 0.
b) Los incrementos son independientes.
c) Para cualquier t 0, y cuando h 0,
i) P pXt
ii) P pXt
Xt 1q ptq h
h Xt 2q ophq.
h
ophq.
t
0
psq ds,
130
4. El proceso de Poisson
es decir, para n 0, 1, . . .
P pXt
nq eptq rpn!tqs
Demostraci
on. La prueba es an
aloga a una de las realizadas en el caso homogeneo. Se define nuevamente pn ptq P pXt nq y se considera cualquier
h 0. Denotaremos por pn pt, t hs a la probabilidad P pXt h Xt nq.
Por la hip
otesis de independencia, para t 0 y cuando h 0,
p 0 pt
hq
p0 ptq p0 pt, t
hs
p0 ptq p1 ptqh
ophqq.
1
Calculando la derivada se obtiene la ecuaci
on diferencial p0 ptq ptq p0 ptq,
cuya soluci
on es p0 ptq c eptq , en donde la constante c es uno debido a
la condici
on inicial p0 p0q 1. Ahora encontraremos pn ptq para n 1.
Nuevamente por independencia,
pn pt
hq
pn ptq p0 pt, t
hs
pn ptq p1 ptqh
ophqq
hs
ophq
ophqq
ophq.
1
on inicial pn p0q 0
Entonces pn ptq ptq pn ptq ptq pn1 ptq, con condici
p
t
q
on diferencial se transpara n 1. Definiendo qn ptq e pn ptq la ecuaci
1
forma en qn ptq ptq qn1 ptq, con condiciones qn p0q 0 y q0 ptq 1. Esta
ecuaci
on se resuelve iterativamente primero para q1 ptq, despues para q2 ptq, y
as sucesivamente, en general qn ptq pptqqn {n! y de aqu se obtiene pn ptq.
Las trayectorias de un proceso de Poisson no homogeneo son semejantes
a las trayectorias de un proceso de Poisson, es decir, son trayectorias no
decrecientes y con saltos unitarios hacia arriba, pero la frecuencia promedio
con la que aparecen los saltos cambia a lo largo del tiempo. De manera
an
aloga al caso homogeneo, los incrementos de este proceso tambien tienen
distribuci
on Poisson.
Proposici
on 4.9 Para el proceso de Poisson no homogeneo, la variable
on Poissonppt sq psqq.
incremento Xt s Xs tiene distribuci
131
Demostraci
on. Se escribe Xt s Xs pXt s Xs q, en donde, por el
axioma de incrementos independientes, en el lado derecho aparece la suma
de dos variables aleatorias independientes. Recordando que la funcion generadora de momentos de la distribucion Poissonpq es M pr q exp rper 1qs,
al aplicar este resultado a la ecuaci
on anterior se obtiene
exp rpt
1qs MX X prq.
Por lo tanto, MX X pr q exp rppt sq psqq per 1qs.
Si la funci
on ptq es constante igual a , entonces ptq t, y se recupera
el proceso de Poisson homogeneo. Cuando ptq es continua, ptq es diferenciable y por lo tanto 1 ptq ptq. A la funcion ptq se le llama funcion de
intensidad y a ptq se le conoce como funcion de valor medio. A un proceso
de Poisson no homogeneo en donde tptq : t 0u es un proceso estocastico
t s
t s
Proposici
on 4.10 Sea tXt : t 0u un proceso de Poisson
no homogeneo
t
on de intensidad ptq 0 psq ds. Defina la
de par
ametro ptq, y funci
funci
on
1 ptq nf tu 0 : puq tu.
Entonces el proceso tX1 ptq : t
de par
ametro 1.
Demostraci
on. Usaremos la Definici
on 4.3 del proceso de Poisson. El
proceso tX1 ptq : t 0u empieza en cero y tiene incrementos independientes, pues si se consideran cualesquiera tiempos 0 t1 t2 tn ,
132
4. El proceso de Poisson
bajo la funci
on creciente 1 ptq estos tiempos se transforman en una nueva
colecci
on mon
otona de tiempos
0 1 pt1 q 1 pt2 q 1 ptn q.
Por lo tanto las siguientes variables son independientes
X1 pt1 q , X1 pt2 q X1 pt1 q , . . . , X1 ptn q X1 ptn1 q
Finalmente, para cualesquiera tiempos s, t 0 el incremento X1 pt
X1 psq tiene distribuci
on Poisson de par
ametro
p1 pt
q
sq s t.
4.4.
Nt
n 0
Yn .
(4.3)
133
bc
bc
bc
Proposici
on 4.11 El proceso de Poisson compuesto (4.3) cumple las siguientes propiedades:
1. Tiene incrementos independientes y estacionarios.
2. E pXt q t E pY q.
3. VarpXt q t E pY 2 q.
134
4.5.
4. El proceso de Poisson
En esta generalizaci
on del proceso de Poisson se considera que el par
ametro
no es constante sino una variable aleatoria.
Definici
on 4.6 Sea una variable aleatoria positiva con funci
on de distribuci
on F pq. Se dice que el proceso de conteo tXt : t 0u es un proceso
de Poisson mixto con variable mezclante si para cada entero n 1, y
cada sucesi
on de enteros no negativos k1 , . . . , kn , y cualesquiera tiempos
0 a1 b1 a2 b2 an bn se cumple la igualdad
P pXb1
Xa k1 , Xb Xa k2 , . . . , Xb Xa knq
8
n
rpbi aiqsk epb a q dF pq.
k!
1
(4.4)
i 1
t E pq.
Xt q st Varpq,
s, t 0.
135
4.6. Ejercicios
consultar para profundizar en el tema son: Basu [1], Jones y Smith [15], y
Taylor y Karlin [35]. El lector puede encontrar otros resultados generales
sobre el proceso de Poisson en el captulo sobre procesos de renovacion, en
el caso particular cuando los tiempos de interarribo son exponenciales.
4.6.
Ejercicios
Proceso de Poisson
1q.
b) P pX1 3, X2 6q.
c) P pX1 0 | X3 4q.
d) P pX2
4 | X1 2q.
e) P pX2 3q.
f) P pX1 4 | X1 2q.
b) E pX q.
t q.
c) E pX2 |
tq.
d) VarpX q.
b) E pX5 | X2
c) E pW2 q.
1q.
2. Sea Wn
d) E pW7 | X2
3q.
e) E pW7 | W5 4q.
f) E pW7 q.
106. Simulaci
on de la distribuci
on exponencial. Demuestre que si X es
una variable aleatoria con distribucion unifp0, 1q, entonces la variable
136
4. El proceso de Poisson
aleatoria Y p1{q lnp1 X q tiene distribucion exppq. Este resultado puede ser usado para generar valores de la distribucion exppq a
partir de valores de la distribucion unifp0, 1q.
107. Simulaci
on de la distribuci
on Poisson. Sea T1 , T2 , . . . una sucesion de
variables aleatorias independientes con identica distribucion exppq.
Defina la variable aleatoria N de la siguiente forma:
"
0
k
si T1
si T1
1,
1 T1 Tk 1.
Demuestre que N tiene distribucion Poissonpq. Este resultado puede
N
Tk
108. Sean T1 , . . . , Tn variables aleatorias independientes cada una con distribucion exppq. Demuestre que la suma Wn T1 Tn tiene
distribuci
on gamapn, q y que la correspondiente funcion de distribuci
on puede escribirse de la siguiente forma: para cada t 0,
P pW n
tq
et
ptqk .
k!
k n
n m n m
1
b) P pYt n, Yt s n mq
t s p
qn m 1 .
n
1 t s
ametro . Demuestre
110. Sea tXt : t 0u un proceso de Poisson de par
los siguientes resultados de manera sucesiva.
a) pW1
137
4.6. Ejercicios
d) fW1 pt1 q et1 .
f) Las variables T1
W1 y T2 W2 W1 son independientes.
0, Xt 1q pt sqet .
b) P pXs Xt q eptsq .
Para un proceso de Poisson tXt : t 0u de par
ametro demuestre
a) P pXs
112.
que
que:
138
4. El proceso de Poisson
a) fW1 ,W2 pw1 , w2 q
b) fW1 | W2 pw1 | w2 q
c) fW2 | W1 pw2 | w1 q
2 ew2
si 0 w1
otro caso.
1{w2
si w1
otro caso.
w2,
P p0, w2 q,
epw2 w1 q
si w2
otro caso.
P pw1 , 8q,
139
4.6. Ejercicios
p1q
pnq
121. Sean tXt : t 0u, . . . , tXt : t 0u procesos de Poisson independientes, todos de par
ametro . Encuentre la distribucion de probabilidad del primer momento en el cual:
a) Ha ocurrido en cada uno de los procesos al menos un evento.
b) Ocurre el primer evento en cualquiera de los procesos.
p1q
p2q
122. Sean tXt : t 0u y tXt : t 0u dos procesos de Poisson independientes con par
ametros 1 y 2 , respectivamente. Sea n cualquier
n
umero natural, y defina el tiempo aleatorio
nf tt 0 : Xtp1q nu.
Demuestre que X
para k 0, 1, . . .
n
P pX p2q kq
k1
k
k
1
1
2
1
140
4. El proceso de Poisson
b) Suponiendo que se recibe un mensaje tipo basura en alg
un
momento, encuentre la distribucion del n
umero total de mensajes
recibidos hasta la llegada del siguiente mensaje tipo basura.
c) Encuentre la probabilidad de que al tiempo t hayan llegado mas
mensajes tipo basura que no basura.
X1 ptq
Xt
p1 Yk q
k 1
Xt
Yk .
k 1
p1q
p2q
141
4.6. Ejercicios
b) Demuestre que para cada t
p2q
Xt son independientes.
n k s k1
s nk
.
1
t
k t t
fWk | Xt ps | nq P pXt
nq.
n k
142
4. El proceso de Poisson
Proceso de Poisson no homog
eneo
ept
c) fT2 ptq
8
0
q psq pt
q pt
sq.
sq psq ds.
rptqsn1 ptq.
pn 1q!
FT |W pt|sq 1 ept sq psq .
8
rpsqsk2 psq ds, k 2.
ept sq
FT ptq 1
pk 2q!
0
k 1
143
4.6. Ejercicios
t
0
p1 F pxqq dx.
0,
P pCt
kq eptq rk!ptqs
t Varpq.
144
4. El proceso de Poisson
Captulo 5
Cadenas de Markov
a tiempo continuo
Vamos a estudiar ahora cadenas de Markov en donde el tiempo es continuo
y las variables toman valores enteros. Consideremos un proceso a tiempo
continuo tXt : t 0u que
inicia en un estado i1 al
tiempo cero. El proceso
X t p q
permanece en ese estado
un tiempo aleatorio Ti1 , y
i4
despues salta a un nuei2
vo estado i2 distinto del
i1
anterior. El sistema peri3
manece ahora en el estat
do i2 un tiempo aleatorio
Ti2
Ti3
Ti1
Ti4
Ti2 al cabo del cual brinca a otro estado i3 distinto del inmediato anterior,
Figura 5.1
y as sucesivamente. Esta
sucesion de saltos se muestra gr
aficamente en la Figura 5.1. Los tiempos aleatorios T son los tiempos
en los que el proceso permanece constante en alguno de sus estados, y se
llaman tiempos de estancia (passage times). Los momentos en donde el proceso tiene saltos son los tiempos Wn Ti1 Tin , para n 1. El proceso
b
bc
bc
145
bc
146
Xt
$
i1
'
'
'
& i2
' i3
'
'
% ..
si 0 t W1 ,
si W1 t W2 ,
si W2 t W3 ,
8
c.s.
y por lo tanto, para cada t 0, el valor de Xt es finito, c.s. Por otro lado, sin
perdida de generalidad supondremos que el espacio de estados es el conjunto
S
t0, 1, . . .u
0.
pii 0.
a) pij
b)
147
c)
pij
1.
0 p01 p02
p10 0 p12
p20 p21 0
..
..
..
.
.
.
Supondremos adem
as que los tiempos de estancia Ti1 , Ti2 , . . . son independientes entre s, y tambien son independientes del mecanismo mediante el
cual se escoge el estado j al cual la cadena salta despues de estar en cualquier otro estado i. Mas a
un, supondremos que cada variable Ti es finita
con probabilidad uno, o bien, es infinita con probabilidad uno. En el primer
caso se dice que el estado i es no absorbente, y en el segundo caso que es
absorbente. El hecho de que Ti 8 se interpreta en el sentido de que el
proceso deja de saltar y permanece en el estado i el resto del tiempo, es
decir, el estado i es absorbente. Estamos entonces suponiendo que s
olo hay
dos tipos de estados: absorbentes o no absorbentes. En otras palabras, con
probabilidad uno el tiempo de estancia es finito o con probabilidad uno es
infinito. Por otra parte, un resultado no trivial establece que
Un proceso de las caractersticas arriba especificadas satisface la
propiedad de Markov si, y s
olo si, los tiempos de estancia en los
estados no absorbentes tienen distribucion exponencial.
Este es un resultado importante cuya demostracion omitiremos y que simplifica dr
asticamente el modelo general planteado. Como deseamos estudiar
procesos de saltos que cumplan la propiedad de Markov, pues tal propiedad
ayuda a calcular probabilidades con cierta facilidad, tendremos que suponer entonces que el tiempo de estancia en un estado no absorbente i tiene
distribuci
on exppi q, con i 0, es decir,
Fi ptq 1 ei t
para t 0.
148
j | Xs iq P pXt j | X0 iq.
En particular para t 0 se define nuevamente pij p0q como la funcion delta
s
de Kronecker, es decir,
pij p0q ij
"
1 si i j,
0 si i j.
149
Observe que en un proceso de Markov a tiempo continuo las probabilidades
de saltos pij y las probabilidades de transicion pij ptq representan aspectos
distintos del proceso. Las primeras son probabilidades de cambio al estado
j cuando el proceso se encuentra en el estado i y tiene un salto, mientras
que las segundas son probabilidades de encontrar al proceso en el estado j,
partiendo de i, al termino de un intervalo de tiempo de longitud t. Observe
adem
as que un proceso de Markov a tiempo continuo queda completamente
especificado por los siguientes tres elementos: una distribucion de probabilidad inicial en el espacio de estados, el conjunto de los par
ametros no
negativos i , y las probabilidades de saltos pij . En las siguientes secciones
estudiaremos algunas propiedades generales de los procesos arriba descritos
y revisaremos tambien algunos modelos particulares.
Ejemplo 5.1 (Proceso de Poisson) El proceso de Poisson es una cadena
de Markov a tiempo continuo que empieza en cero, es decir, la distribuci
on
de probabilidad inicial tiene el valor uno en el estado cero, los tiempos de
estancia son exponenciales de par
ametro y las probabilidades de saltos de
un estado a otro son
pij
"
1 si j
0 si j
i
i
1,
1.
Xt p q
1
exppq
t
bc
Figura 5.2
Ejemplo 5.2 (Cadena de primera ocurrencia) Sea tXt : t 0u una
cadena de Markov a tiempo continuo con espacio de estados t0, 1u. Suponga
que X0 0 y que el proceso cambia al estado 1 despues de un tiempo
aleatorio con distribuci
on exppq, y permanece all el resto del tiempo. Una
150
p00 ptq
p10 ptq
Xt p q
exppq
1
b
exppq
p01 ptq
p11 ptq
bc
exppq
1 et
1
exppq
bc
et
0
t
bc
Figura 5.3
Ejemplo 5.3 (Cadena de dos estados) Considere el proceso tXt : t 0u
con espacio de estados t0, 1u y definido por la siguiente din
amica: cuando
el proceso entra al estado 0 permanece en el un tiempo exppq, y luego va al
estado 1, entonces permanece en el estado 1 un tiempo exppq y despues regresa a 0, y as sucesivamente. Se postula adem
as que los tiempos de estancia
en cada estado son variables aleatorias independientes. Una trayectoria de
este proceso se muestra en la Figura 5.3. Para este proceso pueden enconas adelante
trarse explcitamente las probabilidades de transici
on pij ptq. M
demostraremos que para cualquier t 0,
p00 ptq
ep
q.
p11 ptq
p10 ptq
ep
ep
ep
q,
q,
q.
n
5.1. Probabilidades de transicio
151
En notaci
on matricial,
5.1.
1
ep
q.
Probabilidades de transici
on
Hemos mencionado antes que para una cadena de Markov a tiempo continuo
las probabilidades de transicion son los n
umeros pij ptq P pXt j | X0 iq.
El problema que uno puede plantearse es encontrar una expresi
on para las
probabilidades de transicion pij ptq para cada par de estados i y j, y para cada
olo en algunos pocos
tiempo t 0. Este es un problema demasiado general y s
casos es posible encontrar explcitamente tales probabilidades. El siguiente
resultado, sin embargo, nos permitira obtener algunas conclusiones generales
acerca de estas funciones.
Proposici
on 5.1 Sean i y j dos estados. Para cualquier t 0,
pij ptq ij ei t
i ei t
t
0
ei s p
(5.1)
k i
Demostraci
on. Si i es un estado absorbente, es decir, si i 0, entonces
la formula de la proposici
on se reduce a pij ptq ij , lo cual es evidente. Si,
en cambio, i no es un estado absorbente, entonces
pij ptq
P pXt
j | X0 iq
P pXt j, Ti t | X0 iq P pXt j, Ti t | X0 iq
t
t
fX ,T | X pj, u | iq du
ij e
i
ij ei t
0 k i
fX | T ,X pk | u, iq fT | X pu | iq
pkj pt uq pik ie u.
u
152
Por lo tanto,
pij ptq ij ei t
t
0
i ei u p
k i
t u en la integral se obtiene el
sq
En notaci
on matricial, Pt
Demostraci
on.
pij pt
sq
Pt Ps .
P pXt
j | X0 iq
P pXt s j, Xt k | X0 iq
s
P pXt
j | Xt kq P pXt k | X0 iq
Por lo tanto, la colecci
on tPt : t 0u constituye un semigrupo de matrices,
esto quiere decir que cumple las siguientes propiedades:
153
k1 ,...,kn1
5.2.
El generador infinitesimal
(5.2)
k i
Demostraci
on. Derivando directamente la identidad (5.1) se obtiene la
expresi
on anunciada.
La ecuaci
on (5.2) constituye todo un sistema de ecuaciones diferenciales
para las probabilidades de transicion pij ptq, en donde, como se indica en la
formula, la derivada p1ij ptq puede depender de todas las probabilidades de
transicion de la forma pkj ptq para k i. Observe que la derivada p1ij ptq es
una funci
on continua del tiempo. Tomando ahora el lmite cuando t 0, se
154
tiene que
p1ij p0q
i ij
" i ij
pi
i ij
pik kj
k i
i pij
si i j,
si i j.
Definici
on 5.2 A las cantidades p1ij p0q se les denota por gij , y se les conoce
con el nombre de par
ametros infinitesimales del proceso. Es decir, estos
par
ametros son
"
i si i j,
(5.3)
gij
i pij si i j.
Haciendo variar los ndices i y j, estos nuevos par
ametros conforman una
matriz G llamada el generador infinitesimal del proceso de Markov, es decir,
0 0 p01 0 p02
1 p10 1 1 p12
G 2 p20 2 p21 2 .
.
.
.
..
..
(5.4)
..
0, si i j.
gii 0.
gij 0.
a) gij
b)
c)
gij i
i pij i i p1 pii q 0.
j
j i
155
G
0
0
..
.
0
..
.
0 0
0
..
.
(5.5)
G
(5.6)
Demostraremos a continuaci
on que el generador infinitesimal caracteriza de
manera u
nica a la cadena de Markov. As, a esta misma matriz se le llama
a veces cadena de Markov a tiempo continuo.
Proposici
on 5.4 El generador infinitesimal determina de manera u
nica a
la cadena de Markov a tiempo continuo.
Demostraci
on. Este resultado es consecuencia de la igualdad (5.3), pues
a partir del generador G pgij q se obtienen los par
ametros iniciales que
definen a la cadena de Markov:
i
y pij
" gii ,
0g {g
ij ii
si i j,
si i j.
(5.7)
gii t
optq.
156
optq,
para i j.
5.3.
Ecuaciones de Kolmogorov
Ecuaciones retrospectivas
En terminos de los par
ametros infinitesimales, el sistema de ecuaciones diferenciales dado por la expresi
on (5.2) puede escribirse de la siguiente forma:
p1ij ptq
(5.8)
(5.9)
Explcitamente,
p00 ptq
0 0p01
1p10 1
p10ptq
..
.
..
.
..
.
p01 ptq
p11 ptq
..
.
p1ij ptq
piiptq
pij ptq
pi
1,j
ptq
para i j.
157
ptqj i
pj iq!
para i j.
Ejemplo 5.7 (Cadena de dos estados) El sistema de ecuaciones retrospectivas de Kolmogorov para la cadena de Markov de dos estados definida
en el Ejemplo 5.3 est
a dado por
p100 ptq
p101 ptq
p110 ptq
p 1 pt q
11
p00 ptq
p01 ptq
p10ptq
p11ptq
p10 ptq,
p11 ptq,
p00 ptq,
p01 ptq.
1 ptq
q00
1
q10 ptq
2 ptq
q00
158
ep
{p
q y c2
q.
(5.10)
p1ij ptq
piiptq
pij ptq
pi,j 1 ptq
para i j.
159
ptqj i
pj iq!
para i j.
Ejemplo 5.9 (Cadena de dos estados) El sistema de ecuaciones prospectivas de Kolmogorov para la cadena de Markov de dos estados definida en
el Ejemplo 5.3 est
a dado por
p100 ptq
p101 ptq
p110 ptq
p1 ptq
11
p00 ptq
p01ptq
p10 ptq
p11ptq
p01 ptq,
p00 ptq,
p11 ptq,
p10 ptq.
5.4.
0
1
0
..
.
p1
2
..
.
1 q
0
1
p2
..
.
2 q
0
0
2
i
i
'
'
%
0
otro caso.
De este modo, un proceso de nacimiento y muerte permanece en cada uno
160
bc
bc
bc
bc
bc
phq i h ophq,
pi,i1 phq i h ophq,
pi,i phq 1 pi i q h
c) pi,i
d)
e)
j | Xs iq.
para i 0.
para i 1.
ophq,
para i 0.
161
Ejemplo 5.10 Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instant
aneas de muerte 0 , 1 , . . . son cero, y las tasas
instant
aneas de nacimiento 0 , 1 , . . . son todas ellas iguales a una consametros infinitesimales es entonces de la
tante 0. La matriz de par
forma (5.5).
Ejemplo 5.11 Las ecuaciones prospectivas de Kolmogorov del proceso de
Poisson de par
ametro para las probabilidades pn ptq : p0n ptq son
p10 ptq
p1 ptq
n
p0ptq.
pn1ptq pnptq,
para n 1,
Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene dison inicial p0 p0q 1, la primera
tribuci
on Poissonptq. Usando la condici
ecuaci
on tiene soluci
on p0 ptq et . Definiendo qn ptq et pn ptq, la segunda ecuaci
on se transforma en qn1 ptq qn1 ptq, con condiciones qn p0q 0n
y q0 ptq 1. Esta nueva ecuaci
on se resuelve iterativamente, primero para
q1 ptq, despues para q2 ptq, y as sucesivamente. En general, qn ptq ptqn {n!
para n 0. De aqu se obtiene pn ptq et ptqn {n!
Ejemplo 5.12 Esta es otra derivaci
on mas de la distribuci
on Poisson en
el proceso de Poisson, ahora usando las ecuaciones prospectivas de Kolmogorov y la funci
on generadora de probabilidad. La variable aleatoria Xt
puede tomar los valores 0, 1, . . . de modo que su funci
on generadora de probabilidad es
GXt puq E puXt q
pn ptq un ,
n 0
162
que
G1 pt, uq
8
p1n ptq un
n 0
ppn1ptq pnptqqun
n 0
uGpt, uq Gpt, uq
pu 1qGpt, uq,
de donde se obtiene la ecuaci
on diferencial G1 {G pu 1q. Integrando de
0 a t y usando la condici
on Gp0, uq 1 se llega a
8
ptqn un.
Gpt, uq Gp0, uq epu1qt et etu
et
n 0
n!
Esta es la funci
on generadora de probabilidad de la distribuci
on Poissonptq.
Por la propiedad de unicidad se obtiene que la variable Xt tiene distribuci
on
Poissonptq.
Derivaci
on intuitiva de los sistemas de ecuaciones diferenciales
prospectivo y retrospectivo de Kolmogorov
Explicaremos a continuaci
on los terminos prospectivo y retrospectivo de los
sistemas de ecuaciones diferenciales de Kolmogorov para las probabilidades de transicion pij ptq en el caso particular de un proceso de nacimiento
y muerte. Veamos primero el caso restrospectivo. Para cualquier t 0 y
no consideremos el intervalo r0, t hs visto como la siguiente
h 0 peque
descomposici
on:
r0, t hs r0, hs Y ph, t hs.
hq i h pi
1,j
pt q
i h pi1,j ptq
ophq.
163
hq pij ptqq i pi
1,j
ptq
i pi1,j ptq pi
i q pij ptq
ophq
.
h
Tomando el lmite cuando h 0 se obtiene el sistema de ecuaciones diferenciales que hemos llamado retrospectivo
p10j ptq
p1ij ptq
1,j
ptq
i pi1,j ptq pi
i q pij ptq,
i 1.
r0, t
hs r0, ts Y pt, t
hs.
hq pi,j 1 ptq j 1 h
pi,j
pt q j
1h
pij ptq p1 j h j hq
ophq.
j q pij ptq.
164
a) P pXt
b) P pXt
bc
bc
bc
Xt 1 | Xt kq k h ophq.
ophq.
h Xt 0 | Xt k q 1 k h
h
165
transicion pij ptq, sin embargo cuando el estado inicial es cero se conoce la
siguiente formula recursiva.
Proposici
on 5.6 Para cualquier t 0 y cualquier entero n 1, las probabilidades de transici
on en un proceso de nacimiento puro satisfacen la
relaci
on:
(5.12)
Demostraci
on. El sistema de ecuaciones diferenciales prospectivas de
Kolmogorov para este proceso es
p1ij ptq j 1 pi,j 1 ptq j pij ptq.
En particular, partiendo de cero,
1
p00 ptq
1
p0n ptq
0 p00ptq,
n1 p0,n1ptq n p0nptq, n 1,
con las condiciones de frontera p00 p0q 1 y p0n p0q 0, para n 1. La
primera ecuaci
on tiene soluci
on p00 ptq e t , mientras que para el caso
n 1, multiplicando por el factor integrante e t y resolviendo se obtiene
0
la formula enunciada.
k 1.
166
Xt 1 | Xt nq
n
r h ophqs r1 h
1
nh ophq.
ophqsn1
p1kn ptq
k pkk ptq,
pn 1q pk,n1ptq n pknptq,
t
0
nk
1.
1,
ens pk,n1 psq ds.
(5.13)
Demostraremos a continuaci
on que el incremento Xt X0 tiene distribucion
binomial negativa de par
ametros pr, pq, con r k y p et .
Proposici
on 5.7 Las probabilidades de transici
on para el proceso de Yule
son
n 1 kt
pkn ptq
e
p1 et qnk , para n k.
nk
Demostraci
on. Usaremos induccion sobre n. Para n k se tiene la
ecuaci
on diferencial p1kk ptq k pkk ptq, con condici
on inicial pkk p0q 1.
kt
, que es de la forma enunciada. Para
Esto produce la soluci
on pkk ptq e
167
pn 1q ent
ns
e
0
n2
eks p1 es qn1k ds
n1k
t
n2
pn 1q
ent
pes qpnkq p1 es qn1k ds
n1k
0
t
n2
pn 1q
ent
p1 es q1 pes 1qnk ds
n1k
0
t
n2
es pes 1qn1k ds
pn 1q
ent
n1k
0
t
n2
d s
1
nt
pn 1q
e
pe 1qnk ds
n1k
0 pn k q ds
n1
n2
ent pet 1qnk
nk n1k
n 1 kt
e
p1 et qnk .
k1
En la siguiente secci
on revisaremos muy brevemente algunos conceptos generales que se pueden definir para cadenas de Markov a tiempo continuo y
que corresponden a los conceptos an
alogos para el caso de tiempo discreto.
5.5.
Comunicaci
on
Se dice que el estado j es accesible desde el estado i si pij ptq 0 para alg
un
t 0, y se escribe i j. Se dice que los estados i y j se comunican si i j
y j i, y en tal caso se escribe i j. Nuevamente puede demostrarse que
la comunicaci
on es una relaci
on de equivalencia, y eso lleva a una partici
on
del espacio de estados en clases de comunicaci
on. Se dice nuevamente que la
cadena es irreducible cuando todos los estados pertenecen a la misma clase
de comunicaci
on.
168
nf tt 0 : Xt j u,
i.
E pij q. Cuando los
cuando X0
G
169
5.6. Ejercicios
p0, 1 q p , q.
Puede comprobarse adem
as que las probabilidades de transici
on mostradas
en el Ejemplo 5.3 convergen a esta distribuci
on estacionaria, es decir,
lm
0 1
0 1
5.6.
Ejercicios
Cadenas de Markov a tiempo continuo
142. Para la cadena de Markov de dos estados, demuestre que para cualquier t 0,
p00 ptq
ep qt .
170
Nt
Yj .
j 1
q q{p q.
b) p01 ptq p ep qt q{p q.
c) p10 ptq p ep qt q{p q.
a) p00 ptq p
ep
171
5.6. Ejercicios
d) p11 ptq p
ep
q{p
q.
k 1.
a) E pXt q k et .
k
.
k 1 k
172
Captulo 6
Procesos de renovaci
on
y confiabilidad
En este captulo se presenta otra generalizaci
on del proceso de Poisson. Se
considera ahora que los tiempos de interarribo no son necesariamente exponenciales. A tales procesos de saltos unitarios se les conoce como procesos de
renovaci
on, y en general dejan de cumplir la propiedad de Markov. Ademas
de estudiar algunas propiedades generales de los procesos de renovacion, estudiaremos tambien el concepto de confiabilidad para sistemas conformados
por varios componentes, los cuales son susceptibles de tener fallas en tiempos aleatorios. Este captulo es breve y se presentan s
olo algunos aspectos
elementales de los procesos de renovacion.
6.1.
Procesos de renovaci
on
n y confiabilidad
6. Procesos de renovacio
174
Tn tq F nptq pF F qptq.
En particular, F 1 ptq F ptq y cuando n 0 se define
"
0 si t 0,
0
F ptq
1 si t 0.
FWn ptq P pT1
n
6.1. Procesos de renovacio
175
Una de las primeras preguntas que uno puede hacerse acerca de un proceso
de renovaci
on es la de conocer la distribucion de la variable Nt . La respuesta
no es facil de encontrar, pues la distribucion de esta variable depende de la
distribuci
on de los tiempos de vida como indica la siguiente formula general.
Proposici
on 6.1 Para cualquier n 0,
P pN t
Demostraci
on. Tomando en consideracion que las variables Wn y Tn
son independientes, tenemos que
P pNt
nq
P pWn
t, Wn 1 tq
P pWn t, Wn Tn 1 tq
P pt Tn 1 Wn tq
FW ptq FW pt Tn 1 q
8
FW | T pt u | uq dF puq
F n ptq
n
F n ptq
08
0
n 1
F n pt uq dF puq
F n ptq F pn
q p t q.
En muy pocos casos es posible encontrar la distribucion explcita del n
umero
de renovaciones Nt . En el caso cuando los tiempo de vida son exponenciales
sabemos que la respuesta es la distribucion Poisson.
Ejemplo 6.1 Un proceso de Poisson homogeneo de tasa es un proceso de renovaci
on en donde los tiempos de vida tienen distribuci
on exp().
En consecuencia, los tiempos reales de renovaci
on Wn tienen distribuci
on
gama(n, ), cuya funci
on de distribuci
on es, para t 0,
FWn ptq
t
0
8
pxqn1 ex dx
ptqk .
et
pnq
k!
k n
n y confiabilidad
6. Procesos de renovacio
176
Del mismo modo que sucedio en el caso del proceso de Poisson, para un
proceso de renovaci
on tambien es valida la igualdad de eventos pNt nq
pWn tq, para t 0 y para n 0 entero. Esta identidad nos sera de
utilidad m
as adelante.
6.2.
Funci
on y ecuaci
on de renovaci
on
t
0
pt sq dF psq.
(6.1)
Demostraci
on. Condicionando
sobre el valor del primer tiempo de vida
8
T1 se obtiene ptq 0 E pNt | T1 sq dF psq, en donde
E pNt | T1
sq
"
0
1
pt sq
si s t,
si s t.
Por lo tanto
ptq
t
0
p1
t
0
pt sq dF psq.
n y ecuacio
n de renovacio
n
6.2. Funcio
177
t
0
gpt sq dF psq.
(6.2)
Puede demostrarse que si hptq es una funcion acotada, entonces existe una
on de renovacion (6.2) que cumple con la
u
nica soluci
on g ptq a la ecuaci
condici
on de ser acotada sobre intervalos finitos y est
a dada explcitamente
por
g ptq hptq
hpt sq dpsq,
(6.3)
n 1
F n ptq.
(6.4)
n y confiabilidad
6. Procesos de renovacio
178
Demostraci
on.
ptq
n P pNt
nq
n 0
P pNt 1q 2 P pNt 2q
r F 1 ptq F 2 ptq s 2 r F 2 ptq F 3 ptq s
8
F n ptq.
n 1
Ejemplo 6.3 Cuando los tiempos de interarribo tienen distribuci
on exppq
se tiene que
F n ptq
t
0
8
pxqn1 ex dx
ptqk .
et
pn q
k!
k n
6.3.
Tiempos de vida
Junto a todo proceso de renovacion y para cada tiempo fijo, pueden considerarse tres variables aleatorias no negativas, t , t y t , cuyo significado
geometrico se muestra en la Figura 6.2, y que definiremos con mayor precisi
on a continuaci
on.
179
Nt
Nt
b
Nt 1
bc
WNt
bc
WNt
Figura 6.2
WN
t.
t
0
gpt sq dF psq.
(6.5)
8
0
P pt
x | T1 sq dF psq.
Se consideran entonces los tres posibles casos para los valores de T1 como
se muestran en la Figura 6.3.
n y confiabilidad
6. Procesos de renovacio
180
T1
T1
T1
Figura 6.3
Puesto que un proceso de renovacion puede considerarse que inicia nuevamente a partir del momento en que se observa una renovacion, se tiene
que
$
si s t x,
& 1
0
si t s t x,
P pt x | T1 sq
%
P pts xq si 0 s t.
Por lo tanto,
gptq
8
0
8
t x
P pt
x | T1 sq dF psq
dF psq
1 F pt
xq
t
0
P pts
t
0
xq dF psq
gpt sq dF psq.
t WN .
t
181
tx
0
P pt xq satisface la
gpt sq dF psq.
Demostraci
on. Nuevamente se condiciona sobre el valor de T1 . Los tres
posibles casos se muestran en la Figura 6.4.
T1
T1
T1
tx
Figura 6.4
Por lo tanto,
P pt
$
& 1
x | T1 sq % 0
P pts
xq
si s t,
si 0 t x s t,
si 0 s t x.
Entonces,
gptq
8
0
8
t
P pt
x | T1 sq dF psq
dF psq
1 F ptq
tx
0
tx
0
P pts
xq dF psq
gpt sq dF psq.
n y confiabilidad
6. Procesos de renovacio
182
En resumen,
gptq
$
& 0
% 1
si 0 t x,
tx
F ptq
gpt sq dF psq
si t x.
$
'
& 1
xq ' 1
ex
% 0
si 0 x t,
si x t,
otro caso.
t t WN 1 WN TN 1.
Nuevamente, para x 0 se define la funcion t gptq P pt xq. Demost
P pt xq
gptq 1 F pt _ xq
Demostraci
on.
la variable T1 .
t
0
satisface la ecuaci
on de
gpt sq dF psq,
8
0
P pt
x | T1 sq dF psq.
n
6.4. Teoremas de renovacio
183
T1
T1
T1
Figura 6.5
El caso s P pt, t xq se debe subdividir en dos casos: s x o s x. De este
modo se obtienen los siguientes resultados
$
0
'
'
&
1
P pt x | T1 sq
1
'
'
%
P pts
si
si
si
si
xq
t s t x, y s x,
t s t x, y s x,
s t x,
0 s t.
8
0
P pt
t x
x | T1 sq dF psq
t
dF psq
1 F pt _ x q
P pts
t
0
xq dF psq
gpt sq dF psq.
6.4.
xq
1 p1
pt ^ xqq ex si x 0,
otro caso.
Teoremas de renovaci
on
En esta secci
on se estudian algunos resultados sobre el comportamiento
lmite de los procesos de renovacion. Primeramente se demuestra que todo
184
n y confiabilidad
6. Procesos de renovacio
proceso de renovaci
on crece a infinito con probabilidad uno cuando el tiempo
crece a infinito.
Proposici
on 6.7 Para todo proceso de renovaci
on, lm Nt
Demostraci
on. Recordemos la igualdad de eventos pNt
Entonces para cualquier n natural,
8 c.s.
nq pWn tq.
lm FWn ptq
lm P pWn
tq
lm P pNt nq
t8
P p lm Nt nq.
t8
8
Para la u
ltima igualdad se ha utilizado el hecho de que la funcion t Nt es
mon
otona no decreciente. Como el resultado demostrado vale para cualquier
valor de n natural, se tiene que P p lm Nt 8q 1.
W Nt
Nt
0u
en donde
c.s.
Demostraci
on. Para valores enteros de n, por la ley fuerte de los grandes
n
umeros, Wn {n casi seguramente cuando n 8. Ahora observe la
contenci
on de eventos
n
6.4. Teoremas de renovacio
185
Los dos eventos del lado izquierdo tienen probabilidad uno, por lo tanto
la intersecci
on tambien, y ello implica que el lado derecho tambien tiene
probabilidad uno.
El siguiente resultado establece la forma en la que la variable Nt crece a
infinito. Observe que el cociente Nt {t es una variable aleatoria que cuenta
el n
umero de renovaciones por unidad de tiempo efectuadas hasta el tiempo t. Demostraremos a continuaci
on que cuando t 8 la aleatoriedad
desaparece y el cociente se vuelve constante.
Teorema 6.1 (Teorema elemental de renovaci
on) [J. L. Doob, 1948]
Para un proceso de renovaci
on en donde E pT q , con 0 8, se tiene
que
Nt
1
c.s.
lm
t8 t
Demostraci
on.
lo tanto,
Para cualquier t
0 se cumple WN t WN
t
1.
Por
t
WNt 1 Nt 1
W Nt
.
Nt
Nt
Nt 1 Nt
Cuando t tiende a infinito ambos extremos de estas desigualdades convergen
a casi seguramente. Por lo tanto el termino de en medio tambien.
Otra forma de interpretar el resultado anterior es diciendo que Nt crece a
infinito cuando t 8 a la misma velocidad que la funcion lineal t{. Ahora
veremos que la esperanza de Nt tiene el mismo comportamiento.
Teorema 6.2 (Teorema elemental de renovaci
on) [W. Feller, 1941]
Considere un proceso de renovaci
on en donde E pT q , con 0 8.
Entonces
ptq
1
.
lm
t8 t
Demostraci
on.
E pW N t
q E pNt
1q E pT q pptq
1q.
t1 E pWN
tq
1t .
n y confiabilidad
6. Procesos de renovacio
186
Como WNt
ptq
t
tq 0. Por lo tanto
1 .
1
E pTNt
t
q.
Consideremos primero el caso particular cuando las variables T son uniformemente acotadas, es decir, supongamos que existe un entero k 0 tal
que para cada n 1, P pTn kq 1. Entonces, condicionando sobre el
valor de Nt , puede comprobarse que E pTNt 1 q k y por lo tanto
lm sup
ptq
t
1 .
Tnk
"
Tn
k
si Tn
si Tn
k,
k.
ptq
t
E p1T k q .
n
6.4. Teoremas de renovacio
187
hq ptq
h
.
ndq ptq
nd
.
hq ptq pt
hq t h
h
1{
h .
t
0
Apt sq dF psq,
8
0
H ptq dt.
ndq
d
H pt
k0
kdq.
n y confiabilidad
6. Procesos de renovacio
188
6.5.
Confiabilidad
tq,
f ptq
.
1 F pt q
A la funci
on de confiabilidad se le llama tambien funcion de supervivencia,
y a la funci
on de tasa de falla se le conoce tambien como funcion hazard. A
esta u
ltima se le llama as pues dado que un componente ha sobrevivido al
tiempo t, fallara en el intervalo pt, t ts con probabilidad r ptq t optq,
en efecto,
P pt T
t | T
tq
P pt T t tq
P pt tq
f ptq
t optq
1 F ptq
r ptq t optq.
Despues de algunos c
alculos sencillos es inmediato comprobar que estas dos
funciones est
an relacionadas de la siguiente forma:
r ptq
f ptq
Rptq
Rptq
exp p
dtd ln Rptq,
t
0
r psq dsq.
189
6.5. Confiabilidad
8
0
Rptq dt.
n y confiabilidad
6. Procesos de renovacio
190
1 p1 F ptqqn ,
fT ptq np1 F ptqqn1 f ptq.
Calcularemos a continuaci
on las funciones de confiabilidad y de tasa de falla
para sistemas en serie. Denotaremos por R1 ptq, . . . , Rn ptq las funciones de
confiabilidad de cada componente en el sistema, y las funciones de tasa de
falla ser
an r1 ptq, . . . , rn ptq.
Proposici
on 6.9 Las funciones de confiabilidad y de tasa de falla del sistema en serie de la Figura 6.6 son
a) Rptq R1 ptq Rn ptq.
b) r ptq r1 ptq
Demostraci
on.
rn ptq.
a) Rptq P pT1
t, . . . , Tn tq
P pT1 tq P pTn tq R1ptq Rnptq.
n
n
d
d
ln Rk ptq
rk ptq.
b) r ptq ln Rptq
dt
dt k1
k 1
Observe que para sistemas de n componentes conectados en serie la funcion
de confiabilidad Rptq R1 ptq Rn ptq es una funcion decreciente de n, y en
consecuencia el tiempo medio de falla tambien es una funci
on decreciente
de n.
Ejemplo 6.9 La funci
on de confiabilidad y la funci
on de tasa de falla de
un sistema de n componentes puestos en serie en donde cada uno de ellos
tiene un tiempo de falla exponencial de par
ametro son, respectivamente,
R pt q
y
r pt q
ent ,
nt.
191
6.5. Confiabilidad
La distribuci
on del tiempo de falla T es exponencial de par
ametro n. El
tiempo medio de falla es E pT q 1{pnq, naturalmente decreciente conforme
mayor es el n
umero de componentes en el sistema, es decir, mientras mas
componentes haya en el sistema en serie, menor es el tiempo de vida operacional del sistema en su conjunto, pues una falla de cualesquiera de los
componentes provoca que el sistema completo deje de funcionar.
P pT
tq
P pT1 t, . . . , Tn tq
F1 ptq Fn ptq.
n y confiabilidad
6. Procesos de renovacio
192
Por lo tanto,
Rptq
1 F ptq
1 F1 ptq Fn ptq
1 p1 R1 ptqq p1 Rn ptqq.
fT ptq
F n ptq,
r pt q
1 p1 et qn ,
np1 et qn1 et
.
1 p1 et qn
193
6.6. Ejercicios
C2
C1
C2
C3
C1
C3
C1
Figura 6.8
Notas y referencias. En los textos de Karlin y Taylor [17], Basu [1], y
Lawler [21] se pueden encontrar algunos otros resultados y aplicaciones de
los procesos de renovaci
on.
6.6.
Ejercicios
Procesos de renovaci
on
151.
n q pW n t q
b) pNt nq pWn tq
c) pNt nq pWn tq
d) pNt nq pWn tq
e) pNt nq pWn tq
Sea F ptq la funci
on de distribucion de una variable aleatoria no negativa. Demuestre que
n y confiabilidad
6. Procesos de renovacio
194
Ntk
q
rpn
1qk nk s F pn
q ptq.
n 0
nq 0.
Funci
on y ecuaci
on de renovaci
on
156. Sea tNt : t 0u un proceso de renovacion con funcion de renovacion
ptq E pNt q. Demuestre que para cualquier t 0,
0 ptq
1
.
1 F ptq
195
6.6. Ejercicios
a) 2 ptq
n 1
b) 2 ptq ptq
2
0
pt sq dpsq.
Encuentre adem
as 2 ptq cuando tNt : t 0u es un proceso de Poisson.
158. Sea tNt : t 0u un proceso de renovacion. Demuestre que la funcion
Aptq E pWNt 1 q satisface la ecuaci
on de renovacion
t
Aptq E pT q
Apt sq dF psq.
Tiempos de vida
159. Demuestre que el tiempo de vida restante t y el tiempo de vida
transcurrido t , para un proceso de renovacion, tienen distribucion
conjunta dada por la siguiente expresi
on: para 0 y t,
P p t
x, t yq
t y
p1 F pt
x uqq dpuq.
t
0
pt sqes ds.
ametro 0 visto
161. Considere un proceso de Poisson tNt : t 0u de par
como un proceso de renovacion. Para el tiempo de vida transcurrido
t demuestre que:
n y confiabilidad
6. Procesos de renovacio
196
a) La funci
on de distribucion de t es
P pt
$
'
& 1
xq ' 1
ex
% 0
si 0 x t,
si x t,
otro caso.
b) La funci
on de densidad de t es
f pxq
c) E pt q
ex si 0 x t,
0
otro caso.
1
p1 et q.
Tome el lmite cuando t 8 y compruebe que las expresiones anteriores corresponden a las de la distribucion exppq.
ametro 0
162. Considere un proceso de Poisson tNt : t 0u de par
visto como un proceso de renovacion. Para el tiempo de vida total t
demuestre que:
a) La funci
on de distribucion de t es
P pt
xq
pt ^ xqq ex si x 0,
1 p1
0
otro caso.
b) La funci
on de densidad de t es
f px q
c) E pt q
$
2 x
'
& xe
'
%
p1
si 0 x t,
tqex si x t,
otro caso.
1
p2 et q.
Tome el lmite cuando t 0 y compruebe que las expresiones anteriores corresponden a las de la distribucion exppq.
197
6.6. Ejercicios
a) Dibuje una posible trayectoria del proceso tt : t 0u.
b) Demuestre que
1
t8 t
lm
s ds
E pT 2 q
2E pT q
c.s.,
Confiabilidad
164. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes
puestos en serie como en la Figura 6.6. Suponga que las correspondientes funciones de distribucion y de densidad son F1 ptq, . . . , Fn ptq,
y f1 ptq, . . . , fn ptq, respectivamente. Demuestre que las funciones de
distribuci
on y de densidad del tiempo de falla del sistema dado por
T mn tT1 , . . . , Tn u son:
a) F ptq 1 r1 F1 ptqs r1 Fn ptqs.
b) f ptq
k 1
k 1
n y confiabilidad
6. Procesos de renovacio
198
C1
C2
C3
Figura 6.9
C1
C3
C2
C4
Captulo 7
Martingalas
Existen varias acepciones para el termino martingala. Una de ellas hace referencia a un tipo
de proceso estoc
astico que b
asicamente cumple la identidad
E pXn
199
200
7.1.
7. Martingalas
Filtraciones
tX1 , . . . , Xn u,
n 1.
201
7.1. Filtraciones
Fs Ft , cuando 0 s t. La filtraci
on natural o can
onica de un proceso
a tiempo continuo tXt : t 0u es la coleccion de -algebras tFt ut0 dadas
por Ft tXs : 0 s tu, esto es, Ft es la mnima -algebra que hace
que cada una de las variables Xs , para valores de s en el intervalo r0, ts,
sean medibles. A la -
algebra Ft se le denomina la historia del proceso al
tiempo t. Regresemos al caso de tiempo discreto.
Definici
on 7.2 Se dice que un proceso estoc
astico tXn : n 1u es adaptado
a una filtraci
on tFn un1 si la variable Xn es Fn -medible, para cada n 1.
Inicialmente sabemos que cada variable aleatoria Xn del proceso es F medible. La condici
on de adaptabilidad requiere que Xn sea tambien una
variable aleatoria respecto de la sub -algebra Fn . Esta condici
on tecnica
de adaptabilidad facilita el calculo de probabilidades de los eventos de un
proceso en ciertas situaciones. Naturalmente todo proceso es adaptado a
su filtraci
on natural, y puede demostrarse que la filtraci
on natural es la filtraci
on m
as peque
na respecto de la cual el proceso es adaptado. El siguiente
caso particular es necesario de considerar.
Definici
on 7.3 Se dice que el proceso tXn : n 1u es predecible respecto
de la filtraci
on tFn un0 si para cada n 1, la variable Xn es Fn1 -medible.
Observe que en este caso la filtraci
on debe comenzar con el subndice cero.
Evidentemente todo proceso predecible es adaptado. La definicion de adaptabilidad es la misma en el caso de procesos a tiempo continuo, y se pueden
definir adem
as las siguientes dos -algebras:
F8
y
Ft
p
Ft q,
t 0
Fs .
s t
202
7.2.
7. Martingalas
Tiempos de paro
mn tn 1 : Xn P Au,
en donde conviene definir mn H 8. Es decir,
es el primer momento
en el que la sucesi
on toma un valor dentro del conjunto A, si acaso ello
sucede. La variable aleatoria es un tiempo de paro, pues para cualquier
valor entero de n,
203
7.3. Martingalas
mn tn 1 : Xn P Au.
p2 nq
n1
k 1
p tq P Ft .
7.3.
Martingalas
Definici
on 7.6 Se dice que un proceso a tiempo discreto tXn : n 1u es
una martingala respecto de una filtraci
on tFn un1 si cumple las siguiente
tres condiciones:
a) Es integrable.
b) Es adaptado a la filtraci
on.
c) Para cualesquiera n m,
E pXm | Fn q Xn , c.s.
(7.1)
Cuando en lugar de (7.1) se cumple la desigualdad E pXm | Fn q Xn , entonces el proceso es una submartingala, y si E pXm | Fn q Xn , entonces es
una supermartingala.
204
7. Martingalas
| Fnq Xn.
Esta u
ltima condici
on es la que a menudo usaremos para verificar la propiedad de martingala de un proceso a tiempo discreto. Ademas, cuando la
filtraci
on es la natural, es decir, cuando Fn tX1 , . . . , Xn u, la condici
on
de martingala puede escribirse en la forma
E pXn
para cada m 1,
esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. Analogamente, tomando esperanza ahora
en la condici
on de submartingala se obtiene que para cualesquiera tiempos
1 n m,
(7.2)
E pXm q E pXn q,
esto puede interpretarse en el sentido de que las submartingalas son procesos
cuyas trayectorias, en promedio, tienden a crecer. Mas adelante demostraremos que cuando la submartingala es acotada superiormente, es convergente.
Este interesante resultado es el an
alogo estocastico al hecho de que toda
205
7.4. Ejemplos
sucesion de n
umeros reales creciente y acotada es convergente. Para procesos
a tiempo continuo, la condici
on de martingala se escribe E pXt | Fs q Xs ,
para cualesquiera tiempos s y t tales que 0 s t, sin olvidar la condiciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una
martingala.
7.4.
Ejemplos
Veremos a continuaci
on algunos ejemplos de martingalas.
Martingala del juego de apuestas
Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes identicamente distribuidas y con esperanza finita. Defina Xn 1 n , y
considere la filtraci
on Fn t1 , . . . , n u. La variable aleatoria Xn puede
interpretarse como la fortuna de un jugador despues de n apuestas sucesivas
en donde la ganancia o perdida en la k-esima apuesta es k . Claramente el
proceso tXn : n 1u es integrable y es adaptado. Ademas, para cada n 1,
E pXn
| Fnq
E pXn
Xn
Xn
| Fnq
E pn 1 | Fn q
E pn 1 q.
n
Cuando el resultado promedio de cualquiera de las apuestas es cero, el segundo sumando se anula y se tiene un ejemplo de martingala, es decir, un
juego justo. En particular, una caminata aleatoria simetrica es una martingala. Si el resultado promedio de las apuestas es mayor o igual a cero,
entonces E pXn 1 |Fn q Xn , y por lo tanto el proceso es una submartingala,
un juego favorable al jugador. Finalmente, cuando el resultado promedio de
cualquier apuesta es menor o igual a cero, el proceso es una supermartingala pues E pXn 1 |Fn q Xn , correspondiente a un juego desfavorable al
jugador.
Martingala del proceso de Poisson centrado
Sea tXt : t 0u un proceso de Poisson de par
ametro . Entonces el proceso
centrado tXt t : t 0u es una martingala. En efecto, este nuevo proceso
206
7. Martingalas
E pXt | Fs q t
E pXt Xs Xs | Fs q t
E pXt Xs | Fs q Xs t
E pXt Xs q Xs t
pt sq Xs t
Xs s.
Este ejemplo es un caso particular del siguiente resultado que el lector puede
facilmente verificar siguiendo el calculo anterior: si un proceso integrable
tXt : t 0u tiene incrementos independientes, entonces el proceso centrado
tXt E pXt q : t 0u es una martingala.
Martingala de la esperanza condicional
Sea X una variable aleatoria integrable, y sean F1 y F2 dos sub -algebras
tales que F1 F2 . No es difcil comprobar la siguiente propiedad de la
esperanza condicional:
E p E pX | F2 q | F1 q E pX | F1 q.
Sea tFn un1 una filtraci
on dada. Usando la identidad anterior demostraremos que la sucesion de variables aleatorias dada por Xn E pX | Fn q es
una martingala. Es claro que cada una de estas variables es integrable y por
definicion de esperanza condicional el proceso es adaptado a la filtraci
on.
Adem
as
E pXn
Figura 7.1
207
P pXn
k
1 | Xn
k | Xn
kq n k 2 ,
kq n 2 k .
n
| Xnq Xn p0q n
2 Xn
n 2
p1q nXn2 nn
3
Xn .
2
Este c
alculo demuestra que el proceso tXn : n 0u no es una martingala.
Sin embargo, si se define Mn Xn {pn 2q, lo cual representa la fraccion de
bolas blancas en la urna despues de la n-esima extraccion, entonces se tiene
que
Xn 1
Xn
E pMn 1 | Fn q E p
|
Fn q
Mn .
n 3
n 2
7.5.
Procesos detenidos
on tFn un0 ,
Sea tXn un0 un proceso estocastico adaptado a una filtraci
y sea un tiempo de paro respecto de la misma filtraci
on. En ocasiones
es necesario considerar un proceso de la forma X ^n , en donde ^ n
mnt, nu. A este tipo de procesos se les llama procesos detenidos, por ejemplo, suponga que k, entonces,
X ^n
"
Xn si n k,
Xk si n k.
208
7. Martingalas
pX ^n xq r
k 1
La expresi
on del lado derecho es claramente un elemento de Fn . Si el proceso
original es integrable, entonces el proceso detenido es tambien integrable,
pues
E |X ^n |
E p |X | 1p nq q
n
k 1
n
E p |Xn | 1p nq q
E p |Xk | 1p kq q
E |Xk |
E p |Xn | 1p nq q
E |Xn | 8.
k 1
n: estrategias de juego
7.6. Una aplicacio
209
q | Fn q
k 1
n
k 1
n
E pXk 1p kq | Fn q
E pXn
Xk 1p kq
E pXn
Xk 1p kq
Xn 1p nq
p q | Fnq
11 n
| Fnq 1p nq
k 1
X ^n
7.6.
Una aplicaci
on: estrategias de juego
1
n .
210
7. Martingalas
| Fnq
E pAn
| Fnq
1 E pn 1 | Fn q
1 E pXn 1 Xn | Fn q
1 pE pXn 1 | Fn q Xn q
an
An
an
An
an
An
an
1 n 1
An .
Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganancias tAn : n 1u es una martingala siempre y cuando el proceso original
tXn : n 1u lo sea. Es importante que los apostadores conozcan este resultado pues quiere decir que no existe una estrategia de juego que convierta
un juego justo en un juego favorable o desfavorable al jugador. El mismo
an
alisis demuestra que si el proceso original tXn : n 1u es una submartingala o supermartingala y la estrategia de juego consta de variables aleatorias
no negativas y acotadas, entonces el proceso tAn : n 1u sigue siendo una
submartingala o supermartingala.
Uno de los varios significados del temino martingala, y que parece ser el original, establece que una martingala es una estrategia de juego en la cual un
jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta
del siguiente modo: inicialmente apuesta una unidad monetaria. En caso de
perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso
de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo
esta estrategia de juego.
Monto de la apuesta
Resultado del lanzamiento
Ganancia
1
x
-1
2
x
-3
4
x
-7
8
X
1
1
X
2
1
x
1
2
X
3
1
x
2
Figura 7.2
Bajo esta estrategia de juego resulta que cada vez que el jugador acierta se
recupera de las perdidas anteriores e incluso incrementa su fortuna en una
unidad monetaria. En efecto, si el jugador pierde las primeras n apuestas y
n: estrategias de juego
7.6. Una aplicacio
gana la apuesta n
211
1 2
n 1
apuesta n
n apuestas perdidas
loo2moon
1 2
2
2
loooooooooooooooomoooooooooooooooon
1 es
1 ganada
n1
2k
2n
k 0
n
1122
p1 2n q
1.
2n
2n
1 21 22 2n1 1 2n ,
y la probabilidad de perder n apuestas sucesivas y ganar la apuesta n
es 1{2n 1 . Por lo tanto,
E pX 1 q
E pX 1 |
n q P p n q
n 1
8
E pXn1 q P p
nq
n 1
p1 2n1q 21n
n1
8.
Es decir, se requerira de un capital promedio infinito y poder apostar una
infinidad de veces para llevar a cabo con exito esta estrategia, algo no muy
factible en terminos de dinero y tiempo.
212
7. Martingalas
7.7.
Entonces
Demostraci
on.
X ^n pX Xn q 1p nq .
E pX ^n q
E ppX
Xn q 1p nq q
E pX1 q E pX 1p nq q E pXn 1p nq q.
E pX q E p
k 1
Xk 1p kq q
E pXk 1p kq q.
k 1
213
mn tn 1 : |Xn| bu,
b
b
b
b
b
b
n
es decir, es el primer momento en el
mn tn 0 : Xn b o Xn au,
214
7. Martingalas
bq
a2 P pX
aq.
aa kb .
Analogamente, definiendo vk P pX a | X0 kq, se encuentra que vk
uk
cumple la ecuaci
on en diferencias
vk 1 vk1,
con condiciones de frontera vb 0 y va 1, y cuya soluci
on es
bk
.
v
2vk
Por lo tanto,
E p q
E pX2 q
b2 P pX
2
bq
a2 P pX
aq
b u0 a v0
a
b
b2
a2
a b
a b
ab.
tXn npp qq : n 0u
215
lo es. Suponiendo nuevamente que las condiciones del teorema de paro opcional se cumplen, se tiene que E pX pp q qq E pX1 pp q qq 0.
De donde se obtiene E p q E pX q{pp q q. El problema es nuevamente
encontrar E pX q. Tenemos que
E pX q b P pX
bq a P pX aq.
b | X0 kq. Usando analisis del primer
Defina nuevamente uk P pX
paso puede comprobarse que uk cumple la ecuaci
on en diferencias
p uk 1 q uk1,
con condiciones de frontera ub 1 y ua 0, y cuya soluci
on es
pp{qqbk pp{qqa b .
uk
1 pp{q qa b
Analogamente, definiendo vk P pX a | X0 kq, se encuentra que vk
uk
cumple la ecuaci
on en diferencias
p vk 1 q vk1,
con condiciones de frontera vb 0 y va 1, y cuya soluci
on es
pq{pqa k pq{pqa b .
vk
1 pq {pqa b
vk
Por lo tanto,
E pX q
b u0 a v0
pp{qqb pp{qqa b a pq{pqa pq{pqa
b
1 pp{q qa b
1 pq {pqa b
1 p p {q qb
.
b pa bq
1 pp{q qa b
Entonces,
E p q
a b 1 pp{q qb
.
p q p q 1 pp{q qa b
b
Verificaremos a continuaci
on la validez de las tres condiciones del teorema
de paro opcional para esta aplicaci
on cuando la caminata y las barreras son
simetricas.
216
7. Martingalas
8q
lm P p
2bkq
2b k
0.
1q
contiene u
nicamente valores
b2
b2
b2 , se tiene
E p q
8
k P p
kq
k 0
b2
2b
8
2b
p2bk
j q P p
2bk
jq
k 0 j 1
b2
p2bpk
8
1qq P p
2bkq
k 0 j 1
b2 p2bq2 pk
k 0
8.
1q p1 p1{2q2b qk
E pXn2 1p nq q
N P p
2
nq
E pn1p nq q
E p 1p nq q.
8.
217
7.8.
Algunas desigualdades
En esta secci
on se demostraran algunas desigualdades asociadas a submartingalas. No haremos mayor uso de ellas en lo sucesivo pero en sus
demostraciones se pondran en pr
actica algunos resultados estudiados antes.
Proposici
on 7.2 (Desigualdad maximal de Doob) Sea tXn : n 1u
una submartingala no negativa y defina Xn m
axtX1 , . . . , Xn u. Entonces
para cualquier 0,
P pXn
Demostraci
on.
n ^ mnt1 k n : Xk u.
E pX q
E pX 1pXn q q
P pX q
n
E pX 1pXn q q
E pXn 1pXn q q.
Es decir,
P pXn
q
218
7. Martingalas
Proposici
on 7.3 (Desigualdad maximal de Doob en L2 ) Sea tXn :
n 1u una submartingala no negativa y cuadrado integrable. Para Xn
m
axtX1 , . . . , Xn u se tiene que
E p|Xn |2 q 4 E pXn2 q.
Demostraci
on. El segundo momento de una variable aleatoria no negativa X puede expresarse, cuando existe, de la siguiente forma:
E pX 2 q 2
8
0
x P pX
xq dx.
8
0
8
0
x P pXn
pXn xq
Xn dP q dx
X
n
Xn
dx dP
0
Xn Xn dP
2E pXn Xn q
a
xq dx
E |Xn |2
E |Xn |2 .
Por lo tanto,
a
E p|Xn |2 q
2 E |Xn |2 .
E |Xn |2
Elevando al cuadrado se obtiene el resultado.
a
7.9.
Convergencia de martingalas
En esta secci
on revisaremos algunos elementos que nos llevar
an a enunciar y
demostrar el teorema de convergencia de submartingalas de Doob. Usaremos
algunas herramientas de la teora de la medida.
219
Proposici
on 7.4 Sea tXn : n 0u una submartingala y sean 1 y 2 dos
tiempos de paro acotados tales que 0 1 2 N , con N P N fijo.
Entonces
E pX1 q E pX2 q.
n N . Entonces
1 1p k q 1p nq q E pE pXn 1 1p k q 1p nq | Fn qq
E pE pXn 1 | Fnq 1p kq 1p nq q
E pXn 1p kq 1p nq q.
Sea k fijo tal que k
Demostraci
on.
E pXn
Por lo tanto,
E pX2 ^n 1p1 kq q
q 1p1 kq q.
p q 1p2 nq q
1 1 1 k
k 0
N
k 0
N
k 0
E pX2 q.
N
umero de cruces
Sea tXk : k 0u un proceso adaptado a una filtraci
on tFk uk0 , y sean a b
dos n
umeros reales. Consideraremos que n es un n
umero natural cualquiera.
220
7. Martingalas
..
.
mn tk
1 : Xk bu,
mn tk 1 : Xk au,
mn tk 2 : Xk bu,
mn tk 3 : Xk au,
1 : 2k nu.
221
ba
E pXn bq
Demostraci
on. Defina la sucesion de eventos Ak pk nq para k
1, 2, . . . Por la monotona de los tiempos de paro (7.3) se tiene que A1
A2 Eventualmente los elementos de esta sucesion son el conjunto
vaco, pues no pueden efectuarse demasiados cruces en un tiempo limitado
n. Observe adem
as que cuando ocurre el evento A2k1 el proceso al tiempo
2k1 se encuentra por arriba de b, mientras que cuando ocurre A2k , el
proceso al tiempo 2k se encuentra por abajo de a. A continuaci
on usaremos
la propiedad de submartingala aplicada a los tiempos de paro acotados
2k1 2k n. Tenemos entonces que E pX2k1 q E pX2k q, es decir,
X2k1 dP
X2k dP.
A2k1
X2k1 dP
Ac2k1
X2k1 dP
A2k1
X2k dP
Ac2k1
X2k dP.
222
7. Martingalas
esta desigualdad. A
nadiendo la constante b, se llega al siguiente resultado:
0
A2k1
A2k1
pX
2k 1
bq dP
pX bq dP.
2k
Entonces,
0
A2k1
pX bq dP
2k
pX bq dP
2k
A2k
A2k1 A2k
pa bqP pA2k q
A2k1 A2k
pX bq dP
2k
pXn bq dP.
Por lo tanto,
P pA2k q
pXn bq dP
b a A2k1 zA2k
1
pXn bq dP.
b a A2k1 zA2k
1
nq P pDnra, bs kq,
k 1
n
P pDn ra, bs kq
P pA2k q
k 1
b a k1
1
ba
A2k1 A2k
pXn bq
dP
E pXn bq .
Para la u
ltima desigualdad se hace uso del hecho de que las diferencias
A2k1 zA2k son conjuntos ajenos. Esto concluye la demostracion de la primera
223
X
c.s.
Demostraci
on. Verificaremos primero que la convergencia de tal sucesi
on de variables aleatorias es equivalente a la condici
on: D ra, bs 8 casi
seguramente, para cualesquiera n
umeros a b. Sea en y considere la
umero de cruces es D ra, bsp q.
sucesion numerica X1 p q, X2 p q, . . . cuyo n
Demostraremos que la sucesion tXn p q : n 1u es convergente si, y s
olo si,
D ra, bsp q 8, para cualesquiera a b.
pq
pq
b1 lm sup Xnpq.
n
224
7. Martingalas
8
1
ba
Como toda martingala es una submartingala, y toda supermartingala se
convierte en una submartingala a traves de un cambio de signo, se tiene
que el teorema anterior es valido en cualquiera de los tres casos. Es decir,
toda martingala, submartingala o supermartingala acotada en la forma en
la que indica el enunciado del teorema es convergente casi seguramente, y
su lmite es una variable aleatoria integrable.
La demostracion que se ha presentado aqu sobre la convergencia de submartingalas es la prueba original de Doob de 1940. En [12] pueden encontrarse algunos otros metodos alternativos de demostraci
on. Como hemos
mencionado, las submartingalas son procesos que tienen trayectorias que en
promedio tienden a crecer, vease la ecuaci
on (7.2), de modo que en este caso
hemos encontrado una cota superior para el n
umero promedio de cruces hacia abajo. En algunos textos, por ejemplo [3], se enuncia y prueba el mismo
resultado para supermartingalas, procesos cuyas trayectorias en promedio
tienden a decrecer.
7.10.
Representaci
on de martingalas
En esta secci
on demostraremos que toda martingala que cumple la condici
on
de ser uniformemente integrable puede escribirse en terminos de una esperanza condicional. Antes de enunciar el resultado explicaremos la condici
on
de integrabilidad uniforme para un proceso.
n de martingalas
7.10. Representacio
225
Integrabilidad uniforme
Puede comprobarse que una variable aleatoria X es integrable si, y s
olo si,
para cada 0 puede encontrarse un n
umero M 0 tal que
p|X |M q
|X | dP .
p|Xn |Mn q
|Xn| dP .
p|Xn |M q
|Xn| dP .
p|Xn |M q
|Xn| dP
"
1 si n M,
0 si n M.
Ejemplo 7.5 Sea X una variable aleatoria integrable y sea Fn una filtraci
on. Demostraremos que la martingala Xn E pX | Fn q es uniformemente integrable. Como |X | es integrable, tenemos
que para cada 0
as, como
existe 0 tal que si P pAq , entonces A |X | dP . Adem
226
7. Martingalas
que
E |X |
E |Xn|
|Xn| dP
p|X |M q
M P p|Xn| M q.
E p|X |q{, con 0 arbitrario,
n
p|Xn |M q
|Xn| dP
p|X |M q
n
p|Xn |M q
entonces
E p|X | | Fn q dP
|X | dP
La siguiente proposici
on establece que la convergencia en media es una
condici
on suficiente para que se cumpla la propiedad de integrabilidad uniforme en un proceso.
Proposici
on 7.6 Toda sucesi
on X1 , X2 , . . . de variables aleatorias integrables que es convergente en media es uniformemente integrable.
Demostraci
on. Suponga que X1 , X2 , . . . es una sucesion de variables
aleatorias integrables convergente en media a la variable aleatoria integrable
X, es decir, E |Xn X | 0. Esto es, para cada 0 existe un natural
N tal que para cualquier n N , E |Xn X | {2. Dado que el lmite X
es integrable, para cada 0 existe 0 tal que si P pAq , entonces
un valor de 0 m
as peque
no si es necesario se
A |X | dP {2. Tomando
tiene adem
as que A |Xn | dP , para cada n 1, . . . , N , cuando P pAq .
Por otro lado, para cualquier n 1,
E p|Xn |q
|Xn| dP
p|X |M q
M P p|Xn| M q.
1
E p|Xn |q si se toma M 1 supn E pp|Xn |q.
Es decir, P p|Xn | M q M
n
Tal valor de M es finito pues como la sucesion converge en media, es acotada en media. En particular y con el valor de M mencionado, lo anterior
n de martingalas
7.10. Representacio
227
p|Xn |M q
|Xn| dP
p|X |M q
n
p|Xn |M q
|X | dP
|X | dP
p|Xn |M q
|Xn X | dP
E p|Xn X |q
.
|Xn X | dP 3 .
p|Xn X |M q
Por otro lado, como la convergencia casi segura implica la convergencia en
probabilidad se tiene que P p|Xn X | {3q 0, cuando n 8, es decir,
existe un entero N tal que para n N ,
P p|Xn X | {3q
,
3M
228
7. Martingalas
en donde M
E p|Xn X |q
p|XnX |M q
|Xn X | dP
p{3|Xn X |M q
3
.
p|Xn X |{3q
|Xn X | dP
|Xn X | dP
M P p|Xn X | {3q
P p|Xn X | {3q
3
Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional.
Teorema 7.3 (Teorema de representaci
on de martingalas)
on
Sea tXn : n 0u una martingala uniformemente integrable, con filtraci
natural tFn un0 , y teniendo a la variable X como su lmite en media. Entonces,
Xn E pX | Fn q c.s.
Demostraci
on. Para cualquier m n, E pXm | Fn q
decir que para cualquier evento A en Fn ,
Xm dP
A
Xn dP.
A
Entonces,
| pXn X q dP | | pXm X q dP |
A
|Xm X | dP
|Xm X | dP.
229
7.11. J. L. Doob
Xn dP
A
E pX | Fnq c.s.
X dP.
A
7.11.
J. L. Doob
230
7. Martingalas
7.12. Ejercicios
231
d) Snell J. L., Obituary: Joseph Leonard Doob, Journal of Applied Probability, Vol. 42, 247256, 2005.
Fuente: Archivo MacTutor, Universidad de St. Andrews.
7.12.
Ejercicios
Filtraciones
169. Sea tXt : t 0u un proceso adaptado a la filtraci
on tFt ut0 , y sea
tGt ut0 la filtracion natural del proceso. Demuestre que para cada
on natural es la
t 0 se cumple Gt Ft . Esto significa que la filtraci
filtraci
on m
as peque
na respecto de la cual un proceso es adaptado.
Tiempos de paro
170. Sea tXn : n 1u la sucesion de resultados que se obtienen al lanzar
sucesivamente un dado equilibrado. Sea tFn un1 la filtraci
on natural
de este proceso y defina la variable como el primer tiempo n tal que
X1 Xn 10. Determine si es un tiempo de paro respecto de
la filtraci
on dada.
171. Demuestre que la condici
on en la definicion de tiempo de paro a tiempo
discreto p nq P Fn es equivalente a la condici
on p nq P Fn .
172. Sea n un entero positivo. Demuestre que la variable aleatoria constante
as que 8 es tambien
n es un tiempo de paro. Compruebe adem
un tiempo de paro.
173. Sea un tiempo de paro con valores en t1, 2, . . . u Y t8u, y sea n un
entero positivo. Demuestre que las siguientes variables tambien son
tiempos de paro.
^ n.
_ n.
a)
b)
c)
n.
232
7. Martingalas
b) 1 _ 2 .
c) 1
2 .
1 una cons-
sup t1 , 2, . . .u.
b) nf t1 , 2 , . . .u.
c) pkq , es decir, es la k-esima estadstica de orden.
on tFn un0 , y sea
Sea tXn : n 0u un proceso adaptado a la filtraci
un tiempo de paro discreto con valores en t0, 1, . . . u y que adem
as
es finito, es decir, P p 8q 1. Demuestre que X es una variable
a)
178.
aleatoria.
Martingalas
179. Definiciones equivalentes. Sea tXn : n 0u una martingala a tiempo
discreto. Demuestre que la propiedad de martingala
a) E pXm | Fn q Xn , para cualquier m n
233
7.12. Ejercicios
es equivalente a la condici
on
b) E pXn
| Fnq Xn,
para cada n 1.
E pX | Ft q.
234
7. Martingalas
b) Si tXn : n 0u es una supermartingala, entonces tXn ^ M : n
0u es una supermartingala.
189.
190. Martingala de de Moivre. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes cada una de ellas con la misma distribucion dada
por P p 1q p y P p 1q q 1 p. Sea Xn 1 n .
Demuestre que Yn pq {pqXn es una martingala respecto de la filtraci
on generada por el proceso tXn : n 1u.
191. Sea tXt : t 0u una martingala respecto de una filtraci
on tFt ut0 .
Demuestre que el proceso tambien es una martingala respecto de su
filtraci
on natural. En general el recproco es falso.
192. Martingala producto. Sean 1 , 2 , . . . variables aleatorias independientes con esperanza unitaria. Demuestre que el proceso Xn 1 n
es una martingala respecto de su filtraci
on natural.
193. Sea tXn : n 0u una submartingala. Demuestre que los siguientes
procesos tambien son submartingalas.
235
7.12. Ejercicios
a) Xn
194. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesion de variables aleatorias independientes e identicamente distribuidas. Defina
Xn 1 n . Demuestre que:
a) Si E p q 8, entonces el proceso tXn nE p q : n
martingala.
1u es una
r
pk k q s2
k 1
k 1
k2 .
236
7. Martingalas
r k E pk | Fk1q s.
k 1
pXt tq2 t.
b) Yt expp Xt t p1 e q q, en donde P R.
Sea tXt : t 0u un proceso integrable con incrementos independientes. Demuestre que el proceso centrado tXt E pXt q : t 0u es una
a) Yt
201.
martingala.
n2
237
7.12. Ejercicios
Teorema de paro opcional
P pX
bq
aq
1 pq {pqa
,
1 pq {pqa b
1 pp{q qb
,
1 pp{q qa b
b) Demuestre que
E p q
$
& ab
%
pq
a b 1 pp{q qb
p q 1 pp{q qa b
si p q,
si p q.
Integrabilidad uniforme
208. Demuestre que una variable aleatoria X es integrable si, y s
olo si, para
cada 0 existe M 0 tal que
p|X |M q
|X | dP .
238
7. Martingalas
Captulo 8
Movimiento Browniano
El fenomeno natural que ahora se conoce como
movimiento Browniano tiene una interesante
historia. El primer registro, aunque no as la
primera observaci
on, data de 1828, cuando el
bot
anico Robert Brown report
o en una revista
cientfica que granos de polen suspendidos en
una cierta substancia y vistos a traves de un
microscopio realizaban un movimiento irregular e inexplicable [2]. Este extra
no movimiento fue objeto de mucha discusion y muy diversas controversias se suscitaron a partir de su diR. Brown
vulgacion en la comunidad cientfica de aquella
epoca. Con la intenci
on de dar una explicacion
satisfactoria del extra
no fenomeno observado, se llevaron a cabo diversos
experimentos y se formularon muy diversas hip
otesis [23]. Hoy en da este
movimiento es entendido y explicado a traves de las m
ultiples colisiones
aleatorias de las moleculas del lquido con los granos de polen. Llegar a
tal aseveraci
on tom
o muchos a
nos, pues debi
o aceptarse la teora cinetico
molecular de la materia, y el seminal trabajo de Einstein de 1905 sobre este
fenomeno contribuy
o decididamente a tal tarea. Aparentemente sin tener
informaci
on precisa de las observaciones de Brown, Einstein pudo predecir que el movimiento irregular de partculas suspendidas en lquidos deba
poder observarse a traves de un microscopio. En [8] se puede encontrar la
239
240
8. Movimiento Browniano
reimpresi
on de los primeros trabajos de Einstein sobre el movimiento Browniano. En este captulo se presenta una introducci
on al modelo matem
atico
para el movimiento Browniano. Se trata del ejemplo m
as importante de un
proceso de Markov a tiempo continuo y con espacio de estados continuo.
8.1.
Definici
on
Definici
on 8.1 (Primera definici
on) Un movimiento Browniano unidimensional de par
ametro 2 es un proceso estoc
astico tBt : t 0u con
valores en R que cumple las siguientes propiedades.
1. B0
0 c.s.
n
8.1. Definicio
241
0 c.s.
P A1, . . . , Bt P Anq
n
es igual a
A1
An
en donde
2 2 t
epyxq
{22 t .
(8.1)
242
8. Movimiento Browniano
tn
t1
t2
t1
t2
tn 1
tn
t1
tn 1
8
8
8
pps, 0, xq ppt s, x, u
1
2 2 s
ex
a 2
e
2 pt sq
ppt s, 0, uq,
1
{2s a
u2
xq dx
1
2 2
22
ptsq
pt sq
eu
{22 ptsq dx
t1
t2
tn
t2
t1
tn
tn 1
x1 q
xn q
n
8.1. Definicio
243
Esto demuestra que las variables Bt1 , Bt2 Bt1 , . . . , Btn Btn1 son independientes, cada una de ellas con distribucion normal con los par
ametros
mencionados.
Se dice que un movimiento Browniano es est
andar cuando 2 1. A traves
2
andar
del cambio de variable t un movimiento Browniano no est
puede convertirse en uno est
andar. Entonces, a menos que se especifique
lo contrario y sin perdida de generalidad, a partir de ahora supondremos
que el movimiento Browniano es est
andar, es decir, el incremento Bt Bs
tiene distribuci
on N p0, t sq. Puede demostrarse que los siguientes procesos
tambien son movimientos Brownianos.
a) tWt
b)
c)
d)
Bt : t 0u.
tWt 1c Bc t : t 0u, con c 0 constante.
tWt t B1{t : t 0u, con W0 0.
tWt Bt t Bt : t 0u, con t0 0 fijo.
2
Funci
on de probabilidad de transici
on
A la funci
on ppt, x, y q definida por (8.1) se le llama funcion de probabilidad
de transicion del movimiento Browniano de par
ametro 2 . En particular, la
probabilidad de que un movimiento Browniano que inicia en x se encuentre
en un conjunto A R (apropiadamente medible) despues de t unidades de
tiempo es
ppt, x, Aq
ppt, x, y q dy.
244
8. Movimiento Browniano
s, x, y q
8
Bp 1 B2 p .
B t 2 B x2
En uno de sus trabajos de 1905 y a traves de consideraciones teoricas fsicas,
Einstein encontr
o que la probabilidad de transicion ppt, x, y q satisface la
ecuaci
on de difusi
on y a partir de all dedujo la expresi
on Gausiana para
esta probabilidad.
8.2.
Propiedades b
asicas
Proposici
on 8.2 El movimiento Browniano es un proceso de Markov.
sicas
8.2. Propiedades ba
245
Demostraci
on. Para cualesquiera tiempos 0 t1
y para cualquier evento A en R,
t2 tn tn
1,
movimiento Browniano. Como una consecuencia del hecho de que los incrementos de este proceso son independientes, demostraremos a continuaci
on
la propiedad de martingala.
Proposici
on 8.3 El movimiento Browniano es una martingala continua.
Demostraci
on. Claramente el proceso es adaptado a su filtraci
on natural y cada variable aleatoria del proceso es integrable. Por otro lado, para
cualesquiera tiempos s y t tales que 0 s t,
E pBt | Fs q
E pBt Bs
Bs | Fs q
E pBt Bs | Fs q
E pBt Bs q
E pBs | Fs q
Bs
Bs .
246
8. Movimiento Browniano
t 1
t n ,
n 1.
sicas
8.2. Propiedades ba
247
8
f py q ppt, y, xq dx
8
f py q ppt, x, y q dx,
248
8.3.
8. Movimiento Browniano
n1
lm sup
0 i0
Cuando este n
umero es finito se dice que la funcion tiene variaci
on finita en
dicho intervalo. Analogamente, la variaci
on cuadratica es
lm sup
n1
0 i0
Demostraremos a continuaci
on que sobre un intervalo de tiempo acotado
ra, bs, casi todas las trayectorias del movimiento Browniano tienen variacion
no acotada, esto es,
lm sup
n1
0 i1
|Bt Bt | 8
i 1
c.s.
Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como
funciones integradoras en el sentido de Riemann-Stieltjes. El hecho de que
se desee definir alg
un tipo de integral respecto del movimiento Browniano
ser
a claro en el siguiente captulo cuando se estudian ecuaciones diferenciales estoc
asticas. Por otro lado, demostraremos tambien que la variaci
on
cuadratica del movimiento Browniano sobre ra, bs es finita, de hecho, es la
longitud del intervalo en cuesti
on.
Proposici
on 8.4 La variaci
on cuadr
atica de una trayectoria del movimiento Browniano sobre el intervalo ra, bs es la longitud del intervalo, es decir,
lm sup
n1
0 i1
|Bt Bt |2 b a,
i 1
en el sentido L2 pP q.
249
Demostraci
on. Sea tPn : n 1u una sucesion de particiones finitas
del intervalo ra, bs. Denote por ti el incremento ti 1 ti , y sea Bi la
diferencia Bti 1 Bti . Entonces
E|
pBiq2 pb aq|2
E pBi q4
i j
3pti q
i j
2pti q2
ti tj
ptiq pb aq2
pb aq
ti q2 pb aq2
2pti q
2pb aq 0m
ax t 0.
in i
Recordemos ahora el resultado que establece que toda toda sucesion conon convergente casi seguvergente en el sentido L2 pP q tiene una subsucesi
ramente. Por lo tanto existe una subsucesi
on de particiones tPnk : k 1u
del intervalo ra, bs tal que
lm sup
n1
0 i1
|Bt Bt |2 b a,
i 1
c.s.
Proposici
on 8.5 (Variaci
on del movimiento Browniano) La variaci
on
de una trayectoria del movimiento Browniano sobre el intervalo ra, bs es infinita, casi seguramente, es decir,
lm sup
n1
0 i1
|Bt Bt | 8,
i 1
c.s.
Demostraci
on. Para cada n natural sea Pn la partici
on uniforme del
intervalo ra, bs en n subintervalos, es decir cada incremento ti ti 1 ti
250
8. Movimiento Browniano
n1
i 0
Sea tPnk : k
|Bi| p 0m
ax |Bi | q
in
2
n1
|Bi|.
(8.2)
i 0
lm
n
k 1
8 i0
|Bi|2 b a,
c.s.
Por otro lado, como las trayectorias del movimiento Browniano son continuas casi seguramente, se tiene que
lm
m
ax
8 0ink
|Bi| q 0,
c.s.
Substituyendo los u
ltimos dos resultados en (8.2) se obtiene que, respecto
de la subsucesi
on de particiones,
lm
n
k 1
8 i0
|Bi| 8,
c.s.
No diferenciabilidad
Demostraremos a continuaci
on que para cualquier tiempo t0 0 fijo, con
probabilidad uno la trayectoria t Bt no es diferenciable en t0 . Mas adelante se enuncia sin demostracion un resultado m
as fuerte acerca de esta no
diferenciabilidad.
Proposici
on 8.6 Sea t0 0 fijo. Con probabilidad uno, el movimiento
Browniano tBt : t 0u no es diferenciable en t0 .
Demostraci
on.
Debido a que tBt0 t Bt0 : t 0u es tambien un
movimiento Browniano, es suficiente demostrar la no diferenciabilidad de
Bt en t 0. Demostraremos que con probabilidad uno, para cada n
umero
1
2
natural n existe t en el intervalo r0, 1{n s tal que | t Bt | n. Esta propiedad
251
P pAn q
Pp
| 1{1n4 B1{n | n q
P p |B1{n4 |
P p |B 1 |
1
n
1
n3
q1
1
n
q
cuando n 8.
252
8. Movimiento Browniano
8.4.
pt sq12
0
..
pt sqn2
Es decir, la funci
on de densidad del vector B ptq B psq es
f px1 , . . . , xn q
2
2
1
ex1 {2ptsq1
2
2 pt sq1
a 1 2 ex2n {2ptsqn2 .
2 pt sqn
253
p2pt sqq
||x||2 {2ptsq ,
{ e
n 2
1
2
e||yx|| {2t ,
n
{
2
p2tq
s, x, y q
Rn
El proceso de Bessel
Sea tB ptq : t 0u un movimiento Browniano en Rn . El proceso de Bessel
es el proceso dado por
Rptq ||B ptq|| pB12 ptq
Bn2 ptqq1{2 .
Es decir, Rptq es la distancia Euclideana que guarda un movimiento Browniano n-dimensional respecto al origen al tiempo t, y por eso se le llama a
veces movimiento Browniano radial. Se trata pues de un proceso con valores
en r0, 8q que evidentemente tiene trayectorias continuas. Puede demostrarse
(vease [1]) que este proceso cumple la propiedad de Markov y que la funcion
de probabilidades de transicion ppt, x, y q puede expresarse en terminos de las
funciones de Bessel, y de all es de donde adquiere este nombre alternativo.
Ecuaci
on de calor en dominios acotados
Vamos a enunciar sin demostracion un resultado que nos llevar
a a una aplicaci
on del movimiento Browniano. Considere una regi
on abierta y acotada
D de Rn con frontera B D, y suponga que la funcion upt, xq representa la
on en el tiempo
temperatura en el punto x P D al tiempo t 0. La evoluci
de esta funci
on est
a dada por la ecuaci
on de calor
254
8. Movimiento Browniano
gpBx q1p tq q.
(8.3)
n
8.5. El principio de reflexio
255
upxq
Bt
1
b
x
a
b
paq
pb q
Figura 8.5
8.5.
El principio de reflexi
on
t
alg
un punto arriba de b, y
el conjunto de trayectorias
Figura 8.6
que terminan por abajo de
b. Una vez que una trayectoria toca el punto b es igualmente probable que finalice al tiempo t arriba de
b o abajo de b. Este resultado adquiere su nombre debido a esta propiedad de
reflexi
on y facilita el c
alculo de algunas probabilidades, en particular, lo usb
256
8. Movimiento Browniano
para alg
un s P r0, ts q 2 P pBta
bq.
(8.5)
Demostraci
on. Sea el primer momento en el que el movimiento Browniano es igual a b, es decir, sea nf tt 0 : Bta bu. Esta variable
aleatoria puede tomar el valor infinito si el evento mencionado nunca ocurre.
Entonces
P p Bsa
para alg
un s P r0, ts q
P p tq
P p tq P p tq
P p tq.
La u
ltima igualdad se debe a que P p tq P pBta bq 0, por ser Bta
una variable aleatoria continua. Por otro lado,
P pBta
bq
P pBta
b | tq P p tq
P p b 0 | tq P p tq,
Bta
(8.6)
tq 2 P pBta bq.
8.6.
Recurrencia y transitoriedad
En esta secci
on encontraremos la probabilidad de que el movimiento Browniano eventualmente regrese a su posici
on de origen. Veremos que la respuesta depende de la dimension del proceso. Empezaremos estudiando una
propiedad general en el caso unidimensional.
257
Proposici
on 8.9 Sea tBt : t 0u un movimiento Browniano unidimensional que inicia en cero y considere dos tiempos t1 y t2 tales que 0 t1 t2 .
Entonces,
P p Bt
0
para alg
un t P rt1 , t2 s q 1
2
t1
arctan ?
.
t2 t1
on
Demostraci
on. Para cualquier u 0, mediante argumentos de traslaci
y por el principio de reflexion se tiene que
P p Bt
8
4
4
8
8
0
2 P p Bt2 t1
u q ppt1 , 0, uq du
P p Bt2 t1
u q ppt1 , 0, uq du
8 8
08 u8
ppt2 t1 , 0, v q dv q ppt1 , 0, uq du
1
?2t
eu {2t dv du.
1
0
u
? ?
Haciendo el cambio de variable px, y q pu{ t , v { t t q se obtiene la
4
1
2
ev {2pt2 t1 q
2 pt2 t1 q
expresi
on equivalente
4
8 8
0
1 px2
e
?
?
x t1 { t2 t1 2
q{ dy dx.
y2 2
258
8. Movimiento Browniano
{2
?t
arctan ? 1
t t
8
0
1 r2 {2
e
r dr d
2
?
8
4 p 2 arctan ?t t1 t q 21
er {2 r dr
0
?2t 1
2
1 arctan ?t 1 t .
2
1
2
?1
?t tt
2
?1
arctan ?t tt
2
Figura 8.7
Con ayuda de este resultado demostramos ahora la recurrencia puntual del
movimiento Browniano unidimensional.
Proposici
on 8.10 (Recurrencia puntual del movimiento Browniano unidimensional) Con probabilidad uno el movimiento Browniano unidimensional es recurrente puntual, es decir, regresa a su posici
on de origen
una infinidad de veces casi seguramente.
Demostraci
on. Haciendo t2 tender a infinito en la formula recien demostrada e intercambiando el lmite con la probabilidad, lo cual es valido,
pues la sucesion de eventos es creciente, se obtiene que para cualquier valor
positivo de t1 ,
P p Bt
0
para alg
un t P rt1 , 8q q lm p1
t2
2
t1
arctan ?
q 1.
t2 t1
259
0
para alg
un t P p0, t2 s q lm p1
t1
2
t1
arctan ?
q 1.
t2 t1
260
8. Movimiento Browniano
x
b
r1
r2
Figura 8.8
Suponga que el movimiento Browniano inicia en el origen y que en alg
un
tiempo posterior se encuentra en un punto x dentro de la regi
on A. Defina
la funci
on f pxq como la probabilidad de que el movimiento Browniano que
parte de x llegue a la circunferencia exterior tx P Rn : ||x|| r2 u antes que
a la circunferencia interior tx P Rn : ||x|| r1 u. Es decir, si se define el
tiempo de paro
nf tt 0 : B ptq P B D u,
entonces f pxq P p ||B p q|| r2 | B p0q x q. Esta funcion puede tambien
escribirse como
f pxq E p gpB p qq | B p0q x q,
en donde g pxq : B A R es la funcion indicadora
g py q
1 si ||x|| r2 ,
0 si ||x|| r1 .
261
(8.7)
1 si ||y || r2 ,
0 si ||y || r1 .
1 d n1 d
pr dr q
r n1 dr
d2
n1 d
.
dr 2
r dr
n1 1
pr q 0,
r
para r
P pr1, r2 q,
on
y las nuevas condiciones de frontera son pr2 q 1 y pr1 q 0. La soluci
general de esta ecuaci
on es
pr q
c1 ln r
c1 r 2n
c2
c2
si n 2,
si n 3,
p||x||q
ln ||x|| ln r1
ln r2 ln r1
r12n ||x||2n
r12n r22n
si n 2,
si n 3.
(8.8)
(8.9)
Estos resultados nos permitiran encontrar las probabilidades buscadas tomando algunos lmites sobre los radios r1 y r2 . Para el caso n 2, la probabilidad
262
8. Movimiento Browniano
r2
ln ||x|| ln r1
rlm
8 ln r2 ln r1
0.
2
r1
ln ||x|| ln r1
rlm
p
1
q
0
ln r2 ln r1
0.
1
r2
r12n ||x||2n
rlm
8 r12n r22n
1 p ||rx1|| qn2
0.
2
263
8.7. N. Wiener
Este es el comportamiento transitorio del movimiento Browniano para dimensiones n 3. Explcitamente, la probabilidad de un retorno exacto al
origen es cero, pues por (8.9) esta probabilidad es
lm P p ||B p q|| r1 antes que ||B p q|| r2 | B p0q x q
r1
r 2n ||x||2n
p
1 1 2n
q
rlm
0
r1 r22n
0.
1
Notas y referencias. El lector puede encontrar una muy interesante y motivadora exposici
on hist
orica sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward Nelson [23]. Este libro se encuentra
disponible en formato electr
onico en la p
agina web del autor. Para otras
primeras lecturas y mas resultados sobre el movimiento Browniano pueden
consultarse, por ejemplo, los textos de Karlin y Taylor [17], Lawler [21],
Nelson [23], y Tudor [36].
8.7.
N. Wiener
264
8. Movimiento Browniano
8.8.
P. P. L`
evy
y trabajo en la Ecole
Polytechnique. De
peque
no, L`evy asisti
o al Lycee Saint Louis en
Pars, en donde mostro ser un excelente estudiante, sobresaliendo y ganando premios no
s
olo en matem
aticas sino tambien en griego,
8.9. Ejercicios
265
En 1910 concluy
o sus estudios en la Ecole
des Mines, y realiz
o a partir de
entonces trabajos de investigaci
on en an
alisis funcional que le llevaron a
obtener el grado de Docteur es Sciences en 1912 bajo el escrutinio de E. Pi
card, H. Poincare y J. Hadamard. Trabajo como profesor en la Ecole
des
8.9.
Ejercicios
Movimiento Browniano unidimensional
ametro 2 .
209. Simetra. Sea tBt : t 0u un movimiento Browniano de par
Demuestre que para cualesquiera tiempos t s, P pBt Bs q 1{2.
210. Cambios de escala 1. Sea una constante distinta de cero. Demuestre
266
8. Movimiento Browniano
que si tBt : t 0u es un movimiento Browniano est
andar, entonces
los siguientes procesos son movimientos Brownianos de par
ametro 2 .
a) tWt
b)
Bt : t 0u.
tWt B t : t 0u.
2
1 Bt : t 0u.
b) tWt Bt{ : t 0u.
Traslaci
on. Sea s 0 fijo y sea tBt : t 0u es un movimiento Browniano est
andar. Demuestre que el proceso tXt Bt s Bs : t 0u es
2
212.
213. Sean las funciones aptq e2t y bptq et . Calcule la funcion de
covarianza del proceso tXt bptqBaptq : t 0u en donde tBt : t 0u
un movimiento Browniano est
andar.
214. Sea tBt : t 0u un movimiento Browniano de par
ametro 2 . A partir
de la definicion, demuestre que el proceso tWt tB1{t : t 0u, con
ametro 2 .
W0 0, es un movimiento Browniano de par
215. Movimiento Browniano con tiempo invertido. Sea s 0 fijo y sea
tBt : t 0u es un movimiento Browniano estandar. Demuestre que
el proceso tXt Bs Bst : t P r0, ssu es un movimiento Browniano
en el intervalo r0, ss. Este es un movimiento Browniano con tiempo
invertido.
216. Demuestre que la probabilidad de transicion ppt, x, y q del movimiento
Browniano unidimensional de par
ametro 2 satisface la ecuaci
on de
difusi
on, tambien llamada ecuaci
on de calor:
Bp B2 p .
Bt 2 By2
267
8.9. Ejercicios
s, x, y q
8
|t s|.
a) E |Bt Bs |
b) E pBt Bs q2
c) E pBs Bt q s ^ t.
d) CovpBs , Bt q s ^ t.
e) pBt , Bs q
s{t, para 0 s t.
Bt : t 0u.
b) tWt 1c Bc t : t 0u, con c 0 constante.
c) tWt t B1{t : t 0u, con W0 0.
d) tWt Bt t Bt : t 0u, con t0 0 fijo.
ametro 2 que inicia
Sea tBt : t 0u un movimiento Browniano de par
en cero. Sea a una constante y defina el tiempo nf tt 0 : Bt
au. Encuentre la funcion de densidad de .
Sea tBt : t 0u un movimiento Browniano unidimensional est
andar.
2
221.
222.
Xt
sup Bs
0 s t
Mt Bt .
268
8. Movimiento Browniano
ppt, x, y q,
2t{.
b) VarpXt q p1 2{ qt.
"
Btx si 0 t ,
0
si t ,
xq, para x, y
0,
en donde ppt, x, y q es la correspondiente funcion para tBt : t 0u,
269
8.9. Ejercicios
a)
respecto de la filtraci
on natural del movimiento Browniano.
2
b) Compruebe que E pXt q 1 y VarpXt q ec t 1.
a para algun t 0q 1.
270
8. Movimiento Browniano
1
pn{2q
n{2
1
2
x2
t
n{21
2x x2 {2t
e
.
t
{2t .
B2 f B2 f
B x2 B y 2
B2 f
Br2
1 B
f
r Br
1 B2
f.
r2 B2
Compruebe
nicamente a traves
a que cuando f depende de x y de y u
2
2
y , el Laplaciano se reduce a la expresi
on:
de r x
f pr, q
d2
f
dr 2
1 d
f.
r dr
Este resultado fue usado en la demostracion de la propiedad de recurrencia por vecindades del movimiento Browniano en R2 .
231. Demuestre que el operator Laplaciano en R3 :
f px, y, z q
B2 f B2 f B2 f
B x2 B y 2 B z 2
1 B 2B
pr Br qf
r2 Br
1
B psen B qf
r 2 sen B
B
1
B2 f.
r 2 sen2 B 2
271
8.9. Ejercicios
Compruebe
que cuando f depende de x, y y z u
nicamente a traves de
a
2
2
2
r x
y
z , el Laplaciano se reduce a la expresi
on
f pr, q
d2
f
dr 2
2 d
f.
r dr
Este resultado fue usado en la demostracion de la propiedad de transitoriedad del movimiento Browniano en R3 .
272
8. Movimiento Browniano
Captulo 9
C
alculo estoc
astico
En este u
ltimo captulo se presenta una breve introducci
on al calculo estoc
astico de Ito y est
a basado en [30]. Vamos a definir la integral de Ito de
un proceso estoc
astico respecto del movimiento Browniano. Mostraremos
adem
as el uso y aplicaci
on de la formula de Ito, y resolveremos algunos
modelos sencillos de ecuaciones estocasticas.
9.1.
Integraci
on estoc
astica
Xs dBs .
(9.1)
Este tipo de integrales no pueden definirse trayectoria por trayectoria, es decir, como si fuera una integral de Riemann-Stieltjes de una funcion respecto
de otra funci
on, pues en este caso la funcion integradora es una trayectoria
del movimiento Browniano que, como hemos visto antes, no tiene variaci
on
finita. La justificaci
on para desear definir este tipo de integrales ser
a evidente m
as adelante cuando estudiemos ecuaciones estocasticas basadas en
este tipo de integrales. Definir la integral de Ito a un nivel elemental nos conducira necesariamente a dejar sin demostracion algunos resultados tecnicos.
Daremos la definicion de integral estocastica en varios pasos, primero para
procesos simples y despues, por aproximacion, para procesos m
as generales.
273
lculo estoca
stico
9. Ca
274
Primeras hip
otesis
Consideraremos como elementos iniciales un espacio de probabilidad p, F , P q,
y un movimiento Browniano est
andar unidimensional tBt : t 0u, junto
con su filtraci
on natural tFt ut0 . Supondremos dado un proceso tXt u con
espacio parametral el intervalo r0, T s, con T 0 fijo, y que visto como funci
on X : r0, T s R, es FT b B r0, T s-medible, en donde el termino
FT b B r0, T s corresponde a la mnima -algebra generada por el espacio
as que el proceso es adaptado,
producto FT B r0, T s. Supondremos adem
es decir, para cada t en el intervalo r0, T s, la variable aleatoria Xt es medible
respecto de Ft .
El espacio L2 pP q
Denotaremos por L2 pP q al espacio vectorial de variables aleatorias X que
son cuadrado integrables, es decir, que cumplen la condici
on
La funci
on || ||L2pP q define una norma en L2 pP q, es decir, es una funcion
real definida sobre este espacio lineal que cumple las siguientes cuatro condiciones:
a)
||X || 0.
b)
||X || 0
c)
||X
d)
0
Y || ||X ||
c.s.
||Y ||.
||Bt||L pP q pE |Bt|2q1{2
2
t 8.
n estoca
stica
9.1. Integracio
275
El espacio L2 pP dtq
Denotaremos tambien por L2 pP dtq al espacio lineal de todos los procesos
on
X tXt : 0 t T u, que cumplen la condici
|Xt|2 dtq1{2 8.
p
p
|Bt|2dt q1{2
E |Bt |2 dt q1{2
t dt q1{2
?T 8.
2
Procesos simples
Definiremos primero la integral de Ito para procesos que tienen la forma
indicada a continuaci
on y que llamaremos procesos simples.
Definici
on 9.1 Sea 0 t0 t1 tn T una partici
on finita del
astico simple es un proceso de la forma
intervalo r0, T s. Un proceso estoc
Xt
n1
q ptq,
(9.2)
k 0
La expresi
on 1ra,bq ptq denota a la funcion indicadora del intervalo ra, bq. Un
proceso simple es entonces un proceso constante por pedazos con trayectorias c`
adl`
ag (continuas por la derecha, con lmite por la izquierda), y las
lculo estoca
stico
9. Ca
276
condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias cuadrado integrables. Estas propiedades permitir
an dar una definicion
adecuada para la integral estocastica. Una trayectoria de este tipo de procesos se muestra en la Figura 9.1. Denotaremos por H02 al espacio de todos los
procesos simples. Haciendo posiblemente algunos refinamientos
X t p q
en las particiones, dos procesos
X pn1q
p1q
X
simples pueden siempre expresarse en terminos de una misma
X p0q
partici
on com
un. De modo que
la suma de dos procesos simples
tiene sentido y resultara ser tamt
bien un proceso simple. El espatn1 tn
t1
t2
cio H02 es efectivamente un espaFigura 9.1
cio vectorial.
b
bc
bc
bc
bc
Xs dBs
0
n1
X pkq pBtk
Bt q.
k
k 0
(9.3)
n estoca
stica
9.1. Integracio
277
||I pX q||2L pP q
Ep |
n1
n1
X pkq pBtk
Bt q|2 q
k
k 0
E p X pj q X pkq Bj Bk q
j,k 0
n1
k 0
n1
E p pX pkq q2 pBk q2 q
E pX pkq q2 tk
k 0
E p |Xt|2 dtq
0
||X ||2L pP dtq .
2
n1
Btk pBtk
Bt q.
k
k 0
Extensi
on por aproximaci
on
Ahora extenderemos la integral estocastica a procesos un poco m
as gene2
rales. Sea H el espacio de todos los procesos tXt u medibles y adaptados,
lculo estoca
stico
9. Ca
278
tales que
E
0
|Xt|2 dt 8.
El espacio
resulta ser un subespacio lineal cerrado de L2 pP dtq. Observe
que la u
nica diferencia entre estos dos espacios es que a los elementos de
H2 se les pide adem
as que sean medibles y adaptados. En particular, todo
proceso simple es un elemento de H2 . Tenemos entonces la contenci
on de
espacios H02 H2 L2 pP dtq, en donde puede probarse que H02 es denso
en H2 respecto de la norma en L2 pP dtq. Esto significa que para cualquier
proceso X en H2 existe un sucesion de procesos X k en H02 tales que
H2
0.
(9.4)
Debido a (9.4) la u
ltima expresi
on puede hacerse tan peque
na como se desee,
tomando ndices k y l suficientemente grandes.
Definici
on 9.3 Sea X un proceso en H2 , y sea X k una sucesi
on de procesos
2
astica de X como
en H0 aproximante a X. Se define la integral estoc
I pX q lm I pX k q,
k
n estoca
stica
9.1. Integracio
279
H02
H2
L2 pP
dtq
L 2 pP q
Figura 9.2
La isometra de Ito se cumple tambien para procesos en H2 como se muestra
a continuaci
on.
Proposici
on 9.1 (Isometra de It
o) Para cualquier proceso X en H2 se
cumple
||I pX q||L2pP q ||X ||L2pP dtq .
(9.5)
Demostraci
on. Sea X en H2 y sea Xn en H02 tal que ||X Xn ||L2pP dtq
0. Esta convergencia y la desigualdad | ||a|| ||b|| | ||a b|| implican que
||Xn||L2pP dtq ||X ||L2pP dtq . Analogamente, como ||I pX qI pXn q||L2pP q
0 se tiene que ||I pXn q||L2pP q ||I pX q||L2pP q . El resultado buscado se obtiene al tomar el lmite en la isometra de Ito como se muestra en el siguiente
diagrama:
||I pX q||L pP q
||X ||L pP dtq .
2
lculo estoca
stico
9. Ca
280
0.
kl8
m E pI pX k qq 0.
n1
q p t q,
k 0
Bt dBt
0
nl8
m
n1
Btk pBtk
Bt q,
k
k 0
T
0
Xs dBs .
0
Este peque
no artificio permite ver a la integral estocastica no como una
variable aleatoria sino como un proceso. Es claro que tal proceso no es
n estoca
stica
9.1. Integracio
281
Pp
|Xt|2dt 8q 1.
(9.6)
Denotaremos por L2loc el espacio de todos estos procesos. Este nuevo espacio
contiene a H2 y es tal que para cada proceso X en L2loc existe una sucesion
creciente de tiempos de paro 0 1 2 tales que n T cuando
n 8, y para cada n 1 el proceso Xt 1pn tq pertenece al espacio H2 . Se
define entonces la integral estocastica como el siguiente lmite en el espacio
L2 pP q,
t
Xs dBs
0
nl8
m
T
0
Nuevamente es posible demostrar que tal lmite existe, que existe una versi
on continua de el, y que es independiente de la sucesion de tiempos de
paro localizante. En este caso la integral ya no es una martingala sino una
martingala local, esto quiere decir que el proceso detenido It^n pX q es una
martingala para cada natural n. En general, la isometra de Ito ya no se
cumple cuando la integral estocastica tiene como dominio de definicion el
espacio L2loc .
Ejemplo 9.1 Para el movimiento Browniano unidimensional tBt : t 0u
y para cualquier funci
on continua f , el proceso tf pBt q : 0 t T u tiene
trayectorias continuas y acotadas, por lo tanto se cumplen las condiciones
de adaptabilidad y medibilidad y se cumple tambien (9.6), por lo tanto este
proceso es un elemento de L2loc , y tiene sentido la expresi
on
t
0
f pBs q dBs ,
0 t T.
lculo estoca
stico
9. Ca
282
Se puede demostrar que esta integral puede ser calculada mediante el siguiente lmite en el espacio L2 pP q, aunque tambien se verifica la convergencia en
probabilidad:
t
0
f pBs q dBs
nl8
m
n1
f pBtk q pBtk
Bt q,
k
(9.7)
k 0
Definicion
H02
H2
L2loc
Aproximacion
Localizacion
L 2 pP q
Figura 9.3
Ejemplo 9.2 Con la ayuda de la identidad (9.7) calcularemos la integral
estoc
astica
t
Bs dBs .
(9.8)
0
1 2
1
p
b a2 q pa bq2
2
2
n estoca
stica
9.1. Integracio
283
se obtiene
t
Bs dBs
0
lm
n1
pB
B q
tk
8 j 0 tk tk 1
n
1 1
lm
r 2 pBt2k 1 Bt2k q 12 pBtk
n8
j 0
n
B t q2 s
k
1 2 1
B t.
2 t
2
1 2
pb a2q
2
1
pa bq2
2
Bs dBs
0
n1
1 2
B
2 t
B t q2 s
k
1
t.
2
lculo estoca
stico
9. Ca
284
Stratonovich, denotada de la forma siguiente:
t
0
Bs dBs
12 Bt2.
Bs dBs .
0
Varp
Bs dBs q
Ep
Bs dBs q2
Ep
Bs2 dsq
t
t
0
t
t
0
E pBs2 q ds
s ds
0
12 t2.
12 Bt2 12 t,
1
VarpBt2 q
4
1
pE pBt4 q E 2 pBt2qq
4
1 2
p3t t2 q
4
1 2
t .
2
n estoca
stica
9.1. Integracio
285
Ep
Xs dBs
0
Ys dBs q
t
0
E pXs Ys q ds.
Esta f
ormula es f
acil de comprobar usando la isometra de It
o y la igualdad
1
1 2
2
2
ab 2 pa bq 2 pa
b q. En efecto,
t
Ep
Xs dBs
0
Ys dBs q
t
t
t
E p 12 | pXs Ys q dBs |2q 12 pE | Xs dBs |2 E | Ys dBs |2q
0
0
0
t
t
t
12 E |Xs Ys|2 ds 12 p E |Xs|2ds
E |Ys |2 dsq
0
0
0
t
0
E pXs Ys q ds.
Propiedades de la integral
La integral estoc
astica de Ito cumple varias propiedades aunque s
olo mencionaremos algunas de ellas aqu, a manera de resumen de las caractersticas
se
naladas antes.
a) La integral It : L2loc L2 pP q es lineal, es decir, para c constante y
para cualesquiera procesos Xs y Ys en L2loc , se cumple que
t
0
pcXs
Ys q dBs
c
Xs dBs
0
Ys dBs ,
c.s.
Ep
Xs dBs q 0,
c.s.
t
0
Xs dBs |
E |Xs |2ds.
0
lculo estoca
stico
9. Ca
286
Ep
Xu dBu | Fs q
Xu dBu .
0
9.2.
F
ormula de It
o
t
0
f 1 pBs q dBs
1
2
t
0
f 2 pBs q ds.
(9.9)
f 1 px0 qpx x0 q
Rpxq,
rmula de Ito
9.2. Fo
287
x0
1
0
f 2 ptqpx tq dt
p1 qf 2px0
px x0 qqpx x0 q2 d.
r f pBt q f pBt q s
k 1
k 1
n
f 1 pBtk1 qBk
k 1
1
0
p1 q
f 2 pBtk1
Bk qpBk q2 d.
k 1
Puede comprobarse que al tomar el lmite cuando n 8 las sumas convergen casi seguramente y entonces se obtiene la igualdad
f pBt q f pB0 q
t
0
t
0
f 1 pBs q dBs
f 1 pBs q dBs
1
0
1
2
p1 q
t
0
t
0
f 2 pBs q ds d
f 2 pBs q ds.
Bs dBs
0
1
2
1 ds.
0
lculo estoca
stico
9. Ca
288
Es decir,
Bs dBs
0
12 Bt2 12 t.
Bs2 dBs
M
as generalmente, para f pxq
t
0
Bsn dBs
13 Bt3
1
n 1
n 1x
Bs ds.
0
se obtiene
n 1 1 Btn 1 12
t
0
nBsn1 ds.
1 2n
1 2n
1 t
p2n 1qBs2n2 ds.
Bt
B0
Bs2n1 dBs
2n
2n
2
0
0
Tomando esperanza y resolviendo de manera iterada se obtiene
Ep
Bt2n
q
2np2n 1q t
E pBs2n2 q ds
2
0
2np2n 1q p2n 2qp2n 3q t t1
E pBs2n4 q ds dt1
2
2
0 0
..
.
t
2nq! t t
p
2n
n 1
1 ds dtn1 dt1 .
9.3.
289
bpt, Xt q dt
pt, Xt q dBt ,
(9.10)
on inicial
definida para valores de t en el intervalo r0, T s, y con condici
la variable aleatoria X0 que se presupone F0 -medible e independiente del
movimiento Browniano. La ecuaci
on (9.10) se interpreta como la ecuaci
on
integral
Xt
X0
t
0
bps, Xs q ds
t
0
ps, Xs q dBs ,
(9.11)
lculo estoca
stico
9. Ca
290
la variable x,
soluci
on de (9.10) que es adaptado a la filtraci
on, tiene trayectorias conti2
nuas, es uniformemente acotado en L pP q, es decir, sup0tT E pXt2 q 8,
y adem
as es u
nico en el sentido de indistinguibilidad.
En este caso a tal soluci
on se le llama soluci
on fuerte de la ecuaci
on estoc
astica. No presentaremos la demostracion de este resultado, simplemente
comentaremos algunos aspectos de los que consta la prueba completa. La
demostracion es semejante al caso determinista, y hace uso del metodo de
iteraciones de Picard. Mediante este metodo se define la sucesion de procesos
p0q
Xt
pn 1q
X
t
X0 ,
X0
0
bps, X pnq q ds
s
t
0
Para que estas iteraciones tengan sentido es necesario verificar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. Para comprobar que tal sucesion de procesos es convergente se demuestra que, con probabilidad uno, esta sucesion
constituye una sucesion de Cauchy en el espacio de funciones continuas
C r0, T s, respecto de la norma uniforme ||X || sup0tT |Xt |. Dado lo anterior, existe entonces un proceso continuo tXt u, tal que con probabilidad
pnq
uno, Xt converge a Xt de manera uniforme en el intervalo r0, T s. Adicionalmente puede demostrarse que el proceso lmite es L2 -acotado en r0, T s, y
pnq
que la convergencia Xt Xt tambien es valida en L2 pP q. Tambien debe
demostrarse que el proceso lmite es efectivamente soluci
on de la ecuaci
on
estoc
astica. Para ello se toma el lmite en la ecuaci
on que define las iteraciones, y se verifica la convergencia uniforme en r0, T s con probabilidad
uno, termino a termino. Los detalles de esta demostracion pueden encontrarse por ejemplo en [33]. Observe que el teorema anterior no establece la
291
ft pt, Xt qdt
fx pt, Xt qdXt
1
fxx pt, Xt qpdXt q2 .
2
(9.12)
s dBs
0
tBt
Bs ds.
0
dptBt q
ft pt, Bt q dt
Bt dt
fx pt, Bt q dBt
Bt y la funcion
1
fxx pt, Bt q pdBt q2
2
t dBt .
eB
eBs dBs
1
2
t
0
eBs ds,
lculo estoca
stico
9. Ca
292
es decir, el proceso tXt
dXt
con condici
on inicial X0
niano geometrico.
Xt dBt
1
Xt dt,
2
1Xt t dt
1
1
dBt ,
con condici
on inicial X0 0. Sea f pt, xq x{p1 tq. El proceso tXt
f pt, Bt qu cumple la condici
on inicial y por la f
ormula de It
o satisface la
ecuaci
on
dXt
ft pt, Bt qdt
fx pt, Bt q dBt
p1 Bttq2 dt 1 1 t dBt
1Xt t dt 1 1 t dBt .
1
fxx pt, Bt q dt
2
ftpt, Bt qdt
fx pt, Bt q dBt
1
fxx pt, Bt q dt,
2
et
1
ft pt, xq
fxx pt, xq f pt, xq.
2
fx pt, xq
n
9.4. Simulacio
293
De la primera ecuaci
on se obtiene f pt, xq et x cptq. Substituyendo en
la segunda ecuaci
on y simplificando se obtiene c1 ptq cptq, cuya soluci
on
t
es cptq ce , en donde c es una constante. Por lo tanto f pt, xq et px
cq. Para que el proceso Xt f pt, Bt q et pBt cq cumpla la condici
on
inicial X0 0 forzosamente la constante c debe ser cero. De esta forma la
ormula de It
o asegura que
funci
on buscada es f pt, xq et x. En tal caso la f
efectivamente,
dXt
9.4.
Simulaci
on
Una ecuaci
on estoc
astica ha resultado muy u
til para modelar sistemas que
presentan alg
un tipo de ruido o perturbacion aleatoria. Aplicaciones de tales
modelos se estudian en ingeniera, finanzas y fsica entre muchas otras areas
del conocimiento. Debido a la imposibilidad de encontrar soluciones explcitas a ciertas ecuaciones de interes, los metodos numericos del caso determinista se han extendido al caso estocastico. En las siguientes secciones
presentaremos algunos modelos particulares de ecuaciones estocasticas, y explicaremos un mecanismo para simular las trayectorias del proceso soluci
on.
Una trayectoria de un proceso tXt : t 0u que sigue la ley de movimiento
de una ecuaci
on estoc
astica de la forma:
dXt
X0
bpt, Xt q dt
x0 ,
pt, Xt q dBt ,
x0 ,
Xtj
bptj , Xtj qt
ptj , Xtj q
t Yj .
lculo estoca
stico
9. Ca
294
9.5.
Xt dt
Xt dBt ,
(9.13)
x0 ,
x0 exp r p 12 2 qt
Bt s.
(9.14)
La ecuaci
on (9.13) puede interpretarse de la siguiente forma: en ausencia
del termino estoc
astico, la ecuaci
on se reduce a dXt Xt dt, cuya soluci
on
t
es Xt x0 e . Esta funci
on representa el comportamiento en el tiempo de
un capital inicial positivo x0 que
crece de manera continua y deX t p q
terminista a una tasa efectiva del
E pXt q
100 %, suponiendo 0. Por otro
lado, la parte estoc
astica corresponde a la volatilidad de una inversi
on con riesgo sujeta a las fluctuaciones de los mercados financieros.
x0
t
El modelo supone que dicha varia1
2
bilidad es proporcional al valor de
Figura 9.5
la inversi
on. A este proceso se le
conoce tambien con el nombre de
movimiento Browniano exponencial. En la Figura 9.5 puede apreciarse una
trayectoria de este proceso con una inversi
on inicial x0 de una unidad monetaria, y con par
ametros 1, y 1{3. La curva creciente corresponde
295
randn(state,100)
T=2; N=300; dt=T/N; xcero=1; mu=1; sigma=1/3;
dW=zeros(1,N); MBG=zeros(1,N);
dW(1)=sqrt(dt)*randn;
MBG(1)=xcero+mu*dt+sigma*xcero*dW(1);
for j=2:N
dW(j)=sqrt(dt)*randn
MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j)
end
plot([0:dt:T],[xcero,MBG],r-)
Figura 9.6
Observe que los coeficientes de la ecuaci
on (9.13) son bpt, xq x y pt, xq
x, y satisfacen las condiciones para la existencia y unicidad de la soluci
on.
Resolveremos esta ecuaci
on usando el metodo de igualaci
on de coeficientes.
Encontraremos una funci
on f pt, xq tal que al aplicar la formula de Ito al
proceso Xt f pt, Bt q se obtenga la ecuaci
on (9.13). Comparando entonces
los coeficientes de la formula general
dXt
ft pt, Xt q dt
fx pt, Xt q dBt
1
fxx pt, Xt q dt
2
lculo estoca
stico
9. Ca
296
con los de (9.13) se obtienen las igualdades
f pt, xq
f pt, xq
ft pt, xq
fx pt, xq.
1
fxx pt, xq,
2
De la segunda ecuaci
on se obtiene que f pt, xq exp rx gptqs, para alguna
funci
on gptq. Substituyendo en la primera ecuaci
on se obtiene g1 ptq
1 2
on es gptq p 12 2 qt. De donde Xt f pt, Bt q adquiere la
2 , cuya soluci
expresi
on indicada. Demostraremos ahora algunas caractersticas numericas
de este proceso.
Proposici
on 9.2 Para el movimiento Browniano geometrico se cumple lo
siguiente:
1. E pXt q x0 et .
2. VarpXt q x20 e2t pe
2t
1q.
q pe2 s 1q, para 0 s t.
Demostraci
on. Usaremos el hecho de que la funcion generadora de momentos de la distribuci
on Np, 2 q es M psq expps 12 2 s2 q.
1. Para la esperanza se tiene que
E pXt q
1
E px0 exprp 2 qt Bt sq
2
1 2
x0 exprp qts E pexprBt sq
2
1
1
x0 exprp 2 qts expr t 2 s
2
2
t
x0 e .
297
1
Varpx0 exprp 2 qt Bt sq
2
1 2
2
x0 expr2p qts VarpexprBt sq
2
1
x20 expr2p 2 qts pE pexpr2Bt sq E 2 pexprBt sqq
2
1
1
1
2
x0 expr2p 2 qts pexpr tp2 q2 s expr2p t 2 qsq
2
2
2
2 2t 2 t
x0 e pe 1q.
1
E px20 exprp 2 qpt sq pBt Bs qsq
2
1 2
2
x0 exprp qpt sq E pexpr pBt Bs qsq
2
1
x20 exprp 2 qpt sq E pe2Bs q E pepBt Bs q q
2
1
2
1
2
2
x0 exprp 2 qpt sqe2s e 2 ptsq
2
x20 exprpt sq s 2 s.
Por lo tanto,
CovpXt , Xs q
q s2 x2 ept sq
0
2 pt sq s2
x0 e
pe 1q
s
Proceso de Ornstein-Uhlenbeck
Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una partcula en intervalos de tiempo
peque
nos.
lculo estoca
stico
9. Ca
298
Definici
on 9.6 Sean y dos constantes positivas. El proceso de OrnsteinUhlenbeck es aquel proceso tXt : t 0u soluci
on de la ecuaci
on estoc
astica
dXt
X0
y dado por
Xt dt
x0 .
t
Xt x0 et
dBt ,
(9.15)
eptsq dBs .
(9.16)
aptq rx0
t
0
bpsq dBs s,
(9.17)
a1 ptq rx0
a1 ptq
Xt dt
aptq
t
0
bpsq dBs s dt
299
Comparando con (9.15), las funciones aptq y bptq deben cumplir las ecuaciones
a1 ptq
,
aptq bptq .
aptq
Suponiendo ap0q 1 se obtiene aptq expptq, y bptq expptq. Substituyendo en (9.17) se obtiene (9.16). Calcularemos a continuaci
on la esperanza y varianza de este proceso.
Proposici
on 9.3 Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente.
a) E pXt q x0 et .
b) VarpXt q
2
p1 e2t q.
2
c) CovpXt , Xs q
2 ptsq
ept
pe
2
q q.
Demostraci
on.
a) Este resultado se obtiene al tomar esperanza en (9.16), y observar que
la integral estoc
astica es una martingala que inicia en cero.
b) El c
alculo de la varianza de Xt es una aplicaci
on de la isometra de
Ito,
VarpXt q
Varp
2 Ep
eptsq dBs q
eptsq dBs q2
e2ptsq dsq
2 p
1 2s
e
e2t
t
p1 e2t q.
lculo estoca
stico
9. Ca
300
E rpx0 et
px0 es
Ep
0s
0
eptuq dBu q
epsuq dBu qs x20 ept
eptuq dBu
s
0
epsuq dBu q.
2 ept
ept sq
2 ptsq
pe
ept
2
q Ep
eu dBu q2
e2u du
0
s
q q.
Puente Browniano
El puente Browniano es un movimiento Browniano con espacio parametral
el intervalo unitario r0, 1s y es tal que en los extremos de este intervalo
el proceso se hace cero. Una trayectoria de tal proceso se muestra en la
Figura 9.8. Existen varias formas equivalentes de definir a este proceso, la
siguiente es una de ellas.
Definici
on 9.7 El puente Browniano en el intervalo r0, 1s es aquel proceso
tXt : t P r0, 1su solucion de la ecuacion estocastica
dXt
X0
1Xt t dt
0.
dBt ,
t P r0, 1q,
(9.18)
301
p1 t q
t
0
1s
(9.19)
dBs .
X t p q
bpt, xq
1 x t
pt, xq 1,
b
Figura 9.8
aptq rx0
t
0
bpsq dBs s,
a1 ptq rx0
a1 ptq
Xt dt
aptq
bpsq dBs s dt
(9.20)
0. Derivando
1
lculo estoca
stico
9. Ca
302
Proposici
on 9.4 Para el puente Browniano dado por (9.19) se cumple
1. E pXt q 0.
2. VarpXt q tp1 tq.
3. CovpXt , Xs q sp1 tq,
para 0 s t 1.
Demostraci
on.
1. La integral es una martingala continua que inicia en cero, por lo tanto
E pXt q 0.
2. Por la isometra de Ito,
VarpXt q
p1 tq2 Varp
dBs q
1s
t
2
p1 tq E p 1 1 s dBs q2
0
t
p1 tq2 E p 1 1 s q2 ds
0
p1 tq2 1 1 s
tp1 tq.
t
3. Para 0 s t 1,
CovpXs , Xt q
E pXs Xt q
t
s
1
p1 sqp1 tqE p 1 u dBu 1 1 u dBuq.
0
303
p1 sqp1 tqE p
1
dBu q2
1
u
s 0
p1 sqp1 tq p 1 1 u q2 du
0
s
1
p1 sqp1 tq 1 u
0
sp1 tq.
Como era de esperarse, la varianza se anula en los extremos del intervalo pues all el proceso es cero con probabilidad uno. Observe adem
as que
la varianza se hace m
axima exactamente en la mitad de dicho intervalo.
El puente Browniano en r0, 1s puede representarse de varias formas, por
ejemplo, se conocen las siguientes representaciones m
as compactas:
a) Xt
Bt tB1,
b) Xt
B1t p1 tqB1 ,
lculo estoca
stico
9. Ca
304
9.6.
Ejercicios
Integral de It
o
a)
s dBs
0
t
b)
0
tBt
Bs2 dBs
Bs ds.
0
1 3
B
3 t
Bs ds.
0
xpy xq2
13 ry3 x3 py xq3s.
F
ormula de It
o
235. Use la formula de Ito para demostrar que:
t
a)
0
t
b)
0
Bs2 dBs
13 Bt3
Bsn dBs
n
1
1
Bs ds.
0
Btn 1
1
2
t
0
nBsn1 ds.
Bt2,
Xt Bt3 ,
Xt tBt ,
a) Xt
b)
c)
dt 2Bt dBt .
1{3
2{3
dXt 3Xt dt 3Xt dBt .
Xt
dXt
dt t dBt .
t
dXt
0u es
305
9.6. Ejercicios
Xt3 dt
Xt2 dBt .
Ecuaciones estoc
asticas
238. Demuestre que el proceso Xt exptBt t{2u satisface la ecuaci
on
estoc
astica
dXt Xt dBt .
239. Demuestre que cada una de las siguientes ecuaciones estocasticas tiene
una u
nica soluci
on. En cada caso encuentre dicha soluci
on. Los terminos b, y x0 son constantes.
b Xt dt dBt , X0 x0 .
dXt b dt Xt dBt , X0 x0 .
dXt b Xt dt Xt dBt , X0 x0 .
a) dXt
b)
c)
Puente Browniano
240. Sea tXt : t P r0, 1su un puente Browniano. Demuestre que efectivamente lm Xt 0 c.s.
1
a) Xt
b)
306
lculo estoca
stico
9. Ca
Ap
endice: conceptos
y resultados varios
Igualdad de procesos
Se dice que dos procesos estocasticos tXt : t 0u y tYt : t 0u son
equivalentes, o tambien se dice que uno es una versi
on o modificaci
on del
otro, si para cada valor de t 0 fijo se cumple que
P pXt
Yt q 1,
Yt para cada t 0q 1.
Esto significa que con probabilidad uno las trayectorias de los dos procesos son identicas. Claramente la indistinguibilidad es m
as fuerte que la
equivalencia. Sin embargo, puede demostrarse que cuando los procesos son
continuos, es decir, cuando sus trayectorias son funciones continuas del
par
ametro, ambas nociones de igualdad coinciden. Cuando el par
ametro es
discreto, las definiciones son an
alogas y se puede demostrar la equivalencia
entre los dos tipos de igualdad sin ninguna condici
on adicional.
Distribuciones finito dimensionales
Las distribuciones finito dimensionales de un proceso estocastico a tiempo
continuo tXt : t 0u es la coleccion de todas las funciones de distribucion
conjuntas
FXt1 ,...,Xtn px1 , . . . , xn q,
307
. Ap
endice: conceptos y resultados varios
308
P AqP pXt P A1 , . . . , Xt P An q.
Mas generalmente, dos procesos estocasticos tXt : t 0u y tYt : t 0u son
n
k 0 ak
es convergente, entonces
lm
1 k0
ak tk
k 0
ak .
309
b) Inversamente, si ak
ak
k 0
tlm1
ak t k .
k 0
lm inf anm
n
b) Adem
as, si anm
lm
inf
n8
anm .
bm con m bm 8, entonces
lm sup
anm
lm sup anm .
n
X1
lm E pXn q E p lm Xn q.
lm E pXn q E p lm Xn q.
8 m0
anm
lm anm .
8
m 0
310
. Ap
endice: conceptos y resultados varios
Ecuaci
on de Wald
Sea X1 , X2 , . . . una sucesion de variables aleatorias independientes con la
misma distribuci
on que X y con esperanza finita. Sea N una variable aleatoria con valores en el conjunto t1, 2, . . . u, con esperanza finita e independiente
de la sucesion. Entonces,
Ep
Xk q E pX q E pN q.
k 1
Distribuci
on tipo reticular
Se dice que una variable aleatoria discreta X, o su distribucion de probabilidad, es de tipo reticular o que es de tipo lattice si P pX c ndq 0, en
donde c y d 0 son constantes reales y n 1, 2, . . .
Notaci
on o peque
na
Sean f ptq y g ptq dos funciones que se encuentran definidas y son positivas
as
para valores de t suficientemente grandes. Se dice que f ptq es de orden m
peque
no que g ptq cuando t 8, y se escribe f ptq opgptqq cuando t 8,
si se cumple
f ptq
lm
0.
t8 g ptq
2 nn
{ en .
1 2
Esperanza condicional
Sea p, F , P q un espacio de probabilidad. Sea X una variable aleatoria con
esperanza finita y sea G una sub -algebra de F . La esperanza condicional
311
de X dado G , es una variable aleatoria denotada por E pX | G q, que cumple
las siguientes tres propiedades:
a) Es G -medible.
b) Tiene esperanza finita.
c) Para cualquier evento G en G ,
E p X | G q dP
X dP.
G
Es importante enfatizar que la esperanza condicional es una variable aleatoria. Usando el teorema de Radon-Nikodym (vease por ejemplo [7]), puede
demostrarse que esta variable aleatoria existe y es u
nica casi seguramente.
Esto significa que si existe otra variable aleatoria con las tres propiedades
anteriores, entonces con probabilidad uno coincide con E pX | G q. Cuando
la -
algebra G es generada por una variable aleatoria Y , es decir, cuando
G pY q, la esperanza condicional se escribe simplemente como E pX | Y q.
Mencionaremos a continuaci
on algunas propiedades de esta variable aleatoria, en estas expresiones se postula de manera implcita que la variable a la
que se le aplica la esperanza condicional es integrable.
1. Si c es constante, entonces E p c | G
2. E pX |
q c.
tH, u q E pX q.
tH, u q P pAq.
Si A y B son eventos con 0 P pB q 1, entonces
E p1A | tH, B, B c , u q P pA | B q 1B P pA | B c q 1B .
c
i 1
P pA | Bi q 1Bi .
. Ap
endice: conceptos y resultados varios
312
E pX | Y
n 0
nq 1pY nq .
7. E pE pX | G qq E pX q.
8. | E pX | G q | E p |X | | G q. Este es un caso particular de la desigualdad
de Jensen que se enunciara m
as adelante. En particular, tomando
esperanza se tiene el siguiente resultado.
9. E |E pX | G q| E p|X |q.
10. Si c es constante, entonces E pc X
Y | G q c E pX | G q
E pY | G q.
0, entonces E pX | G q 0.
Si X Y , entonces E pX | G q E pY | G q.
Si G1 G2 , entonces
E pE pX | G1 q | G2 q E pE pX | G2 q | G1 q E pX | G1 q.
12. Si X
13.
14.
E pX | G2 q E pX q.
313
20. Si XY es integrable y X es G -medible, entonces
E pXY | G q X E pY | G q.
21. X es independiente de G si, y s
olo si, E pf pX q | G q E pf pX qq para
cualquier funci
on Lebesgue medible f tal que f pX q es integrable.
22. Desigualdad de Jensen.
Si u es convexa y upX q es integrable, entonces
upE pX | G qq E pupX q | G q.
Funciones directamente Riemann integrables
Sea H : r0, 8q r0, 8q una funcion Borel medible. Sea h 0, y para cada
n natural defina las funciones
n phq
n phq
nf t H ptq : pn 1qh t nh u,
n phq,
n 1
phq
n phq,
n 1
y que adem
as lmh0 phq lmh0 phq. Entonces se dice que la funcion
H es directamente Riemann integrable. Esta condici
on de integrabilidad es
m
as fuerte que la integrabilidad usual de Riemann, es decir, toda funcion
directamente Riemann integrable es Riemann integrable, por ejemplo,
a) H ptq 1r0,as ptq es d. R. integrable.
b) H : r0, 8q
integrable.
r0, 8q
8
0
H ptq dt
8, es d. R.
314
. Ap
endice: conceptos y resultados varios
Bibliografa
[1] Basu A. K., Introduction to stochastic processes, Alpha Science
International Ltd., 2003.
[2] Brown R., A brief account of Microscopical Observations made
in the Months of June, July, and August, 1827, on the Particles
contained in the Pollen of Plants; and on the general Existence of
active Molecules in Organic and Inorganic Bodies, Philosophical
Magazine N. S. 4, 161-173, 1828.
[3] Brzezniak Z. y Zastawniak T., Basic stochastic processes,
Springer, 1999.
[4] Caballero M. E. et al., Cadenas de Markov: un enfoque elemental, Aportaciones Matematicas, Serie Textos 29, Sociedad
Matematica Mexicana, 2004.
[5] Chung K. L., Markov chains with stationary transition probabilities, Springer, 1960.
[6] Chung K. L. y Williams R. J., Introduction to stochastic integration, Birkhauser, 1983.
[7] Cohn D. L., Measure theory, Birkhauser, 1980.
[8] Einstein A., Investigations on the theory of the Brownian movement, Dover, 1956.
[9] Feller W., Introducci
on a la teora de probabilidades y sus aplicaciones, Limusa, 1973.
315
316
Bibliografa
[10] Gard T. C., Introduction to stochastic differential equations,
Marcel Dekker, 1988.
[11] Grimmett G. R. y Stirzaker D. R., Probability and random processes, Clarendon Press, Oxford, 1982.
[12] Gut A., Probability: a graduate course, Springer, 2005.
[13] Higham D. J., An algorithmic introduction to numerical simulation of stochastic differential equations, SIAM Review Vol. 43,
N
um. 3, pp. 525-546, 2001.
[14] Hoel P. G., Port S. C. y Stone C. J., Introduction to stochastic
processes, Hougthon Mifflin Company, 1972.
[15] Jones P. W. y Smith P., Stochastic processes: an introduction,
Arnold, 2001.
[16] Jordan D. W. y Smith P., Mathematical techniques, Oxford University Press, 1997.
[17] Karlin S. y Taylor H. M., A first course in stochastic processes,
Academic Press, 1975.
[18] Klebaner F. C., Introduction to stochastic calculus with applications, Imperial College Press, 1998.
[19] Kloeden P. E. y Platen E., Numerical solution of stochastic differential equations, SpringerVerlag, 1999.
[20] Kuo H., Introduction to stochastic integration, Springer, 2006.
[21] Lawler G. F., Introduction to stochastic processes, Chapman &
Hall / CRC, 2006.
[22] Lawler G. F., Random walk and the heat equation, Student
Mathematical Library, Vol. 55, AMS, 2010.
[23] Nelson E., Dynamical theories of Brownian motion, Princeton
University Press, 1967.
[24] Norris J., Markov chains, Cambridge University Press, 1997.
Bibliografa
317
Indice analtico
Abel
lema, 308
del jugador, 16
simetrica, 9
Chapman-Kolmogorov, 39, 244
Clase
aperi
odica, 45
cerrada, 57
de comunicaci
on, 43
peri
odica, 45
Coeficiente
de difusi
on, 289
de tendencia, 289
Comunicaci
on, 42
Confiabilidad, 188
Correccion de Ito, 283
Coseno hiperb
olico, 137
Cox
proceso de, 131
Cadena de Markov, 28
a tiempo continuo, 148
accesibilidad de edos, 43
comunicaci
on de edos, 43
de dos estados, 31
de Ehrenfest, 35
de inventarios, 38
de la caminata aleatoria, 34
de la fila de espera, 37
de rachas de exitos, 33
de ramificacion, 36
de v.a.s independientes, 32
del jugador, 35
distribuci
on inicial, 30
erg
odica, 44
estacionaria, 29
existencia, 30
finita, 28
irreducible, 44
recurrente, 53
regular, 86
reversible, 89
transitoria, 53
Caminata aleatoria, 7
asimetrica, 9
Delta de Kronecker, 31
Deriva, 289
Desigualdad
de Jensen, 313
Distribucion
estacionaria, 71
invariante, 71
lmite, 81
reticulada, 310
tipo lattice, 310
318
Indice analtico
319
Distribucion exponencial
simulaci
on, 135
Distribucion Poisson
simulaci
on, 136
Distribuciones
finito dimensionales, 307
Doob, J. L., 229
Downcrossing, 221
Drift, 289
absorbente, 44
aperi
odico, 45
peri
odico, 45
recurrente, 50
recurrente nulo, 66
recurrente positivo, 66
transitorio, 50
Estrategia de juego, 209
Euler-Maruyama, 293
Ecuacion
de balance detallado, 90
de calor, 244
de Chapman-Kolmogorov, 39,
244
de difusi
on, 244
de renovaci
on, 176, 177
de Wald, 310
estoc
astica, 289
soluci
on fuerte, 290
Ecuaciones
de Kolmogorov, 156
prospectivas, 158
retrospectivas, 156
Espacio
C 1 , 286
C 2 , 286
L2 pP q, 274
L2 pP dtq, 275
H2 , 278
H02 , 275
L2loc , 281
de estados, 1
parametral, 1
Esperanza
condicional, 310
Estado
Formula
de Stirling, 310
Fatou
lema, 309
Filtracion, 200
can
onica, 200
continua por la derecha, 201
est
andar, 201
natural, 200
Funci
on
coseno hiperb
olico, 137
de confiabilidad, 188
de intensidad, 131
de renovacion, 176
de supervivencia, 188
de tasa de falla, 188
de valor medio, 131
delta de Kronecker, 31, 148
dir. Riemann integrable, 313
hazard, 188
seno hiperb
olico, 137
variaci
on cuadratica de una,
248
variaci
on de una, 248
Igualdad de procesos, 307
Independencia
320
de procesos, 308
Integrabilidad uniforme, 225
Integral estoc
astica, 273
como un proceso, 280
de Ito, 276, 278, 280, 281
de Stratonovich, 284
extensi
on por aproximacion, 277
extensi
on por localizaci
on, 281
para procesos simples, 276
propiedades, 285
Ito
correci
on de, 283
formula de, 286, 291
integral de, 276, 278, 280, 281
isometra de, 279
proceso de, 289
Kronecker, 31
L`evy, P. P., 264
Lema
de Abel, 308
de Fatou, 309
Metodo de discretizacion, 293
Markov, A. A., 93
Martingala, 5, 203
de de Moivre, 234
detenida, 208
estrategia de juego, 209, 210
exponencial, 269
producto, 234, 235
sub , 203
super , 203
Martingalas
teorema de convergencia, 223
teorema de representacion, 228
Indice analtico
Matriz
de prob. de transicion, 29
doblemente estocastica, 30
estocastica, 30
regular, 86
McKean
Tabla de multiplicaci
on, 291
Movimiento Browniano, 239
est
andar, 240, 241, 243
exponencial, 294
geometrico, 294
martingala, 245
multidimensional, 252
probabilidad de transicion, 243
radial, 253
recurrencia
por vecindades, 262
puntual, 258
reflejado en el origen, 268
unidimensional, 240, 241
variaci
on, 249
variaci
on cuadratica, 248
N
umero de cruces, 219
Notacion o peque
na, 310
Par
ametros infinitesimales, 154
Periodo, 45
Probabilidades
de transicion, 28, 31
de transicion en n pasos, 31
de transicion en un paso, 28
infinitesimales, 125, 155
Problema
de la ruina del jugador, 17
Proceso, 1
a tiempo continuo, 2
Indice analtico
a tiempo discreto, 2
adaptado, 201
con inc. estacionarios, 5
con inc. independientes, 5
de Bessel, 253
de Cox, 131
de ensayos independientes, 4
de Ito, 289
de L`evy, 6
de Markov, 4
de muerte puro, 165
de nacimiento puro, 164
de nacimiento y muerte, 159
de Ornstein-Uhlenbeck, 297
de Poisson, 116, 125, 127
compuesto, 132
generalizado, 133
homogeneo, 116
marcado, 140
mixto, 134
no homogeneo, 129
simulaciones, 125
de renovaci
on, 174
de saltos, 146
de Wiener, 241
de Yule, 165
detenido, 207
distribuciones fin. dim., 307
equivalencia de s, 307
espacio de estados, 1
espacio parametral, 1
estacionario, 5
filtraci
on de un, 200
Gausiano, 6
historia de un , 201
igualdad de s, 307
321
independencia, 308
indistinguibilidad, 307
modificaci
on de un , 307
predecible, 201
realizaci
on de un , 3
simple, 275
trayectoria de un , 3
versi
on de un , 307
Propiedad
de Markov, 4
de perdida de memoria, 117,
180
de semigrupo, 152
Puente Browniano, 269, 300
densidad, 269
Racha de exitos, 33
Recurrencia, 50
nula, 66
positiva, 66
Renovacion
ecuaci
on de, 177
funcion de, 176
Seno hiperb
olico, 137
Simulaci
on
distribucion exponencial, 135
distribucion Poisson, 136
Stirling, 310
Stratonovich, 284
Submartingala, 203
Supermartingala, 203
Tecnica de acople, 84
Tabla de multiplicaci
on de McKean, 291
Teorema
322
de conv. a la dist. est, 83
de conv. de martingalas, 223
de conv. dominada, 309
de conv. mon
otona, 309, 312
de conv. para cadenas, 85
de Doob, 223
de paro opcional, 212
de rep. de martingalas, 228
erg
odico para cadenas, 64
Tiempo
s de estancia, 116, 145
s de interarribo, 116
s de paro, 202
de primera visita, 48, 56, 66
de vida restante, 179
medio de recurrencia, 56, 66
Tiempo de paro, 203
Transitoriedad, 50
Variaci
on, 248
cuadratica, 248
Wald
ecuaci
on de, 310
Wiener, N., 263
Indice analtico