Proceso S

Introducci on a los PROCESOS ESTOCASTICOS
Luis Rinc on Departamento de Matem aticas Facultad de Ciencias UNAM Circuito Exterior de CU 04510 M exico DF Versi on: Enero 2011
Una versi on actualizada del presente texto se encuentra disponible en formato electr onico en la direcci on http://www.matematicas.unam.mx/lars
ii
Pr ologo
El presente texto contiene material b asico en temas de procesos estoc asticos a nivel licenciatura. Est a dirigido a estudiantes de las carreras de matem aticas, actuar a, matem aticas aplicadas y otras carreras anes. Este trabajo es una versi on ampliada de las notas de clase del curso semestral de procesos estoc astico que he impartido en la Facultad de Ciencias de la UNAM a alumnos de las carreras de actuar a y matem aticas. Los temas tratados en este texto corresponden a ciertos modelos cl asicos de la teor a de los procesos estoc asticos, y a ciertas preguntas o problemas matem aticos que uno puede plantearse al estudiar tales modelos. El texto inicia con una explicaci on del concepto de proceso estoc astico y con algunas deniciones y ejemplos generales de este tipo de modelos. A manera de un acercamiento inicial se presenta primero una introducci on breve al tema de caminatas aleatorias en una dimensi on, y particularmente se analiza el problema de la ruina del jugador. En el segundo cap tulo se estudian cadenas de Markov a tiempo discreto y despu es se estudia el mismo tipo de modelo para tiempos continuos, para ello se presenta primero el proceso de Poisson. Se estudian despu es los procesos de renovaci on, y brevemente tambi en la teor a de la conabilidad. Se presenta despu es una introducci on a la teor a de martingalas a tiempo discreto, en donde se estudian solo algunos de sus muchos resultados y aplicaciones. Se incluye adem as una introducci on al movimiento Browniano. El texto naliza con una exposici on compacta y ligera del c alculo estoc astico de It o. El material completo excede lo que regularmente es impartido en un curso semestral, y una selecci on adecuada de temas ser a necesaria. Cada cap tulo contiene material que puede considerarse como introductorio al tema. Al nal de cada uno de ellos se proporcionan algunas referencias para que el lector pueda precisar o profundizar lo que aqu se presenta. El texto contiene una colecci on de ejercicios que se han colocado al nal de cada cap tulo, y se han numerado de manera consecutiva a lo largo del libro. Se incluyen tambi en sugerencias o soluciones de algunos de estos ejercicios. A lo largo de la exposici on el lector encontrar a tambi en algunos otros ejemplos y ejercicios, los cuales son particularmente u tiles para el estudiante autodidacta, o para presentar en clase si se adopta alguna parte de este texto como material de estudio en alg un curso.
A Este material fue escrito en L TEX, las gr acas fueron elaboradas usando el excelente
iii
paquete Pstricks, y las fotos fueron tomadas del archivo MacTutor (http://wwwhistory.mcs.st-and.ac.uk/) de la universidad de St. Andrews en Escocia. La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sab atica en la universidad de Nottingham durante el a no 2007, y agradezco sinceramente al Prof. Belavkin su amable hospitalidad para llevar a cabo este proyecto, y a la DGAPA-UNAM por el generoso apoyo econ omico recibido durante esa agradable estancia. Agradezco sinceramente todos los comentarios, correcciones y sugerencias que he recibido por parte de alumnos y profesores para mejorar este material. Toda comunicaci on puede enviarse a la cuenta de correo que aparece abajo. Luis Rinc on Enero 2011 Ciudad Universitaria UNAM lars@fciencias.unam.mx
iv
Contenido
1. Introducci on 2. Caminatas aleatorias 2.1. Caminatas aleatorias . . 2.2. El problema del jugador Notas y referencias . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 5 . 5 . 14 . 20 . 21 . . . . . . . . . . . . . . . . . . . 23 23 27 34 37 40 43 45 51 52 53 59 63 65 71 76 78 81 82 84
3. Cadenas de Markov 3.1. Propiedad de Markov . . . . . . . 3.2. Ejemplos . . . . . . . . . . . . . . 3.3. Ecuaci on de Chapman-Kolmogorov 3.4. Comunicaci on . . . . . . . . . . . . 3.5. Periodo . . . . . . . . . . . . . . . 3.6. Primeras visitas . . . . . . . . . . . 3.7. Recurrencia y transitoriedad . . . . 3.8. Tiempo medio de recurrencia . . . 3.9. Clases cerradas . . . . . . . . . . . 3.10. N umero de visitas . . . . . . . . . 3.11. Recurrencia positiva y nula . . . . 3.12. Evoluci on de distribuciones . . . . 3.13. Distribuciones estacionarias . . . . 3.14. Distribuciones l mite . . . . . . . . 3.15. Cadenas regulares . . . . . . . . . 3.16. Cadenas reversibles . . . . . . . . . Resumen de la notaci on . . . . . . . . . Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . v
4. El proceso de Poisson 4.1. Proceso de Poisson . . . . . . . . . 4.2. Deniciones alternativas . . . . . . 4.3. Proceso de Poisson no homog eneo 4.4. Proceso de Poisson compuesto . . . Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
97 97 105 109 112 113 115 123 124 127 133 137 140 141 143 143 146 148 153 157 162 163 167 167 169 171 172 175 176 179 183 185 191 195 198 205
5. Cadenas de Markov a tiempo continuo 5.1. Procesos de saltos . . . . . . . . . . . . 5.2. Propiedades generales . . . . . . . . . . 5.3. Procesos de nacimiento y muerte . . . . 5.4. Proceso de nacimiento puro . . . . . . . Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . 6. Procesos de renovaci on y conabilidad 6.1. Procesos de renovaci on . . . . . . . . . 6.2. Funci on y ecuaci on de renovaci on . . . 6.3. Tiempos de vida . . . . . . . . . . . . 6.4. Teoremas de renovaci on . . . . . . . . 6.5. Conabilidad . . . . . . . . . . . . . . Notas y referencias . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . .
7. Martingalas 7.1. Filtraciones . . . . . . . . . . . . . . . . 7.2. Tiempos de paro . . . . . . . . . . . . . 7.3. Martingalas . . . . . . . . . . . . . . . . 7.4. Ejemplos . . . . . . . . . . . . . . . . . 7.5. Procesos detenidos . . . . . . . . . . . . 7.6. Una aplicaci on: Estrategias de juego . . 7.7. Teorema de paro opcional y aplicaciones 7.8. Algunas desigualdades . . . . . . . . . . 7.9. Convergencia de martingalas . . . . . . 7.10. Representaci on de martingalas . . . . . Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . 8. Movimiento Browniano vi
vii
8.1. Denici on . . . . . . . . . . . . . . . . . . 8.2. Funci on de probabilidad de transici on . . 8.3. Propiedades b asicas . . . . . . . . . . . . 8.4. Propiedades de las trayectorias . . . . . . 8.5. Movimiento Browniano multidimensional 8.6. El principio de reexi on . . . . . . . . . . 8.7. Recurrencia y transitoriedad . . . . . . . . Notas y referencias . . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . 9. C alculo estoc astico 9.1. Integraci on estoc astica . . . . . . . . 9.2. F ormula de It o . . . . . . . . . . . . 9.3. Ecuaciones diferenciales estoc asticas 9.4. Simulaci on . . . . . . . . . . . . . . . 9.5. Algunos modelos particulares . . . . Notas y referencias . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . A. Conceptos y resultados varios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 209 210 214 218 221 222 229 232 237 237 250 252 257 258 268 269 271
Cap tulo 1
Introducci on
Considere un sistema que puede caracterizarse por estar en cualquiera de un conjunto de estados previamente especicado. Suponga que el sistema evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo a una cierta ley de movimiento, y sea Xt el estado del sistema al tiempo t. Si se considera que la forma en la que el sistema evoluciona no es determinista, sino provocada por alg un mecanismo azaroso, entonces puede considerarse que Xt es una variable aleatoria para cada valor del ndice t. Esta colecci on de variables aleatorias es la denici on de proceso estoc astico, y sirve como modelo para representar la evoluci on aleatoria de un sistema a lo largo del tiempo. En general, las variables aleatorias que conforman un proceso no son independientes entre s , sino que est an relacionadas unas con otras de alguna manera particular. M as precisamente, la denici on de proceso estoc astico toma como base un espacio de probabilidad (, F , P ) y puede enunciarse de la siguiente forma. Denici on. Un proceso estoc astico es una colecci on de variables aleatorias {Xt : t T } parametrizada por un conjunto T , llamado espacio parametral, y con valores en un conjunto S llamado espacio de estados. En los casos m as sencillos, y que son los que consideraremos en este texto, se toma como espacio parametral el conjunto discreto T = {0, 1, 2, . . .}, o bien el conjunto continuo T = [0, ), y estos n umeros se interpretan como tiempos. En el primer caso se dice que el proceso es a tiempo discreto, y en general este tipo de procesos se denotar a por {Xn : n = 0, 1, . . .}, mientras que en el segundo caso el proceso es a tiempo continuo, y se denotar a por {Xt : t 0}. Es decir, seguiremos la convenci on 1
2
de que si el sub ndice es n, entonces los tiempos son discretos, y si el sub ndice es t, el tiempo se mide de manera continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco m as generalmente tomaremos como espacio de estados el conjunto de n umeros reales R, aunque en algunos pocos casos tambi en consideraremos a Zn o Rn . Naturalmente, espacios m as generales son posibles, tanto para el espacio parametral como para el espacio de estados. En particular, para poder hablar de variables aleatorias con valores en el espacio de estados S , es necesario asociar a este conjunto una - algebra. Considerando que S es un subconjunto de R, puede tomarse la - algebra de Borel de R restringida a S , es decir, S B (R). Un proceso estoc astico puede considerarse como una funci on de dos Xt ( ) variables X : T S tal que a la pareja (t, ) se le asocia el estado X (t, ), lo cual tambi en puede escribirse como Xt ( ). Para cada valor de t en T , el mapeo Xt ( ) es una variable aleatoria, mientras que para cada en t jo, la funci on t Xt ( ) es llamaEspacio parametral da una trayectoria o realizaci on del proceso. Es decir, a cada del esFigura 1.1: pacio muestral le corresponde una trayectoria del proceso. Es por ello que a veces se dene un proceso estoc astico como una funci on aleatoria. Una de tales trayectorias t picas que adem as cuenta con la propiedad de ser continua se muestra en la Figura 1.1, y corresponde a una trayectoria de un movimiento Browniano, proceso que deniremos y estudiaremos m as adelante. Si A es un conjunto de estados, el evento (Xt A) corresponde a la situaci on en donde al tiempo t el proceso toma alg un valor dentro del conjunto A. En particular, (Xt = x) es el evento en donde al tiempo t el proceso se encuentra en el estado x. Los diferentes tipos de procesos estoc asticos se obtienen al considerar las distintas posibilidades para: el espacio parametral, el espacio de estados, las caracter sticas de las trayectorias, y principalmente las relaciones de dependencia entre las variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de procesos estoc asticos. Estos son procesos que cumplen una cierta
Espacio de estados
n Cap tulo 1. Introduccio
propiedad particular, no necesariamente excluyentes unas de otras. A lo largo del texto estudiaremos y especicaremos con mayor detalle algunos de estos tipos de procesos. Proceso de ensayos independientes. El proceso a tiempo discreto {Xn : n = 0, 1, . . .} puede estar constituido por variables aleatorias independientes. Este modelo representa una sucesi on de ensayos independientes de un mismo experimento aleatorio, por ejemplo, lanzar un dado o una moneda repetidas veces. El resultado u observaci on del proceso en un momento cualquiera es, por lo tanto, independiente de cualquier otra observaci on pasada o futura del proceso. Procesos de Markov. Estos tipos de procesos son importantes y son modelos en donde, suponiendo conocido el estado presente del sistema, los estados anteriores no tienen inuencia en los estados futuros del sistema. Esta condici on se llama propiedad de Markov y puede expresarse de la siguiente forma: Para cualesquiera estados x0 , x1 , . . . , xn1 (pasado), xn (presente), xn+1 (futuro), se cumple la igualdad P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). De esta forma la probabilidad del evento futuro (Xn = xn ) s olo depende el evento (Xn1 = xn1 ), mientras que la informaci on correspondiente al evento pasado (X0 = x0 , . . . , Xn2 = xn2 ) es irrelevante. Los procesos de Markov han sido estudiados extensamente y existe un gran n umero de sistemas que surgen en muy diversas disciplinas del conocimiento para los cuales el modelo de proceso estoc astico y la propiedad de Markov son razonables. En particular, los sistemas din amicos deterministas dados por una ecuaci on diferencial pueden considerarse procesos de Markov pues su evoluci on futura queda determinada por la posici on inicial del sistema y una ley de movimiento especicada. Procesos con incrementos independientes. Se dice que un proceso {Xt : t 0} tiene incrementos independientes si para cualesquiera tiempos 0 t1 < t2 < < tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn1 son independientes. Procesos estacionarios. Se dice que un proceso {Xt : t 0} es estacionario (en el sentido estricto) si para cualesquiera tiempos t1 , . . . , tn , la distribuci on del vector (Xt1 , . . . , Xtn ) es la misma que la del vector (Xt1 +h , . . . , Xtn +h ) para cualquier valor de h > 0. En particular, la distribuci on de Xt es la misma que la de Xt+h para cualquier h > 0, y entonces esta distribuci on es la misma para cualquier valor de t. Procesos con incrementos estacionarios. Se dice que un proceso {Xt : t 0}
4
tiene incrementos estacionarios si para cualesquiera tiempos s < t, y para cualquier h > 0, las variables Xt+h Xs+h y Xt Xs tienen la misma distribuci on de probabilidad. Es decir, el incremento que sufre el proceso entre los tiempos s y t s olo depende de estos tiempos a trav es de la diferencia t s, y no de los valores espec cos de s y t. Martingalas. Una martingala a tiempo discreto es, en t erminos generales, un proceso {Xn : n = 0, 1, . . .} que cumple la condici on E (Xn+1 | X0 = x0 , . . . , Xn = xn ) = xn . (1.1)
En palabras, esta igualdad signica que el estado promedio del proceso al tiempo futuro n + 1 es el valor del proceso en su u ltimo momento observado, es decir, xn . Esto es, se trata de una ley de movimiento aleatorio que es equilibrada pues en promedio el sistema no se mueve del u ltimo momento observado. A estos procesos tambi en se les conoce como procesos de juegos justos pues si se considera una sucesi on innita de apuestas sucesivas y si Xn denota el capital de uno de los jugadores al tiempo n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues en promedio el jugador no pierde ni gana en cada apuesta. Procesos de L` evy. Se dice que un proceso a tiempo continuo {Xt : t 0} es un proceso de L` evy si sus incrementos son independientes y estacionarios. M as adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos. Procesos Gausianos. Se dice que un proceso a tiempo continuo {Xt : t 0} es un proceso Gausiano si para cualesquiera colecci on nita de tiempos t1 , . . . , tn , el on normal o Gausiana. Nuevamente, el movivector (Xt1 , . . . , Xtn ) tiene distribuci miento Browniano es un ejemplo de este tipo de procesos. El objetivo del presente texto es el de proporcionar una introducci on a algunos resultados elementales sobre ciertos tipos de procesos estoc asticos. Ejercicio. Demuestre que todo proceso a tiempo discreto {Xn : n = 0, 1, . . .} con incrementos independientes es un proceso de Markov. Este resultado no es v alido para procesos a tiempo continuo.
Cap tulo 2
Caminatas aleatorias
En este cap tulo se presenta una introducci on breve al tema de caminatas aleatorias en una dimensi on. Encontraremos la distribuci on de probabilidad de la posici on de una part cula que efect ua una caminata aleatoria en Z, y la probabilidad de retorno a la posici on de origen. Se plantea y resuelve despu es el problema de la ruina del jugador, y se analizan algunos aspectos de la soluci on.
2.1.
Caminatas aleatorias
Una caminata aleatoria simple sobre el conjunto de n umeros enteros Z es un proceso estoc astico a tiempo discreto {Xn : n = 0, 1, . . .} que evoluciona como se muestra en la Figura 2.1. Es decir, iniciando en el estado 0, al siq p guiente tiempo el proceso puede pasar al estado +1 con probabilidad p, o al estado 2 1 +1 +2 0 1 con probabilidad q , en donde p + q = 1. Se usa la misma regla para los siguientes tiempos, es decir, pasa al estado de la deFigura 2.1: recha con probabilidad p, o al estado de la izquierda con probabilidad q . El valor de Xn es el estado del proceso al tiempo n. Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo a las probabilidades de transici on que se muestran en la Figura 2.1, v alidas para
2.1. Caminatas aleatorias
cualquier n 0, y para cualesquiera enteros i y j . Estas probabilidades se pueden escribir de la forma siguiente p si j = i + 1, q si j = i 1, = j | Xn = i ) = 0 otro caso.
P (Xn+1
Dado que estas probabilidades no dependen de n, se dice que son homog eneas en el tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso cumple la propiedad de Markov, es decir, el estado futuro del proceso depende u nicamente del estado presente y no de los estados previamente visitados. Una posible trayectoria de este proceso se muestra en la Figura 2.2. Una caminata aleatoria puede tambi en denirse de la forma siguiente: Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes e id enticamente distribuidas. Por la id entica distribuci on denotaremos a cualquiera de ellas mediante la letra sin sub ndice. Supondremos que P ( = +1) = p y P ( = 1) = q , en donde, como antes, p + q = 1. Entonces para n 1 se dene Xn = X0 + 1 + + n .
Xn ( )
Figura 2.2:
Sin p erdida de generalidad supondremos que X0 = 0. Nos interesa encontrar algunas propiedades de la variable Xn , y de su comportamiento como funci on de n. Por ejemplo, a partir de la expresi on anterior, es inmediato encontrar su esperanza y varianza. Proposici on. Para cualquier entero n 0, 1. E (Xn ) = n(p q ). 2. Var(Xn ) = 4npq .
Demostraci on. Para la esperanza tenemos que E (Xn ) =
n i=1
E (i ) = n E ( ) =
Cap tulo 2. Caminatas aleatorias
n(p q ). Por otro lado, como E ( 2 ) = p + q = 1 y E ( ) = p q , se tiene que n Var( ) = 1 (p q )2 = 4pq . Por lo tanto Var(Xn ) = i=1 Var(i ) = n Var( ) = 4npq . Analicemos estas dos primeras f ormulas. Si p > q , es decir, si la caminata toma pasos a la derecha con mayor probabilidad, entonces el estado promedio despu es de n pasos es un n umero positivo, es decir, su comportamiento promedio es tender hacia la derecha, lo cual es intuitivamente claro. An alogamente, si p < q , entonces el estado nal promedio de la caminata despu es de n pasos es un n umero negativo, es decir, en promedio la caminata tiende a moverse hacia la izquierda. En ambos casos la varianza crece conforme el n umero de pasos n crece, eso indica que mientras mayor es el n umero de pasos que se dan, mayor es la incertidumbre acerca de la posici on nal del proceso. Cuando p = q se dice que la caminata es asim etrica. Cuando p = q = 1/2 se dice que la caminata es sim etrica, y en promedio el proceso se queda en su estado inicial pues E (Xn ) = 0, sin embargo para tal valor de p la varianza es Var(Xn ) = n, y es sencillo demostrar que ese valor es el m aximo de la expresi on 4npq , para p (0, 1). Ejercicio. Demuestre que la funci on generadora de momentos de la variable Xn on encuentre nuevaes M (t) = E (etXn ) = (pet + qet )n . A partir de esta expresi mente la esperanza y varianza de Xn . Probabilidades de transici on. Como hemos supuesto que la caminata inicia en cero, es intuitivamente claro que despu es de efectuar un n umero par de pasos la cadena s olo puede terminar en una posici on par, y si se efect uan un n umero impar de pasos la posici on nal s olo puede ser un n umero impar. Adem as, es claro que despu es de efectuar n pasos, la caminata s olo puede llegar a una distancia m axima de n unidades, a la izquierda o a la derecha. Teniendo esto en mente, en el siguiente resultado se presenta la distribuci on de probabilidad de la variable Xn . Proposici on. Para cualesquiera n umeros enteros x y n tales que n x n, y para el caso cuando x y n son ambos pares o ambos impares, P (Xn = x | X0 = 0) =
1 2 (n
1 1 n p 2 (n+x) q 2 (nx) . + x)
(2.1)
Para valores de x y n que no cumplen las condiciones indicadas la probabilidad en cuesti on vale cero.
Demostraci on. Suponga que se observa la posici on de la caminata despu es de efectuar n pasos. Sean Rn y Ln el n umero de pasos realizados hacia la derecha y hacia la izquierda, respectivamente. Entonces Xn = Rn Ln , y adem as n = Rn + Ln . n Sumando estas dos ecuaciones y substituyendo la expresi on Xn = i=1 i se obtiene n 1 1 (1 + i ). Rn = (n + Xn ) = 2 2 i=1 Esta ecuaci on es la identidad clave para obtener el resultado buscado. Observe que esta f ormula arroja un valor entero para Rn cuando n y Xn son ambos pares o ambos impares. Como las variables independientes i toman los valores +1 y 1 con probabilidades p y q respectivamente, entonces las variables independientes 1 on 2 (1 + i ) toman los valores 1 y 0 con probabilidades p y q . Esto lleva a la conclusi de que la variable Rn tiene distribuci on binomial(n, p). Por lo tanto, para cualquier valor de x que cumpla las condiciones enunciadas se tiene que P (Xn = x | X0 = 0) = = P (Rn =
1 2 (n
1 (n + x)) 2 p 2 (n+x) q 2 (nx) .

1 1
n + x)
En particular, cuando la caminata es sim etrica, es decir, cuando p = 1/2, y con las mismas restricciones para n y x (n x n, ambos pares o ambos impares) se tiene la expresi on P (Xn = x | X0 = 0) =
1 2 (n
n + x)
1 . 2n
(2.2)
Esta f ormula puede tambi en justicarse mediante argumentos de an alisis combinatorio de la siguiente forma: En total hay 2n posibles trayectorias que la caminata puede seguir al efectuar n pasos, todas ellas con la misma probabilidad de ocurrir debido a la simetr a. Ahora, Cu antas de estas trayectorias terminan en x 0, por ejemplo? Como se ha argumentado antes, el n umero de pasos a la derecha debe 1 (n + x), y el n umero de trayectorias que cumplen la condici on es el n umero ser 2 1 (n + x) pasos a la derecha pueden escogerse de los n pasos de formas en que los 2 totales. La respuesta es entonces el cociente que aparece en (2.2).
Ejercicio. Demuestre nuevamente la identidad (2.1) analizando ahora la variable n Ln , es decir, demuestre primero las igualdades Ln = (n Xn )/2 = i=1 (1 i )/2. Concluya que Ln tiene distribuci on binomial(n, q ). A partir de aqu obtenga (2.1). Ejercicio. Demuestre que la probabilidad (2.1) es una funci on sim etrica de x si, y s olo si, la caminata es sim etrica. La f ormula (2.1) puede extenderse f acilmente al caso general de pasar de un estado cualquiera y a otro estado x en n pasos. Proposici on. Si los n umeros n y x y son ambos pares o ambos impares, entonces para n x y n, P (Xn = x | X0 = y ) =
1 2 (n
n + x y)
p 2 (n+xy) q 2 (nx+y) .
(2.3)
Para valores de x y y n que no cumplen las condiciones indicadas la probabilidad en cuesti on vale cero.
Demostraci on. Tenemos como hip otesis que X0 = y . Consideremos el proceso Zn = Xn y . Entonces {Zn } es ahora una caminata aleatoria que inicia en cero como en el caso antes demostrado. El resultado enunciado se obtiene de la identidad P (Xn = x | X0 = y ) = P (Zn = x y | Zn = 0). Probabilidad de regreso a la posici on de origen. Nos plantearemos ahora el problema de encontrar la probabilidad de que una caminata aleatoria que inicia en el origen, regrese eventualmente al punto de partida. Demostraremos que en el caso asim etrico, p = 1/2, la probabilidad de tal evento es menor que uno, es decir, no es seguro que ello ocurra, pero en el caso sim etrico, p = 1/2, se cumple que con probabilidad uno la caminata regresa eventualmente al origen. Para el u ltimo caso demostraremos adem as que el n umero de pasos promedio para regresar al origen es, sin embargo, innito. La demostraci on es un tanto t ecnica y hace uso de las funciones generadoras de probabilidad. Dado que este cap tulo es introductorio, tal vez sea mejor recomendar al lector, cuando se trate de una primera lectura, omitir los detalles de esta demostraci on.
10
Proposici on. Para una caminata aleatoria sobre Z, la probabilidad de un eventual regreso al punto de partida es 1 |p q | = 1 <1 si p = q, si p = q.
Es decir, s olo en el caso sim etrico, p = q , se tiene la certeza de un eventual retorno, sin embargo el tiempo promedio de regreso en tal caso es innito.
Demostraci on. Para demostrar estas armaciones utilizaremos los siguientes elementos: a) Para cada n 0 denotaremos por pn a la probabilidad de que la caminata se encuentre en el estado 0 al tiempo n, es decir, pn = P (Xn = 0 | X0 = 0). Esta probabilidad es distinta de cero s olo cuando n es un n umero par. Naturalmente p0 = 1. Denotaremos tambi en por fk a la probabilidad de que la caminata visite el estado 0 por primera vez en el paso k 0. El uso de la letra f proviene el t ermino en Ingl es rst. Por conveniencia se dene f0 = 0. Observe que en t erminos de las probabilidades fk , la probabilidad de que la caminata regrese eventualmente al origen es k=0 fk . Esta serie es convergente pues se trata de la suma de probabilidades de eventos disjuntos, y por lo tanto a lo sumo vale uno. Demostraremos que en el caso sim etrico la suma vale uno. Recordemos nuevamente que los valores de fk son estrictamente positivos s olo para valores pares de k distintos de cero. b) No es dif cil comprobar que se cumple la siguiente igualdad
n
pn =
k=0
fk pnk .
(2.4)
En esta expresi on simplemente se descompone la probabilidad de regreso al origen, pn , en las distintas posibilidades en donde se efect ua el primer regreso al origen. Este primero regreso puede darse en el paso 1, o en el paso 2, ..., o en el u ltimo momento, el paso n. Despu es de efectuado el primer regreso se multiplica por la probabilidad de regresar al origen en el n umero de pasos restantes. Observe que el primer sumando es cero. Esta f ormula ser a demostrada m as adelante en el contexto de las cadenas de Markov, v ease la f ormula (3.2) en la p agina 44. Usaremos (2.4) para encontrar la funci on generadora de probabilidad de la colecci on de n umeros
Cap tulo 2. Caminatas aleatorias f0 , f1 , f2 , . . . , es decir, encontraremos G(t) =

k=0
11
f k tk .
Multiplicando (2.4) por tn , sumando y cambiando el orden de las sumas se obtiene

n=1
p n tn
= = = =
n=1 k=0
fk pnk ) tn fk pnk tn
n=k
k=0 n=k f k tk k=0
pnk tnk
G(t)
p n tn .
n=0
Por lo tanto (
n=0
pn tn ) 1 = G(t)
n=0
p n tn .
(2.5)
Para encontrar G(t) se necesita encontrar una expresi on para la suma que aparece en la u ltima ecuaci on, y que no es otra cosa sino el funci on generadora de los n umeros p0 , p1 , p2 , . . . Haremos esto a continuaci on. c) Para el an alisis que sigue necesitamos recordar que para cualquier n umero real a y para cualquier entero n, se tiene el coeciente binomial a n = a(a 1) (a (n 1)) . n! (2.6)
Observe que en el numerador hay n factores. Este n umero es una generalizaci on del coeciente binomial usual y aparece en la siguiente expansi on binomial innita v alida para |t| < 1, a n a t . (2.7) (1 + t) = n n=0
12
En particular y como una aplicaci on de (2.6) se tiene que 2n n = = = = = 2n(2n 1)(2n 2) 3 2 1 n! n! n 2 n! (2n 1)(2n 3) 5 3 1 n! n! 2n 2n 2n 1 2n 3 5 3 1 ( )( ) ( )( )( ) n! 2 2 2 2 2 2n 2n 1 3 5 3 1 n (1) (n + )(n + ) ( )( )( ) n! 2 2 2 2 2 1 / 2 . (4)n n
(2.8)
d) Usando (2.7) y (2.8) podemos ahora encontrar una expresi on cerrada para la funci on generadora de la colecci on de n umeros p0 , p1 , p2 , . . .
n=0
p n tn
= = =
n=0 n=0 n=0
2n n n 2n p q t n (4)n 1/2 n n 2n p q t n
1/2 (4pqt2 )n n (2.9)
= (1 4pqt2 )1/2 . e) Substituyendo (2.9) en (2.5) se llega a la igualdad (1 4pqt2 )1/2 1 = G(t) (1 4pqt2 )1/2 . De donde se obtiene nalmente G(t) = 1 (1 4pqt2 )1/2 .
(2.10)
Usando esta expresi on podemos ahora calcular la probabilidad de un eventual regreso al estado inicial. En efecto, por el lema de Abel,
n=0
fn = l m G(t) = 1 (1 4pq )1/2 = 1 |p q |.

t1
13
En el caso asim etrico, p = 1/2, esta cantidad es estrictamente menor a uno y por lo tanto no hay seguridad de que la caminata sea capaz de regresar al origen. En cambio, en el caso sim etrico, p = 1/2, esta cantidad vale uno, es decir, con probabilidad uno la cadena aleatoria sim etrica regresa eventualmente a su posici on de origen. Adem as, el tiempo promedio de regreso se obtiene derivando la funci on generadora G(t) = 1 (1 t2 )1/2 , es decir,
n=0
n fn = l m G (t) = l m
t1 t1
t = . 1 t2
Puede considerarse tambi en el caso de una caminata en donde sea posible permanecer en el mismo estado despu es de una unidad de tiempo. Esta situaci on se ilustra en la Figura 2.3(a), en donde p, q y r son probabilidades tales que p + q + r = 1. Tambi en pueden considerarse caminatas aleatorias en Z2 como la que se muestra en la Figura 2.3(b), en donde p + q + r + s = 1, o m as generalmente en Zn o cualquier otro conjunto reticulado.
r q 1 0 p 1 1 r q
1 p 1 s 1
(a)
(b)
Figura 2.3: En el siguiente cap tulo se estudiar an algunas otras propiedades de las caminatas aleatorias en el contexto de las cadenas de Markov.
14
2.2. El problema del jugador
2.2.
El problema del jugador
En esta secci on consideraremos un ejemplo particular de una caminata aleatoria puesta en el contexto de un juego de apuestas. Planteamiento del problema. Suponga que un jugador A apuesta sucesivamente una unidad monetaria a un jugador B . Inicialmente el jugador A tiene k unidades, y B tiene N k unidades, es decir, el capital conjunto entre los dos jugadores es de N unidades monetarias. En cada apuesta el jugador A tiene probabilidad de ganar p, y probabilidad de perder q = 1 p, se asume adem as que no hay empates. Sea Xn la fortuna del jugador A al tiempo n. Entonces {Xn : n = 0, 1, . . .} es una caminata aleatoria que inicia en el estado k y eventualmente puede terminar en el estado 0 cuando el jugador A ha perdido todo su capital, o bien puede terminar en el estado N que corresponde a la situaci on en donde el jugador A ha ganado todo el capital. Este proceso es entonces una caminata aleatoria sobre el conjunto {0, 1, . . . , N }, en donde los estados 0 y N son absorbentes, pues una vez que la cadena llega a alguno de ellos, jam as lo abandona. Una posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra en la Figura 2.4.
Xn N
k n
Una de las preguntas que resolvereFigura 2.4: mos para esta caminata es la siguiente: Cu al es la probabilidad de que eventualmente el jugador A se arruine? Es decir, Cu al es la probabilidad de que la caminata se absorba en el estado 0 y no en el estado N , u oscile entre estos dos estados? Este problema se conoce como el problema de la ruina del jugador, y encontraremos a continuaci on su soluci on. Usando probabilidad condicional es posible transformar este problema en resolver una ecuaci on en diferencias. Soluci on al problema. Sea es el primer momento en el que la caminata visita alguno de los dos estados absorbentes, es decir, = m n{n 0 : Xn = 0 o Xn = N }. Puede demostrarse que esta variable aleatoria is nita casi seguramente. La
Cap tulo 2. Caminatas aleatorias pregunta planteada se traduce en encontrar la probabilidad uk = P (X = 0 | X0 = k ). Por el teorema de probabilidad total se obtiene la ecuaci on en diferencias uk = p uk+1 + q uk1 ,
15
(2.11)
v alida para k = 1, 2, . . . , N 1. La interpretaci on intuitiva de esta identidad es sencilla: A partir del estado k se busca la probabilidad de ruina analizando lo que sucede en la siguiente apuesta. Se tienen dos casos. El jugador gana con probabilidad p y ahora se busca la probabilidad de ruina a partir del estado k + 1, o bien el jugador pierde con probabilidad q y se busca la probabilidad de ruina ahora a partir del estado k 1. Las condiciones de frontera son u0 = 1 y uN = 0. Esta ecuaci on es una ecuaci on en diferencias, lineal, de segundo orden y homog enea. Puede encontrarse su soluci on de la siguiente forma: Multiplicando el lado izquierdo de (2.11) por (p + q ) y agrupando t erminos se llega a la expresi on equivalente uk+1 uk = (q/p) (uk uk1 ). (2.12)
Resolviendo iterativamente, las primeras k 1 ecuaciones se escriben de la forma siguiente u2 u1 = (q/p) (u1 1)
u3 u2
u k u k 1
= (q/p)2 (u1 1) . . . = (q/p)k1 (u1 1).
Hemos usado aqu la condici on de frontera u0 = 1. Conviene ahora denir Sk = 1 + (q/p) + + (q/p)k pues al sumar las k 1 ecuaciones anteriores se obtiene uk u1 = (Sk1 1) (u1 1). O bien uk = 1 + Sk1 (u1 1). (2.13)
De manera an aloga pero ahora sumando todas las ecuaciones de (2.12) se obtiene uN = 1 + SN 1 (u1 1). Usando la segunda condici on de frontera uN = 0 se llega a u1 1 = 1/SN 1 . Substituyendo en (2.13) y simplicando se llega a la soluci on uk = 1 Sk 1 . SN 1
16
Por lo tanto
Es necesario ahora distinguir los siguientes dos casos: k+1 k Sk = 1 + (q/p) + + (q/p) = 1 (q/p)k+1 1 (q/p) (N k )/N uk = (q/p)k (q/p)N 1 (q/p)N
si p = q, si p = q.
si p = 1/2, si p = 1/2. (2.14)
En la Figura 2.5 se muestra la gr aca de la probabilidad uk como funci on del par ametro k para varios valores de p y con N = 50. En el caso sim etrico la soluci on es la linea recta que une la probabilidad uno con la probabilidad cero. Naturalmente la probabilidad de ruina decrece cuando el capital inicial k aumenta. En la secci on de ejercicios se sugiere otra forma de resolver la ecuaci on en diferencias (2.11).
uk 1 p = 0.01 p = 0.2 p = 0.35 p = 0.5
p = 0.65 p = 0.8 p = 0.99 10 20 30 40 50
Figura 2.5: An alisis de la soluci on. Es interesante analizar la f ormula (2.14) en sus varios aspectos. Por ejemplo, para el caso sim etrico p = 1/2, es decir, cuando el juego es justo, la probabilidad de ruina es muy cercana a 1 cuando k es muy peque no comparado con N . Esto sugiere que no conviene jugar esta serie de apuestas contra adversarios demasiado ricos, a un cuando el juego sea justo. Es tambi en un tanto inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 1/2. Esto puede apreciarse en la Figura 2.6. Cuando p es distante de 1/2 la probabilidad uk es casi constante, pero para valores de p cercanos a 1/2
17
la probabilidad cambia r apidamente de un extremo a otro. Estas gr acas fueron elaboradas tomando N = 50.
uk 1 1
uk 1
uk
k=5 0.5 1
k = 25 0.5 1
k = 45 0.5 1
Figura 2.6: Ejercicio. (Probabilidad de ruina del otro jugador). Si el juego se considera desde el punto de vista del jugador B , entonces se trata de la misma caminata aleatoria s olo que ahora el capital inicial es N k y la probabilidad de ganar en cada apuesta es q . Substituya estos par ametros en la soluci on (2.14) y compruebe que la probabilidad de ruina del jugador B , denotada por vN k , es la que aparece abajo. Verique adem as que uk + vN k = 1, es decir, la probabilidad de que eventualmente el juego termine con la ruina de alguno de los jugadores es uno. si q = 1/2, k/N vN k = (q/p)k 1 si q = 1/2. (q/p)N 1 N umero esperado de apuestas antes de la ruina. Hemos comprobado en el ejercicio anterior que con probabilidad uno ocurre que eventualmente alguno de los dos jugadores se arruina. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. Este n umero de apuestas promedio antes de la ruina puede encontrarse expl citamente, y el m etodo que usaremos para encontrarlo es nuevamente el planteamiento de una ecuaci on en diferencias que resolveremos del modo mostrado antes. Sea entonces mk el n umero esperado de apuesta antes de que termine el juego, en donde el jugador A tiene un capital inicial de k unidades, y B tiene N k.
18
Proposici on. El n umero esperado de apuestas antes de la ruina es si p = q, k (N k ) mk = 1 (q/p)k 1 ) si p = q. (k N qp 1 (q/p)N Demostraci on. Condicionando sobre el resultado de la primera apuesta se obtiene que mk satisface la ecuaci on mk = 1 + p mk+1 + q mk1 , v alida para k = 1, 2, . . . , N 1. Esta es una ecuaci on en diferencias, de segundo orden, lineal y no homog enea. Las condiciones de frontera son ahora m0 = 0 y mN = 0. Substituyendo (p + q )mk por mk y agrupando t erminos convenientemente la ecuaci on anterior puede reescribirse del siguiente modo mk+1 mk = 1 q (mk mk1 ) . p p (2.15)
Recordando la notaci on Sk = 1 + (q/p) + + (q/p)k , y substituyendo iterativamente, las primeras k 1 ecuaciones son m2 m1 m3 m2 = = . . . mk mk 1 = (q/p)k1 m1 1 Sk 2 . p 1 S0 , p 1 (q/p)2 m1 S1 , p (q/p) m1
Aqu se ha hecho uso de la condici on de frontera m0 = 0. Sumando todas estas ecuaciones se obtiene mk m1 = m1 (Sk1 1) Es decir, mk = m1 Sk 1 1 p
k 2 i=0
1 p
k 2 i=0
Si .
Si .
(2.16)
Cap tulo 2. Caminatas aleatorias En particular, sumando todas las ecuaciones de (2.15) se obtiene mN = m1 SN 1 1 p
N 2 i=0
19
Si .
Ahora se hace uso de la condici on mN = 0, y se obtiene m1 = Substituyendo en (2.16), mk = Sk 1 1 SN 1 p

N 2 i=0
1 SN 1
1 p
k 2 i=0
Si .
Si
1 p
k 2 i=0
Si .
(2.17)
Substituyendo en (2.17) y simplicando, despu es de algunos c alculos se llega a la respuesta enunciada.

mk La forma en la que mk cambia al variar el par ametro k se muestra en la 625 p = 0.5 Figura 2.7 cuando N = 50. La duraci on m axima promedio del juego se obtiene cuando el juego es justo, p = 1/2, y ambos jugadores tienen el mismo capital inicial, es decir, k = N/2. p = 0.1 p = 0.9 Esto arroja un promedio m aximo de 10 20 30 40 (N/2)(N N/2) = (N/2)2 apuestas Figura 2.7: antes del n del juego. En el caso ilustrado, la duraci on m axima promedio del juego es de (50/2)2 = 625 apuestas.
Nuevamente se deben distinguir los siguientes dos casos: k+1 k Sk = 1 + (q/p) + + (q/p) = 1 (q/p)k+1 1 (q/p)
si p = q, si p = q.
50
Ejercicio. Demuestre que la duraci on promedio del juego es siempre menor o igual a (N/2)2 , es decir, para cada k = 1, . . . , N , se cumple que mk (N/2)2 ,
20
tanto en el caso sim etrico como no sim etrico. Notas y referencias. El tema de caminatas aleatorias puede ser encontrado en la mayor a de los textos sobre procesos estoc asticos, ya sea de una manera expl cita o como un ejemplo importante de cadena de Markov. En particular el libro de Jones y Smith [17], y el de Basu [1] contienen un cap tulo completo sobre el tema. Como lectura m as avanzada v ease el texto de Resnick [28], y el de Spitzer [34].
21
Ejercicios
Caminatas aleatorias 1. Demuestre que una caminata aleatoria simple sobre Z cumple la propiedad de Markov, es decir, demuestre que para cualesquiera enteros x0 , x1 , . . . , xn+1 , P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). 2. Para una caminata aleatoria simple {Xn } sobre Z demuestre que P (Xn+1 = x) = p P (Xn = x 1) + q P (Xn = x + 1). 3. Una part cula realiza una caminata aleatoria sim etrica sobre Z empezando en cero. Encuentre la probabilidad de que la part cula se encuentre nuevamente en el origen en el sexto paso. 4. Una part cula realiza una caminata aleatoria sim etrica sobre Z empezando en cero. Cu al es la probabilidad de que la part cula regrese al estado cero por primera vez en el sexto paso? 5. Considere una caminata aleatoria simple sobre Z que empieza en cero y tal que la probabilidad de pasar al estado de la derecha es p y la probabilidad de pasar al estado de la izquierda es q = 1 p. Sea n el primer momento en el que la caminata visita el estado n 1. Usuando an alisis del primer paso (condicionando sobre si primer paso se efect ua a la izquierda o a la derecha) demuestre que (p/q )n si p < 1/2, P (n < ) = 1 si p 1/2. En particular, la probabilidad de que la caminata se mantenga siempre en el conjunto {. . . , 1, 0, 1, . . . , n 1} es 1 (p/q )n en el caso p < 1/2, y con probabilidad uno llegar a al estado n en el caso p 1/2. Generalice la f ormula anterior en el caso cuando el estado inicial es m, menor o mayor a n. 6. Un algoritmo aleatorio de b usqueda del estado cero opera del siguiente modo: si se encuentra en el estado k en alg un momento, entonces el estado del algoritmo al siguiente paso es aleatorio con distribuci on uniforme en el conjunto {0, 1, . . . , k 1}. Encuentre el n umero esperado de pasos en los que el algoritmo alcanza el estado cero cuando inicia en el estado k .
22
El problema de la ruina del jugador 7. Siguiendo la notaci on usada en el problema de la ruina del jugador, demuestre la validez de la ecuaci on uk = p uk+1 + q uk1 , para k = 1, 2, . . . , N 1. 8. Para resolver el problema del jugador se requiere resolver la ecuaci on en diferencias uk = p uk+1 + q uk1 . Resuelva nuevamente esta ecuaci on siguiendo los siguientes pasos [18]: a ) Proponga la soluci on uk = a mk , con a y m constantes distintas de cero, y que encontraremos a continuaci on. b ) Substituya la soluci on propuesta en la ecuaci on en diferencias y encuentre la ecuaci on cuadr atica pm2 m + q = 0. Esta ecuaci on se conoce como la ecuaci on caracter stica de la ecuaci on en diferencias. c ) Suponiendo el caso p = q , esta ecuaci on cuadr atica tiene dos soluciones distintas: m1 = 1 y m2 = q/p. Dada la linealidad de la ecuaci on en diferencias, la soluci on general puede escribirse como uk = a1 mk 1 + k a 2 mk = a + a ( q/p ) . 1 2 2 d ) Use las condiciones de frontera u0 = 1 y uN = 0 para encontrar los valores de las constantes a1 y a2 , y obtener nuevamente la soluci on (2.14). e ) Cuando p = q la ecuaci on caracter stica tiene una u nica ra z: m1 = 1. Como segundo valor para m se propone k veces el valor de la primera soluci on, es decir, m2 = k . Proceda como en el inciso anterior para encontrar (2.14) en este caso. 9. Siguiendo la notaci on usada para encontrar el n umero esperado de apuestas antes de la ruina en el problema del jugador, demuestre la igualdad mk = 1 + p mk+1 + q mk1 , para k = 1, 2, . . . , N 1. 10. Considere el problema de la ruina del jugador permitiendo ahora que existan empates en cada una de las apuestas. Las probabilidades de ganar, perder o empatar para el jugador A son p, q y r, respectivamente, con p + q + r = 1. Demuestre que la probabilidad de ruina para el jugador A sigue siendo la misma expresi on (2.14). Es decir, la posibilidad de empate en cada apuesta extiende posiblemente la duraci on del juego pero no modica las probabilidades de ruina.
Cap tulo 3
Cadenas de Markov
Las cadenas de Markov fueron introducidas por el matem atico ruso Andrey Markov alrededor de 1905. Su intenci on era crear un modelo probabil stico para analizar la frecuencia con la que aparecen las vocales en poemas y textos literarios. El exito del modelo propuesto por Markov radica en que es lo sucientemente complejo como para describir ciertas caracter sticas no triviales de algunos sistemas, pero al mismo tiempo es lo sucientemente sencillo para ser analizado matem aticamente. Las cadenas de Markov pueden aplicarse a una amplia gama de fen omenos cient cos y sociales, y se cuenta con una teor a matem atica extensa al respecto. En este cap tulo presentaremos una introducci on a algunos aspectos b asicos de este modelo.
Andrey Markov (Rusia 1856-1922)
3.1.
Propiedad de Markov
Vamos a considerar procesos estoc asticos a tiempo discreto {Xn } que cumplen la propiedad de Markov. Para describir a esta propiedad y varias de sus condiciones equivalentes de una manera simple, a la probabilidad P (Xn = xn ) se le escribir a como p(xn ), es decir, el sub ndice indica tambi en la variable a la que se hace referencia. El signicado de la probabilidad condicional p(xn+1 | xn ) es an alogo. 23
24
3.1. Propiedad de Markov
Denici on. Una cadena de Markov es un proceso estoc astico a tiempo discreto {Xn : n = 0, 1, . . .}, con espacio de estados discreto, y que satisface la propiedad de Markov, esto es, para cualquier entero n 0, y para cualesquiera estados x0 , . . . , xn+1 , se cumple p(xn+1 | x0 , . . . , xn ) = p(xn+1 | xn ). (3.1)
Si el tiempo n +1 se considera como un tiempo futuro, el tiempo n como el presente y los tiempos 0, 1, . . . , n1 como el pasado, entonces la condici on (3.1) establece que la distribuci on de probabilidad del estado del proceso al tiempo futuro n+1 depende u nicamente del estado del proceso al tiempo n, y no depende de los estados en los tiempos pasados 0, 1, . . . , n 1. Existen otras formas equivalentes de expresar esta propiedad, algunas de ellas se encuentran enunciadas en la secci on de ejercicios. Por ejemplo, es posible demostrar que la condici on (3.1) es equivalente a poder calcular la distribuci on conjunta de las variables X0 , X1 , . . . , Xn de la siguiente forma p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). Sin p erdida de generalidad tomaremos como espacio de estados de una cadena de Markov al conjunto discreto {0, 1, 2, . . .}, o cualquier subconjunto nito que conste de los primeros elementos de este conjunto. Cuando el espacio de estados de una cadena de Markov es un conjunto nito se dice que la cadena es nita. Probabilidades de transici on. A la 1 2 probabilidad P (Xn+1 = j | Xn = i) se 3 0 p00 p01 p02 le denota por pij (n, n + 1), y representa 0 1 la probabilidad de transici on del estado i 2 p10 p11 p12 P = 2 p20 p21 p22 en el tiempo n, al estado j en el tiempo . . . . n + 1. Estas probabilidades se conocen co. . . . . . . . mo las probabilidades de transici on en un 1 0 1 2 3 4 5 paso. Cuando los n umeros pij (n, n + 1) no dependen de n se dice que la cadena es esFigura 3.1: tacionaria u homog enea en el tiempo. Por simplicidad se asume tal situaci on de modo que las probabilidades de transici on en un paso se escriben simplemente como pij . Variando los ndices i y j , por ejemplo sobre el conjunto de estados {0, 1, 2, . . .}, se obtiene la matriz de probabilidades de transici on en un paso que aparece en la Figura 3.1. La entrada (i, j ) de esta matriz es la probabilidad de transici on pij , es decir, la probabilidad de pasar del estado i al
Cap tulo 3. Cadenas de Markov
25
estado j en una unidad de tiempo. En general, al escribir estas matrices omitiremos escribir la identicaci on de los estados en los renglones y columnas como aparece en la Figura 3.1, tal identicaci on ser a evidente a partir de conocer el espacio de estados del proceso. El ndice i se reere al rengl on de la matriz, y el ndice j a la columna. Proposici on. La matriz de probabilidades de transici on P = (pij ) cumple las siguientes dos propiedades. a) pij 0. b)
j
pij = 1.
Demostraci on. La primera condici on es evidente a partir del hecho de que estos n umeros son probabilidades. Para la segunda propiedad se tiene que para cualquier estado i y cualquier entero n 0, 1 = P (Xn+1 {0, 1, . . .}) = P (Xn+1 {0, 1, . . .} | Xn = i) = P(
j
(Xn+1 = j ) | Xn = i)
=
j
P (Xn+1 = j | Xn = i) pij .
=
j
Esto u ltimo signica que a partir de cualquier estado i con probabilidad uno la cadena pasa necesariamente a alg un elemento del espacio de estados al siguiente momento. En general toda matriz cuadrada que cumpla estas dos propiedades se dice que es una matriz estoc astica. Debido a la propiedad de Markov, esta matriz captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. Si adem as la matriz satisface la condici on i pij = 1, es decir, cuando la suma por columnas tambi en es uno, entonces se dice que es doblemente estoc astica.
26
3.1. Propiedad de Markov
Distribuci on de probabilidad inicial. En general puede considerarse que una cadena de Markov inicia su evoluci on partiendo de un estado i cualquiera, o m as generalmente considerando una distribuci on de probabilidad inicial sobre el espacio de estados. Una distribuci on inicial para una cadena de Markov con espacio de estados {0, 1, 2, . . .} es simplemente una distribuci on de probabilidad sobre este conjunto, es decir, es una colecci on de n umeros p0 , p1 , p2 . . . que son no negativos y que suman uno. El n umero pi corresponde a la probabilidad de que la cadena inicie en el estado i. En general, la distribuci on inicial juega un papel secundario en el estudio de las cadenas de Markov. Existencia. Hemos mencionado que la propiedad de Markov es equivalente a la igualdad p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). Esta identidad establece que las distribuciones conjuntas p(x0 , x1 , . . . , xn ) se encuentran completamente especicadas por la matriz de probabilidades de transici on y una distribuci on inicial. En el texto de Chung [7] puede encontrarse una demostraci on del hecho de que dada una matriz estoc astica y una distribuci on de probabilidad inicial, existe un espacio de probabilidad y una cadena de Markov con matriz de probabilidades de transici on y distribuci on inicial las especicadas. Es por ello que a la matriz misma se le llama a veces cadena de Markov. Ejercicio. Sea {Xn } una cadena de Markov con tres estados: 0,1,2, y con matriz de probabilidades de transici on como aparece abajo. Calcule P (X2 = 0, X1 = 0 | X0 = 1) y P (X3 = 1, X2 = 1 | X1 = 2). P =
0.4 0.3 0.7 0.3 0.2 0 0.3 0.5 0.3
Ejercicio. Sea {Xn } una cadena de Markov con dos estados 0 y 1, con distribuci on inicial P (X0 = 0) = 0.5, P (X0 = 1) = 0.5, y con matriz de probabilidades de transici on como aparece abajo. Calcule P (X0 = 0, X1 = 1, X2 = 0), P (X0 = 0 | X1 = 1), P (X1 = 0), P (X2 = 1) y P (X0 = 0, X1 = 0, X2 = 1, X3 = 1). P =
0.4 0.9 0.6 0.1
27
Ejercicio. Sea {Xn } una cadena de Markov con dos estados: 0,1, con distribuci on inicial P (X0 = 0) = 0.2, P (X0 = 1) = 0.8, y con matriz de probabilidades de transici on como aparece abajo. Encuentre la distribuci on de las variables X1 , X2 , X1 y X2 conjuntamente. P =
1/2 2/3 1/2 1/3
Probabilidades de transici on en n pasos. La probabilidad P (Xn+m = j | Xm = i) corresponde a la probabilidad de pasar del estado i al tiempo m, al estado j al tiempo m + n. Dado que hemos supuesto la condici on de homogeneidad en el tiempo, esta probabilidad no depende realmente de m, por lo tanto coincide con P (Xn = j | X0 = i), y se le denota por pij (n). A esta probabilidad tambi en se le (n) umero de pasos n se escribe entre par entesis para denota como pij , en donde el n distinguirlo de alg un posible exponente, y se le llama probabilidad de transici on en n pasos. Cuando n = 1 simplemente se omite su escritura, a menos que se quiera hacer enfasis en ello. Tambi en cuando n = 0 es natural denir pij (0) = ij = 0 1 si i = j, si i = j.
Es decir, despu es de realizar cero pasos la cadena no puede estar en otro estado mas que en su lugar de origen. Esta es la funci on delta de Kronecker.
3.2.
Ejemplos
Revisaremos a continuaci on algunos ejemplos particulares cl asicos de cadenas de Markov. Retomaremos m as adelante varios de estos ejemplos para ilustrar otros conceptos y resultados generales de la teor a general. Cadena de dos estados. Considere una cadena de Markov con espacio de estados {0, 1}, con matriz y diagrama de transici on como aparece en la Figura 3.2, en donde 0 a 1, y 0 b 1. Suponga que la distribuci on inicial est a dada por p0 = P (X0 = 0) y p1 = P (X0 = 1). Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues es com un encontrar situaciones en donde se presenta siempre la dualidad de ser o
28
3.2. Ejemplos
0 P = 0 1 1a b
1 a 1b 1a 0
a 1 b 1b
Figura 3.2: no ser, estar o no estar, tener o no tener, siempre en una constante alternancia entre un estado y el otro. Cuando a = 1 b, las variables X1 , X2 , . . . son independientes e id enticamente distribuidas con P (Xn = 0) = 1 a y P (Xn = 1) = a, para cada n 1. Cuando a = 1 b, Xn depende de Xn1 . Mas adelante demostraremos que las probabilidades de transici on en n pasos son, para a + b > 0, p00 (n) p01 (n) p10 (n) p11 (n) = 1 a+b b a b a + (1 a b)n a+b a b a b .
Ejercicio. Para la cadena de Markov de dos estados, compruebe directamente que a) P (X0 = 0, X1 = 1, X2 = 0) = ab p0 . b) P (X0 = 0, X2 = 1) = (ab + (1 a)a) p0 . c) P (X2 = 0) = ((1 a)2 + ab) p0 + ((1 b)b + b(1 a)) p1 .
Cadena de variables aleatorias independientes. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes con valores en el conjunto {0, 1, . . .}, y con id entica distribuci on dada por las probabilidades a0 , a1 , . . . Deniremos varias cadenas de Markov a partir de esta sucesi on. a) La sucesi on Xn = n es una cadena de Markov con probabilidades de transici on pij = P (Xn = j | Xn1 = i) = P (Xn = j ) = aj , es decir, la matriz de
Cap tulo 3. Cadenas de Markov probabilidades de transici on es de la siguiente forma

a0 . . .
29
Esta cadena tiene la cualidad de poder pasar a un estado cualquiera siempre con la misma probabilidad, sin importar el estado de partida. Puede modelar, por ejemplo, una sucesi on de lanzamientos de una moneda. b) El proceso Xn = m ax {1 , . . . , n } es una cadena de Markov con matriz
a0
P = a0
a1 a1 . . .
a2 a2 . . .
0 P = 0
. . .
a1 a0 + a1 0 . . .
a2 a2 a0 + a1 + a2 . . .
a3 a3 a3 . . .
c) El proceso Xn = 1 + + n es una cadena de Markov con matriz

a0
0 P = 0
. . .
a1 a0 0 . . .
a2 a1 a0 . . .
Ejercicio. Es el proceso Xn = m n {1 , . . . , n } una cadena de Markov? En caso armativo encuentre la matriz de probabilidades de transici on. Cadena de rachas de exitos. Sea 1 , 2 , . . . una sucesi on de ensayos independientes Bernoulli con probabilidad de exito p, y probabilidad de fracaso q = 1 p. Sea Xn el n umero de exitos consecutivos previos al tiempo n, incluyendo el tiempo n. Se dice que una racha de exitos de longitud r ocurre al tiempo n si en el ensayo n r se obtiene un fracaso y los resultados de los ensayos n r + 1 al n son todos exitos. Gr acamente esta situaci on se ilustra en la Figura 3.3. La colecci on de variables aleatorias {Xn : n = 1, 2, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}. Las probabilidades de transici on y la matriz correspondiente se muestran en la Figura 3.4. Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden observar en la Figura 3.5.
30
3.2. Ejemplos
r exitos 1 2 F nr E nr+1 E n
Figura 3.3:
p q pij = 0
si j = i + 1, si j = 0, otro caso.
P =
Figura 3.4:
0 1 2 . . .
q q q . . .
p 0 0 . . .
0 0 p 0 . 0 p . . .
0 p 1 q q 2 q 3 q r
Figura 3.5: Cadena de la caminata aleatoria. Una caminata aleatoria simple sobre el conjunto de n umeros enteros constituye una cadena de Markov con espacio de estados el conjunto Z, y con probabilidades de transici on p si j = i + 1, q si j = i 1, pij = 0 otro caso,
31
En otro caso pij (n) = 0, excepto cuando n = 0 e i = j . M as adelante usaremos este modelo para ilustrar algunos conceptos generales de cadenas de Markov.
en donde p + q = 1. Hemos demostrado en el cap tulo anterior que las probabilidades de transici on en n pasos son las siguientes: Si n + j i es par con n j i n, entonces n p(n+j i)/2 q (nj +i)/2 . pij (n) = 1 ( n + j i ) 2
Cadena del jugador. El modelo usado para el problema del jugador estudiado en el primer cap tulo es una caminata aleatoria sobre el conjunto de n umeros enteros {0, 1, , . . . , N }, en donde los estados 0 y N son absorbentes. Las probabilidades de transici on son como las de la caminata aleatoria simple s olo que ahora p00 = 1 y pN N = 1. Este proceso es otro ejemplo de cadena de Markov con espacio de estados nito. Hemos demostrado antes que con probabilidad uno la cadena eventualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la probabilidad de que la absorci on se observe en el estado 0, y hemos adem as encontrado el tiempo medio de absorci on. Cadena de Ehrenfest. Sean A y B dos urnas dentro de las cuales se encuentran distribuidas N bolas de acuerdo a cierta conguraci on inicial. En cada unidad de tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto puede considerarse que las bolas se encuentran numeradas y que se escoge un n umero al azar, se busca la bola con ese n umero y se cambia de urna. V ease la Figura 3.6. Sea Xn el n umero de bolas en la urna A despu es de n extracciones. Entonces la colecci on {Xn : n = 0, 1, . . .} constituye una cadena de Markov con espa... ... cio de estados nito {0, 1, . . . , N }. Es claro que a partir del estado i la caN i bolas i bolas dena s olo puede pasar al estadio i 1 o al estado i + 1 al siguiente momenUrna A Urna B to, de modo que las probabilidades son pi,i1 = i/N , y pi,i+1 = (N i)/N , Figura 3.6: v alidas para i = 1, 2, . . . , N 1. Naturalmente p01 = 1 y pN,N 1 = 1. En este caso se dice que los estados 0 y N son reejantes. La matriz de probabilidades de transici on aparece m as abajo. Este modelo fue propuesto por Ehrenfest para describir el intercambio aleatorio de mol eculas (bolas) en dos regiones separadas por una membrana porosa. La regi on con mayor n umero de mol eculas tender a a
32
liberar mas mol eculas.
0 1/N 0 . . . 0 0 1 0 2/N . . . 0 0
3.2. Ejemplos
P =
0 (N 1)/N 0 . . . 0 0
0 0 (N 2)/N . . . 0 0
0 0 0 . . . 0 1
0 0 0 . . . 1/N 0
Cadena de ramicaci on. Considere una part cula u objeto que es capaz de generar otras part culas del mismo tipo al nal de un periodo establecido de tiempo. El conjunto de part culas iniciales constituye la generaci on 0. Cada una de estas part culas simult aneamente y de manera independiente genera un n umero de descendientes dentro del conjunto {0, 1, . . .}, y el total de estos descendientes pertenece a la generaci on 1, estos a su vez son los progenitores de la generaci on 2, y as sucesivamente. Una posible sucesi on de generaciones se muestra en la Figura 3.7. El posible evento cuando una part cula no genera ning un descendiente se interpreta en el sentido de que la part cula se ha muerto o extinguido.
Generaci on 0 1 2 3 4 Xn 1 2 3 3 2
Figura 3.7: Sea k la variable aleatoria que modela el n umero de descendientes de la k - esima part cula. Para cada n 0 dena Xn como el n umero de part culas en la generaci on n. Entonces {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transici on pij = P (1 + + i = j ), para i 1. Si en alg un momento Xn = 0, entonces se dice que la poblaci on de part culas se ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha
33
sido usado para determinar la probabilidad de extinci on de la descendencia de una persona. Cadena de la la de espera. Considere una cola o l nea de espera de clientes que solicitan alg un tipo de servicio de un servidor. Suponga que el sistema es observado en los tiempos discretos n = 0, 1, . . ., y que la la funciona del siguiente modo: cuando hay alg un cliente esperando servicio al inicio de un periodo, el cliente al frente de la la es atendido terminando el servicio al nal del periodo. Naturalmente si no existiera ning un cliente en la la al inicio de alg un periodo, entonces ning un cliente es atendido. Para cada entero n 1 dena n como el n umero de nuevos clientes que se incorporan a la la durante el periodo n. Bajo ciertas condiciones es natural suponer que estas variables aleatorias son independientes, id enticamente distribuidas y con valores enteros no negativos. Suponga que P (n = k ) = ak , con ak 0 y a0 + a1 + = 1. Sea X0 el n umero de clientes iniciales, y para cada n 1 dena a Xn como el n umero de clientes en la la al nal del periodo n. Las dos reglas de operaci on mencionadas se pueden escribir de la siguiente forma: Xn+1 = n+1 Xn + n+1 1 si Xn = 0, si Xn 1.
Esto puede escribirse como Xn+1 = (Xn 1)+ + n+1 , en donde x+ = m ax{x, 0}. Por lo tanto, el proceso {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transici on pij = P ( = j ) si i = 0, P ( = j i + 1) si i 1.
a0 a0 0 0 . . . a1 a1 a0 0 . . . a2 a2 a1 a0 . . .
Es decir,
P =
Cadena de inventarios. Suponga que se almacena un cierto n umero de bienes en una bodega, y que se requiere una demanda aleatoria n del bien en el periodo n. Suponga que P (n = k ) = ak , para k = 0, 1, . . . con ak 0 y k ak = 1, es decir, la distribuci on de n es la misma para cualquier n. El n umero de bienes en
34
n de Chapman-Kolmogorov 3.3. Ecuacio
el almac en es revisado al nal de cada periodo y se aplica la siguiente pol tica de reabastecimiento: Si al nal del periodo la cantidad del bien es menor o igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente hasta un nivel m aximo S . Si al nal del periodo el n umero de bienes es mayor a s, entonces no hay ning un reabastecimiento. Naturalmente s < S . Sea Xn el n umero de bienes al nal del periodo n y justo antes de aplicar la pol tica de reabastecimiento. Entonces Xn es una cadena de Markov con espacio de estados {. . . , 2, 1, 0, 1, 2, . . . , S }. Se permiten valores negativos para Xn los cuales corresponden a demandas del bien no satisfechas en su momento pero que ser an cubiertas en el siguiente reabastecimiento. El valor de Xn+1 en t erminos de Xn se escribe de la forma siguiente: Xn+1 = S n+1 Xn n+1 si s Xn < S, si Xn s.
Las probabilidades de transici on para esta cadena son pij = P (Xn+1 = j | Xn = i) = P (n+1 = i j ) = aij P (n+1 = S j ) = aS j si s < i S, si i s.
La primera expresi on corresponde al caso cuando no hay reabastecimiento, la probabilidad de pasar de i a j es la probabilidad de que la demanda al nal de ese periodo sea de j i pues el nuevo nivel del almac en ser a de i (i j ) = j . La segunda expresi on corresponde al caso cuando hay reabastecimiento y el nuevo nivel ser a de S (S j ) = j , cuando la demanda sea S j .
3.3.
Ecuaci on de Chapman-Kolmogorov
Esta ecuaci on es una f ormula sencilla y muy u til que permite descomponer la probabilidad de pasar del estado i al estado j en n pasos, en la suma de probabilidades de las trayectorias que van de i a j , y que atraviesan por un estado k cualquiera en un tiempo intermedio r. Ecuaci on de Chapman-Kolmogorov. Para cualesquiera n umeros enteros r y n tales que 0 r n, y para cualesquiera estados i y j se cumple pij (n) =
k
pik (r) pkj (n r).
35
Demostraci on. Por el teorema de probabilidad total y la propiedad de Markov, pij (n) = P (Xn = j | X0 = i) =
k
P (Xn = j, Xr = k, X0 = i)/P (X0 = i) P (Xn = j | Xr = k ) P (Xr = k | X0 = i) pkj (n r) pik (r).
=
k
=
k
Gr acamente, las trayectorias que van del estado i al estado j en n pasos se descomponen como se muestra en la Figura 3.8. Para nes ilustrativos se dibujan las trayectorias de manera continua pero en realidad no lo son. Esta ecuaci on es importante para hacer ciertos c alculos, y se usa con regularidad en el estudio de las cadenas de Markov. En particular, la siguiente desigualdad ser a utilizada m as adelante: Para cualquier estado k y para 0 r n, se tiene que pij (n) pik (r) pkj (n r). Como una consecuencia importante de la ecuaci on de Chapman-Kolmogorov se tiene el siguiente resultado. k j
i r Figura 3.8: n
Proposici on. La probabilidad de transici on en n pasos, pij (n), est a dada por la entrada (i, j ) de la n- esima potencia de la matriz P , es decir, pij (n) = (P n )ij .
Demostraci on. Esta identidad es consecuencia de la ecuaci on de Chapman-Kolmogorov aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada (i, j ) de
36
n de Chapman-Kolmogorov 3.3. Ecuacio
la matriz resultante de multiplicar P consigo misma n veces. pij (n) =

i1
pi,i1 (1) pi1 ,j (n 1) pi,i1 (1) pi1 ,i2 (1) pi2 ,j (n 2)
=
i1 ,i2
. . . = =
i1 ,...,in1 (P n )ij .
pi,i1 (1) pi1 ,i2 (1) pin1 ,j (1)
En palabras este resultado establece que el problema de calcular las probabilidades de transici on en n pasos se transforma en obtener la n- esima potencia de la matriz de probabilidades de transici on en un paso, es decir, n
p00 (n) . . .
Si se conoce esta matriz y si pi = P (X0 = i) es una distribuci on inicial, entonces la distribuci on de Xn es P (Xn = j ) = i pi pij (n). Cuando una matriz estoc astica P es diagonalizable, es decir, cuando puede ser escrita en la forma QDQ1 en donde D es una matriz diagonal, las potencias de P se calculan f acilmente pues P n = QDn Q1 . Como D es diagonal, Dn es la matriz con cada elemento de la diagonal elevado a la n- esima potencia. Por ejemplo, vamos a ilustrar el proceso de diagonalizaci on de una matriz estoc astica de dimensi on dos. Consideremos nuevamente la cadena general de dos estados
1a b a 1b
p10 (n)
p01 (n) p11 (n) . . .
p00 = p10 . . .
p01 p11 . . .
P =
Los eigenvalores de esta matriz est an dados por la ecuaci on |P I | = 0, y resultan ser 1 = 1 y 2 = 1ab. Los correspondientes eigenvectores escritos como vectores
37
rengl on son (1, 1) y (a, b), respectivamente. La matriz Q esta compuesta por los eigenvectores como columnas, y si se cumple que a + b > 0, entonces es invertible, es decir, 1 a 1 b 1 a+b b a 1 1
Q=
Q 1 =
La matriz D es la matriz diagonal que contiene a los dos eigenvalores. Puede entonces comprobarse la identidad P = QDQ1 , es decir,
1a b a 1b 1 1 a b 1 0 0 1ab
1 a+b
b 1
a 1
Por lo tanto,
Pn
= = =
Q D n Q 1 1 1 1 a+b a b b b a a 1 0 0 (1 a b)n + (1 a b)n a+b b 1 a 1 . 1 a+b
a a b b
Ejemplo. Toda matriz estoc astica P con renglones id enticos es idempotente, es decir, para cualquier entero n 1, se cumple que P n = P . Este es el caso de la cadena de variables aleatorias independientes.
3.4.
Comunicaci on
Deniremos a continuaci on a la comunicaci on entre dos estados de una cadena de Markov como la posibilidad de pasar de un estado a otro en alg un n umero nito de transiciones.
38
n 3.4. Comunicacio
Denici on. Se dice que el estado j es accesible desde el estado i si existe un entero n 0 tal que pij (n) > 0, esto se escribe simplemente como i j . Se dice adem as que los estados i y j son comunicantes, y se escribe i j , si se cumple que i j y j i. Observe que siempre se cumple que i i, pues por denici on pii (0) = 1. Adem as observe que si ocurre que i j , la accesibilidad de i a j puede darse en un n umero de pasos distinto que la accesibilidad de j a i. Gr acamente la accesibilidad y la comunicaci on se representan, como lo hemos hecho antes en los ejemplos, mediante echas entre nodos como se muestra en la Figura 3.9. Es sencillo vericar que la comunicaci on es una relaci on de equivalencia, es decir, cumple las siguientes propiedades. a) Es reexiva: i i. b) Es sim etrica: si i j , entonces j i. c) Es transitiva: si i j y j k , entonces i k .
Comunicaci on Accesibilidad i j
En consecuencia, la comunicaci on induce una partici on del j i espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados Figura 3.9: pertenecen al mismo elemento de la partici on si, y s olo si, tales estados se comunican. De este modo el espacio de estados de una cadena de Markov se subdivide en clases de comunicaci on. A la clase de comunicaci on de un estado i se le denotar a por C (i). Por lo tanto, i j si, y s olo si, C (i) = C (j ).
C (i)
C (j ) S
Partici on de un espacio de estados en clases de comunicaci on
Figura 3.10: Ejemplo. La cadena de Markov con espacio de estados {0, 1, 2, 3} y matriz de probabilidades de transici on que se muestra en la Figura 3.11 tiene tres clases de
39
comunicaci on que son C (0) = {0}, C (1) = {1, 2} y C (3) = {3}. Es evidente que el estado 0 se comunica consigo mismo pues existe una echa que parte de tal estado y llega a el mismo. Visualmente tampoco hay duda de que la segunda colecci on de estados es una clase de comunicaci on. Para la clase C (3) no existe una conexi on f sica del estado 3 consigo mismo, sin embargo, por denici on p33 (0) = 1, y ello hace que esta clase de u nicamente un estado sea de comunicaci on. Observe que estas clases de comunicaci on conforman una partici on del espacio de estados.
C (0) 1 1/2 P = 0 1/2 0 0 1/2 0 0 1/2 1/2 1/2 0 0 0 0 0 1
C (1)
3 C (3)
Figura 3.11: Ejercicio. Dibuje un diagrama de transici on e identique las clases de comunicaci on para las siguientes cadenas de Markov. a) P =
0.3 0.4 0.5 0 0.6 0 0.7 0 0.5 0 0.2
0.4 0.6 b) P = 0 0
0 0
0 0 1 0.3
0.8 0 0 0.7
Ejercicio. Cu al es el n umero m aximo y m nimo de clases de comunicaci on que puede existir para una cadena de Markov de n estados? Dibuje un diagrama de transici on ilustrando cada una de estas dos situaciones. El estado i de una cadena de Markov se llama absorbente si pii (1) = 1. Por ejemplo, el estado 0 de la cadena de la Figura 3.11 es absorbente.
40
3.5. Periodo
Denici on. Se dice que una cadena de Markov es irreducible si todos los estados se comunican entre s . En otras palabras, una cadena de Markov es irreducible si existe s olo una clase de comunicaci on, es decir, si la partici on generada por la relaci on de comunicaci on es trivial. Por ejemplo, la cadena de racha de exitos o la cadena de la caminata aleatoria son cadenas irreducibles pues todos los estados se comunican entre s . La cadena de la Figura 3.11 no es irreducible pues no se cumple que todos los estados se comuniquen. Ejercicio. Dibuje el diagrama de transici on de una cadena de Markov que sea a) nita e irreducible. b) nita y reducible. c) innita e irreducible. d) innita y reducible.
3.5.
Periodo
El periodo es un n umero entero no negativo que se calcula para cada estado de una cadena. Una interpretaci on de este n umero ser a mencionada m as adelante y aparecer a tambi en dentro de los enunciados generales sobre el comportamiento l mite de cadenas de Markov. Denici on. El periodo de un estado i es un n umero entero no negativo denotado por d(i), y denido como sigue: d(i) = m.c.d. {n 1 : pii (n) > 0}, en donde m.c.d. signica m aximo com un divisor. Cuando pii (n) = 0 para toda n 1, se dene d(i) = 0. En particular, se dice que un estado i es aperi odico si d(i) = 1. Cuando d(i) = k 2 se dice que i es peri odico de periodo k . Ejemplo. Considere una cadena de Markov con diagrama de transici on como en la Figura 3.12. Es f acil comprobar que d(0) = 1, d(1) = 2, d(2) = 2 y d(3) = 0.
41
Figura 3.12:
Ejercicio. Dibuje un diagrama de transici on, determine las clases de comunicaci on y calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov. 0 0 0 0 1 1/4 1/4 1/4 1/4 0 0 1 0 0 0 1/2 1/2 0 0 0 1/2 1/2 b) P = 0 a) P = 0 0 0 1 0 0 1 0 0
0 0 1 0 1/5 1/5 1/5 1/5 1/5
Demostraremos a continuaci on que el periodo es una propiedad de clase, es decir, todos los estados de una misma clase de comunicaci on tienen el mismo periodo. De este modo uno puede hablar de clases de comunicaci on peri odicas, o clases aperi odicas. Proposici on. Si los estados i y j pertenecen a la misma clase de comunicaci on, entonces tienen el mismo periodo.
Demostraci on. Claramente el resultado es v alido para i = j . Suponga entonces que i y j son distintos. Como los estados i y j est an en la misma clase de comunicaci on, existen enteros n 1 y m 1 tales que pij (n) > 0 y pji (m) > 0. Sea s 1 un entero cualquiera tal que pii (s) > 0. Tal entero existe pues pii (n + m) pij (n) pji (m) > 0. Esto quiere decir que d(i)|s. Adem as pjj (n + m + s) pji (m) pii (s)pij (n) > 0. An alogamente, pjj (n + m + 2s) pji (m) pii (2s) pij (n) > 0. Por lo tanto d(j )|(n + m + s) y d(j )|(n + m + 2s). Entonces d(j ) divide a la diferencia (n + m + 2s) (n +
42
3.5. Periodo
m + s) = s. Por lo tanto, todo entero s 1 tal que pii (s) > 0 cumple d(j )|s. Pero d(i) divide a s de manera m axima, por lo tanto d(i) d(j ). De manera an aloga, escribiendo i por j , y j por i, se obtiene d(j ) d(i). Se concluye entonces que d(i) = d(j ). El rec proco del resultado anterior es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Puede usted dar un ejemplo de tal situaci on? El siguiente resultado establece que despu es de un n umero sucientemente grande de pasos, con probabilidad positiva toda cadena puede regresar a cada estado i cada d(i) pasos. Esta es la raz on por la que a tal n umero se le llama periodo. Proposici on. Para cada estado i, existe un entero N tal que para toda n N , se cumple pii (nd(i)) > 0. Demostraci on. Si pii (n) = 0 para cada n 1, entonces d(i) = 0 y por lo tanto la armaci on es v alida pues pii (0) = 1, sin embargo la interpretaci on de recurrencia peri odica no se aplica en este caso. Suponga entonces que n1 , . . . , nk son enteros tales que pii (n1 ) > 0, . . ., pii (nk ) > 0. Sea d = m.c.d.{n1 , . . . , nk } d(i). Como d(i) es divisor de cada entero n1 , . . ., nk , se tiene que d(i)|d, y por lo tanto existe un entero q tal que qd(i) = d. Ahora se hace uso del siguiente resultado cuya demostraci on puede encontrarse en [19]. Sean n1 , . . . , nk enteros no negativos y sea d = m.c.d.{n1 , . . . , nk }. Entonces existe un entero M tal que para cada m M existen enteros no negativos c1 , . . . , ck tales que md = c1 n1 + + ck nk . Entonces existe un entero no negativo M tal que para cada m M , md = c1 n1 + + ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto pii (md) = pii (c1 n1 + + ck nk ) pii (c1 n1 ) pii (ck nk ) > 0. Por lo tanto, para cada m M , pii (md) = pii (mqd(i)) > 0. Dena N = M q . Se puede entonces concluir que para toda n N , pii (nd(i)) > 0. Como corolario de la proposici on anterior se tiene el siguiente resultado: Si es posible pasar de i a j en m pasos, entonces tambi en es posible tal transici on en m + nd(j ) pasos con n sucientemente grande, suponiendo d(j ) > 0.
43
Proposici on. Si pij (m) > 0 para alg un entero m, entonces existe un entero N tal que para toda n N se cumple pij (m + nd(j )) > 0. Demostraci on. Por el resultado anterior, para n sucientemente grande, se tiene que pij (m + nd(j )) pij (m) pjj (nd(j )) > 0.
3.6.
Primeras visitas
En ocasiones interesa estudiar el primer momento en el que una cadena de Markov visita un estado particular o un conjunto de estados. Deniremos a continuaci on este tiempo aleatorio y despu es demostraremos una f ormula u til que lo relaciona con las probabilidades de transici on. Denici on. Sea A un subconjunto del espacio de estados de una cadena de Markov Xn . El tiempo de primera visita al conjunto A es la variable aleatoria A = m n {n 1 : Xn A} si Xn A para alg un n 1, otro caso.
Es decir, A es el primer momento positivo en el cual la cadena toma un valor dentro de la colecci on de estados A, si ello eventualmente sucede. Estaremos interesados principalmente en el caso cuando el conjunto A consta de un solo estado j , y si suponemos que la cadena inicia en i, entonces el tiempo de primera visita al estado j se escribe ij . Cuando los estados i y j coinciden se escribe simplemente i . En general no es f acil encontrar la distribuci on de probabilidad de esta variable aleatoria, los siguientes ejemplos, sin embargo, son casos particulares sencillos. Ejemplo. Considere la cadena de Markov de dos estados. Es inmediato comprobar que a) P (01 = n) = (1 a)n1 a, para n = 1, 2, . . . b) P (00 = n) = a(1 b)n2 b, para n = 2, 3, . . .
44
3.6. Primeras visitas Ejemplo. Para la cadena de racha de exitos se tiene que
a) P (01 = n) = q n1 p para n = 1, 2, . . . b) P (00 = n) = pn1 q para n = 1, 2, . . . Ejercicio. Demuestre las siguientes igualdades. a) P (ij = 1) = pij (1). b) P (ij = 2) =
k =j
pik (1) pkj (1). pik (1) P (kj = n),

k =j
c) P (ij = n + 1) =
para n 1.
Denici on. Para cada n 1, el n umero fij (n) denota la probabilidad de que una cadena que inicia en el estado i, llegue al estado j por primera vez en exactamente n pasos, es decir, fij (n) = P (ij = n). Adicionalmente se dene fij (0) = 0, incluyendo el caso i = j . Otra forma equivalente de escribir a la probabilidad de primera visita es a trav es de la expresi on fij (n) = P (Xn = j, Xn1 = j, . . . , X1 = j | X0 = i). En particular, observe que fii (n) es la probabilidad de regresar por primera vez al mismo estado i en el n- esimo paso, y que fii (1) es simplemente pii . El uso de la letra f para esta probabilidad proviene el t ermino en ingl es rst para indicar que es la probabilidad de primera visita, saber esto ayuda a recordar su signicado. El siguiente resultado establece que la probabilidad de visitar el estado j , a partir de i, en n pasos, puede descomponerse en las probabilidades de los eventos disjuntos en los que se presenta la primera visita, la cual puede efectuarse en el primer paso, o en el segundo paso, y as sucesivamente, hasta el u ltimo momento posible n. Proposici on. Para cada n 1,
n
pij (n) =
k=1
fij (k ) pjj (n k ).
(3.2)
45
Demostraci on. La prueba se basa en la siguiente descomposici on que involucra eventos disjuntos. Se usa adem as la propiedad de Markov. pij (n) = =
k=1 n
P (Xn = j | X0 = i)
n
P (Xn = j, Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) P (Xn = j | Xk = j ) P (Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) pjj (n k ) fij (k ).
=
k=1 n
=
k=1
Ejercicio. Use (3.2) para demostrar que para cada n 1, se cumple la desigualdad pij (n) P (ij n).
3.7.
Recurrencia y transitoriedad
Veremos a continuaci on que los estados de una cadena de Markov pueden ser clasicados, en una primera instancia, en dos tipos, dependiendo si la cadena es capaz de regresar con certeza al estado de partida. Denici on. (I) Se dice que un estado i es recurrente si la probabilidad de eventualmente regresar a i, partiendo de i, es uno, es decir, si P (Xn = i para alguna n 1 | X0 = i) = 1. Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad anterior es estrictamente menor a uno. De manera intuitiva, un estado es recurrente si con probabilidad uno la cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre en alg un momento nito, por la propiedad de Markov, se puede regresar a el una y otra vez con probabilidad uno. Debido a este comportamiento es que al estado en cuesti on se le
46
3.7. Recurrencia y transitoriedad
llama recurrente. En cambio, el estado se llama transitorio si existe una probabilidad positiva de que la cadena, iniciando en el, ya no regrese nunca a ese estado. En t erminos de las probabilidades de primera visita, la probabilidad de una eventual visita al estado j , a partir del estado i, es el n umero fij =
n=1
fij (n).
Recordemos que fij (n) es la probabilidad de que la primera visita al estado j , a partir de i, se efect ue exactamente en el paso n. Siendo estos eventos disjuntos para valores distintos de n, esta suma representa la probabilidad de una posible visita al estado j . De este modo la denici on de recurrencia y transitoriedad puede enunciarse de manera equivalente de la siguiente forma. Denici on. (II) Un estado i es recurrente si fii = 1, es decir, si la probabilidad de regresar a el en un tiempo nito es uno. An alogamente, un estado i es transitorio si fii < 1. Adem as de la denici on, tenemos el siguiente criterio u til para determinar si un estado es recurrente o transitorio. Proposici on. (Criterio para la recurrencia) El estado i es 1. recurrente si, y s olo si 2. transitorio si, y s olo si
n=1 n=1
pii (n) = . pii (n) < .
Demostraci on. Sea Ni la variable aleatoria que cuenta el n umero de veces que el proceso regresa al estado i a partir del primer paso, es decir, Ni = n=1 1(Xn =i) ,
47
cuando X0 = i. Entonces Ni tiene una distribuci on geom etrica pues para k 1, P (Ni k | X0 = i) = =
m=1 m=1 m=1
P (Ni k, Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k | Xm = i, Xm1 = i, . . . , X1 = i, X0 = i) P (Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k 1 | X0 = i) fii (m)
= P (Ni k 1 | X0 = i) fii . . . = P (Ni 1 | X0 = i) (fii )k1 = (fii )k . La esperanza de Ni , posiblemente innita, puede calcularse de las siguientes dos formas. Primero, E (Ni | X0 = i) = =
k=1 k=1
P (Ni k | X0 = i) (fii )k si 0 fii < 1, si fii = 1.
Por otro lado, por el teorema de convergencia mon otona, E (Ni | X0 = i) = = =

n=1 n=1 n=1
fii 1 fii
E (1(Xn =i) | X0 = i) P (Xn = i | X0 = i) pii (n).
El resultado se sigue de igualar estas dos expresiones.
48
Siguiendo con la notaci on de la demostraci on anterior, observe que la esperanza E (Ni | X0 = i) es el n umero promedio de retornos al estado i, de modo que un estado i es recurrente si, y s olo si, el n umero promedio de retornos a el es innito. En contraparte, un estado i es transitorio si, y s olo si, el n umero promedio de retornos a el es nito. Ejemplo. Considere una caminata aleatoria sobre Z. En el primer cap tu lo demostramos que n=0 f00 (n) = 1 |p q |. De aqu hemos concluido que el estado 0 es recurrente en el caso sim etrico. Siendo la cadena irreducible, la cadena toda es recurrente. Alternativamente, hemos encontrado tambi en la f ormula ormula de pii (n) = 12n 21 n , para n par. Estimando los factoriales mediante la f 2 Stirling: n! 2 nn+1/2 en , puede comprobarse que n=0 p00 (n) = , conrmando nuevamente la recurrencia del estado 0 y de la cadena, en el caso sim etrico. La cadena es transitoria cuando es asim etrica. Demostraremos a continuaci on que la recurrencia y la transitoriedad son propiedades de clase, es decir, si dos estados est an en una misma clase de comunicaci on, entonces ambos estados son recurrentes o ambos son transitorios. Proposici on. La recurrencia es una propiedad de clase, es decir, 1. Si i es recurrente e i j , entonces j es recurrente. 2. Si i es transitorio e i j , entonces j es transitorio.
Demostraci on. Como i j , existen enteros n 1 y m 1 tales que pij (n) > 0 y pji (m) > 0. Entonces pjj (m + n + r) pji (m) pii (r) pij (n). De modo que, por la ecuaci on de Chapman-Kolmogorov,
r =1
pjj (m + n + r) pji (m)
r =1
pii (r) pij (n).
Si i es recurrente, la suma del lado derecho es innita. Se sigue entonces que la suma del lado izquierdo tambi en lo es, es decir, j es recurrente. La segunda armaci on se demuestra f acilmente por contradicci on usando el primer resultado.
49
En consecuencia, cuando una cadena es irreducible y alg un estados estados estado es recurrente, todos los recurrentes transitorios estados lo son, y se dice que la cadena es recurrente. Tambi en puede presentarse la situaci on Descomposici on del espacio de estados en donde el espacio de estados Figura 3.13: conste de varias clases de comunicaci on recurrentes, en tal caso la cadena tambi en se llama recurrente. En contraparte, una cadena es transitoria si todos los estados lo son, ya sea conformando una sola clase de comunicaci on de estados transitorios o varias de ellas. De este modo el espacio de estados de una cadena de Markov puede descomponerse en dos subconjuntos ajenos de estados, aquellos que son transitorios y aquellos que son recurrentes. Tal partici on se muestra en la Figura 3.13. Cada uno de estos subconjuntos puede constar de ninguna, una o varias clases de comunicaci on. Ejemplo. La cadena de dos estados es irreducible y recurrente cuando a, b (0, 1). En efecto, tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por lo tanto, f00 =
n=1
f00 (n) = (1 a) + ab
n=2
(1 b)n2 = (1 a) +
ab = 1. b
Ejemplo. Considere la cadena de rachas de exitos. En este caso es sencillo demostrar que el estado 0 es recurrente pues f00 =
n=1
f00 (n) = q (1 + p + p2 + ) =
q = 1. 1p
Dado que la cadena es irreducible y la recurrencia es una propiedad de clase, cualquier otro estado es recurrente. Por lo tanto, la cadena es recurrente. Ejercicio. Determine las clases de comunicaci on de las siguientes cadenas de Markov y clasique estas como recurrentes o transitorias.
50
1/2 0 0 1/2 1/2 1/2

1/2 0 P = 0 1/4
a) P =
0 1/2 1/2
b)
1/2 1/2 1/2 1/4
0 1/2 1/2 1/4
0 0 0 1/4
Ejercicio. Dibuje un diagrama de transici on de una cadena de Markov tal que: a) todos sus estados sean recurrentes. b) todos sus estados sean transitorios. c) tenga igual n umero de estados transitorios y recurrentes. Veremos a continuaci on algunos ejemplos de aplicaci on del criterio anterior. Proposici on. Sea j un estado transitorio. Para cualquier estado inicial i, se cumple que m pij (n) = 0. n=1 pij (n) < . En consecuencia, l
n
Demostraci on. Usando (3.2), por el teorema de Fubini,

n=1
pij (n)
= =
n1
n=1 k=0 k=0 m=1
fij (n k ) pjj (k ) = fij (m) pjj (k ) = fij
k=0 n=k+1 k=0
fij (n k ) pjj (k )
k=0
pjj (k )
pjj (k ) < .
Proposici on. Toda cadena de Markov nita tiene por lo menos un estado recurrente. Demostraci on. Por contradicci on, suponga que todos los estados son transitorios. Entonces para cualesquiera estados i y j , se cumple n=1 pij (n) < . Sumando sobre el conjunto nito de todos los posibles estados j se obtiene j n=1 pij (n) < . Por otro lado, intercambiando el orden de las sumas se llega a la armaci on contraria, n=1 j pij (n) = n=1 1 = . Por lo tanto es err oneo suponer que todos los estados son transitorios, debe existir por lo menos uno que es recurrente.
51
En consecuencia, toda cadena nita e irreducible es recurrente. M as adelante demostraremos que en tal caso, con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces.
3.8.
Tiempo medio de recurrencia
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a el una innidad de veces con probabilidad uno. Y hemos denido el tiempo de primera visita a un estado j , a partir de cualquier estado i, como la variable aleatoria discreta ij = m n {n 1 : Xn = j | X0 = i}, con la posibilidad de que tome el valor innito. Vamos a denir el tiempo medio de recurrencia como la esperanza de esta variable aleatoria en el caso cuando el estado a visitar es recurrente. Denici on. El tiempo medio de recurrencia de un estado recurrente j , a partir del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij = E (ij ) =
n=1
nfij (n).
Recordemos que cuando el tiempo de primera visita se reere al mismo estado de inicio y de llegada j , se escribe j en lugar de jj . En este caso el tiempo medio de recurrencia se escribe simplemente como j . Esta esperanza puede ser nita o innita, y representa el n umero de pasos promedio que a la cadena le toma regresar al estado recurrente j . Ejemplo. La cadena de Markov de dos estados es irreducible y recurrente cuando a, b (0, 1). Vamos a calcular los tiempos medios de recurrencia de estos dos estados. Tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por
52
lo tanto, 0 =
n=1
3.9. Clases cerradas
nf00 (n) = = =
(1 a) + ab
n=2
n(1 b)n2
(1 a) + ab ( a+b . b
b+1 ) b2
De manera an aloga, o bien intercambiando los valores de a y b, se encuentra que 1 = (a + b)/a. Observe que 1/0 +1/1 = 1, m as adelante explicaremos la raz on de ello. Observe tambi en que estos dos tiempos medios de recurrencia son, en general, distintos. Esto ejemplica el hecho de que los tiempos medios de recurrencia no son necesariamente id enticos para cada elemento de una misma clase de comunicaci on recurrente.
3.9.
Clases cerradas
Las clases cerradas son subconjuntos de estados de una cadena de Markov que cumplen la propiedad de que partiendo de cualquiera estado de este subconjunto, no se puede pasar a cualquier otro estado fuera del subconjunto. Esa propiedad hace a este subconjunto de estados un subsistema propio de la cadena de Markov. Denici on. Una colecci on de estados no vac a C es cerrada si ning un estado fuera de C es accesible desde alg un estado dentro de C , es decir, si para cualquier i C y j / C, i / j. Por ejemplo, si i es un estado absorbente, entonces la colecci on {i} es claramente una clase cerrada. Como un ejemplo adicional considere cualquier clase de comunicaci on recurrente. Es claro que esta clase es cerrada pues de lo contrario, si i C y j / C con C recurrente, e i j , entonces necesariamente j i pues hemos supuesto que i es recurrente. Por lo tanto i j , y entonces j C , contrario a la hip otesis j / C . Por lo tanto no es posible salir de una clase de comunicaci on recurrente. El siguiente resultado es una especie de rec proco de lo que acabamos de mencionar.
53
Proposici on. Toda colecci on de estados que es cerrada e irreducible es una clase de comunicaci on. Demostraci on. Sea C una colecci on no vac a de estados que es irreducible y cerrada, y sea i C . Entonces C C (i) pues como C es irreducible, todos sus estados se comunican y por lo tanto deben pertenecer a la misma clase de comunicaci on. Como C es cerrada, no es posible salir de tal colecci on, de modo que la diferencia C (i) C es vac a, si existiera j C (i) C , entonces i j , lo cual contradice el supuesto de que C es cerrada. Por lo tanto C = C (i).
3.10.
N umero de visitas
En esta secci on vamos a estudiar la variable aleatoria que registra el n umero de visitas que una cadena realiza sobre un estado j a partir del estado i, es decir, para cualquier tiempo nito n se dene la variable aleatoria
n
Nij (n) =
k=1
1(Xk =j ) ,
cuando X0 = i.
Cuando los estados i y j coinciden, se escribe Ni (n) en lugar de Nii (n). Observe que 0 Nij (1) Nij (2) , es decir, se trata de una sucesi on mon otona creciente de variables aleatorias no negativas que converge casi seguramente a la variable Nij =
k=1
1(Xk =j ) ,
cuando X0 = i.
Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios respecto de los recurrentes.
54
mero de visitas 3.10. Nu
Proposici on. Para cualesquiera estados i y j , 1. P (Nij k ) = 2. P (Nij = k ) = 1 fij (fjj )k1 si k = 0, si k 1. si k = 0, si k 1. fij = 0, 0 fjj < 1, fij = 0 y fjj = 1.
3. E (Nij ) =
n=1
4. P (Nij = ) =
1 fij fij (fjj )k1 (1 fjj ) 0 si fij si pij (n) = 1 fjj si 0 fij 1 1 fij
si j es transitorio, si j es recurrente. si j es transitorio, si j es recurrente.
5. P (Nij < ) =
Demostraci on. 1. La primera parte de esta igualdad es evidente. Para demostrar el caso k 1 se usa an alisis del primer paso, P (Nij k ) = = =
n=1
fij (n) P (Njj k 1)
fij P (Njj k 1) fij (fjj )k1 .
2. Este resultado se sigue de la primera f ormula y de la igualdad P (Nij = k ) = P (Nij k ) P (Nij k + 1).
Cap tulo 3. Cadenas de Markov 3. Por el teorema de convergencia mon otona, E (Nij ) = = = E(
n=1 n=1 n=1
55
1(Xn =j ) | X0 = i)
E (1(Xn =j ) | X0 = i) pij (n).
Por otro lado, usando la primera f ormula E (Nij ) = =

k=1 k=1
P (Nij k ) fij (fjj )k1 si fij = 0, si 0 fjj < 1, si fij = 0 y fjj = 1.
4. Por la primera f ormula,
fij 1 fjj
k
P (Nij = ) = = =
l m P (Nij k ) l m fij (fjj )k1 . 0 fij si j es transitorio, si j es recurrente.
5. Esta probabilidad es el complemento de la anterior.
Distribuci on de probabilidad de la variable Nij . La variable aleatoria discreta Nij toma valores en el conjunto {0, 1, . . . , }. La funci on de probabilidad que hemos encontrado para esta variable incluye los siguientes casos:
56
a) Si fij = 0, entonces no es posible visitar j a partir de i, y por lo tanto P (Nij = 0) = 1, es decir la probabilidad se concentra completamente en el valor 0. b) Si fij > 0 y fjj = 1, es decir, si se puede pasar de i a j y j es recurrente, entonces para cualquier valor de k 1, P (Nij k ) = fij , y por lo tanto P (Nij = ) = fij . Mientras que P (Nij = 0) = 1fij . Se trata entonces de una medida de probabilidad concentrada en los valores 0 e .
c) Si fij > 0 y fjj < 1, es decir, si se puede pasar de i a j y j es transitorio, entonces la probabilidad se distribuye sobre los valores nitos 0, 1, . . . como indica la f ormula 2. Recurrencia, transitoriedad y n umero esperado de visitas. A partir de estas f ormulas podemos ahora distinguir el comportamiento del n umero de visitas en los casos cuando el estado j es transitorio o recurrente. a) Si j es transitorio, entonces sin importar el estado inicial i, con probabilidad uno la cadena realiza s olo un n umero nito de visitas al estado j , esto es lo que dice la f ormula 5, y el n umero esperado de visitas a tal estado es siempre nito por la f ormula 3 con fjj < 1, es decir, E (Nij ) = n=1 pij (n) < . Por lo tanto, encontramos nuevamente que l m pij (n) = 0.
b) Si j es recurrente, y si se inicia en j , entonces con probabilidad uno la cadena regresa a j una innidad de veces, esto es lo que dice la f ormula 4 con fij = fjj = 1, y el n umero esperado de visitas al estado j es innito. Si la cadena inicia en cualquier otro estado i, entonces existe la posibilidad de que la cadena nunca visite j (fij = 0), y el n umero esperado de visitas es naturalmente cero (f ormula 3 con fij = 0). Pero si la cadena visita j alguna vez (fij > 0), entonces regresar a a j una innidad de veces, y el n umero esperado de visitas al estado j es innito por la f ormula 3 con fij > 0 y fjj = 1. Anteriormente hab amos demostrado un criterio para la transitoriedad y la recurrencia del estado i en t erminos de la convergencia o divergencia de la serie p ( n ). En vista de la f ormula 3 ahora podemos corroborar que un estado ii n=1 i es recurrente si, y s olo si, el n umero promedio de regresos a el es innito, y es transitorio si, y s olo si, el n umero promedio de regresos es nito. Tambi en en particular, la f ormula 4 demuestra que toda cadena de Markov irreducible y recurrente, visita cada uno de sus estados una innidad de veces con probabilidad uno. Ejemplo. La cadena de racha de exitos es irreducible y recurrente. Por lo tanto con probabilidad uno visita cada uno de sus estados una innidad de veces.
57
Ejemplo: El problema del mono. Suponga que un mono escribe caracteres al azar en una m aquina de escribir. Cu al es la probabilidad de que eventualmente el mono escriba exactamente, y sin ning un error, las obras completas de Shakespeare? Puede encontrarse la respuesta a esta pregunta de varias formas [30]. Usaremos la teor a de cadenas de Markov para demostrar que esta probabilidad es uno. Imaginemos entonces que un mono escribe caracteres al azar en una m aquina de escribir, y que lo hace de manera continua generando una sucesi on lineal de caracteres. Cada uno de los caracteres tiene la misma probabilidad de aparecer y se genera un caracter independientemente de otro. Sea m el total de caracteres disponibles que se pueden imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Sea Xn el n umero de caracteres correctos obtenidos inmediatamente antes e incluyendo el u ltimo momento observado n, es decir, se trata de un modelo de rachas de exitos. Es claro que las variables Xn toman valores en el conjunto {0, 1, 2, . . . , N }, y dado que los caracteres se generan de manera independiente, el valor de Xn+1 depende u nicamente del valor de Xn y no de los anteriores, es decir, se trata efectivamente de una cadena de Markov. Considerando entonces un conjunto de s mbolos de m caracteres se tiene que P (Xn+1 = x + 1 | Xn = x) = 1/m, y P (Xn+1 = 0 | Xn = x) = (m 1)/m. El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n + 1, y denotaremos a la probabilidad de tal evento por p. La segunda igualdad reeja la situaci on de cometer un error en el siguiente caracter generado cuando ya se hab an obtenido x caracteres correctos, tal probabilidad ser a denotada por q . Las posibles transiciones de un estado a otro y las correspondientes probabilidades se muestran en la Figura 3.14. T ecnicamente existen algunas otras posibles transiciones de algunos estados en otros, pero ello no modica substancialmente el comportamiento cualitativo del modelo.
0 P = q q . . . q q p 0 . . . 0 p 0 p . . . 0 0 0 0 0 0 0 0 . . . p 0
Figura 3.14: Como puede observarse, se trata de una matriz nita e irreducible pues todos los
58
estados se comunican. Por lo tanto es recurrente. Entonces con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces. En particular, cada vez que la cadena visita el estado N el mono concluye una sucesi on exitosa de caracteres, y ello suceder a una innidad de veces con probabilidad uno. Teorema erg odico para cadenas de Markov. Para cualesquiera estados i y j de una cadena de Markov irreducible se cumple que l m 1 Nij (n) = n j c.s. (3.3)
siendo este l mite cero cuando j = . Demostraci on. Si la cadena es transitoria, entonces ambos lados de la igualdad se anulan. Suponga que la cadena es recurrente. El tiempo de primera visita al estado j a partir de i es ij = m n {n 1 : Xn = j | X0 = i}. Dada la recurrencia e irreducibilidad, P (ij < ) = 1, y entonces para cualquier n 1 se cumple la identidad Nij (ij + n) = 1 + Njj (n). Por lo tanto es suciente demostrar la convergencia para Njj (n)/n pues
n
l m
Nij (n) n
= = = =
Nij (ij + n) ij + n 1 + Njj (n) l m n ij + n n Njj (n) l m n n ij + n Njj (n) l m . n n

n
l m
Sea Y (k ) la variable que registra el n umero de pasos que transcurren entre la visita k 1 y la visita k que la cadena realiza al estado j . Sabemos que el tiempo medio de recurrencia es E (Y (k )) = j , para j = 1, 2, . . ., y usando la propiedad fuerte de Markov puede demostrarse que las variables Y (1), Y (2), . . . son independientes. Se tienen entonces las siguientes estimaciones Y (1) + + Y (Njj (n)) n Y (1) + + Y (Njj (n) + 1) . Njj (n) Njj (n) Njj (n)
59
Por la recurrencia, Njj (n) , cuando n , de modo que por la ley de los grandes n umeros, los dos extremos de esta desigualdad convergen a j casi seguramente. Por lo tanto, l m 1 Njj (n) = n j c.s.
Interpretaci on: Para una cadena de Markov irreducible, el n umero j = 1/j es el tiempo promedio que la cadena permanece en el estado j a largo plazo. Tomando esperanza en (3.3), por el teorema de convergencia dominada, y para una cadena irreducible, se cumple que E ( l m Nij (n) ) n 1 E (Nij (n)) n n 1 pij (k ) = l m n n =
n
l m
k=1
1 . j
En particular, cuando el tiempo medio de recurrencia j es innito, y a un m as particularmente cuando el estado j es transitorio, se tiene que l m 1 n
n
pij (k ) = 0.
k=1
3.11.
Recurrencia positiva y nula
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a el una innidad de veces con probabilidad uno. Sin embargo, esta recurrencia puede presentarse de dos formas: cuando el tiempo promedio de retorno es nito o cuando es innito. Esto lleva a la denici on de recurrencia positiva y recurrencia nula respectivamente. Consideremos entonces que j es un estado recurrente. El tiempo de primera visita a este estado, a partir de cualquier otro estado
60
3.11. Recurrencia positiva y nula
i, es la variable aleatoria discreta ij = m n {n 1 : Xn = j | X0 = i}. Recordemos que cuando el tiempo de primera visita se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i en lugar de ii . La esperanza de esta variable aleatoria es naturalmente el tiempo medio de recurrencia. Denici on. El tiempo medio de recurrencia de un estado recurrente j , a partir del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij = E (ij ) =
n=1
nfij (n).
Nuevamente cuando el tiempo medio de recurrencia se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i . Como hemos mencionado, esta esperanza puede ser nita o innita, y ello lleva a la siguiente clasicaci on de estados recurrentes. Denici on. Se dice que un estado recurrente i es a) recurrente positivo si i < . b) recurrente nulo si i = . Demostraremos a continuaci on que la recurrencia positiva y la recurrencia nula son propiedades de las clases de comunicaci on. Es decir, dos estados en una misma clase de comunicaci on recurrente, son ambos recurrentes positivos o recurrente nulos. Proposici on. (La recurrencia positiva o nula es una propiedad de clase). Sea i un estado recurrente. Entonces a) si i es recurrente positivo e i j , entonces j es recurrente positivo. b) si i es recurrente nulo e i j , entonces j es recurrente nulo. Demostraci on. Observe que es suciente demostrar cualquiera de estas armaciones. Demostraremos la primera. Suponga que i es un estado recurrente positivo, es decir, i es recurrente y es tal que i < . Como i j , se tiene que j es tambi en un estado recurrente. Adem as existen enteros no negativos n y m tales que pij (n) > 0
Cap tulo 3. Cadenas de Markov y pji (m) > 0. Entonces para cualquier entero natural k , pjj (n + m + k ) pji (m) pii (k ) pij (n). Sumando para k = 1, . . . , N , y dividiendo entre N , 1 N
N N
61
k=1
pjj (n + m + k ) pji (m)
1 N
pii (k ) pij (n).

k=1
Haciendo N se obtiene
1 1 pji (m) pij (n) > 0. j i
Por lo tanto tambi en j es nito, es decir, j es recurrente positivo. De esta forma, el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos de estados: transitorios, recurrentes positivos y recurrentes nulos. Esto se muestra en la Figura 3.15. Cada una de estas colecciones de estados puede estar constituida por ninguna, una, o varias clase de comunicaci on.
estados transitorios
estados recurrentes nulos
estados recurrentes positivos
Descomposici on del espacio de estados
Figura 3.15: Ejemplo. Anteriormente demostramos que para la caminata aleatoria sobre Z, el tiempo promedio de regreso al estado 0 es 0 = 4pq n f00 (n) = . 1 4pq n=0
En el caso sim etrico, es decir, en el caso en el que la cadena es recurrente, este cociente se hace innito. Esto demuestra que el estado 0 es recurrente nulo, y por lo tanto la cadena entera es recurrente nula.
62
3.11. Recurrencia positiva y nula
Ejemplo. Demostraremos ahora que la cadena de Markov de rachas de exitos es recurrente positiva. Recordemos que dicha cadena es irreducible y recurrente. Comprobaremos que el tiempo medio de recurrencia del estado 0 es nito. En efecto, 0 =
n=1
n f00 (n) =
n=1
n (1 p)p
n1
= (1 p)
n=1
n pn1 =
1 < . 1p
Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena irreducible, es recurrente positiva. Por lo tanto el tiempo medio de recurrencia de cada estado es nito. Hemos aprovechado la facilidad del c alculo de las probabilidades de primer regreso al estado 0. Se ha demostrado antes que toda cadena nita tiene por lo menos un estado recurrente. Demostraremos ahora que para cadenas nitas s olo puede haber dos tipos de estados: transitorios o recurrentes positivos. Proposici on. No existen estados recurrentes nulos en cadenas de Markov nitas. Demostraci on. Sea j un estado recurrente y sea C su clase de comunicaci on. La clase C es cerrada y adem as es nita pues la cadena completa lo es. Demostraremos que j < . Para cualquier i C , y k natural, pij (k ) = 1.
j C
Entonces 1 n
n
pij (k ) =
k=1 j C j C
1 n
pij (k ) = 1.
k=1
Haciendo n , por el teorema erg odico aplicado a la clase cerrada C se obtiene

j C
1 = 1. j
Para que esta suma sea uno debe existir por lo menos un valor de j en C tal que j < , pues de lo contrario cada sumando ser a cero y la suma total no
63
podr a ser uno. Por lo tanto existe un estado j que es recurrente positivo. Dado que la recurrencia positiva es una propiedad de clase, todos los elementos de C son recurrentes positivos. Observe que en particular, todos los estados de una cadena nita e irreducible son recurrentes positivos.
3.12.
Evoluci on de distribuciones
Una matriz estoc astica establece una din amica en el conjunto de las distribuciones de probabilidad denidas sobre el espacio de estados de la correspondiente cadena de Markov. Para explicar la situaci on de manera simple consideraremos un espacio de estados nito {0, 1, . . . , N }, y una distribuci on de probabilidad inicial (0) = (0 (0), 1 (0), . . . , N (0)). Despu es de transcurrida la primera unidad de tiempo, la cadena se encuentre en cualquiera de sus posibles estados de acuerdo a la distribuci on (1) = (0 (1), 1 (1), . . . , N (1)), en donde la j - esima entrada de este vector es j (1) = =
i=0
P (X1 = j )
N
P (X1 = j | X0 = i)P (X0 = i)
= =
0 (0) p0j + 1 (0) p1j + + N (0) pN j ( (0) P )j .
Es decir, (1) se obtiene a partir de (0) y de la matriz de probabilidades de transici on P a trav es de la f ormula (1) = (0) P , A su vez la distribuci on (1) se transforma en (2) a trav es de la ecuaci on (2) = (1) P = (0) P 2 , y as sucesivamente. En general, (n + 1) = (n) P = (0) P n+1 . De esta forma se obtiene una sucesi on innita de distribuciones de probabilidad (0), (1), (2), . . ., en donde cada una de ellas, excepto la primera, es obtenida de (0 (1), . . . , N (1)) = (0 (0), . . . , N (0))
p00 . . . pN 0 p0N . . . . pNN
64
n de distribuciones 3.12. Evolucio
la anterior multiplicada por la derecha por la matriz de probabilidades de transici on en un paso. Por ejemplo, considere la matriz estoc astica P =
0 0 1/2 1 0 1/2 0 1 0
con distribuci on inicial (0) = (0.1, 0, 0.9). Las subsecuentes distribuciones se calculan a continuaci on y las gr acas aparecen en la Figura 3.16. (1) = (2) = (3) = (4) = . . . (0) P 1 = (0.45, 0.55, 0) (0) P 2 = (0, 0.45, 0.55) (0) P 3 = (0.275, 0.275, 0.45) (0) P 4 = (0.225, 0.5, 0.275)
(0)
(1)
(2)
(3)
(4)
0 1 2
0 1 2
0 1 2
0 1 2
0 1 2
Figura 3.16: Es natural preguntarse si existe alg un l mite para esta sucesi on de distribuciones. En las siguientes secciones estudiaremos tal problema y encontraremos condiciones bajo las cuales existe un u nico l mite para esta sucesi on. Estudiaremos a continuaci on el caso particular cuando la distribuci on inicial no cambia al ser multiplicada por la derecha por P . A tales distribuciones se les llama estacionarias o invariantes en el tiempo.
65
3.13.
Distribuciones estacionarias
Denici on. Una distribuci on de probabilidad = (0 , 1 , . . .) es estacionaria o invariante para una cadena de Markov con probabilidades de transici on pij si i pij . j =
i
En t erminos matriciales, es estacionaria si = P . Esta identidad tiene como consecuencia el hecho de que para cualquier n umero natural n, se cumpla que = P n , es decir, es tambi en una distribuci on estacionaria para la matriz P n . Esto signica que si la variable aleatoria inicial X0 tiene esa distribuci on , entonces la distribuci on de Xn tambi en es pues P (Xn = j ) = i i pij (n) = j , es decir, esta distribuci on no cambia con el paso del tiempo y por ello es que se le llama estacionaria o invariante. Observe que el vector de ceros cumple la condici on = P , sin embargo no corresponde a una distribuci on de probabilidad. Los siguientes ejemplos muestran que las distribuciones estacionarias pueden no ser u nicas y pueden incluso no existir. Ejemplo: Existencia m ultiple. Considere una cadena de Markov sobre el conjunto de estados {0, 1, 2} y con probabilidades de transici on dada por la siguiente matriz P =
1 1/3 0 0 1/3 0 0 1/3 1
Es inmediato comprobar que el vector = (1 , 0, ) satisface el sistema de ecuaciones = P para cada con [0, 1]. Existen entonces una innidad de distribuciones estacionarias para esta cadena. Observe que el vector (1 , 0, ) se puede escribir como la combinaci on lineal (1 )(1, 0, 0) + (0, 0, 1). Ejemplo: No existencia. No existe ninguna distribuci on estacionaria para la caminata aleatoria sim etrica simple sobre Z pues la condici on = P se traduce en el sistema de ecuaciones en diferencias j = j 1 /2 + j +1 /2. O bien j +1 j = j j 1 . Sumando estas ecuaciones puede encontrarse que para todo entero n 1, n+1 0 = n(1 0 ). El lado izquierdo es acotado mientras el lado derecho crece sin l mite cuando n es grande, a menos que 1 0 = 0. Es-
66
3.13. Distribuciones estacionarias
to demuestra que todas estas diferencias son cero, y por lo tanto j es constante para cualquier valor de j . Es decir, el vector constante es la soluci on al sistema de ecuaciones en diferencias planteado, pero ello es incompatible con la restricci on = 1. Por lo tanto no existe ninguna distribuci o n de probabilidad que cumj j pla la igualdad = P para esta cadena. Ejemplo: Existencia u nica. La cadena de Markov de dos estados dada por la matriz P =
1a b a 1b
a b tiene una u nica distribuci on estacionaria dada por = (0 , 1 ) = ( a+ b , a+b ), cuando a + b > 0. En cambio, cuando a = b = 0, la matriz resultante es la matriz identidad que acepta como distribuci on estacionaria a cualquier distribuci on de probabilidad sobre {0, 1}, es decir, en este caso existen una innidad de distribuciones estacionarias para esta cadena.
Con base en los ejemplos anteriores haremos algunas observaciones sobre las distribuciones estacionarias. Primeramente observe que para encontrar una posible distribuci on estacionaria de una cadena con matriz P , un primer m etodo consiste as en resolver el sistema de ecuaciones = P , sujeto a la condici on j j = 1. M adelante expondremos una forma alternativa de buscar distribuciones estacionarias para cadenas reversibles. Por otro lado, suponga que y son dos distribuciones estacionarias distintas para una matriz P . Entonces la combinaci on lineal convexa + (1 ) , para [0, 1], tambi en es una distribuci on estacionaria pues ( + (1 ) ) P = P + (1 ) P = + (1 ) . Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena, entonces existe una innidad de ellas. Esto demuestra que el conjunto de distribuciones estacionarias es un conjunto convexo. Tomando en cuenta las observaciones anteriores y de acuerdo a los ejemplos mostrados, s olo hay tres situaciones sobre la existencia de distribuciones estacionarias para una cadena de Markov cualquiera: no existe ninguna distribuci on estacionaria, existe una distribuci on estacionaria y es u nica, o existe una innidad de distribuciones estacionarias. Dadas estas consideraciones, es natural plantearse el problema de encontrar condiciones necesarias y sucientes para que una cadena tenga alguna distribuci on estacionaria. Primeramente demostraremos que cuando existe una distribuci on estacionaria, esta tiene como soporte el conjunto de estados recurrentes positivos.
67
Proposici on. (Soporte de una distribuci on estacionaria). Sea una distribuci on estacionaria. Si j es un estado transitorio o recurrente nulo, entonces j = 0.
Demostraci on. Usaremos el hecho de que si j es un estado transitorio o recurrente nulo, entonces para cualquier estado i, l m 1 n
n
pij (k ) = 0.
k=1
Como es una distribuci on estacionaria, j =

i
i pij i pij (k )
i
= = =
i
1 n
i pij (k )
k=1 i
i (
1 n
pij (k ) )
k=1
Tomando el l mite cuando n , por el teorema de convergencia dominada, se obtiene n 1 ( l m j = pij (k ) ) = 0. i n n i

k=1
En particular, si j > 0, entonces j es un estado recurrente positivo. Esto es una consecuencia inmediata del resultado anterior y para ello puede usarse un argumento por contradicci on. Por otro lado, la proposici on reci en demostrada tambi en nos ayuda a corroborar nuevamente, por ejemplo, que una caminata aleatoria sim etrica simple no tiene distribuci on estacionaria pues se trata de una cadena cuyos estados son todos recurrentes nulos. Se presenta a continuaci on una soluci on al problema de encontrar condiciones sucientes que garanticen la existencia y unicidad de la distribuci on estacionaria.
68
Proposici on. (Existencia y unicidad de la distribuci on estacionaria). Toda cadena de Markov que es irreducible y recurrente positiva tiene una u nica distribuci on estacionaria dada por j = 1 > 0. j
En particular, toda cadena nita e irreducible tiene una u nica distribuci on estacionaria.
Demostraci on. Sea j = 1/j . Demostraremos que (1) j =

i
i pij .
(2)
j
j = 1.
(3) j es u nica. Como la cadena es irreducible y recurrente positiva, se tiene que j < , para cualquier estado j . Por lo tanto el cociente 1/j es estrictamente positivo. Por el teorema erg odico para cadenas de Markov se tiene que l m 1 1 . pij (m) = n m=1 j
n
(1) Estacionariedad. Para cualquier natural N ,

N N
i pij
i=0
=
i=0
( l m 1 n 1 n
1 n
pki (m) ) pij

m=1 N
= Haciendo N ,
l m
pki (m) pij

m=1 i=0 n
l m
pkj (m + 1)
m=1
= j . i pij j . (3.4)
69
Suponga que para alg un valor de j la desigualdad anterior es estricta. Sumando sobre todos los valores j , por el teorema de Fubini, j >
j j i
i pij =
i
i
j
pij =
i
i .
Lo cual es una contradicci on. Por lo tanto (3.4) es una igualdad. Esto demuestra que es estacionaria, y para cualquier m natural, j =
i
i pij (m).
(3.5)
(2) Distribuci on de probabilidad. Para cualquier natural N ,

N N
j
j =0
=
j =0
( l m 1 n n l m
n
1 n n
n
pij (k ) )
k=1 N
pij (k )
k=1 j =0 n
l m
1 n
1
k=1
= 1. Por otra parte, por (3.5), para cualquier n natural, j =

i
i (
1 pij (m) ). n m=1
Haciendo n , por el teorema de convergencia dominada de Lebesgue, y usando el hecho de que j j 1, j =

i=0
i ( l m
i
1 pij (m) ) = n n m=1 i = 1.
i=0
i j .
Dado que j > 0, se obtiene
(3) Unicidad. Sean y dos distribuciones estacionarias para la matriz P . Entonces

j = i pij (m) = i i i (
1 pij (m)) n m=1
N i ( i=0
1 pij (m)). n m=1
70
Haciendo n ,
N j i j . i=0
Ahora hacemos N para obtener
j j .
(3.6)
Si esta desigualdad fuera estricta para alg un valor de j , entonces sumando sobre > j j = 1, lo cual es una contratodos los valores de j se obtiene 1 = j j dicci on. Por lo tanto (3.6) es una igualdad para cada valor de j , y ello demuestra la unicidad. Ejemplo. La cadena de dos estados es nita e irreducible cuando a + b > 0, y por lo tanto es recurrente positiva. Por el resultado reci en demostrado esta cadena tiene una u nica distribuci on estacionaria. Resolviendo el sistema de ecuaciones = P se encuentra que = (0 , 1 ) = (b/a + b, a/a + b). Como una aplicaci on de la u ltima proposici on demostrada encontramos nuevamente que los tiempos medios de recurrencia son (0 , 1 ) = (1/0 , 1/1 ) = ((a + b)/b, (a + b)/a). Ejemplo. La cadena de Ehrenfest es nita e irreducible, en consecuencia es recurrente positiva. Por lo tanto tiene una u nica distribuci on estacionaria. Resolviendo el sistema de ecuaciones = P se encuentra que el vector tiene distribuci on bin(N, 1/2), es decir, j = N 1 , j 2N para j = 0, 1, . . . , N.
En vista de la proposici on demostrada, los tiempos medios de recurrencia para esta cadena son 1 2N = N , para j = 0, 1, . . . , N. j = j j Ejemplo. La cadena de racha de exitos, aunque no es nita, es irreducible y recurrente positiva. Por lo tanto tiene una u nica distribuci on estacionaria dada por la distribuci on geo(1 p), es decir, el sistema de ecuaciones = P tiene como u nica soluci on la distribuci on j = (1 p) pj , para j = 0, 1, 2 . . .
71
Como consecuencia de la proposici on anterior, se obtiene que los tiempos medios de recurrencia para cada uno de los estados de esta cadena son j = 1 1 = , j (1 p) pj para j = 0, 1, 2 . . .
En particular, 0 = 1/(1 p). Esto conrma los c alculos realizados antes para 0 a partir de la f ormula 0 = n=1 n f00 (n).
3.14.
Distribuciones l mite
Como hemos mencionado antes, toda matriz de probabilidades de transici on P determina una sucesi on de distribuciones de probabilidad 0 , 1 , . . . sobre el espacio de estados en donde n+1 = n P = 0 P n+1 . (3.7) Bajo ciertas condiciones tal sucesi on es convergente a una distribuci on l mite . Imaginemos por ahora que tal es el caso y examinemos algunas propiedades de esta distribuci on l mite. Por (3.7) se tiene que = l m n = 0 l m P n+1 = 1 l m P n .
n n n
Estas igualdades revelan varias cosas. Primero, la distribuci on l mite no depende de la distribuci on inicial pues el lado derecho de estas ecuaciones debe ser el mismo. Segundo, la distribuci on l mite est a dada por el l mite de las potencias de P pues si se toma como distribuci on inicial aquella concentrada en el i- esimo estado, entonces el j - esimo elemento de la distribuci on l mite es j = l mn pij (n). Tercero, el l mite de las potencias de P es una matriz con todos sus renglones id enticos, siendo este regl on la distribuci on l mite. Por u ltimo, a partir de (3.7) se obtiene que l mn n+1 = l mn n P , esto es, = P , es decir, la distribuci on l mite es una distribuci on estacionaria, suponiendo un espacio de estados nito. En esta secci on se establecen condiciones para obtener rigurosamente estos resultados. Como se ha visto, toda distribuci on l mite es estacionaria pero el rec proco es en general falso como se ilustra en el siguiente ejemplo. Ejemplo. Es inmediato comprobar que la distribuci on uniforme (1/2, 1/2) es 1 estacionaria para la cadena con matriz P = 0 , y sin embargo las potencias 1 0
72
3.14. Distribuciones l mite

0 1 1 0
P n no convergen pues para cualquier entero natural n, P 2n+1 = 0 que P 2n = 1 . 0 1
, mientras
El siguiente resultado es v alido para espacios de estados nitos o innitos, y establece que si el l mite de las probabilidades pij (n), cuando n , existen y no dependen de i, entonces la distribuci on l mite podr a ser una distribuci on estacionaria. Esto es solamente una posibilidad pues los l mites podr an ser todos cero. En el caso nito, sin embargo, demostraremos que tales l mites conforman una distribuci on de probabilidad verdadera. Proposici on. Considere una cadena de Markov con probabilidades de transici on pij tales que los l mites j = l mn pij (n) existen para cada j , y no dependen del estado i. Entonces 1.
j
j 1. i pij (n).
i
2. j =
Cuando el espacio de estados es nito se cumple la igualdad en el primer resultado obteni endose una distribuci on de probabilidad verdadera.
Demostraci on. Suponga primero el caso cuando el espacio de estados es el conjunto nito {0, 1, . . . , N }. Entonces la primera armaci on se cumple con igualdad pues
N N N n
j =
j =0 j =0
l m pij (n) = l m
pij (n) = 1.
j =0
Para la segunda armaci on se tiene que para cualquier n 1,

N N
i pij (n) =
i=0 i=0
m N
l m pki (m) pij (n) pki (m) pij (n)

i=0
= = =
m m j .
l m
l m pkj (m + n)
73
Suponga ahora que el espacio de estados es innito. En este caso no es posible garantizar la validez del intercambio de l mite y suma efectuado antes. Para la primera armaci on se tiene que para cualquier n umero natural N 1,
N N N
j =
j =0 j =0
l m pij (n) = l m
j =0
pij (n) l m 1 = 1.
n
Haciendo N se obtiene el resultado buscado. Para la segunda armaci on, nuevamente para cualquier n umero natural N 1,
N N
i pij
i=0
=
i=0
n N
l m pki (n) pij pki (n) pij

i=0
= =
n n j .
l m
l m pkj (n + 1)
Si j = 0 para cualquier j , entonces estas desigualdades se convierten en identidades como dice el enunciado. Suponga que j j > 0. Demostraremos que las desigualdades estrictas no son posibles. Suponga que para alg un estado j , i i pij < j . Entonces i . pij = i i pij = j >
j i,j i j i
Esto es una contradicci on, por lo tanto la igualdad en el p arrafo anterior se cumple.
Ahora se establecen condiciones sucientes para que exista el l mite de las probabilidades de transici on en n pasos. Este resultado es una especie de rec proco del resultado anterior pues supone la existencia de una distribuci on estacionaria para concluir que los l mites de las probabilidades existen. Teorema de convergencia. Considere una cadena de Markov que es a) irreducible, b) aperi odica, y c) con distribuci on estacionaria . Entonces para cualesquiera estados i y j ,
n
l m pij (n) = j .
74
3.14. Distribuciones l mite
Demostraci on. El m etodo de esta demostraci on se conoce como t ecnica de acople. Sea {Yn } una cadena de Markov independiente de la original {Xn }, pero con la misma matriz de probabilidades de transici on. Entonces el proceso {Zn } denido por Zn = (Xn , Yn ) es una cadena de Markov con probabilidades de transici on P (Zn+1 = (xn+1 , yn+1 ) | Zn = (xn , yn )) = pxn ,xn+1 pyn ,yn+1 , y puede f acilmente comprobarse que tiene distribuci on estacionaria xn ,yn = xn yn . Puede adem as vericarse que la cadena {Zn } es recurrente positiva. Adem as es irreducible pues como {Xn } y {Yn } son aperi odicas, existe un n umero natural N tal que pij (n) pkl (n) > 0, para toda n > N . Por lo tanto p(i,k)(j,l) (n) > 0. Sea j un estado cualquiera de la cadena original. Dena el primer momento en el que la cadena {Zn } visita el estado (j, j ) como j = m n{n 1 : Zn = (j, j )}. Sea adem as = m n{n 1 : Xn = Yn }. Este es el primer momento de acople de las dos cadenas. Como {Zn } es recurrente, P ( < ) = 1. Adem as j . Por la propiedad de Markov
n
P (Xn = x, n) = =
P (Xn = x, Xr = j, = r)
j r =1 n r =1 n r =1 n r =1
P (Xn = x | Xr = j, = r) P (Xr = j, = r) P (Yn = x | Yr = j, = r) P (Yr = j, = r) P (Yn = x | Yr = j ) P (Yr = j, = r)
=
j
=
j
P (Yn = x, n),
es decir, sobre el evento ( n), las variables Xn y Yn tienen la misma distribuci on de probabilidad. Por otro lado P (Xn = j ) = = P (Xn = j, n) + P (Xn = j, > n) P (Yn = j, n) + P (Xn = j, > n) P (Yn = j ) + P ( > n).
Cap tulo 3. Cadenas de Markov De manera an aloga, P (Yn = j ) P (Xn = j ) + P ( > n). Por lo tanto, |P (Xn = j ) P (Yn = j )| P ( > n) 0,
75
(3.8)
cuando n . Si ahora se toma X0 = i con probabilidad uno, y Y0 con la distribuci on estacionaria , entonces P (Xn = j ) = P (Xn = j | X0 = i)P (X0 = i) = pij (n) P (X0 = i) = pij (n), y P (Yn = j ) = i P (Yn = j | Y0 = i) i = p ( n ) = . Por lo tanto (3.8) establece que | p j ij (n) j | 0. i i ij El siguiente resultado establece condiciones sucientes para la existencia del l mite de las probabilidades de transici on, asegurando adem as que se trata de una distribuci on de probabilidad. Teorema de convergencia. Considere una cadena de Markov que es a) irreducible, b) recurrente positiva, y c) aperi odica. Entonces las probabilidades l mite j = l m pij (n) = la u nica soluci on al sistema de ecuaciones j =
j =0 i=0 n
1 existen, y constituyen j
i pij ,
(3.9)
sujeto a las condiciones j 0, y
j = 1.
Demostraci on. Como la cadena es irreducible y recurrente positiva, tiene una u nica distribuci on estacionaria dada por j = 1/j . Es decir, es la u nica soluci on al sisteas, por la aperi odicidad, ma de ecuaciones = P , con j 0 y j j = 1. Adem pij (n) j .
76
3.15. Cadenas regulares
3.15.
Cadenas regulares
Las cadenas de Markov regulares son cadenas nitas que cumplen la propiedad de que a partir de un cierto momento, con probabilidad positiva se puede pasar de un estado a otro cualquiera en un paso. Demostraremos que para este tipo de cadenas existe siempre la distribuci on l mite. Denici on. Se dice que una cadena nita o su matriz de probabilidades de transici on es regular si existe un entero natural n tal que pij (n) > 0, para cualesquiera estados i y j . En palabras, una cadena de Markov nita es regular si alguna potencia de su matriz de probabilidades de transici on tiene todas sus entradas estrictamente positivas. Otra forma de denir a una cadena regular es a trav es del siguiente resultado. Proposici on. Una matriz estoc astica es regular si, y s olo si, es nita, irreducible y aperi odica.
Demostraci on. Si la matriz es regular, entonces claramente es nita, irreducible y aperi odica. Rec procamente, por la irreducibilidad, para cualesquiera dos estados i y j , existe un entero m tal que pij (m) > 0. Entonces existe un entero N tal que pij (m + n d(j )) > 0, para cada n N . Como d(j ) = 1 y siendo la matriz nita, esto implica la regularidad. Para este tipo particular de cadenas nitas se conocen los siguientes resultados acerca de su comportamiento l mite.
77
Proposici on. Toda cadena nita que adem as es 1. regular, tiene como distribuci on l mite la u nica soluci on no negativa del sistema (3.9). 2. regular y doblemente estoc astica, tiene como distribuci on l mite la distribuci on uniforme. 3. irreducible, aperi odica y doblemente estoc astica, tiene como distribuci on l mite la distribuci on uniforme.
Demostraci on. 1. Como la cadena es regular, es irreducible, aperi odica, y es recurrente positiva por ser nita. Por el teorema anterior la distribuci on l mite existe y est a dada por el sistema de ecuaciones (3.9). 2. Como la cadena es regular, es aperi odica, irreducible y recurrente positiva por ser nita. Entonces la distribuci on l mite existe. Por la hip otesis de doble estocasticidad y suponiendo que el espacio de estados es {0, 1, . . . , N }, se N mite cuando n tiende a innito se tiene que i=0 pij (n) = 1. Tomando el l obtiene N = 1. Por lo tanto = 1 / (N + 1). j j i=0 3. Este resultado es id entico al anterior pues hemos demostrado que la regularidad es equivalente a la nitud, irreducibilidad y aperiodicidad conjuntamente.
Ejemplo. Sea Sn la suma de los resultados que se obtienen al lanzar un dado equilibrado n veces. Encontraremos
n
l m P (Sn es m ultiplo de 7).
Dena el proceso Xn = Sn mod. 7 cuyo espacio de estados es {0, 1, . . . , 6}. No es dif cil convencerse que Xn es una cadena de Markov con matriz de probabilidades
78
de transici on
3.16. Cadenas reversibles
0 1/6 1/6 P = 1/6 1/6

1/6 1/6
1/6 0 1/6 1/6 1/6 1/6 1/6
1/6 1/6 0 1/6 1/6 1/6 1/6
1/6 1/6 1/6 0 1/6 1/6 1/6
1/6 1/6 1/6 1/6 0 1/6 1/6
1/6 1/6 1/6 1/6 1/6 0 1/6
1/6 1/6 1/6 1/6 1/6 1/6 0
El evento (Sn es m ultiplo de 7) es id entico al evento (Xn = 0), de modo que la probabilidad de que Sn sea m ultiplo de 7 a largo plazo es el tiempo de estancia a largo plazo que la cadena Xn pasa en el estado 0. El problema se reduce a encontrar la distribuci on l mite de P . Pero esta matriz es regular, y entonces su distribuci on limite es la uniforme. Por lo tanto l m P (Xn = 0) = 1/7.
n
3.16.
Cadenas reversibles
Sea {Xn } una cadena de Markov con probabilidades de transici on pij . Sea m 1 un entero jo y dena un nuevo proceso Yn = Xmn para n = 0, . . . , m, es decir, Yn es la cadena original pero vista en sentido inverso en el tiempo, ahora del tiempo m al tiempo 0. Este nuevo proceso resulta tambi en ser una cadena de Markov pues cumple el criterio de independencia entre pasado y futuro cuando se conoce el presente, las nociones de pasado y futuro se intercambian debido al cambio en el sentido del tiempo. En efecto, para 1 r < n m, considere la probabilidad condicional P ( y1 , . . . , yr1 , yr+1 , . . . , yn | yr ). En t erminos del proceso {Xn }, esta probabilidad es P (Xm1 = y1 , . . . , Xmr+1 = yr1 , Xmr1 = yr+1 , . . . , Xmn = yn | Xmr = yr ).
Por la propiedad de Markov del proceso {Xn }, esta probabilidad es el producto P (Xm1 = y1 , . . . , Xmr+1 = yr1 | Xmr = yr ) P (Xmr1 = yr+1 , . . . , Xmn = yn | Xmr = yr ),
Cap tulo 3. Cadenas de Markov que en t erminos del proceso {Yn } es la propiedad de Markov para este proceso P (y1 , . . . , yr1 | yr ) P (yr+1 , . . . , yn | yr ).
79
Sin embargo las probabilidades de transici on del nuevo proceso no son homog eneas pues para 0 n < m, P (Yn+1 = j | Yn = i) = P (Xmn = i, Xmn1 = j ) P (Xmn = i)
= P (Xmn = i | Xmn1 = j ) = pji P (Yn+1 = j ) , P (Yn = i)
P (Xmn1 = j ) P (Xmn = i)
es decir, estas probabilidades dependen de n a trav es del cociente P (Yn+1 = j )/P (Yn = i). Tal dependencia desaparece cuando se toma como hip otesis la existencia de una distribuci on estacionaria para {Xn }, pues en tal caso la igualdad anterior se reduce a j . P (Yn+1 = j | Yn = i) = pji i Bajo tal hip otesis las probabilidades de transici on de la nueva cadena son ahora estacionarias. Si adicionalmente se pide que las probabilidades de transici on son las mismas para ambas cadenas, entonces de la ecuaci on anterior se obtiene que debe satisfacerse la ecuaci on pij = pji j , es decir, i pij = j pji . Esto lleva a la i siguiente denici on de reversibilidad la cual a nade la hip otesis de irreducibilidad. Denici on. Se dice que una cadena de Markov irreducible con probabilidades de transici on pij y con distribuci on estacionaria es reversible en el tiempo si para cualesquiera estados i y j , i pij = j pji . (3.10)
A la ecuaci on (3.10) se llama ecuaci on de balance detallado. La utilidad de las cadenas reversibles est a dada por el siguiente resultado, el cual ejemplicaremos m as adelante con un par de aplicaciones.
80
Proposici on. Considere una cadena irreducible para la cual existe una distribuci on que cumple (3.10). Entonces es una distribuci on estacionaria y la cadena es reversible.
Demostraci on. Si cumple (3.10), entonces es una distribuci on estacionaria pues p = . Adem a s la cadena es reversible por denici on. p = j i j ji i i ij Ejemplo. Considere nuevamente la cadena de Ehrenfest. El espacio de estados es {0, . . . , N }, y las probabilidades de transici on son, para i = 1, . . . , N 1, (N i)/N si j = i + 1, i/N si j = i 1, pij = 0 otro caso,
con p01 = 1 y pN,N 1 = 1. Esta cadena es nita, irreducible y recurrente positiva. Estas propiedades garantizan que la cadena tiene una u nica distribuci on estacionaria. Si se desea encontrar esta distribuci on estacionaria a trav es de la ecuaci on = P , uno tendr a que resolver el sistema 0 i N = (1/N ) 1 , = ((N i + 1)/N ) i1 + ((i + 1)/N ) i+1 , = (1/N ) N 1 . para i = 1, . . . , N 1,
A partir de estas ecuaciones puede demostrarse que es la distribuci on bin(N, 1/2). Alternativamente, se puede buscar una posible soluci on al sistema (3.10), el cual se escribe como sigue i+1 = N i i , i+1 para i = 0, 1, . . . , N 1.
Resolviendo iterativamente hacia abajo se encuentra que i = N i 0 , para i = 1, . . . , N.
Sumando todas estas cantidades,

N
1 = 0
i=0
N i
= 0 2N .
81
N Por lo tanto 0 = 1/2N , y i = N es la soluci on al sistema. Esta es la distrii /2 buci on bin(N, 1/2). Por lo demostrado antes esta distribuci on es estacionaria y la cadena es reversible.
en donde q0 = 0. Esta es una cadena irreducible. Si uno busca una distribuci on estacionaria a trav es de la ecuaci on = P , uno tendr a que resolver el sistema de ecuaciones 0 i = = 0 (1 p0 ) + q1 1 , i+1 qi+1 + i (1 pi qi ) + i1 pi1 , para i 1.
Ejemplo. Considere una caminata aleatoria no homog enea sobre {0, 1, . . .}, con probabilidades de transici on pi si j = i + 1, qi si j = i 1, pij = 1 pi qi si j = i, 0 otro caso,
Sin embargo la condici on (3.10) se traduce en el sistema m as simple i pi = i+1 qi+1 . Una posible soluci on de este sistema (su existencia depender a de los par ametros pi y qi ), ser a la distribuci on estacionaria para esta caminata y la cadena ser a entonces reversible en el tiempo. Resumen de la notaci on utilizada. Como referencia se presenta a continuaci on una lista de la notaci on utilizada en este cap tulo. pij pij (n) Probabilidad de pasar del estado i al estado j en un paso, es decir, pij = P (X1 = j | X0 = i). Probabilidad de pasar del estado i al estado j en exactamente n pasos, es decir, pij (n) = P (Xn = j | X0 = i). En algunos textos aparece tambi en como (n) pij . En particular, se dene pij (0) = ij , que vale uno cuando i = j , y cero cuando i = j . Probabilidad de llegar por primera vez al estado j a partir del estado i exactamente en el paso n, es decir, fij (n) = P (Xn = j, Xn1 = j, . . . , X1 = j | X0 = (n) i). A veces se escribe tambi en como fij . En particular se dene fij (0) = 0 para cualesquiera estados i y j , incluyendo el caso i = j .
fij (n)
82
fij
3.16. Cadenas reversibles Probabilidad de una eventual visita el estado j a partir del estado i. En t erminos de probabilidades de primeras visitas, esta probabilidad es fij = k=0 fij (n). Variable aleatoria que registra el n umero de visitas realizadas al estado j durante las primeras n transiciones, cuando la cadena inicia en el estado i, es n decir, Nij (n) = k=1 1(Xk =j ) , cuando X0 = i. Variable aleatoria que cuenta el n umero total de visitas realizadas al estado j cuando la cadena inicia en el estado i, es decir, Nij = k=1 1(Xk =j ) , cuando X0 = i. Puede tomar el valor innito. Tiempo en el que se logra la primera visita el estado j a partir del estado i, es decir, ij = m n{n 1 : Xn = j }, cuando X0 = i. Toma el valor innito cuando nunca ocurre tal evento. Cuando i = j se escribe i , y corresponde al tiempo del primer regreso al estado i. Tiempo medio de primera visita al estado j a partir del estado i, es decir, ij = E (ij ). Puede ser innito. Cuando i = j se escribe i y se le llama tiempo medio de recurrencia del estado i.
Nij (n)
Nij
ij
ij
Notas y referencias. El tema de cadenas de Markov a tiempo discreto aparece en casi cualquier texto de procesos estoc asticos en mayor o menor profundidad, e incluso puede encontrarse tambi en en los u ltimos cap tulos de algunos textos de probabilidad. El tema es regularmente la parte inicial y obligada de un curso elemental de procesos estoc asticos. Las siguientes referencias son una muestra de algunos textos que contienen cap tulos sobre el tema de cadenas de Markov a un nivel similar al presentado: Karlin y Taylor [19], Brze zniak y Zastawniak [4], Jones y Smith [17], Hoel, Port y Stone [16], y Stirzaker [36]. Los textos de Caballero et al [6] y Norris [25], est an dedicados enteramente al tema de cadenas de Markov.
83
Andrei Andreyevich Markov (Rusia 18561922). Markov tuvo una salud muy precaria durante sus primeros a nos de vida, teniendo que caminar con muletas hasta la edad de 10 a nos. En 1874 ingres o a la facultad de f sica y matem aticas de la universidad de San Petersburgo, y asisti o a las clases de reconocidos matem aticos de la epoca, entre ellos P. L. Chebyshev, quien tuvo una inuencia decisiva en el quehacer futuro de Markov. Se gradu o brillantemente en 1878, y continu o con sus estudios de maestr a, los cuales concluy o en 1880. Trabaj o como profesor en la universidad de San Petersburgo al misA. A. Markov mo tiempo que estudiaba para su doctorado, el cual concluy o en 1884. Continu o trabajando en la misma universidad por pr acticamente el resto de su vida. Despu es de 1900, y siguiendo los trabajos de P. L. Chebyshev, aplic o el m etodo de fracciones continuas en la teor a de la probabilidad. Markov fue el mejor exponente y continuador de las ideas de Chebyshev y de sus temas de investigaci on en probabilidad. Especialmente sobresalientes son sus trabajos sobre la ley de los grandes n umeros y el teorema central del l mite, as como otros resultados fundamentales de la teor a de la probabilidad, y sobre el m etodo de m nimos cuadrados. Markov fue un profesor muy estricto pero tambi en muy claro en sus exposiciones, y demandaba mucho rigor matem atico en los argumentos de sus estudiantes. Markov desarroll o su teor a de cadenas de Markov desde un punto de vista matem atico, aunque tambi en aplic o su modelo en el an alisis de estilos de escritura en poemas. Con sus trabajos sobre cadenas de Markov, fund o una nueva rama de la probabilidad e inici o la teor a de los procesos estoc asticos. Fuente: Archivo MacTutor, Universidad de St. Andrews.
84
Ejercicios
Propiedad de Markov Recordemos que para hacer la notaci on m as corta, a la probabilidad P (Xn = xn ) se le ha escrito como p(xn ), es decir, el sub ndice indica tambi en la variable a la que se hace referencia. El signicado de la probabilidad condicional p(xn+1 | xn ) es an alogo. 11. Demuestre que la propiedad de Markov (3.1) es equivalente a cada una de las siguientes condiciones. a ) Esta condici on establece que la distribuci on conjunta queda especicada a trav es de la distribuci on inicial y las probabilidades de transici on en un paso: Para cualesquiera estados x0 , . . . , xn , p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). b ) Esta condici on establece que el futuro, sin importar lo distante que se encuentre, depende s olamente del u ltimo momento observado: Para cualesquiera enteros n, m 1, p(xn+m | x0 , . . . , xn ) = p(xn+m | xn ). c ) Esta es la condici on de Markov para tiempos no necesariamente consecutivos: Para cualesquiera enteros 0 n1 < < nm+1 , p(xnm+1 | xn1 , . . . , xnm ) = p(xnm+1 | xnm ). d ) Esta condici on expresa la independencia entre el pasado y el futuro cuando se conoce el presente: Para cualesquiera enteros 0 < k < n, p(x0 , . . . , xk1 , xk+1 , . . . , xn | xk ) = p(x0 , . . . , xk1 | xk ) p(xk+1 , . . . , xn | xk ).
e ) En esta condici on se consideran varios eventos en el futuro: Para cualesquiera enteros n, m 1, p(xn+m , . . . , xn+1 | x0 , . . . , xn ) = p(xn+1 | xn ) p(xn+m | xn+m1 ).
Cap tulo 3. Cadenas de Markov Matrices estoc asticas 12. Demuestre que
85
a ) si P y Q dos matrices estoc asticas (o doblemente estoc asticas) de la misma dimensi on, entonces P Q tambi en es estoc astica (o doblemente estoc astica). b ) si P es estoc astica (o doblemente estoc astica), entonces para cualquier entero positivo n, la potencia P n tambi en es estoc astica (o doblemente estoc astica). 13. Demuestre que una matriz cuadrada P puede ser tal que la potencia P n sea estoc astica para alg un entero n 2, sin ser P misma estoc astica. 14. Demuestre que si una matriz estoc astica P es sim etrica, entonces para cualquier n 1, la potencia P n tambi en es sim etrica. 15. Demuestre que toda matriz estoc astica sim etrica es doblemente estoc astica. 16. Demuestre que toda matriz estoc astica nita tiene siempre al n umero uno como valor propio.
Probabilidades de transici on 17. Considere una cadena de Markov de dos estados: 0 y 1, con matriz de probabilidades de transici on como aparece abajo. Suponga que la cadena tiene una distribuci on inicial dada por el vector (0.6, 0.4). Encuentre P (X1 = 0), P (X1 = 1), P (X2 = 0) y P (X2 = 1). P =
0.2 0.5 0.8 0.5
18. Considere una cadena de Markov de dos estados: 0 y 1, con distribuci on inicial (1/2, 1/2), y con matriz de probabilidades de transici on dada como aparece abajo. Encuentre P (X1 = 0), P (X1 = 1), P (X5 = 1 | X4 = 0), P (X3 = 0 | X1 = 0), P (X100 = 0 | X98 = 0), P (X1 = 0 | X2 = 0), P (X1 = 1 | X2 = 1, X3 = 1), P (X3 = 0, X2 = 0 | X1 = 0). P =
1/3 3/4 2/3 1/4
86
19. Ecuaci on de Chapman-Kolmogorov para cadenas no homog eneas. Considere una cadena de Markov con probabilidades de transici on no necesariamente homog eneas pij (n, m) = P (Xm = j | Xn = i), para n m. Demuestre que para cualquier tiempo u tal que n < u < m, pij (n, m) =
k
pik (n, u) pkj (u, m).
20. Demuestre o proporcione un contraejemplo. b) pij (n) = 1 pji (n). 21. Demuestre que a) pii (n) pii (m) pii (n + m) pii (n) pii (m) + (1 pii (n)). b) sup {pij (n)} fij
n
a) pij (n) pij (1) pjj (n 1).
pij (n).
n=1
c) i j si, y s olo si, fij > 0. d) i j si, y s olo si, fij fji > 0. e)
pij (n) = fij [
pjj (n) + 1 ].
n=1
n=1
Cadenas de Markov 22. Para la cadena de Markov de dos estados con distribuci on inicial (p0 , p1 ), demuestre que para a + b > 0, P (Xn = 0) = P (Xn = 1) = b b + (p0 ) (1 a b)n , a+b a+b a a + (p1 ) (1 a b)n . a+b a+b
23. Encuentre la matriz de probabilidades de transici on de la cadena de Markov de cuatro estados dada por el diagrama de la Figura 3.17. A partir de cada posici on s olo se permite pasar a los estados como indica el laberinto, con id entica probabilidad para todas las posibilidades. Suponga que no se permite permanecer en la misma posici on al efectuarse un movimiento.
87
Figura 3.17: 24. Se lanza un dado equilibrado repetidas veces. Sea Xn el n umero de lanzamientos realizados al tiempo n desde la u ltima vez que apareci o el n umero 6. Demuestre que {Xn } es una cadena de Markov y encuentre las probabilidades de transici on. 25. Sea {Xn } una cadena de Markov con probabilidades de transici on pij , y sea m 1 un entero jo. Demuestre que los siguientes procesos son tambi en cadenas de Markov y encuentre las correspondientes probabilidades de transici on. a) Xn+m . b) Xnm . 26. Demuestre que para cualquier entero n 1, a) P (Xn = j ) =
i
P (Xn1 = i) pij (1). P (X0 = i) pij (n).
b) P (Xn = j ) =
i
27. Considere una cadena de Markov con espacio de estados {0, 1, . . . , N }, y probabilidades de transici on tales que para cualquier estado i,
N
E (Xn+1 | Xn = i) =
j pij = i,
j =0
es decir, el estado promedio despu es de una transici on es el estado inicial. Demuestre que esta cadena es una martingala y que los estados 0 y N son absorbentes. 28. Renovaciones discretas. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes id enticamente distribuidas, y con valores en el conjunto {1, 2, . . .}.
88
3.16. Cadenas reversibles Interpretaremos estas variables discretas como los tiempos de vida de art culos puestos en operaci on uno despu es de otro en un proceso de renovaci on a tiempo discreto. Sea X0 = 0 y para cada n 1 sea Xn = 1 + + n . Para cada k = 1, 2, . . . dena Nk = m a x { n 1 : Xn k } . Si el conjunto indicado es vac o, entonces el m aximo se dene como cero. La variable Nk cuenta el n umero de renovaciones efectuadas hasta el tiempo k . Sea Ak = k XNk , es decir, Ak es la edad del art culo que se encuentra en operaci on al tiempo k , o bien el tiempo transcurrido desde la u ltima renovaci on. La notaci on A proviene del t ermino en ingl es age. Demuestre que el proceso Ak es una cadena de Markov con espacio de estados {0, 1, . . .}, y con probabilidades de transici on pi,0 = P (X = i + 1) , P (X i + 1) pi,i+1 = P (X i + 2) . P (X i + 1)
29. Considere la cadena de inventarios en donde n tiene distribuci on uniforme en el conjunto {0, 1, 2, 3}, con s = 1 y S = 4. Encuentre la matriz de probabilidades de transici on de esta cadena. 30. Sea Xn la cadena de Markov de dos estados. Demuestre que el proceso Yn = (Xn1 , Xn ) es una cadena de Markov. Determine el espacio de estados de este nuevo proceso y encuentre la matriz de probabilidades de transici on. Generalize este resultado para cualquier cadena. 31. Se colocan N bolas negras en una primera urna, y N bolas blancas en una segunda urna. Se selecciona al azar una bola de cada urna y se intercambian. Este ensayo se repite varias veces. Sea Xn el n umero de bolas blancas en la primera urna despu es del n- esimo ensayo. Justique que Xn es una cadena de Markov y encuentre la matriz de probabilidades de transici on. 32. Sea 0 , 1 , . . . una sucesi on de variables independientes con id entica distribuci on Ber(p). Determine si el proceso {Xn } denido a continuaci on es una cadena de Markov. En caso armativo determine el espacio de estados y encuentre la matriz de probabilidades de transici on. a) Xn = n + n1 . b) Xn = Xn1 + n . c) Xn = Xn1 + n , (m od. 2).
89
33. Sea 1 , 2 , . . . una sucesi on de variables independientes con valores en el conjunto {0, 1, 2, 3, 4} y con id entica distribuci on dada por {p0 , p1 , p2 , p3 , p4 }. Determine si el proceso {Xn } denido a continuaci on es una cadena de Markov. En caso armativo determine el espacio de estados y encuentre la matriz de probabilidades de transici on. X0 Xn+1 = 0, = Xn + n+1 (m od. 5), para n 0.
34. Modicaci on de la cadena de Ehrenfest. Considere el esquema de dos urnas como en la cadena de Ehrenfest con un total de N bolas. Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia de urna con una distribuci on de probabilidad especicada p1 , . . . , pN , sin importar la posici on de las bolas. Sea Xn el n umero de bolas en una de las urnas despu es del n esimo ensayo. Es esta una cadena de Markov? En caso armativo encuentre la matriz de probabilidades de transici on. 35. Sea {Xn } una cadena de Markov con espacio de estados E . Dena el proceso {Yn } de la siguiente forma: Yn = (Xn , Xn+1 ). Determine el espacio de estados del proceso {Yn }, demuestre que es una cadena de Markov y encuentre sus probabilidades de transici on en t erminos de las probabilidades de transici on de {Xn }. Comunicaci on 36. Dibuje un diagrama de transici on y encuentre las clases de comunicaci on para cada una de las siguientes cadenas de Markov. a) P =
1/2 1/2 0 1/2 0 0 0 1/2 1 0 0 0 P = 0 1/2
c)
1 0 1 0
0 0 0 1/2
37. Considere una cadena de Markov con n estados. Demuestre que si i j , entonces es posible pasar de i a j en a lo sumo n 1 pasos. Suponga i = j .
0 1 0 0
1 b) P = 1/2
1/3
0 0 1/2 1/3
1 0 0 1/3
0 0 0 0
90
Clases cerradas
38. Demuestre que toda cadena de Markov tiene por lo menos una clase de comunicaci on cerrada. 39. Demuestre que la colecci on de estados C es cerrada si, y s olo si, alguna de las siguientes condiciones se cumple. Para cualesquiera i C y j / C, a ) pij (n) = 0, para cada n 1. b ) pij (1) = 0. 40. Demuestre que a) toda clase de comunicaci on recurrente es cerrada. b) la uni on de dos clases de comunicaci on recurrentes es una clase cerrada. c) la uni on de todas las clases de comunicaci on recurrentes de una cadena de Markov es una clase cerrada.
Periodo 41. Dibuje un diagrama de transici on, determine las clases de comunicaci on y calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov. a) P =
1/2 1/2 0 1/2 1/2 1/2 0 0 1/2 1/3 1/2 0 P = 1/2 1/4
c)
0 0 0 1/4
1/2 0 1/2 1/4
42. Hemos demostrado que el periodo es una propiedad de clase, es decir, dos estados que pertenecen a la misma clase de comunicaci on tienen el mismo periodo. El rec proco de tal armaci on es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Proporcione un ejemplo de tal situaci on.
0 1 0 1/4
1 b) P = 1/2
1/3
1/3 0 1/2 1/3
1/3 0 0 1/3
0 0 0 0
Cap tulo 3. Cadenas de Markov Tiempo y probabilidad de primera visita 43. Demuestre que i j , si y s olo si, fij > 0.
91
44. Sea j un estado absorbente. Demuestre que para cada n 1, pij (n) = P (ij n). Tiempo medio de absorci on 45. Se efect ua un sucesi on de lanzamientos independientes de una moneda equilibrada con resultados A y S . Encuentre el n umero esperado de lanzamientos para que aparezca la secuencia particular a) S b) SA c) SAS
Recurrencia y transitoriedad 46. Encuentre las clases de comunicaci on de la siguiente cadena de Markov. Encuentre adem as los periodos, y clasique cada clase de comunicaci on como transitoria o recurrente. P =
1/2 1/2 0 0 1/6 1/6 1/2 1/2 0 0 1/6 1/6 0 0 1/2 1/2 1/6 1/6 0 0 1/2 1/2 1/6 1/6 0 0 0 0 1/6 1/6 0 0 0 0 1/6 1/6
47. Demuestre que todo estado absorbente es recurrente.
48. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici on de la Figura 3.18(a) es transitorio. 49. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici on de la Figura 3.18(b) es recurrente. Suponga que 0 < < 1 y 0 < < 1. Concluya que todos los estados de esta cadena son recurrentes. 50. Demuestre que si i es un estado recurrente e i j , entonces j i.
92
1/2 0 1/2 2 1/2 1 (a)
1/2
1 0 1 3
1 1 (b) 2 1
Figura 3.18: Tiempo medio de recurrencia 51. Considere una sucesi on de ensayos independientes Bernoulli con resultados A y B , y con probabilidades P (A) = p y P (B ) = q = 1 p. Calcule el n umero promedio de ensayos para la primera ocurrencia de la secuencia AB .
Recurrencia positiva y nula 52. Determine si la cadena de racha de exitos es recurrente positiva o nula. 53. Sea {Xn } una cadena de Markov con espacio de estados {0, 1, 2, . . .} y probabilidades de transici on p0,i pi,i1 = ai para i = 0, 1, 2, . . . = 1 para i = 1, 2, 3, . . .
en donde a0 + a1 + = 1. Encuentre condiciones sucientes sobre estas probabilidades para que la cadena sea a) irreducible. b) recurrente. c) recurrente positiva. 54. Sea P una matriz doblemente estoc astica. Demuestre directamente que a) si P es nita, entonces todos los estados son recurrentes positivos. b) si P es innita e irreducible, entonces todos los estados son transitorios o recurrentes nulos.
Cap tulo 3. Cadenas de Markov Distribuciones estacionarias
93
55. Encuentre todas las distribuciones estacionarias, si existen, para cada una de las siguientes cadenas de Markov. a) P =
1/2 0 0 1/2 1/2 1/2 0 1/2 1/2 1/2
56. Determine si existe alguna distribuci on estacionaria para la siguiente matriz estoc astica. En caso armativo encuentre todas las distribuciones estacionarias.
1p p 0
0 b) P = 0
1/4
1/2 1/2 1/2 1/4
0 1/2 1/2 1/4
0 0 0 1/4
57. Demuestre que la siguiente cadena de Markov tiene un n umero innito de distribuciones estacionarias.
1/2
0 1p 0 P = 1p p 0 0 1 0
0 p 0 0
0 P = 1/2
0
0 1/2 0 1/2
1/2 0 1/2 0
0 1/2 0 1/2
58. Demuestre que la cadena del jugador tiene una innidad de distribuciones estacionarias. 59. Demuestre que la cadena de variables aleatorias independientes tiene una u nica distribuci on estacionaria dada por (0 , 1 , . . .) = (a0 , a1 , . . .). 60. Demuestre que toda matriz doblemente estoc astica, aperi odica, nita e irreducible tiene una u nica distribuci on estacionaria dada por la distribuci on uniforme. 61. Demuestre que si la distribuci on uniforme es una distribuci on estacionaria para una cadena de Markov nita, entonces la correspondiente matriz de probabilidades de transici on es doblemente estoc astica. 62. Considere una cadena de Markov a tiempo discreto con espacio de estados nito y tal que para cada estado j los siguientes l mites existen y no dependen del estado i, l m pij (n) = j .
n
94
3.16. Cadenas reversibles Demuestre que = {j } es una distribuci on estacionaria.
63. Justique la existencia y unicidad, y encuentre la distribuci on estacionaria para una caminata aleatoria simple no sim etrica sobre el conjunto {0, 1, . . . , n}, en donde los estados 0 y n son reejantes, es decir: p00 = q , p01 = p, pnn = p, pn,n1 = q . Las otras probabilidades de transici on son: pi,i+1 = p y pi,i1 = q para i = 1, 2, . . . , n 1. 64. Considere una caminata aleatoria {Xn } sobre el conjunto {0, 1, . . . , N 1, N } en donde los estados 0 y N son reejantes, es decir, P (Xn+1 = 1 | Xn = 0) = 1 y P (Xn+1 = N 1 | Xn = N ) = 1. El resto de las probabilidades de transici on son P (Xn+1 = i + 1 | Xn = i) = p y P (Xn+1 = i 1 | Xn = i) = q , para i = 1, 2, . . . , N 1. V ease la Figura 3.19. Calcule el n umero promedio de visitas que la caminata realiza a cada uno de sus estados.
1 0 1 q p 1
i 1
i + 1 N 1 N
Figura 3.19:
Distribuciones l mite 65. Calcule la distribuci on l mite, cuando existe, de las siguientes cadenas de Markov.
0
a)
1 P = 1/2
1/3 0
0 0 1/2 1/3
1 0 0 1/3
c)
66. Una persona se traslada todos los d as de su casa a la ocina en la ma nana, y de la ocina a su casa por la tarde. Esta persona tiene un coche que usa en cualquiera de estos dos viajes en caso de lluvia, siempre y cuando tenga
0 P = 0
1/2
1 0 1 0
0 0 0 1/2
0 1 0 0
0 0 0 0
0 b) P = 0
1/3
1 0 1 0
0 0 0 2/3
0 1 0 0
95
el coche disponible. No siempre tiene el coche disponible pues ha decidido dejarlo en la casa o en la ocina e irse caminando cuando al salir de alguno de estos lugares no est a lloviendo. La probabilidad de lluvia por la ma nana o por la tarde es p > 0, independiente un evento del otro. a) Calcule la proporci on de viajes a largo plazo en los cuales la persona se moja por la lluvia. b) Conteste la misma pregunta cuando la persona posee r coches.
Cadenas regulares 67. Determine si las siguientes matrices estoc asticas son regulares. a) P =
0 0 1 1 0 0 0 1 0
b) P =
0 0 1/2
1 1/2 1/2
0 1/2 0
68. Cu antas potencias de una matriz se necesitan calcular como m aximo para vericar que es regular? 69. Sean {Xn } y {Yn } dos cadenas de Markov independientes y regulares. Demuestre que Zn = (Xn , Yn ) es una cadena de Markov regular y encuentre sus probabilidades de transici on.
Cadenas reversibles 70. Resolviendo la ecuaci on de balance detallado (3.10), demuestre que la cadena de dos estados es reversible y encuentre nuevamente la distribuci on estacionaria (0 , 1 ) = (b/(a + b), a/(a + b)), cuando a + b > 0.
Cap tulo 4
El proceso de Poisson
En el presente y en el siguiente cap tulo estudiaremos el modelo de cadena de Markov a tiempo continuo. Como una introducci on a la teor a general que se expondr a m as adelante, en este cap tulo estudiaremos uno de los ejemplos m as importantes de este tipo de modelos: el proceso de Poisson. Deniremos este proceso de varias formas equivalentes, y estudiaremos algunas de sus propiedades, sus generalizaciones y algunas de sus aplicaciones. El proceso de Poisson es un modelo relevante tanto en las aplicaciones como en la teor a general de los procesos estoc asticos.
4.1.
Proceso de Poisson
Suponga que un mismo evento ocurre repetidas veces de manera aleatoria a lo lar go del tiempo como se muestra en la Figu0 ra 4.1. Tal evento puede ser por ejemplo la llegada de una reclamaci on a una comFigura 4.1: pa n a aseguradora, o la recepci on de una llamada a un conmutador, o la llegada de un cliente a una ventanilla para solicitar alg un servicio, o los momentos en que una cierta maquinaria requiere reparaci on, etc etera. Suponga que las variables aleatorias T1 , T2 . . . representan los tiempos que transcurren entre una ocurrencia del evento y la siguiente ocurrencia. Suponga que estos tiempos son independientes uno del otro, y que cada uno de ellos tiene distribuci on exp(). Se dene el proceso de Poisson al tiempo t como el n umero 97
98
4.1. Proceso de Poisson
de ocurrencias del evento que se han observado hasta ese instante t. Esta es una denici on constructiva de este proceso y la formalizaremos a continuaci on. M as adelante enunciaremos otras deniciones axiom aticas equivalentes de este mismo proceso. Denici on. (I) Sea T1 , T2 , . . . una sucesi on de variables aleatorias independientes cada una con distribuci on exp(). El proceso de Poisson de par ametro es el proceso a tiempo continuo {Xt : t 0} denido de la siguiente manera: Xt = m a x { n 1 : T 1 + + T n t} .
Se postula adem as que el proceso inicia en cero y para ello se dene m ax = 0. En palabras, la variable Xt es el entero n m aximo tal que T1 + + Tn es menor o igual a t, y ello equivale a contar el n umero de eventos ocurridos hasta el tiempo t. A este proceso se le llama proceso de Poisson homog eneo, tal adjetivo se reere a que el par ametro no cambia con el tiempo, es decir, es homog eneo en el tiempo. Una trayectoria t pica de este proceso Xt ( ) puede observarse en la Figura 4.2, la cual es no decreciente, constante por 3 partes, continua por la derecha y con l mite por la izquierda. A los tiem- 2 pos T1 , T2 , . . . se les llama tiempos 1 de estancia, o tiempos de interarribo, y corresponden a los tiempos que t W1 W2 W3 transcurren entre un salto del proceso 0 y el siguiente salto. Hemos supuesto T1 T2 T3 T4 que estos tiempos son independientes y que todos tienen distribuci on Figura 4.2: El proceso de Poisson y los tiemexp(). En consecuencia, la variable pos de ocurrencia de eventos. Wn = T1 + + Tn tiene distribuci on gamma(n, ). Esta variable representa el tiempo real en el que se observa la ocurrencia del n- esimo evento. Observe la igualdad de eventos (Xt n) = (Wn t), esto equivale a decir que al tiempo t han ocurrido por lo menos n eventos si, y s olo si, el n- esimo evento ocurri o antes de t.
Cap tulo 4. El proceso de Poisson
99
Una de las caracter sticas sobresalientes de este proceso es que puede encontrarse expl citamente la distribuci on de probabilidad de la variable Xt para cualquier valor de t. La respuesta es la distribuci on Poisson, y es de all de donde el proceso adquiere su nombre. Proposici on. La variable Xt tiene distribuci on Poisson(t), es decir, para cualquier t > 0, y para n = 0, 1, . . . P (Xt = n) = et (t)n . n!
Demostraci on. Como Wn tiene distribuci on gamma(n, ), su funci on de distribuci on es, para t > 0, n1 (t)k t P (Wn t) = 1 e . k!
k=0
Entonces para cualquier t > 0 y para cada n = 0, 1, . . . P (Xt = n) = P (Xt n) P (Xt n + 1) = P (Wn t) P (Wn+1 t) = et (t)k . k!
Entonces, dado que Xt tiene una distribuci on Poisson(t), se tiene que E (Xt ) = t, y Var(Xt ) = t. Por lo tanto t es el promedio de observaciones o registros del evento de inter es en el intervalo [0, t]. As , mientras mayor es la longitud del intervalo de observaci on, mayor es el promedio de observaciones realizadas, y mayor tambi en la incertidumbre del n umero de observaciones. P erdida de memoria y sus consecuencias. Una de las propiedades que caracterizan de manera u nica a la distribuci on exponencial dentro del conjunto de distribuciones continuas es que satisface la propiedad de p erdida de memoria, esto es, si T tiene distribuci on exp(), entonces para cualesquiera tiempos s, t > 0 se cumple la igualdad P (T > t + s | T > s) = P (T > t).
100
En otras palabras, condicionada al evento (T > s), la variable T s sigue teniendo distribuci on exp(). Esto signica que el proceso de Poisson puede estudiarse a partir de cualquier tiempo s 0, teniendo las mismas propiedades a partir de ese momento hacia adelante. Esto es, si uno toma cualquier tiempo s 0 y empieza a contar desde cero las ocurrencias de eventos a partir de ese momento, lo que uno obtiene es nuevamente un proceso de Poisson. Entonces, para cualquier t > 0 y para n = 0, 1, . . . P (Xt+s Xs = n) = P (Xt = n) = et (t)n . n! (4.1)
Esta propiedad caracteriza de manera u nica a este proceso y de ella pueden derivarse todas las propiedades del Proceso de Poisson, incluida la propiedad de Markov, la cual demostraremos a continuaci on. Proposici on. El proceso de Poisson satisface las siguientes propiedades. a) Es un proceso de Markov. b) Tiene incrementos independientes. c) Tiene incrementos estacionarios. d) Para cualesquiera s, t > 0, Xt+s Xs Poisson(t).
e) Para cualesquiera s, t 0, y enteros 0 i j , las probabilidades de transici on son (t)j i . (4.2) P (Xt+s = j | Xs = i) = et (j i)!
Demostraci on. a) Considere la probabilidad condicional P (Xtn = xn | Xt1 = x1 , . . . , Xtn1 = xn1 ), para cualesquiera n tiempos 0 t1 t2 tn , y estados 0 x1 . . . xn . Entonces al tiempo tn1 ha habido xn1 ocurrencias del evento de inter es. A partir de ese momento inicia un nuevo proceso de Poisson y para que al tiempo tn hayan xn ocurrencias es necesario que en el intervalo de tiempo (tn1 , tn ] hayan ocurrido xn xn1 eventos. Esto es exactamente P (Xtn = xn | Xtn1 = xn1 ). b) Considere cualesquiera n tiempos 0 t1 t2 tn , y cualesquiera estados x1 , . . . , xn . Por comodidad llamaremos sn a la suma x1 + + xn , para cada n 1.
Cap tulo 4. El proceso de Poisson Por la propiedad de Markov y por (4.1), P (Xt1 = x1 , Xt2 Xt1 = x2 , . . . , Xtn Xtn1 = xn ) = P (Xt1 = s1 , Xt2 = s2 , . . . , Xtn = sn ) = P (Xt1 = s1 ) P (Xt2 = s2 | Xt1 = s1 ) P (Xtn = sn | Xtn1 = sn1 )
101
= P (Xt1 = x1 ) P (Xt2 Xt1 = x2 ) P (Xtn Xtn1 = xn ). Las propiedades c), d) y e) son consecuencia inmediata de (4.1). La expresi on (4.2) establece de manera evidente que las probabilidades de transici on son estacionarias en el tiempo, es decir, no dependen del par ametro s, y se escriben simplemente como pij (t). Pero tambi en es interesante observar que (4.2) dice que estas probabilidades son estacionarias en el espacio, es decir, dependen de los estados i y j u nicamente a trav es de la diferencia j i. En s mbolos, pij (t) = p0,j i (t), para j i. Ejemplo: Paradoja del autob us. Suponga que la llegada de autobuses a una estaci on se modela mediante un proceso de Poisson de par ametro , es decir, el tiempo que transcurre entre la llegada de un autob us y el siguiente es una variable aleatoria con distribuci on exp(). Suponga que el tiempo es medido en minutos. La propiedad de p erdida de memoria en este contexto puede interpretarse de la siguiente forma: Un persona ha llegado a la estaci on y ha esperado s minutos sin que un autob us aparezca. La probabilidad de que tenga que esperar m as de t minutos adicionales es la misma que la probabilidad de espera de m as de t minutos para una persona que acaba de llegar a la estaci on! Ejemplo: La suma de dos procesos de Poisson independientes es un proceso de Poisson. Sean {Xt } y {Yt } dos procesos de Poisson independientes de par ametros 1 y 2 respectivamente. Demostraremos que el proceso suma {Xt + Yt } es un proceso de Poisson de par ametro 1 + 2 . Denotaremos por T1 , T2 , . . . a los Xt tiempos de interarribo del proceso suma. La forma en la que se Yt obtienen estos tiempos se muestra en la Figura 4.3. Demostraremos que estas variables aleatorias son in Xt + Yt dependientes con id entica distribuFigura 4.3: Suma de dos procesos de Poisson.
102
ci on exp(1 + 2 ). Para cualesquiera tiempos t1 , . . . , tn , el evento (T1 > t1 , T2 > t2 , . . . , Tn > tn ) puede expresarse como ((X + Y )[0,t1 ] = 0, (X + Y )[T1 ,T1 +t2 ] = 0, . . . , (X + Y )[Tn1 ,Tn1 +tn ] = 0), esto es, (X[0,t1 ] = 0) (Y[0,t1 ] = 0)
(X[T1 ,T1 +t2 ] = 0) (Y[T1 ,T1 +t2 ] = 0)
(X[Tn1 ,Tn1 +tn ] = 0) (Y[Tn1 ,Tn1 +tn ] = 0). Por la independencia de los procesos y la propiedad de incrementos independientes de cada uno de ellos, la probabilidad de este evento es P (X[0,t1 ] = 0) P (Y[0,t1 ] = 0) P (X[T1 ,T1 +t2 ] = 0) P (Y[T1 ,T1 +t2 ] = 0) P (X[Tn1 ,Tn1 +tn ] = 0) P (Y[Tn1 ,Tn1 +tn ] = 0). Por lo tanto, P (T1 > t1 , T2 > t2 , . . . , Tn > tn ) = e(1 +2 )t1 e(1 +2 )t2 e(1 +2 )tn . Esta identidad demuestra que las variables T1 , T2 , . . . , Tn son independientes con id entica distribuci on exp(1 + 2 ). Distribuciones asociadas al proceso de Poisson. Adem as de las distribuciones exponencial y gamma ya mencionadas, existen otras distribuciones de probabilidad que surgen al estudiar ciertas caracter sticas del proceso de Poisson. Mencionaremos a continuaci on algunas de ellas.
103
Proposici on. Dado el evento (Xt = n), el vector de tiempos reales (W1 , . . . , Wn ) tiene la misma distribuci on que el vector de las estad sticas de orden (Y(1) , . . . , Y(n) ) de una muestra aleatoria Y1 , . . . , Yn de la distribuci on uniforme en el intervalo [0, t], es decir, n! si 0 < w1 < < wn < t, tn fW1 ,...,Wn |Xt (w1 , . . . , wn | n) = 0 otro caso. Demostraci on. La f ormula general para la funci on de densidad conjunta de las estad sticas de orden Y(1) , . . . , Y(n) de una muestra aleatoria Y1 , . . . , Yn de una distribuci on con funci on de densidad f (y ) es, para y1 < < yn , fY(1) ,...,Y(n) (y1 , . . . , yn ) = n! f (y1 ) f (yn ). Cuando la funci on de densidad f (y ) es la uniforme en el intervalo [0, t], esta funci on de densidad conjunta es la que aparece en el enunciado. Demostraremos que la distribuci on conjunta de las variables W1 , . . . , Wn , condicionada al evento (Xt = n) tambi en tiene esta misma funci on de densidad. Usaremos nuevamente la identidad de eventos (Xt n) = (Wn t). Para tiempos 0 < w1 < < wn < t, se tiene que fW1 ,...,Wn |Xt (w1 , . . . , wn | n) n = P (W1 w1 , W2 w2 , . . . , Wn wn | Xt = n) w1 wn n = P (Xw1 1, Xw2 2, . . . , Xwn n | Xt = n) w1 wn n = P (Xt Xwn = 0, Xwn Xwn1 = 1, . . . w1 wn . . . , Xw2 Xw1 = 1, Xw1 = 1)/P (Xt = n) n e(twn ) e(wn wn1 ) (wn wn1 ) = w1 wn e(w2 w1 ) (w2 w1 ) ew1 w1 /[ et (t)n /n! ] n = n! (wn wn1 ) (w2 w1 )w1 /tn w1 wn = n!/tn .
104
Observe que bajo el signo de derivada, la probabilidad del evento (Xw1 1, Xw2 entica a la 2, . . . , Xwn n, Xt = n), que aparece en la segunda igualdad, es id probabilidad de (Xt Xwn = 0, Xwn Xwn1 = 1, . . . , Xw2 Xw1 = 1, Xw1 = 1), pues si alguna de estas identidades (exceptuando la primera) fuera distinta de uno, la derivada se anula. La f ormula anterior nos provee de un mecanismo para obtener simulaciones por computadora de las trayectorias del proceso Poisson. El procedimiento es el siguiente: Fije un valor t y asigne un valor para . Genere un valor al azar de la variable Xt con distribuci on Poisson(t). Suponga Xt = n. A continuaci on genere n valores u1 , . . . , un de la distribuci on unif(0, t), y ordene estos valores de menor a mayor: u(1) u(n) . Estos son los tiempos en donde la trayectoria tiene saltos. De esta forma pueden obtenerse trayectorias como la que se muestra en la Figura 4.2. El siguiente resultado establece una forma de obtener la distribuci on binomial a partir del proceso de Poisson. Suponga que durante el intervalo de tiempo [0, t] se han observado n ocurrencias del evento de inter es, es decir, el evento (Xt = n) ha ocurrido. La pregunta es cu antos de estos eventos ocurrieron en el subintervalo [0, s]? Demostraremos a continuaci on que esta variable aleatoria tiene distribuci on binomial(n, s/t). Proposici on. Sean s y t tiempos tales que 0 < s < t, y sean k y n enteros tales que 0 k n. Entonces P (Xs = k | Xt = n) = s n s k ( ) (1 )nk . t t k
Demostraci on. Por la denici on de probabilidad condicional, P (Xs = k | Xt = n) = P (Xt = n | Xs = k ) P (Xs = k ) . P (Xt = n)
Substituyendo estas probabilidades y simplicando se obtiene el resultado. Recordando que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson, se puede comprobar f acilmente el siguiente resultado.
105
Proposici on. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con par ametros 1 y 2 respectivamente, y sean k y n enteros tales que 0 k n. Entonces P (X1 (t) = k | X1 (t) + X2 (t) = n) = 1 1 n )k (1 )nk . ( 1 + 2 k 1 + 2
Demostraci on. Por la hip otesis de independencia entre los procesos, P (X1 (t) = k | X1 (t) + X2 (t) = n) = P (X1 (t) = k, X1 (t) + X2 (t) = n)/P (X1 (t) + X2 (t) = n) = = P (X1 (t) = k, X2 (t) = n k )/P (X1 (t) + X2 (t) = n) P (X1 (t) = k ) P (X2 (t) = n k )/P (X1 (t) + X2 (t) = n).
Substituyendo estas probabilidades se obtiene el resultado.
4.2.
Deniciones alternativas
La denici on (I) de proceso de Poisson es constructiva pues a partir de los tiempos de interarribo se construye el proceso de conteo correspondiente. Existen otras formas equivalentes y un tanto axiom aticas de denir a este proceso. Revisaremos y comentaremos a continuaci on dos de ellas. Una de las ventajas de contar con estas deniciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de las deniciones a conveniencia.
106
4.2. Definiciones alternativas
Denici on. (II) Un proceso de Poisson de par ametro > 0 es un proceso a tiempo continuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, y que cumple las siguientes propiedades: a) X0 = 0. b) Tiene incrementos independientes y estacionarios. c) Para cualquier t 0, y cuando h 0, ii) P (Xt+h Xt 2) = o(h). i) P (Xt+h Xt 1) = h + o(h).
Esta denici on hace uso de las probabilidades innitesimales del proceso y ello tiene algunas ventajas desde el punto de vista de la interpretaci on de lo que sucede en un intervalo innitesimal de tiempo (t, t + h]. El proceso empieza en cero y por el tercer postulado la probabilidad de que pase al estado uno al nal de un intervalo de tiempo peque no [0, h] es h + o(h), la probabilidad de que el proceso no sufra ning un cambio en dicho intervalo es 1 h + o(h), y nalmente la probabilidad de que el proceso tenga dos o m as incrementos en tal intervalo es o(h). Es decir, en un intervalo cualquiera de longitud innitesimal h s olo pueden ocurrir dos situaciones: que haya un incremento o que no lo haya. Ejemplo. (Demostraci on de que la variable Xt+s Xs tiene distribuci on Poisson(t) a partir de los postulados de la denici on (II)). Se dene pn (t) = P (Xt = n) y se considera cualquier h > 0. Denotaremos por pn (t, t + h] a la probabilidad P (Xt+h Xt = n). Por la hip otesis de independencia, para t 0 y cuando h 0, p0 (t + h) = = p0 (t) p0 (t, t + h] p0 (t) (1 h + o(h)).
Haciendo h 0 se obtiene la ecuaci on diferencial p0 (t) = p0 (t), cuya soluci on es p0 (t) = c et , en donde la constante c es uno por la condici on inicial p0 (0) = 1. Ahora encontraremos pn (t) para n 1. Nuevamente por independencia, pn (t + h)
= pn (t) p0 (t, t + h] + pn1 (t) p1 (t, t + h] + o(h) = pn (t) (1 h + o(h)) + pn1 (t) (h + o(h)) + o(h).
Entonces pn (t) = pn (t) + pn1 (t), con condici on inicial pn (0) = 0 para
107
n 1. Deniendo qn (t) = et pn (t) la ecuaci on diferencial se transforma en qn (t) = qn1 (t), con condiciones qn (0) = 0 y q0 (t) = 1. Esta ecuaci on se resuelve iterativamente primero para q1 (t), despu es para q2 (t), y as sucesivamente, en general qn (t) = (t)n /n! Por lo tanto pn (t) = et (t)n /n! Esto signica que Xt tiene distribuci on Poisson(t). Debido al postulado de incrementos estacionarios, la variable Xt+s Xs tiene la misma distribuci on que Xt . Denici on. (III) Un proceso de Poisson de par ametro > 0 es un proceso a tiempo continuo {Xt : t 0} con espacio de estados {0, 1, . . .}, con trayectorias no decrecientes y que cumple las siguientes propiedades: a) X0 = 0. b) Tiene incrementos independientes. c) Xt+s Xs Poisson(t), para cualesquiera s 0, t > 0. Esta es posiblemente la denici on mas frecuente del proceso de Poisson. A partir de ella inmediatamente sabemos que Xt tiene distribuci on Poisson(t). La independencia de los incrementos es expl cita, y la estacionariedad de los mismos aparece de manera impl cita en el tercer postulado. Para demostrar la equivalencia con la denici on (I), el reto consiste en denir los tiempos de interarribo y demostrar que estos son variables aleatorias independientes con distribuci on exponencial(). Ejercicio. Usando la denici on (III), demuestre que la suma de dos procesos de Poisson independientes es nuevamente un proceso Poisson.
Proposici on. Las deniciones (I), (II) y (III) son equivalentes.
Demostraci on. Hemos demostrado que (II ) (III ). El rec proco es inmediato pues la propiedad de incrementos independientes y estacionarios aparecen en ambas
108
4.2. Definiciones alternativas
deniciones, y para cualquier t 0 y h > 0, P (Xt+h Xt 1) = = = = An alogamente P (Xt+h Xt 2) = = = 1 P (Xt+h Xt = 0) P (Xt+h Xt = 1) 1 eh eh h 1 (1 h + o(h)) (h + o(h)) 1 P (Xt+h Xt = 0) 1 eh 1 (1 h + o(h)) h + o(h).
o(h).
Estos c alculos y lo desarrollado antes demuestran que (II ) (III ). Tambi en antes hemos demostrado que (I ) (III ). Para demostrar el rec proco es necesario comprobar que los tiempos de interarribo T1 , T2 , . . . son independientes con distribuci on exp(). Daremos una demostraci on no completamente rigurosa de este resultado. Sean t1 , . . . , tn > 0 tiempos cualesquiera y sean t1 , . . . , tn las longitudes que se muestran en la Figura 4.4.
t1 0
t 1
t2
t 2
tn
t n
Figura 4.4: La probabilidad de que T1 tome un valor en el intervalo t1 , T2 tome un valor en el intervalo t2 , etc etera, es fT1 ,...,Tn (t1 , . . . , tn )t1 tn = = (et1 et1 t1 ) (et2 et2 t2 ) (etn etn tn ) et1 et2 etn t1 tn e(t1 ++tn ) fT1 ,...,Tn (t1 , . . . , tn ) = et1 et2 etn . Esto demuestra que las variables T1 , . . . , Tn son independientes y cada una de ellas tiene distribuci on exp(). En conjunto esto demuestra que (I ) (III ) (II ).
Al hacer t1 , . . . , tn 0 se obtiene
109
Observe que la pregunta acerca de la existencia de un proceso estoc astico que cumpla los postulados de la denici on (II ) o (III ) queda resuelta al vericar la equivalencia de tales postulados con la denici on constructiva (I ). Presentaremos a continuaci on algunas generalizaciones del proceso de Poisson. Una de tales generalizaciones que estudiaremos con mayor detalle en un cap tulo m as adelante es aquella en la que se considera que las variables T1 , T2 , . . . no son necesariamente exponenciales, en tal caso se pierde la propiedad de Markov del proceso. A este tipo de procesos se les llama procesos de renovaci on.
4.3.
Proceso de Poisson no homog eneo
Se considera ahora que el par ametro del proceso de Poisson no es necesariamente una constante sino una funci on del tiempo. A veces a este proceso se le llama tambi en proceso de Poisson con par ametro dependiente del tiempo. Este modelo puede ser naturalmente m as adecuado para algunas situaciones reales aunque deja de cumplir la propiedad de Markov. Denici on. Un proceso de Poisson no homog eneo es un proceso a tiempo continuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, con par ametro la funci on positiva y localmente integrable (t), y que cumple las siguientes propiedades: a) X0 = 0. b) Los incrementos son independientes. c) Para cualquier t 0, y cuando h 0, ii) P (Xt+h Xt 2) = o(h). i) P (Xt+h Xt 1) = (t) h + o(h).
Comparando esta denici on con la denici on (II) de proceso de Poisson se observa mucha similaridad excepto por dos aspectos: En lugar de la constante se escribe ahora la funci on (t), y la hip otesis de incrementos estacionarios ya no aparece. Ello es consecuencia de que el par ametro var a con el tiempo, generalmente de manera decreciente. Es decir, la distribuci on de probabilidad de la variable incremento Xt+s Xs depende de los valores de la funci on en el intervalo (s, s + t]. Sin
110
4.3. Proceso de Poisson no homog eneo
embargo, y en completa analog a con el caso homog eneo, la variable Xt contin ua teniendo distribuci on Poisson como a continuaci on demostraremos. Proposici on. La variable Xt en un proceso de Poisson no homog eneo de t par ametro (t) tiene distribuci on Poisson((t)), en donde (t) = 0 (s) ds, es decir, para n = 0, 1, . . . P (Xt = n) = e(t) [(t)]n . n!
Demostraci on. La prueba es an aloga a una de las realizadas en el caso homog eneo. Se dene nuevamente pn (t) = P (Xt = n) y se considera cualquier h > 0. Denotaremos por pn (t, t + h] a la probabilidad P (Xt+h Xt = n). Por la hip otesis de independencia, para t 0 y cuando h 0, p0 (t + h) = p0 (t) p0 (t, t + h] = p0 (t) (1 (t)h + o(h)). Calculando la derivada se obtiene la ecuaci on diferencial p0 (t) = (t) p0 (t), cuya soluci on es p0 (t) = c e(t) , en donde la constante c es uno debido a la condici on inicial p0 (0) = 1. Ahora encontraremos pn (t) para n 1. Nuevamente por independencia, pn (t + h) = =

pn (t) p0 (t, t + h] + pn1 (t) p1 (t, t + h] + o(h) pn (t) (1 (t)h + o(h)) + pn1 (t) ((t)h + o(h)) + o(h).
Entonces pn (t) = (t) pn (t) + (t) pn1 (t), con condici on inicial pn (0) = 0 para n 1. Deniendo qn (t) = e(t) pn (t) la ecuaci on diferencial se transforma en qn (t) = (t) qn1 (t), con condiciones qn (0) = 0 y q0 (t) = 1. Esta ecuaci on se resuelve iterativamente primero para q1 (t), despu es para q2 (t), y as sucesivamente, en general qn (t) = ((t))n /n! y de aqu se obtiene pn (t). Las trayectorias de un proceso de Poisson no homog eneo son semejantes a las trayectorias de un proceso de Poisson, es decir, son trayectorias no decrecientes y con saltos unitarios hacia arriba, pero la frecuencia promedio con la que aparecen los saltos cambia a lo largo del tiempo. De manera an aloga al caso homog eneo, los incrementos de este proceso tambi en tienen distribuci on Poisson.
111
Proposici on. Para el proceso de Poisson no homog eneo, la variable incremento Xt+s Xs tiene distribuci on Poisson((t + s) (s)). Demostraci on. Se escribe Xt+s = Xs + (Xt+s Xs ), en donde, por el axioma de incrementos independientes, en el lado derecho aparece la suma de dos variables aleatorias independientes. Recordando que la funci on generadora de momentos de la distribuci on Poisson() es M (r) = exp [(er 1)], al aplicar este resultado a la ecuaci on anterior se obtiene exp [(t + s) (er 1)] = exp [(s) (er 1)] MXt+s Xs (r). Por lo tanto MXt+s Xs (r) = exp [((t + s) (s)) (er 1)]. Si la funci on (t) es constante igual a , entonces (t) = t, y se recupera el proceso de Poisson homog eneo. Cuando (t) es continua, (t) es diferenciable y por lo tanto (t) = (t). A la funci on (t) se le llama funci on de intensidad y a (t) se le conoce como funci on de valor medio. Un proceso de Poisson no homog eneo en donde {(t) : t 0} es un proceso estoc astico se le llama proceso de Cox. El siguiente resultado establece que bajo una transformaci on del par ametro tiempo, un proceso de Poisson no homog eneo puede ser llevado a un proceso de Poisson homog eneo de par ametro uno. Antes de demostrar este resultado observemos que como la funci on t (t) es positiva, la funci on de intensidad (t) es continua y no decreciente, y en general no es invertible. Puede denirse, sin embargo, la inversa por la derecha 1 (t) = nf {u 0 : (u) = t}, que cumple la identidad (1 (t)) = t, y que es una funci on continua y creciente. Proposici on. Sea {Xt } un proceso de Poisson no homog eneo de par ametro t (t), y funci on de intensidad (t) = 0 (s) ds. Dena la funci on 1 (t) = nf {u 0 : (u) = t}. Entonces el proceso {X1 (t) } es un proceso de Poisson homog eneo de par ametro = 1.
112
4.4. Proceso de Poisson compuesto
Demostraci on. Usaremos la denici on (III) de proceso de Poisson. El proceso X1 (t) empieza en cero y tiene incrementos independientes pues si se consideran cualesquiera tiempos 0 t1 < t2 < < tn , bajo la funci on creciente 1 (t) estos tiempos se transforman en una nueva colecci on mon otona de tiempos 0 1 (t1 ) < 1 (t2 ) < < 1 (tn ). Por lo tanto las variables X1 (t1 ) , X1 (t2 ) X1 (t1 ) ,. . ., X1 (tn ) X1 (tn1 ) son independientes. Finalmente, para cualesquiera tiempos s, t 0 el incremento X1 (t+s) X1 (s) tiene distribuci on Poisson de par ametro (1 (t + s)) (1 (s)) = (t + s) s = t. Pueden denirse los tiempos de interarribo T1 , T2 , . . ., y los tiempos de saltos W1 , W2 , . . . para un proceso de Poisson no homog eneo de manera an aloga al caso homog eneo. Por hip otesis los incrementos de este procesos son independientes, sin embargo, debido a que el par ametro (t) es una funci on del tiempo, los tiempos de interarribo T1 , T2 , . . . no son independientes pues, por ejemplo, T2 depende de (t) para valores de t mayores a T1 . Y por las mismas razones las distribuciones de estas variables no son id enticas.
4.4.
Proceso de Poisson compuesto
Esta es una de las generalizaciones del proceso de Poisson m as conocidas y de amplia aplicaci on. La generalizaci on consiste en que ahora los saltos ya no son necesariamente unitarios. Denici on. Sea {Nt } un proceso de Poisson y sea Y1 , Y2 , . . . una sucesi on de variables aleatorias independientes, id enticamente distribuidas e independientes del proceso Poisson. Sea Y0 = 0. El proceso de Poisson compuesto se dene de la siguiente forma:
Nt
Xt =
n=0
Yn .
(4.3)
La variable Xt es una suma de variables aleatorias en donde el n umero de sumandos es aleatorio. Tal tipo de modelos encuentra aplicaci on natural en distintos
113
contextos. Por ejemplo, la variable Xt puede interpretarse como el monto total de reclamaciones recibidas por una compa n a aseguradora al tiempo t. El proceso de Poisson determina el n umero de siniestros o reclamaciones efectuadas hasta un momento cualquiera. La variable Yn representa el monto de la n- esima reclamaci on y es natural suponer Yn > 0. En la Figura 4.5 se muestra una trayectoria de este proceso y en los siguienXt ( ) tes ejercicios se presentan algunas de sus propiedades b asicas. Cuando las variables Y3 Y1 , Y2 , . . . toman valores en el conjunto Y2 {1, 2, . . .} se dice que este proceso es un proceso de Poisson generalizado pues los Y1 saltos ya no son necesariamente unitarios. t Observe que si las variables Y1 , Y2 , . . . son todas id enticamente uno, este proceso se Figura 4.5: Trayectoria de un proceso reduce al proceso de Poisson. de Poisson compuesto. Proposici on. El proceso de Poisson compuesto (4.3) cumple las siguientes propiedades. a) E (Xt ) = t E (Y ). b) Var(Xt ) = t E (Y 2 ). c) Cov(Xt , Xs ) = E (Y 2 ) m n{s, t}. d) Tiene incrementos independientes y estacionarios. e) Es un proceso de Markov a tiempo continuo. e) La funci on generadora de momentos de la variable Xt es MXt (u) = E (euXt ) = exp [ t (MY (u) 1) ].
Notas y referencias. El estudio del proceso de Poisson generalmente se incluye en los cursos elementales de procesos estoc asticos. La mayor a de los textos sobre procesos estoc asticos que aparecen en la bibliograf a cuentan por lo menos con una secci on sobre este tema. Algunos textos espec cos que dedican un cap tulo entero
114
para el proceso de Poisson y que el lector puede consultar para profundizar en el tema son: Basu [1], Jones y Smith [17], y Taylor y Karlin [37].
115
Ejercicios
Proceso de Poisson 71. Los clientes de una tienda entran al establecimiento de acuerdo a un proceso de Poisson de par ametro = 4. Sea Xt el n umero de clientes que han ingresado hasta el instante t. Calcule a ) P (X2 = 1). b ) P (X1 = 3, X2 = 6). d ) P (X2 = 4 | X1 = 2). e ) P (X2 3). f ) P (X1 4 | X1 2). c ) P (X1 = 0 | X3 = 4).
72. Los pasajeros llegan a una parada de autob us de acuerdo a un proceso de Poisson {Xt } de par ametro = 2. Sea el momento en el que llega el primer autob us. Suponga que es una variable aleatoria con distribuci on unif(0, 1) e independiente del proceso de Poisson. Calcule a ) E (X | = t). b ) E (X ).
2 | = t). c ) E (X
d ) Var(X ).
73. Sea {Xt } un proceso de Poisson de par ametro = 2. Sea Wn el instante en el que ocurre el n- esimo evento. Calcule a ) E (X5 ). b ) E (X5 | X2 = 1). c ) E (W7 ). d ) E (W7 | X2 = 3).
e ) E (W7 | W5 = 4).
116
74. Sean T1 , T2 , . . . una sucesi on de variables aleatorias independientes id enticamente distribuidas con distribuci on exp(). Dena la variable aleatoria N de la siguiente forma N= 0 k si T1 > 1, si T1 + + Tk 1 < T1 + + Tk+1 .
Demuestre que N tiene distribuci on Poisson(). Este resultado puede ser usado para obtener valores al azar de la distribuci on Poisson.
1 ln(1 75. Demuestre que si X tiene distribuci on unif(0, 1), entonces Y := X ) tiene distribuci on exp(). Este resultado puede ser usado para generar valores al azar de la distribuci on exp() a partir de valores de la distribuci on unif(0, 1).
76. Sean T1 , . . . , Tn variables aleatorias independientes cada una con distribuci on exp(). Demuestre que la suma Wn = T1 + + Tn tiene distribuci on gamma(n, ) y que la correspondiente funci on de distribuci on puede escribirse de la siguiente forma: para cada t > 0, P (Wn t) =
k =n
et
(t)k . k!
77. Sea {Xt } un proceso de Poisson de par ametro = 1, e independiente de una variable aleatoria con distribuci on exp() con = 1. Dena el proceso Yt = Xt . Demuestre que a ) P (Yt = n) = 1 t n ( ) , para n = 0, 1, . . .. 1+t 1+t n+m n m n+m+1 . b ) P (Yt = n, Yt+s = n + m) = t s ( 1+1 t+s ) n
Concluya que las variables Yt y Yt+s Yt no son independientes. 78. Sea {Xt } un proceso de Poisson de par ametro . Demuestre los siguientes resultados de manera sucesiva. o 1). a ) (W1 > t1 , W2 > t2 ) = (Xt1 = 0, Xt2 Xt1 = 0 c ) fW1 ,W2 (t1 , t2 ) = 2 et2 , para 0 < t1 < t2 . b ) P (W1 > t1 , W2 > t2 ) = et1 (1 + (t2 t1 )) e(t2 t1 ) .
Cap tulo 4. El proceso de Poisson d ) fW1 (t1 ) = et1 . e ) fW2 (t2 ) = 2 t1 et1 . f ) Las variables T1 = W1 y T2 = W2 W1 son independientes.
117
79. Sea {Xt } proceso de Poisson de par ametro , y sean s y t dos tiempos tales que 0 s < t. Demuestre que b) P (Xs = Xt ) = e(ts) . a) P (Xs = 0, Xt = 1) = (t s)et .
80. Para un proceso de Poisson de par ametro demuestre que Cov(Xt , Xs ) = m n{s, t}. 81. Las funciones seno y coseno hiperb olico se denen de la siguiente forma: senh(x) = (ex ex )/2, y cosh(x) = (ex + ex )/2. Para un proceso de Poisson de par ametro demuestre que a) P (Xt sea impar) = et senh(t). b) P (Xt sea par) = et cosh(t). 82. Sea {Xt } un proceso de Poisson de par ametro , y sea s > 0 un tiempo jo. Demuestre que el proceso Yt = Xt+s Xs tambi en es un proceso de Poisson de par ametro . En la Figura 4.6 se ilustra gr acamente la denici on de este nuevo proceso.
Xt
Yt
3 2 1
2 1
t t s
Figura 4.6: 83. Sea {Xt } un proceso de Poisson de par ametro . Demuestre que
118
4.4. Proceso de Poisson compuesto 2 ew2 0 1/w2 0 si 0 < w1 < w2 , otro caso. si w1 (0, w2 ), otro caso. si w2 (w1 , ), otro caso.
a ) fW1 ,W2 (w1 , w2 ) = b ) fW1 | W2 (w1 | w2 ) = c ) fW2 | W1 (w2 | w1 ) =
e(w2 w1 ) 0
84. Sea {Xt } un proceso de Poisson de par ametro . Sea T una variable aleatoria con distribuci on exp() e independiente del proceso de Poisson. Encuentre la funci on de densidad de la variable XT . 85. Sea {Xt } un proceso de Poisson de par ametro . Sean r y n dos enteros tales que 1 r n, y sea t > 0. Suponga que el evento (Xt = n) ocurre. Encuentre la densidad condicional de Wr . 86. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con par ametros 1 y 2 respectivamente. Calcule la probabilidad de que a) X1 (t) = 1 antes que X2 (t) = 1. b) X1 (t) = 2 antes que X2 (t) = 2. 87. Suponga que un cierto aparato el ectrico sufre desperfectos a lo largo del tiempo de acuerdo a un proceso de Poisson de par ametro . Suponga que cada vez que el aparato se descompone es enviado a reparaci on y despu es es puesto en funcionamiento nuevamente. Suponga adem as que el aparato se reemplaza completamente por uno nuevo cuando el tiempo que transcurre entre dos descomposturas sucesivas es menor o igual a una cierta constante a > 0, incluyendo el tiempo antes de la primera reparaci on. Encuentre la funci on de densidad del a) tiempo de vida u til del equipo antes de ser reemplazado. b) n umero de reparaciones antes de realizar el reemplazo. 88. Suponga que un cierto circuito recibe impulsos el ectricos de acuerdo a un proceso de Poisson de par ametro . Suponga adem as que el circuito se descompone al recibir el k - esimo impulso. Encuentre la funci on de densidad del tiempo de vida del circuito.
119
89. Sean X1 (t), . . . , Xn (t) procesos de Poisson independientes, todos de par ametro . Encuentre la distribuci on de probabilidad del primer momento en el cual a) ha ocurrido en cada uno de los procesos al menos un evento. b) ocurre el primer evento en cualquiera de los procesos. 90. Sean {X1 (t)} y {X2 (t)} dos procesos de Poisson independientes con par ametros 1 y 2 , respectivamente. Sea n cualquier n umero natural, y dena el tiempo aleatorio = nf {t 0 : X1 (t) = n}. Demuestre que X2 ( ) tiene distribuci on binomial negativa, es decir, para k = 0, 1, . . . P (X2 ( ) = k ) = n+k1 k 1 1 + 2
k
2 1 + 2
91. Sea {Xt } un proceso de Poisson de par ametro , y sea a > 0 una constante. Demuestre que {Xat } es un proceso de Poisson de par ametro a. 92. Sea {Xt } un proceso de Poisson de par ametro . Demuestre que, condicionado a que el proceso tiene exactamente un salto en el intervalo [s, s+t], el momento en el que ese salto ocurre se distribuye de manera uniforme en dicho intervalo. 93. Sea {Xt } un proceso de Poisson de par ametro . Suponga que cada evento registrado es de tipo 1 con probabilidad , o de tipo 2 con probabilidad 1 . Sea X1 (t) el n umero de eventos del tipo 1 al tiempo t, y sea X2 (t) lo correspondiente a eventos del tipo 2. a) Demuestre que {X1 (t)} y {X2 (t)} son procesos de Poisson de par ametro y (1 ) respectivamente.
b) Demuestre que {X1 (t)} y {X2 (t)} son independientes.
94. Suponga que los mensajes llegan a una cierta cuenta de correo electr onico de acuerdo a un proceso de Poisson de par ametro . Cada mensaje recibido es de tipo basura con probabilidad y no basura con probabilidad 1 . a) Dado que hasta el tiempo t ha llegado n mensajes, encuentre la distribuci on del n umero de mensajes tipo basura que hasta ese momento han llegado. b) Suponiendo que se recibe un mensaje tipo basura en alg un momento, encuentre la distribuci on del n umero total de mensajes recibidos hasta la llegada del siguiente mensaje tipo basura.
120
4.4. Proceso de Poisson compuesto c) Encuentre la probabilidad de que al tiempo t hayan llegado mas mensajes tipo basura que no basura.
95. Sean T1 , T2 , . . . los tiempos de interarribo de un proceso de Poisson de par ametro , y sea c una constante positiva. Dena N = m n {n 1 : Tn > c}. Calcule E (WN 1 + c). Distribuciones asociadas al proceso de Poisson 96. Sea t0 un tiempo positivo jo y suponga que hasta ese momento se ha observado un solo evento de un proceso de Poisson, es decir, Xt0 = 1. La pregunta es cu ando ocurri o tal evento? Demuestre que la distribuci on condicional del momento en el que se ha registrado el evento, es decir T1 , es uniforme en el intervalo [0, t0 ]. 97. Sea {Xt } un proceso Poisson de tasa y sean dos tiempos 0 < s < t. Dena la variable X(s,t] como el n umero de eventos del proceso de Poisson que ocurren en el intervalo (s, t]. Demuestre que, condicionada a la ocurrencia del evento on binomial(n, 1 s/t). (Xt = n), la variable X(s,t] tiene distribuci 98. Sea {Xt } un proceso de Poisson de par ametro . Suponga que para un tiempo jo t > 0 se observa el evento (Xt = n), con n 1. a ) Demuestre que la funci on de densidad del momento en el que ocurre el k - esimo evento (1 k n), condicionada al evento (Xt = n), es la siguiente: para s (0, t), fWk | Xt (s | n) = n k k t s t
k 1
s t
nk
b ) Demuestre que la funci on de densidad condicional del cociente Wk /t, dado el evento (Xt = n), es la densidad beta(k, n k + 1). c ) Encuentre nuevamente la funci on de densidad gamma(k, ) de la variable Wk efectuando la siguiente suma
n=k
fWk | Xt (s | n) P (Xt = n).
Cap tulo 4. El proceso de Poisson Proceso de Poisson no homog eneo
121
99. Sea {Xt } un proceso Poisson no homog eneo de intensidad (t), sean T1 , T2 , . . . los tiempos de interarribo, y sean W1 , W2 , . . . los tiempos reales de ocurrencia. Demuestre que para cualquier t > 0, a) fT1 (t) = e(t) (t). b)fT2 |T1 (t|s) = e(t+s)+(s) (t + s). c) fT2 (t) =
0
e(t+s) (t + s) (s) ds. [(t)]n1 (t). (n 1)!
d) fWn (t) = e(t)
e) FTk |Wk1 (t|s) = 1 e(t+s)+(s) . f) FTk (t) = 1
e(t+s)
[(s)]k2 (s) ds, k 2. (k 2)!
Proceso de Poisson compuesto 100. Suponga que los sumandos Y de un proceso de Poisson compuesto {Xt } de par ametro tienen distribuci on exp(). Encuentre la distribuci on de la variable Xt . 101. Sea {Xt } un proceso de Poisson compuesto de par ametro . Suponga que cada una de las variables Y de este proceso es constante igual a k N. Encuentre la distribuci on de Xt . 102. Suponga que los usuarios de cuentas de correo electr onico solicitan acceso al servidor de acuerdo a un proceso de Poisson homog eneo de par ametro . Suponga adem as que cada usuario se mantiene conectado al servidor un tiempo aleatorio con funci on de distribuci on F (x), e independiente uno del otro. Sea Ct el n umero de usuarios conectados al servidor tiempo al t, y dena t la funci on (t) = 0 (1 F (x)) dx. Demuestre que para k = 0, 1, . . . P (Ct = k ) = [(t)]k (t) e . k!
Cap tulo 5
Cadenas de Markov a tiempo continuo
Vamos a considerar ahora cadenas de Markov {Xt : t 0} en donde el tiempo es continuo y las variables toman valores enteros. Varios de los conceptos que mencionaremos para este tipo de procesos son an alogos al caso de tiempo discreto, pero existen diferencias en el comportamiento y desarrollo matem atico entre los dos modelos, y no pretendemos presentar y justicar la teor a completa. Usando la misma notaci on que en el caso de tiempos discretos, recordemos que el t ermino p(xt ) signica P (Xt = xt ). La propiedad de Markov que consideraremos tiene la siguiente forma: Para cualesquiera tiempos 0 t1 < t2 < < tn , p(xtn | xt1 , . . . , xtn1 ) = p(xtn | xtn1 ). Observe que no estamos suponiendo que se conoce la historia del proceso en todo el pasado a tiempo continuo, sino u nicamente en una colecci on arbitraria pero nita de tiempos pasados t1 , . . . , tn1 . Supondremos nuevamente que estas probabilidades de transici on son estacionarias en el tiempo, esto signica que para cada s 0 y t 0, la probabilidad P (Xt+s = j | Xs = i) es id entica a P (Xt = j | X0 = i), es decir, no hay dependencia del valor de s. Esta probabilidad se escribe de manera breve mediante la expresi on pij (t), para i y j enteros no negativos. En particular para t = 0 se dene nuevamente pij (0) como la funci on delta de Kronecker, es decir, pij (0) = ij = 1 0 si i = j, si i = j.
123
124
5.1. Procesos de saltos
Haciendo variar los ndices i y j en el espacio de estados, se obtiene la matriz de probabilidades de transici on al tiempo t: p00 (t) p01 (t) Pt = p10 (t) p11 (t) . . . . . . . Plantearemos a continuaci on el modelo general de cadena de Markov a tiempo continuo, estudiaremos algunas de sus propiedades, y despu es revisaremos algunos modelos particulares.
5.1.
Procesos de saltos
Considere un proceso a tiemXt ( ) po continuo {Xt : t 0} que i4 inicia en el estado i1 al tiempo i2 cero. El proceso permanece en ese estado un tiempo aleatorio i1 es salta a un nuevo Ti1 , y despu i3 estado i2 distinto del anterior. El sistema permanece ahora en t el estado i2 un tiempo aleatoTi1 Ti2 Ti3 Ti4 rio Ti2 al cabo del cual brinca a otro estado i3 distinto del inFigura 5.1: mediato anterior, y as sucesivamente. Esta sucesi on de saltos se muestra gr acamente en la Figura 5.1. Los tiempos aleatorios T son los tiempos en los que el proceso permanece constante en alguno de sus estados, y se llaman tiempos de estancia (passage times). Los momentos en donde el proceso tiene saltos son los tiempos Wn = Ti1 + + Tin , para n 1. El proceso puede entonces escribirse de la forma siguiente: i1 si 0 t < W1 , i2 si W1 t < W2 , Xt = i3 si W2 t < W3 , . . .
Cap tulo 5. Cadenas de Markov a tiempo continuo
125
Un proceso de estas caracter sticas se llama proceso de saltos, y parece ser una buena versi on continua de las cadenas de Markov a tiempo discreto. Sin embargo puede comprobarse que un proceso con estas caracter sticas pudiera no estar denido para todo t 0, y tampoco hay garant a de que se cumpla la propiedad de Markov. A n de evitar situaciones demasiado complicadas, los procesos de saltos que consideraremos estar an restringidos por las siguientes condiciones: No explosi on. Puede suceder que los tiempos de estancia T sean cada vez m as peque nos de tal forma que l mn Wn < , es decir, existe la posibilidad de que el proceso efect ue un n umero innito de saltos durante un intervalo de tiempo acotado. En tal situaci on el proceso no estar a bien denido para todo t 0, y se dice que el proceso explota en un tiempo nito. Para evitar tal comportamiento supondremos que l mn Wn = , y por lo tanto, para cada t 0, el valor de Xt es nito. Probabilidades de transici on. Supondremos que el espacio de estados es {0, 1, . . .} y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti , la cual supondremos positiva con funci on de distribuci on Fi (t). Como en el caso de cadenas a tiempos discreto, se denotar a por pij a la probabilidad de que la cadena salte del estado i al estado j . Adicionalmente impondremos la condici on pii = 0, y con ello se inhibe, por ahora, que la cadena salte al mismo estado de partida. Las probabilidades de transici on cumplen entonces las siguientes condiciones: a) pij 0. b) pii = 0. c)
j
pij = 1.
Independencia. Supondremos que los tiempos de estancia Ti1 , Ti2 , . . . son independientes entre s , y tambi en son independientes del mecanismo mediante el cual se escoge el estado j al cual la cadena brinca despu es de estar en cualquier otro estado i. Estados absorbentes o no absorbentes. Supondremos que cada variable Ti es nita con probabilidad uno, o bien es innita con probabilidad uno. En el primer caso se dice que el estado i es no absorbente, y en el segundo caso que es absorbente. El hecho de que Ti = se interpreta en el sentido de que el proceso deja de saltar y permanece en el estado i el resto del tiempo, es decir, es absorbente. Estamos entonces suponiendo que s olo hay dos tipos de estados: absorbentes o no
126
5.1. Procesos de saltos
absorbentes, en otras palabras, con probabilidad uno el tiempo de estancia es nito o con probabilidad uno es innito. Propiedad de Markov. Puede demostrarse que el proceso de saltos descrito arriba satisface la propiedad de Markov si, y s olo si, los tiempos de estancia de estados no absorbentes tienen distribuci on exponencial. Este es un resultado importante cuya demostraci on omitiremos y que simplica el modelo general planteado. Supondremos entonces que el tiempo de estancia en un estado no absorbente i tiene distribuci on exp(i ), con i > 0, es decir, Fi (t) = 1 ei t , para t 0. Cuando Ti = puede considerarse que i = 0. Denici on. A un proceso de saltos con las caracter sticas arriba se naladas se le llama cadena de Markov a tiempo continuo. Observe que un proceso de Markov a tiempo continuo queda completamente especicado por los siguientes tres elementos: una distribuci on de probabilidad inicial, los par ametros i , y las probabilidades pij . Ejemplo: Cadena de primera ocurrencia. Sea Xt el estado de un sistema tal que en cualquier instante se encuentra en alguno de los dos posibles estados: 0 y 1. Suponga que X0 = 0 y que el proceso cambia al estado 1 despu es de un tiempo aleatorio con distribuci on exp(), y permanece all el resto del tiempo. Una posible trayectoria de este proceso se muestra en la Figura 5.2(a). Este proceso modela la situaci on de espera para la primera ocurrencia de un evento de inter es. Las probabilidades de transici on son Pt =
p00 (t) p10 (t) p01 (t) p11 (t)
et 0
1 et 1
Ejemplo: Cadena de dos estados. Considere el proceso Xt con dos posibles estados: 0 y 1, denido por la siguiente din amica: Cuando el proceso entra al estado 0 permanece en el un tiempo exp(), y luego va al estado 1, entonces permanece en el estado 1 un tiempo exp() y despu es regresa a 0, y as sucesivamente. Se postula que los tiempos de estancia en cada estado son variables aleatorias independientes. Una trayectoria de este proceso se muestra en la Figura 5.2(b). Puede demostrarse
127
Xt ( ) 1 t (a) 1
Xt ( )
t ( b)
Figura 5.2: que las probabilidades de transici on son Pt =

p00 (t) p10 (t) p01 (t) p11 (t)
1 +
1 +
e(+)t .
Ejemplo. El proceso de Poisson es una cadena de Markov a tiempo continuo que empieza en cero, los tiempos de estancia son exponenciales de par ametro , y las probabilidades de transici on de un estado a otro son pi,i+1 = 1.
5.2.
Propiedades generales
Mencionaremos ahora algunos conceptos y propiedades generales de procesos de Markov a tiempo continuo. Varios de estos resultados son similares a los desarrollados antes para el caso de tiempos discretos. Cadena a tiempo discreto asociada. Toda cadena de Markov a tiempo continuo {Xt : t 0} tiene asociada una cadena a tiempo discreto que denotaremos por el mismo s mbolo {Xn : n = 0, 1, . . .}, y que est a dada por la primera pero observada en los tiempos en donde se efect uan los saltos. Algunas caracter sticas de la cadena a tiempo discreto se trasladan a su versi on continua. Inversamente, a partir de una cadena a tiempo discreto puede construirse su versi on continua en el tiempo tomando tiempos exponenciales independientes entre salto y salto.
128
5.2. Propiedades generales
Probabilidades de transici on. Para una cadena de Markov a tiempo continuo las probabilidades de transici on son los n umeros pij (t) = P (Xt = j | X0 = i), para cualesquiera estados i y j , y para cualquier tiempo t 0. Cuando el espacio de estados es nito, los elementos de cada rengl on de esta matriz suman uno, pero para espacios de estados innito esta suma puede ser estrictamente menor a uno, es decir, en general, j pij (t) 1. Esta es una diferencia inesperada respecto del modelo a tiempo discreto. Intentar encontrar pij (t) para cada par de estados i y j , y para cada t 0, es un problema demasiado general, y s olo en algunos casos es posible encontrar expl citamente tales probabilidades. El siguiente resultado nos permitir a obtener algunas conclusiones generales acerca de pij (t). Proposici on. Sean i y j dos estados. Para cualquier t 0, pij (t) = ij ei t + i ei t
0 t
ei s (
k =i
pik pkj (s) ) ds.
(5.1)
Demostraci on. Si i es un estado absorbente, i.e. i = 0, entonces la f ormula se reduce a pij (t) = ij , lo cual es correcto. Si i es un estado no absorbente, entonces pij (t) = = = = P (Xt = j | X0 = i)
t
P (Xt = j, Ti > t | X0 = i) + P (Xt = j, Ti t | X0 = i) ij ei t +

0 t
fXt ,Ti | X0 (j, u | i) du fXt ,Xu ,Ti | X0 (j, k, u | i) du,
ij ei t +
0 k =i
en donde por la propiedad de Markov y la independencia, fXt ,Xu ,Ti | X0 (j, k, u | i) = Por lo tanto, pij (t) = ij ei t +
0 t
fXt | Xu ,Ti ,X0 (j | k, u, i) fXu | Ti ,X0 (k | u, i) fTi | X0 (u | i) pkj (t u) pik i ei u . i ei u (

k =i
pik pkj (t u) ) du.
Cap tulo 5. Cadenas de Markov a tiempo continuo Haciendo el cambio de variable s(u) = tu en la integral se obtiene el resultado.
129
Las probabilidades de transici on satisfacen tambi en una versi on continua de la ecuaci on de Chapman-Kolmogorov, y que en este caso se conoce como la propiedad de semigrupo. Proposici on. (Ecuaci on de Chapman-Kolmogorov). Para cualquiera estados i y j , y para todo t 0 y s 0, pij (t + s) =
k
pik (t) pkj (s).
En notaci on matricial, Pt+s = Pt Ps .
Demostraci on. Por la propiedad de Markov, pij (t + s) = =

k
P (Xt+s = j | X0 = i) P (Xt+s = j, Xt = k | X0 = i) P (Xt+s = j | Xt = k ) P (Xt = k | X0 = i) pik (t) pkj (s).

k
=
k
La colecci on {Pt : t 0} constituye un semigrupo de matrices estoc asticas, esto quiere decir que cumple las siguientes propiedades: a) P0 = I , en donde I es la matriz identidad. b) Pt es una matriz estoc astica. c) Pt+s = Pt Ps , para cualesquiera t, s 0. La ecuaci on de Chapman-Kolmogorov es interesante pues permite expresar a la probabilidad pij (t), para cualquier tiempo t > 0, en t erminos de probabilidades
130
innitesimales, es decir, probabilidades de transici on en intervalos de tiempo de longitud muy peque na. Por ejemplo, para cualquier n natural, tomando t = t/n, pij (t) =
k1 ,...,kn1
pi,k1 (t) pk1 ,k2 (t) pkn1 ,j (t).
Esto quiere decir que es suciente conocer el comportamiento de pij (t) en tiempos t peque nos para conocer su comportamiento para cualquier t > 0. Especicaremos con detalle este resultado m as adelante. Par ametros innitesimales. De la f ormula (5.1) es inmediato observar que las probabilidades pij (t) son funciones continuas en t, y en particular el integrando en (5.1) es una funci on continua. Esto implica que la integral es diferenciable y por lo tanto tambi en pij (t). Derivando entonces (5.1) se obtiene el siguiente resultado conocido como el sistema de ecuaciones hacia atr as de Kolmogorov. Proposici on. Para cualquier t > 0, p ij (t) = i pij (t) + i pik pkj (t).
k =i
(5.2)
Observe que en particular la derivada p on continua del tiempo. ij (t) es una funci Tomando ahora el l mite cuando t 0, se tiene que p ij (0) = = = i ij + i i i pij pik kj
k =i
i ij + i pij
si i = j, si i = j.
Denici on. A las cantidades p ij (0) se les denota por gij , y se les conoce con el nombre de par ametros innitesimales del proceso. Es decir, estos par ametros son i si i = j, gij = (5.3) i pij si i = j.
131
Variando los ndices i y j , estos nuevos par ametros se escriben en notaci on matricial de la forma siguiente:
0 1 p10 2 p20 . . . 0 p01 1 2 p21 . . . 0 p02 1 p12 2 . . .
G=
(5.4)
Esta matriz determina de manera u nica el comportamiento de la cadena de Markov a tiempo continuo, y es el concepto equivalente a la matriz de probabilidades de transici on en un paso para cadenas a tiempo discreto. Se trata de una matriz con las siguientes propiedades: a) gii 0. b) gij 0, si i = j . c)
j
gij = 0.
Observe que gii = 0 cuando el estado i es absorbente, es decir, cuando i = 0. Cuando i > 0 la u ltima propiedad se obtiene a partir del hecho de que pii = 0 pues gij = i + i pij = i + i (1 pii ) = 0.
j j =i
Proposici on. Los par ametros innitesimales determinan de manera u nica a la cadena de Markov a tiempo continuo. Este resultado es consecuencia de (5.3) pues a partir de gij se obtiene i pij = = gii , 0 gij /gii si i = j, si i = j.
(5.5)
Probabilidades innitesimales. Un proceso de Markov a tiempo continuo puede ser tambi en denido a partir del comportamiento de las probabilidades de transici on pij (t) cuando t 0. Tales probabilidades se llaman a veces probabilidades
132
innitesimales, y pueden expresarse en t erminos de los par ametros innitesimales como establece el siguiente resultado y del cual omitiremos su demostraci on. Proposici on. Cuando t 0, 1. pii (t) = 1 + gii t + o(t). 2. pij (t) = gij t + o(t), para i = j .
Ecuaciones de Kolmogorov. En t erminos de los par ametros innitesimales, la ecuaci on (5.2) puede escribirse en la forma p ij (t) =
k
gik pkj (t).
(5.6)
En t erminos de matrices esta igualdad se escribe como P (t) = G P (t), es decir,
p00 (t) p10 (t) . . .
p01 (t) p11 (t) . . .
0 = 1 p10 . . .
0 p01 1 . . .
p00 (t) p10 (t) . . .
p01 (t) p11 (t) . . .
Como hemos mencionado antes, este sistema de ecuaciones se conoce como las ecuaciones hacia atr as de Kolmogorov. Comunicaci on. Se dice que el estado j es accesible desde el estado i si pij (t) > 0 para alg un t 0, y se escribe i j . Se dice que los estados i y j se comunican si i j y j i, y en tal caso se escribe i j . Nuevamente puede demostrarse que la comunicaci on es una relaci on de equivalencia, y eso lleva a una partici on del espacio de estados en clases de comunicaci on. Se dice que la cadena es irreducible cuando todos los estados pertenecen a la misma clase de comunicaci on. Tiempos de primera visita. Para cualesquiera estados i y j , se dene Tij = nf {t > W1 : Xt = j }, cuando X0 = i.
El tiempo medio de primera visita es entonces ij = E (Tij ). Cuando los estados i y j coinciden se escribe Ti , y i = E (Ti ) respectivamente. A i se le llama tiempo medio de recurrencia.
133
Recurrencia y transitoriedad. Se dice que el estado i es transitorio si, partiendo de i, con probabilidad uno el conjunto de tiempos {t 0 : Xt = i} es acotado. En cambio, se dice que es recurrente si, partiendo de i, con probabilidad uno el conjunto {t 0 : Xt = i} es no acotado. Cuando E (Ti ) = se dice que el estado i es recurrente nulo, y cuando E (Ti ) < se dice que es recurrente positivo. Distribuciones estacionarias. Una distribuci on de probabilidad = {0 , 1 , . . .} sobre el espacio de estados {0, 1, . . .} es estacionaria para la cadena con matriz de probabilidades de transici on Pt si para cualquier t 0, i i pij (t) = j . En notaci on matricial, Pt = . Si X0 tiene como distribuci on inicial una distribuci on estacionaria , entonces P (Xt = j ) = i i pij (t) = j , es decir, la variable Xt tiene la misma distribuci on de probabilidad para cualquier valor de t.
5.3.
Procesos de nacimiento y muerte
en donde 0 , 1 , . . . y 1 , 2 , . . . son constantes positivas conocidas como las tasas instant aneas de nacimiento y muerte, respectivamente. De acuerdo a las ecuaciones (5.5), el tiempo de estancia en el estado i tiene distribuci on exp(i + i ), en donde se dene 0 = 0. Siguiendo la f ormula general del generador innitesimal (5.4) para un proceso de saltos, tenemos que la matriz de par ametros innitesimales de este proceso es de la siguiente forma
0
Un proceso de nacimiento y muerte es una cadena de Markov a tiempo continuo con espacio de estados {0, 1, . . .} tal que en cada salto la cadena u nicamente puede brincar una unidad hacia arriba o una unidad hacia abajo. Un salto hacia arriba se interpreta como un nacimiento, mientras que un salto hacia abajo representa una muerte. Estas probabilidades de saltos de un estado a otro son i si j = i + 1, + i i i pij = si j = i 1, i + i 0 otro caso,
1 G= 0
. . .
0 (1 + 1 ) 2 . . .
0 1 (2 + 2 ) . . .
0 0 2
134
5.3. Procesos de nacimiento y muerte
Una posible trayectoria de este proceso se muestra en la Figura 5.3 con X0 = 0, los saltos son unitarios, hacia arriba o hacia abajo. La variable Xt puede interpretarse como el n umero de individuos en una poblaci on al tiempo t, en donde pueden presentarse nacimientos y muertes de individuos. Como 0 > 0 y 0 = 0, la poblaci on puede crecer cuando se encuentre en el estado cero, pero nunca decrecer por abajo de ese nivel.
Xt ( )
3 2 1
t
Figura 5.3:
Se pueden tomar las siguientes probabilidades innitesimales como postulados para denir a este proceso. Para cualquier t 0, y cuando h 0, a) P (Xt+h Xt = 1 | Xt = k ) = k h + o(h). b) P (Xt+h Xt = 1 | Xt = k ) = k h + o(h). c) P (Xt+h Xt = 0 | Xt = k ) = 1 (k + k ) h + o(h). Para cualquier t 0 y h > 0 peque no consideremos el intervalo [0, t + h] visto como [0, h] + (h, t + h]. Haciendo un an alisis sobre estos intervalos puede encontrarse nuevamente que las probabilidades pij (t) satisfacen el sistema de ecuaciones diferenciales hacia atr as de Kolmogorov: p 0j (t) p ij (t) = = 0 p0j (t) + 0 p1j (t), i pi1,j (t) (i + i ) pij (t) + i pi+1,j (t).
De manera an aloga, considerando [0, t + h] = [0, t] + (t, t + h], es posible comprobar que se cumple el sistema de ecuaciones diferenciales hacia adelante de Kolmogorov: p i0 (t) = p ij (t) = 0 pi0 (t) + 1 pi1 (t), j 1 pi,j 1 (t) (j + j ) pij (t) + j +1 pi,j +1 (t).
Ejemplo. Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instant aneas de muerte 0 , 1 , . . . son cero, y las tasas instant aneas de nacimiento 0 , 1 , . . . son todas ellas iguales a una constante > 0. La matriz de par ametros innitesimales es entonces de la forma
135
0 G= 0 . . .
0 . . .
0 . . .
0 0
Ejemplo. Las ecuaciones hacia adelante de Kolmogorov del proceso de Poisson son p 0 (t) = p n (t) = p0 (t).
pn1 (t) pn (t),
para n 1,
en donde pn (t) = p0n (t). Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene distribuci on Poisson(t). Usando la condici on inicial p0 (0) = 1, la primera ecuaci on tiene soluci on p0 (t) = et . Deniendo qn (t) = et pn (t), la se gunda ecuaci on se transforma en qn (t) = qn1 (t), con condiciones qn (0) = 0n y q0 (t) = 1. Esta nueva ecuaci on se resuelve iterativamente, primero para q1 (t), despu es para q2 (t), y as sucesivamente. En general, qn (t) = (t)n /n! para n 0. De aqu se obtiene pn (t) = et (t)n /n! Ejemplo. Esta es otra derivaci on mas de la distribuci on Poisson en el proceso de Poisson, ahora usando las ecuaciones hacia adelante de Kolmogorov y la funci on generadora de probabilidad. La variable aleatoria Xt puede tomar los valores 0, 1, . . . de modo que su funci on generadora de probabilidad es GXt (u) = E (uXt ) =
n=0
pn (t) un ,
para valores reales de u tales que |u| < 1, y en donde pn (t) = P (Xt = n). Consideraremos a esta funci on tambi en como funci on del tiempo t y por comodidad en los siguientes c alculos la llamaremos G(t, u). Derivando respecto de t, para el mismo radio de convergencia |u| < 1, y usando las ecuaciones hacia adelante de
136
5.3. Procesos de nacimiento y muerte
Kolmogorov para el proceso de Poisson se tiene que G (t, u) = = = =

n=0 n p n (t) u
n=0
(pn1 (t) pn (t))un
uG(t, u) G(t, u) (u 1)G(u),
de donde se obtiene la ecuaci on diferencial G /G = (u 1). Integrando de 0 a t y usando la condici on G(0, u) = 1 se llega a G(t, u) = G(0, u) e(u1)t = et etu =
n=0
et
(t)n n u . n!
Esta es la funci on generadora de probabilidad de la distribuci on Poisson(t). Por la propiedad de unicidad se obtiene que la variable Xt tiene distribuci on Poisson(t).
137
5.4.
Proceso de nacimiento puro

0 0 0 0 Cuando en un proceso de na 0 1 1 0 cimiento y muerte los par ameG= 0 0 2 2 tros 0 , 1 , . . . son todos ce. . . . . . ro, se obtiene un proceso de . . . nacimiento puro. La matriz de par ametros innitesimales Xt ( ) tiene la forma que se muestra en la Figura 5.4, en don3 de, como antes, los par ame2 tros 0 , 1 , . . . se conocen como las tasas instant aneas de 1 nacimiento. En la Figura 5.4 se muestra una trayectoria de t este proceso cuando inicia en exp(0 ) exp(1 ) exp(2 ) exp(3 ) el estado cero. Por construcci on, el tiempo de estancia en Figura 5.4: el estado i tiene distribuci on exponencial con par ametro i . Las probabilidades de saltos son evidentemente pij = 1 cuando j = i + 1, y cero en caso contrario. Puede demostrarse que los incrementos de un proceso de nacimiento puro son independientes pero no son necesariamente estacionarios.
Un proceso de nacimiento puro puede tambi en denirse mediante las siguientes probabilidades innitesimales: Cuando h 0, a) P (Xt+h Xt = 1 | Xt = k ) = k h + o(h). b) P (Xt+h Xt = 0 | Xt = k ) = 1 k h + o(h). En general no es f acil encontrar una f ormula para las probabilidades de transici on pij (t), sin embargo cuando el estado inicial es el cero se conoce la siguiente f ormula recursiva.
138
5.4. Proceso de nacimiento puro
Proposici on. Para cualquier t 0 y cualquier entero n 1,

t
p0n (t) = n1 en t
en s p0,n1 (s) ds.
(5.7)
Demostraci on. El sistema de ecuaciones diferenciales hacia adelante de Kolmogorov para este proceso es p ij (t) = j 1 pi,j 1 (t) j pij (t). En particular, partiendo de cero, p00 (t) = p0n (t) =

0 p00 (t),
n1 p0,n1 (t) n p0n (t),
n 1,
con las condiciones de frontera p00 (0) = 1 y p0n (0) = 0, para n 1. La primera ecuaci on tiene soluci on p00 (t) = e0 t , mientras que para el caso n 1, multiplicando por el factor integrante en t y resolviendo se obtiene la f ormula enunciada. De manera an aloga puede denirse un proceso de muerte como un proceso de nacimiento y muerte en donde los par ametros de nacimiento 0 , 1 , . . . son todos cero. El proceso puede iniciar con una poblaci on de tama no k 1, y presentar fallecimientos sucesivos hasta una posible extinci on completa de la poblaci on. El proceso de Yule. Este es un tipo particular de proceso de nacimiento puro, y para el cual es posible encontrar expl citamente las probabilidades de transici on. Este proceso puede denirse a trav es de los siguientes postulados: a. El estado inicial es X0 = k 1. b. Si Xt = n, entonces cada uno de estos elementos puede dar nacimiento a un nuevo elemento durante un periodo de longitud innitesimal h > 0 con probabilidad h + o(h), en donde > 0, es decir, P (Xt+h Xt = 1 | Xt = n) = = n [ h + o(h)] [1 h + o(h)]n1 1 nh + o(h).
139
Es decir, las tasas instant aneas de nacimiento son n = n, que crecen de manera lineal conforme la poblaci on crece. El tiempo de estancia en el estado n tiene distribuci on exp(n), en consecuencia el tiempo medio de estancia en ese estado es 1/(n), cada vez menor conforme n crece. El sistema de ecuaciones hacia adelante para pkn (t), con n k , se reduce a p kk (t) = p kn (t) = k pkk (t), (n 1) pk,n1 (t) n pkn (t),
t
n k + 1.
La f ormula recursiva (5.7) es, para n k + 1, pkn (t) = (n 1) ent

0
ens pk,n1 (s) ds.
(5.8)
Demostraremos a continuaci on que el incremento Xt X0 tiene distribuci on binomial negativa de par ametros (r, p), con r = k y p = et . n 1 kt e (1 et )nk , para n k . nk
Proposici o n.
pkn (t) =
Demostraci on. Usaremos inducci on sobre n. Para n = k se tiene la ecuaci on diferencial p ( t ) = k p ( t ), con condici o n inicial p (0) = 1. Esto produce la kk kk kk soluci on pkk (t) = ekt , que es de la forma enunciada. Para valores de n k + 1
140
usaremos la f ormula recursiva (5.8), pkn (t) = = = = = = = (n 1) ent

t 0
ens
n2 (n 1) ent n1k (n 1) (n 1)
n2 eks (1 es )n1k ds n1k

t 0 t 0 t 0
(es )(nk) (1 es )n1k ds (1 es )1 (es 1)nk ds es (es 1)n1k ds
t d s n2 1 (e 1)nk ds (n 1) ent ( n k ) ds n1k 0 n1 n2 ent (et 1)nk nk n1k n 1 kt e (1 et )nk . k1
n2 ent n1k
n2 ent n1k
Notas y referencias. Una exposici on m as completa del tema de cadenas de Markov a tiempo continuo puede encontrarse en Basu [1], Karlin y Taylor [19], o Stirzaker [36].
141
Ejercicios
Ecuaciones de Kolmogorov 103. Sea {Nt } un proceso de Poisson de par ametro y sean Y1 , Y2 , . . . v.a.i.i.d. con distribuci on com un Bernoulli(p). Encuentre las ecuaciones de Kolmogorov hacia atr as y hacia adelante del proceso
Nt
Xt =
j =1
Yj .
Resuelva cualquiera de estos sistemas de ecuaciones y demuestre que para j i, (pt)j i pij (t) = ept . (j i)! Procesos de nacimiento y muerte 104. Para la cadena de Markov a tiempo continuo de dos estados en donde la estancia en el estado 0 tiene distribuci on exp(), y la estancia en el estado 1 es exp(), demuestre que a) p00 (t) = b) p01 (t) = c) p10 (t) = d) p11 (t) =
1 + 1 + 1 + 1 +
( + e(+)t ). ( e(+)t ). ( e(+)t ). ( + e(+)t ).
105. Considere una cadena de Markov a tiempo continuo de dos estados en donde el tiempo de estancia en cada uno de ellos tiene distribuci on exp(). Dena Nt como el n umero de veces que la cadena de Markov ha efectuado saltos hasta un tiempo t 0 cualquiera. Demuestre que {Nt } es un proceso de Poisson de par ametro .
142
Procesos de nacimiento puro 106. Sea {Xt } un proceso de Yule con estado inicial X0 = k 1. Demuestre que a) E (Xt ) = k et . b) Var(Xt ) = k e2t (1 et ).
Cap tulo 6
Procesos de renovaci on y conabilidad
En este cap tulo se presenta otra generalizaci on del proceso de Poisson. Se considera ahora que los tiempos de interarribo no son necesariamente exponenciales. A tales procesos de saltos unitarios se les conoce como procesos de renovaci on, y en general dejan de cumplir la propiedad de Markov. Adem as de estudiar algunas propiedades generales de los procesos de renovaci on, estudiaremos tambi en el concepto de conabilidad para sistemas conformados por varios componentes los cuales son susceptibles de sufrir fallas en tiempos aleatorios.
6.1.
Procesos de renovaci on
Suponga que se pone en operaci on T1 T2 T3 T4 un cierto componente o art culo cuya duraci on de vida u til se modela me diante una variable aleatoria T1 . Una 0 vez que el componente falla, se reemFigura 6.1: plaza o renueva con otro componente cuyo tiempo de vida es T2 , y as sucesivamente. La colecci on de variables aleatorias T1 , T2 , . . . representa la sucesi on de tiempos de vida de componentes puestos en operaci on uno tras otro. Esto se ilustra en la Figura 6.1. 143
144
n 6.1. Procesos de renovacio
En este contexto es natural suponer que las variables que modelan los tiempos de vida son no negativas, independientes y con la misma distribuci on de probabilidad. Un proceso de estas caracter sticas se conoce con el nombre de proceso de renovaci on. Observe que exactamente en los tiempos en los que se efect uan las renovaciones, el proceso reinicia probabil sticamente. Empezaremos por dar un primera denici on formal de un proceso de renovaci on basada en lo reci en mencionado. Denici on. Un proceso de renovaci on es una sucesi on innita de variables aleatorias T1 , T2 , . . . que son no negativas, independientes e id enticamente distribuidas. Otra forma equivalente de denir a este proceso es a trav es del registro de los tiempos reales en los que se observan las renovaciones, o bien a trav es del conteo de renovaciones observadas hasta un tiempo cualquiera. Estos puntos de vista alternativos se denen a continuaci on. Denici on. Dado un proceso de renovaci on {T1 , T2 , . . .}, se denen los tiempos reales de renovaci on como W0 = 0 y Wn = T1 + + Tn , para n 1. El proceso de conteo de renovaciones es Nt = m ax {n 0 : Wn t}, para cada t 0.
La variable aleatoria Wn representa el tiempo real en el que se realiza la n- esima renovaci on, mientras que Nt indica el n umero de renovaciones realizadas hasta el tiempo t. En la literatura se le denomina proceso de renovaci on a cualquiera de los procesos {Tn : n = 1, 2, . . .}, {Wn : n = 0, 1, . . .}, o {Nt : t 0}, pues por construcci on existe una correspondencia biun voca entre cualesquiera dos de estos tres procesos. Denotaremos por F (t) a la funci on de distribuci on de los tiempos de vida. Por lo tanto, la funci on de distribuci on de Wn es la convoluci on de F (t) consigo misma n veces, es decir, FWn (t) = P (T1 + + Tn t) = F n (t) = (F F )(t). En particular, cuando n = 0 se dene F 0 (t) = 0 1 si t < 0, si t 0.
n y confiabilidad Cap tulo 6. Procesos de renovacio
145
Una de las primeras preguntas que uno puede hacerse acerca de un proceso de renovaci on es la de conocer la distribuci on de la variable Nt . La respuesta no es f acil de encontrar pues la distribuci on de esta variable depende de la distribuci on de los tiempos de vida como indica la siguiente f ormula. Proposici on. Para cualquier n 0, P (Nt = n) = F n (t) F (n+1) (t).
Demostraci on. Tomando en consideraci on que las variables Wn y Tn+1 son independientes, tenemos que P (Nt = n) = = = = = = = P (Wn t, Wn+1 > t) P (Wn t, Wn + Tn+1 > t) P (t Tn+1 < Wn t) FWn (t) FWn (t Tn+1 ) F n (t) F n (t)
0
FWn | Tn+1 (t u | u) dF (u) F n (t u) dF (u) (t).
F n (t) F
0 (n+1)
Por ejemplo, un proceso de Poisson homog eneo de tasa es un proceso de renovaci on en donde los tiempos de vida tienen distribuci on exp(). En consecuencia, los tiempos reales de renovaci on Wn tienen distribuci on gama(n, ), cuya funci on de distribuci on es, para t > 0,
t
FWn (t) =
0
(x)n1 ex dx = (n)
k =n
et
(t)k . k!
La segunda igualdad puede obtenerse despu es de aplicar integraci on por partes varias veces. A partir de esta expresi on puede recuperarse la distribuci on Poisson
146
n y ecuacio n de renovacio n 6.2. Funcio
pues por la proposici on anterior, P (Nt = n) = F n (t) F (n+1) (t) = et (t)n . n!
Observe la igualdad de eventos (Nt n) = (Wn t), la cual es v alida para t 0 y para cada valor entero de n 0. Esta identidad nos ser a de utilidad m as adelante.
6.2.
Funci on y ecuaci on de renovaci on
Otra de las funciones que es natural desear conocer en un proceso de renovaci on es el n umero promedio de renovaciones efectuadas hasta un tiempo t cualquiera. A tal funci on se le llama funci on de renovaci on, y se le denota por (t), es decir, (t) = E (Nt ). En general no es f acil encontrar una forma expl cita para esta funci on. Sin embargo, se cuenta con la siguiente ecuaci on integral general. Proposici on. La funci on de renovaci on (t) satisface la ecuaci on
t
(t) = F (t) +
0
(t s) dF (s).
(6.1)
Demostraci on. Condicionando sobre el valor del primer tiempo de vida T1 se ob tiene (t) = 0 E (Nt | T1 = s) dF (s), en donde E (Nt | T1 = s) = Por lo tanto
t t
0 1 + (t s)
si s > t, si s t.
(t) =
0
(1 + (t s)) dF (s) = F (t) +
(t s) dF (s).
Observe que la ecuaci on (6.1) puede escribirse como (t) = F (t) + ( F )(t). Debido a que se condiciona sobre el valor del primer tiempo de renovaci on, a la
147
t ecnica de la demostraci on de este resultado se le llama a veces an alisis del primer paso. Ejemplo. Para el proceso de Poisson, el promedio de renovaciones o saltos al tiempo t es (t) = t. Puede comprobarse directamente que esta funci on satisface (6.1) con F (t) = 1 et . A una ecuaci on integral del tipo (6.1) se le llama ecuaci on de renovaci on, pues algunas funciones de inter es en la teor a de la renovaci on la cumplen. La denici on general aparece a continuaci on. Denici on. Sean F (t), g (t) y h(t) funciones denidas para t 0. Suponga que F (t) y h(t) son conocidas, y g (t) es desconocida. Se dice que g (t) satisface una ecuaci on de renovaci on si cumple la ecuaci on integral
t
g (t) = h(t) +
0
g (t s) dF (s).
(6.2)
Puede demostrarse que si h(t) es una funci on acotada, entonces existe una u nica soluci on g (t) a la ecuaci on de renovaci on (6.2) que cumple con la condici on de ser acotada sobre intervalos nitos y est a dada expl citamente por
t
g (t) = h(t) +
0
h(t s) d(s),
(6.3)
en donde (s) es la funci on de renovaci on. La demostraci on de este resultado general puede ser encontrado en el texto de Karlin y Taylor [19]. Acerca de la funci on de renovaci on tenemos la siguiente expresi on general.
n=1
Proposici on. (t) =
F n (t), para cualquier t > 0.
148
Demostraci on. (t) =
n=0
6.3. Tiempos de vida
n P (Nt = n)
= [ F 1 (t) F 2 (t) ] + 2 [ F 2 (t) F 3 (t) ] + = F 1 (t) + F 2 (t) + =
= P (Nt = 1) + 2 P (Nt = 2) +
F n (t).
n=1
Por ejemplo, cuando los tiempos de interarribo tienen distribuci on exp() se tiene que t (x)n1 (t)k F n (t) = et ex dx = . (n) k! 0
k =n
Usando esta expresi on y la f ormula reci en demostrada puede corroborarse que en este caso (t) = t. Es posible demostrar que para un proceso de renovaci on la variable Nt tiene momentos nitos de cualquier orden, y entonces en particular la suma anterior es siempre convergente. Se puede tambi en demostrar que existe una correspondencia biun voca entre las funciones (t) y F (t), y adem as el proceso de renovaci o n { Nt } queda completamente especicado por la funci on promedio (t). La demostraci on de estos resultados pueden consultarse en [1].
6.3.
Tiempos de vida
Junto a todo proceso de renovaci on y para cada tiempo jo, pueden considerarse tres variables aleatorias no negativas, t , t y t , cuyo signicado geom etrico se muestra en la Figura 6.2, y que deniremos con mayor precisi on a continuaci on. Tiempo de vida restante. Este es el tiempo de vida u til que le resta al elemento que se encuentra en operaci on al tiempo t, y est a dado por la variable t = WNt +1 t.
149
Nt + 1 Nt Nt 1
WNt
WNt +1
Figura 6.2:
Esta longitud aleatoria se muestra en la Figura 6.2. Usando un argumento de renovaci on demostraremos que para cada x > 0 la funci on t g (t) = P (t > x) satisface una ecuaci on de renovaci on. Proposici on. La funci on g (t) = P (t > x) satisface la ecuaci on de renovaci on
t
g (t) = 1 F (t + x) +
g (t s) dF (s).
Demostraci on. Se condiciona sobre el valor de T1 . Se tienen los tres posibles casos que se muestran en la Figura 6.3.
T1 0 t T1 t+x T1
Figura 6.3: Puesto que un proceso de renovaci on puede considerarse que inicia nuevamente a
150
partir del momento en que se observa una renovaci on, se tiene que si s > t + x, 1 0 si t < s t + x, P (t > x | T1 = s) = P (ts > x) si 0 < s t. Por lo tanto g (t) =
0 t+x
P (t > x | T1 = s) dF (s)
t
dF (s) +
0
P (ts > x) dF (s)

t
= 1 F (t + x) +
g (t s) dF (s).
En particular, cuando los tiempos de vida son exponenciales de par ametro , la u nica soluci on de esta ecuaci on es la funci on constante g (t) = ex , que equivale a decir que la variable t tiene distribuci on exp(). Esta es nuevamente la propiedad de p erdida de memoria de la distribuci on exponencial. Tiempo de vida transcurrido. Este es el tiempo que ha estado en uso el elemento que se encuentra en operaci on al tiempo t, y est a dado por la variable t = t WNt . V ease nuevamente la Figura 6.2. Es claro que esta variable est a acotada superiormente por el valor t, pues el elemento en uso al tiempo t no puede tener hasta ese momento un tiempo de uso mayor a t. Sea nuevamente x > 0 y dena la funci on t g (t) = P (t > x). Por las consideraciones anteriores, tenemos que g (t) = 0 para t (0, x]. Usando un argumento de renovaci on demostraremos que la funci on g (t) satisface una ecuaci on de renovaci on. Proposici on. Para t (x, ), la funci on g (t) = P (t > x) satisface la ecuaci on de renovaci on g (t) = 1 F (t) +
tx 0
g (t s) dF (s).
151
Demostraci on. Nuevamente se condiciona sobre el valor de T1 . Los tres posibles casos se muestran en la Figura 6.4.
T1 0 tx T1 t T1
Figura 6.4: Por lo tanto, 1 0 P (t > x | T1 = s) = P (ts > x) g (t) =

0
si s t, si 0 < t x s < t, si 0 < s < t x.
Entonces
P (t > x | T1 = s) dF (s) dF (s) +

tx 0 tx 0
=
t
P (ts > x) dF (s)
= En resumen, g (t) = 0
1 F (t) +
g (t s) dF (s). si 0 < t x,
1 F (t) +
tx 0
g (t s) dF (s)
si t > x.
Considerando otra vez el caso de tiempos de vida exponencial de par ametro , puede demostrarse que el tiempo de vida transcurrido tiene funci on de distribuci on P (t x) = 1 ex 1 si 0 < x < t, si x t.
Tiempo de vida total. Este es el tiempo completo de vida u til que tiene el elemento que se encuentra en operaci on al tiempo t, y est a dado por la variable t = t + t = WNt +1 WNt = TNt +1 .
152
Nuevamente, para x > 0 se dene la funci on t g (t) = P (t > x). Demostraremos que esta funci on satisface una ecuaci on de renovaci on, en la cual aparecer a el t ermino x y , que signica m ax{x, y }. Proposici on. La funci on g (t) = P (t > x) satisface la ecuaci on de renovaci on
t
g (t) = 1 F (t x) +
g (t s) dF (s),
Demostraci on. Nuevamente condicionaremos sobre un posible valor de T1 . Los posibles casos se muestran en la Figura 6.5.
T1 0 t T1 t+x T1
Figura 6.5: El caso s (t, t + x) se debe subdividir en dos casos: s x o s > x. De este modo se obtienen los siguientes resultados 0 1 P (t > x | T1 = s) = 1 P (ts > x)
si si si si
t < s < t + x, y s x, t < s < t + x, y s > x, s t + x, 0 < s t.
El segundo y tercer rengl on se conjuntan en las condiciones t x < s < t + x o s t + x, lo cual se reduce a la condici on t x < s < . Por lo tanto, g (t) =
0
P (t > x | T1 = s) dF (s)
t
tx
dF (s) +
0
P (ts > x) dF (s)

t 0
= 1 F (t x) +
g (t s) dF (s).
153
En el caso de tiempos de interarribo exponenciales de par ametro , puede demostrarse que el tiempo de vida total tiene funci on de distribuci on P (t x) = 1 (1 + (t x)) ex 0 si x > 0, otro caso.
6.4.
Teoremas de renovaci on
En esta secci on se estudian algunos resultados sobre el comportamiento l mite de un proceso de renovaci on. Primeramente se demuestra que todo proceso de renovaci on de conteo crece a innito con probabilidad uno cuando el tiempo crece a innito. Proposici on. Para todo proceso de renovaci on, l m Nt = c.s.
t
Demostraci on. Recordemos la igualdad de eventos (Nt n) = (Wn t). Entonces para cualquier n natural, 1 = = = =
t
l m FWn (t)
l m P (Wn t) l m P (Nt n)
t
P ( l m Nt n).
Para la u ltima igualdad se ha utilizado el hecho de que la funci on t Nt es mon otona no decreciente. Como el resultado demostrado vale para cualquier valor de n natural, se tiene que P ( l m Nt = ) = 1.
t
Por lo tanto, cuando t tiende a innito el n umero de renovaciones Nt tambi en crece a innito. Por otro lado, el tiempo que le toma al proceso llegar al valor Nt es en crece a innito. El siguiente resultado establece que a largo plazo WNt y tambi habr a una renovaci on cada = E (T ) unidades de tiempo.
154
n 6.4. Teoremas de renovacio
Proposici on. Para un proceso de renovaci on Nt en donde E (T ) = , con 0 < < , se cumple WNt = , c.s. l m t Nt
Demostraci on. Para valores enteros de n, por la ley fuerte de los grandes n umeros, Wn /n casi seguramente cuando n . Ahora observe la contenci on de eventos Wn WNt ( ). ) (Nt ) ( n Nt Los dos eventos del lado izquierdo tienen probabilidad uno, por lo tanto la intersecci on tambi en, y ello implica que el lado derecho tambi en tiene probabilidad uno. El siguiente resultado establece la forma en la que Nt crece a innito. Observe que el cociente Nt /t es una variable aleatoria que cuenta el n umero de renovaciones por unidad de tiempo efectuadas hasta el tiempo t. Demostraremos a continuaci on que cuando t la aleatoriedad desaparece y el cociente se vuelve constante. Teorema elemental de renovaci on (J. L. Doob, 1948). Para un proceso de renovaci on en donde E (T ) = , con 0 < < , se cumple
t
l m
1 Nt = , c.s. t
Demostraci on. Para cualquier t > 0 se cumple WNt t < WNt +1 . Por lo tanto WNt t WNt +1 Nt + 1 < . Nt Nt Nt + 1 Nt Cuando t tiende a innito ambos extremos de estas desigualdades convergen a c.s. Por lo tanto Nt /t 1/ c.s. Ahora veremos que la esperanza de Nt /t tiene el mismo comportamiento.
155
Teorema elemental de renovaci on (W. Feller, 1941). Considere un proceso de renovaci on en donde E (T ) = , con 0 < < . Entonces
t
l m
1 (t) = . t
Demostraci on. Por la identidad de Wald, E (WNt +1 ) = E (Nt + 1) E (T ) = ((t) + 1). Despejando (t), dividiendo entre t y arreglando t erminos adecuadamente se obtiene 1 1 1 (t) = E (WNt +1 t) + . t t t Como WNt +1 > t, se tiene que E (WNt +1 t) 0. Por lo tanto l m inf
t
1 (t) . t
Ahora estimaremos el l mite superior del mismo cociente. Como WNt +1 t WNt +1 WNt = TNt +1 , se tiene que E (WNt +1 t) E (TNt +1 ) y por lo tanto (t) 1 1 + E (TNt +1 ). t t Consideremos primero el caso particular cuando las variables T son uniformemente acotadas, es decir, supongamos que existe un entero k > 0 tal que para cada n 1, P (Tn k ) = 1. Entonces E (TNt +1 ) k y por lo tanto l m sup
t
(t) 1 . t
Esto concluye la demostraci on en el caso particular mencionado. Ahora consideremos que las variables T no son necesariamente acotadas de la forma anterior. En este caso se denen los tiempos recortados
k Tn =
Tn k
si Tn k, si Tn > k.
156
n 6.4. Teoremas de renovacio
k Observe que Tn Tn cuando k . A partir de estos tiempos se considera un nuevo proceso de renovaci on Ntk con funci on de renovaci on k t . Se cumple que (t) k y por lo tanto t 1 (t) . l m sup t E (T k ) t
Ahora se hace k tender a innito. Por el teorema de convergencia mon otona, E (T k ) E (T ), y ello prueba la desigualdad faltante. El cociente (t)/t es el n umero de renovaciones promedio por unidad de tiempo. El resultado reci en demostrado establece que a largo plazo habr a en promedio 1/E (T ) renovaciones por unidad de tiempo. Por ejemplo, para el proceso Poisson, E (T ) = 1/ y (t) = t. Por lo tanto (t)/t = . Los siguientes dos resultados se enuncian sin demostraci on. Teorema de renovaci on. (D. Blackwell, 1948). Si F (t) es no aritm etica, entonces para cualquier h > 0,
t
l m (t + h) (t) =
h .
Si F (t) es aritm etica con base d, entonces para cualquier natural n, l m (t + nd) (t) = nd .
Por ejemplo, para el proceso de Poisson se tiene que (t + h) (t) = (t + h) t = h = h/(1/) = h/E (T ).
157
Teorema clave de renovaci on. (W. L. Smith, 1953). Sea A(t) la soluci on a la ecuaci on de renovaci on
t
A(t) = H (t) +
0
A(t s) dF (s),
en donde H : [0, ) R es una funci on directamente Riemann integrable. Si F (t) es no aritm etica, l m A(t) = 1
0
H (t) dt.
Si F (t) es aritm etica con base d, entonces l m A(t + nd) = d

k=0
H (t + kd).
Puede demostrarse que los teoremas de Smith y Blackwell son equivalentes, y que cualquiera de ellos implica el teorema elemental de Feller.
6.5.
Conabilidad
Suponga que T > 0 es una variable aleatoria continua que registra el tiempo de falla de un cierto componente que se encuentra en operaci on al tiempo cero. Nuevamente denotaremos por F (t) y f (t) a la funci on de distribuci on y de densidad de esta variable aleatoria. En la teor a de la conabilidad interesa conocer la probabilidad de que el componente funcione correctamente por lo menos hasta un tiempo t cualquiera, o la probabilidad de que deje de funcionar en el siguiente instante de tiempo, dado que el componente ha funcionado bien hasta un cierto momento. Es por ello que se denen las siguientes dos funciones. Denici on. La funci on de conabilidad se dene como R(t) = P (T > t), mientras que la funci on de tasa de falla es r(t) = f (t)/(1 F (t)).
158
6.5. Confiabilidad
A la funci on de conabilidad se le llama tambi en funci on de supervivencia, y a la funci on de tasa de falla se le conoce tambi en como funci on hazard, y se le llama as pues un componente que ha sobrevivido al tiempo t, fallar a en el intervalo (t, t + t] con probabilidad condicional r(t) t + o(t), en efecto, P (t < T t + t | T > t) P (t < T t + t) P (t > t) f (t) t + o(t) = 1 F (t) = r(t) t + o(t). =
Despu es de algunos c alculos sencillos es inmediato comprobar que estas dos funciones est an relacionadas de la siguiente forma. r(t) = f (t) d = ln R(t). R(t) dt
t
R(t) =
exp (
r(s) ds).
0
Adem as, el tiempo promedio de falla E (T ) puede escribirse en t erminos de la funci on R(t) como E (T ) =
0
R(t) dt.
Ejemplo. Suponga que el tiempo de falla T de un componente tiene una distribuci on exponencial de par ametro . La funci on de conabilidad es R(t) = et , y la funci on de tasa de falla es constante r(t) = . El hecho de que la funci on de tasa de falla sea constante signica que la probabilidad de falla en un intervalo de tiempo peque no t, dado que el componente se encuentra operando al tiempo t, es aproximadamente t, independiente del valor de t. Esta es otra manifestaci on de la propiedad de p erdida de memoria de la distribuci on exponencial, y es la u nica distribuci on continua con tasa de falla constante. Por otro lado, el tiempo medio de falla es E (T ) = 1/. Ejercicio. Demuestre que la funci on R(t) es decreciente, es decir, si t1 t2 , entonces R(t1 ) R(t2 ). Puede decirse algo sobre la monoton a de r(t)?
n y confiabilidad Cap tulo 6. Procesos de renovacio Conabilidad para sistemas en serie.
159
Considere un sistema de n componentes puestos en serie como se muestra C1 C2 Cn en la Figura 6.6. Supondremos que cada uno de estos componentes funciona de manera independiente uno del otro. Figura 6.6: Es intuitivamente claro que tal sistema en su conjunto funciona si todos y cada uno de los componentes se encuentra en buen estado. Nos interesa encontrar las funciones de conabilidad y de tasa de falla de este tipo de sistemas. Observe que el tiempo de falla T de un sistema de este tipo es el tiempo de falla m as peque no de cada uno de los componentes, es decir, T = m n{T1 , . . . , Tn }. Esquemas f sicos de este tipo ayudan a justicar el plantearse la pregunta de encontrar la distribuci on de probabilidad del m nimo de n variables aleatorias independientes. Ejercicio. Suponga que los tiempos de falla T1 , . . . , Tn de los componentes del sistema en serie de la Figura 6.6 son id enticamente distribuidos con funci on de distribuci on F (t), y funci on de densidad f (t). Demuestre que el tiempo de falla T del sistema tiene funci on de distribuci on y densidad dada por las siguientes expresiones: a) FT (t) = 1 (1 F (t))n . b) fT (t) = n(1 F (t))n1 f (t). Calcularemos a continuaci on las funciones de conabilidad y de tasa de falla para sistemas en serie. Denotaremos por R1 (t), . . . , Rn (t) las funciones de conabilidad de cada componente en el sistema, y las funciones de tasa de falla ser an r1 (t), . . . , rn (t). Proposici on. Las funciones de conabilidad y de tasa de falla del sistema en serie de la Figura 6.6 son 1. R(t) = R1 (t) Rn (t). 2. r(t) = r1 (t) + + rn (t).
160
Demostraci on.
d d 2. r(t) = dt ln R(t) = dt
6.5. Confiabilidad
1. R(t) = P (T1 > t, . . . , Tn > t) = P (T1 > t) P (Tn > t) = R1 (t) Rn (t).
n k=1
ln Rk (t) =
n k=1 rk (t).
Ejemplo. La funci on de conabilidad y la funci on de tasa de falla de un sistema de n componentes puestos en serie en donde cada uno de ellos tiene un tiempo de falla exponencial de par ametro son, respectivamente, R(t) = ent , y r(t) = nt. La distribuci on del tiempo de falla T es exponencial de par ametro n. El tiempo medio de falla es E (T ) = 1/(n), naturalmente decreciente conforme mayor es el n umero de componentes en el sistema, es decir, mientras mas componentes haya en el sistema en serie, menor es el tiempo de vida operacional del sistema en su conjunto pues una falla de cualesquiera de los componentes provoca que el sistema completo deje de funcionar. Ejercicio. En el contexto de sistemas de n componentes en serie, demuestre que la funci on de conabilidad R(t) = R1 (t) Rn (t) es una funci on decreciente de n, y en consecuencia el tiempo medio de falla tambi en es una funci on decreciente de n.
Conabilidad para sistemas en paralelo. Considere ahora sistemas de n componentes puestos en paralelo como se muestra en la Figura 6.7, en donde cada uno de estos componentes funciona de manera independiente uno del otro. Tales tipos de sistemas funcionan en su conjunto si por lo menos uno de los componentes se encuentra en buen estado. Sistemas de este tipo se utilizan cuando se desea mantener un nivel alto de conabilidad de funcionamiento, como por ejemplo los sistemas de vuelo de los aviones, o los sistemas de manejo de reactores nucleares.
C1 C2
Cn
Figura 6.7:
El tiempo de falla T de un sistema de este tipo es el tiempo de falla m as grande de los componentes, es decir, T = m ax {T1 , . . . , Tn }, y que el evento (T t) es equivalente a que todos los componentes fallen antes del tiempo t.
161
Proposici on. La funci on de conabilidad del sistema en paralelo de la Figura 6.7 es R(t) = 1 (1 R1 (t)) (1 Rn (t)). Demostraci on. Primeramente se tiene que F (t) = P (T t) = P (T1 t, . . . , Tn t) = F1 (t) Fn (t). Por lo tanto R(t) = 1 F (t) = 1 F1 (t) Fn (t) = 1 (1 R1 (t)) (1 Rn (t)).
Ejercicio. Demuestre que la funci on de conabilidad R(t) para sistemas en paralelo reci en encontrada es una funci on creciente de n. Es decir, mientras mas componentes haya en el sistema m as seguro es este. En consecuencia, demuestre que el tiempo medio de falla es una funci on creciente de n. Ejercicio. Demuestre que las funciones de distribuci on y de densidad del tiempo de falla T del sistema en paralelo de la Figura 6.7 son a) FT (t) = F n (t). b) fT (t) = n F n1 (t) f (t). Puede calcularse la funci on de tasa de falla del sistema r(t) en t erminos de las funciones r1 (t), . . . , rn (t) pero la expresi on no resulta ser simple. Ejemplo. Para un sistema de n componentes puestos en paralelo en donde cada uno de ellos tiene un tiempo de falla exponencial de par ametro se tiene que t n R(t) = 1 (1 e ) .
r(t) = n(1 et )n1 et /(1 (1 et )n ).
Conabilidad para sistemas mezcla serie/paralelo. Pueden tambi en considerarse sistemas que son una combinaci on de sistemas en serie y en paralelo como el que se muestra en la parte izquierda de la Figura 6.8. Sistemas de este tipo pueden
162
6.5. Confiabilidad
ser representados de manera equivalente como se muestra en la parte derecha de la misma gura. Ejercicio. Demuestre que la funci on de conabilidad del sistema de la Figura 6.8 es R(t) = R1 (t)(1 (1 R2 (t))(1 R3 (t)).
C2 C1 C3
C1
C2
C1
C3
Figura 6.8: Ejercicio. Encuentre la funci on de conabilidad para cada uno de los sistemas de componentes que aparecen en la Figura 6.9.
C1
C2
C1
C3
C3
C2
C4
Figura 6.9:
Notas y referencias
En los textos de Karlin y Taylor [19], Basu [1], y Lawler [23] el lector puede encontrar algunos otros resultados y aplicaciones de los procesos de renovaci on.
163
Ejercicios
Procesos de renovaci on 107. Diga falso o verdadero para cada una de las siguientes igualdades de eventos. Explique en cada caso. a ) (Nt > n) = (Wn < t) c ) (Nt = n) = (Wn t) b ) (Nt n) = (Wn < t)
d ) (Nt n) = (Wn t) e ) (Nt < n) = (Wn t) 108. Demuestre que F n (t) F m (t), para n m. 109. Respecto de la denici on de proceso de renovaci on, demuestre que los procesos {Tn : n = 1, 2, . . .}, {Wn : n = 0, 1, . . .} y {Nt : t 0} pueden escribirse cada uno en t erminos de cualquier otro. 110. Es la suma de dos procesos de renovaci on independientes nuevamente un proceso de renovaci on? Los siguientes ejercicios dan respuesta a esta pregunta. a ) Demuestre que si la suma de dos procesos de renovaci on independientes resulta ser un proceso de Poisson, entonces ambos sumandos son procesos de Poisson. b ) Demuestre que si la suma de dos procesos de renovaci on independientes y con la misma funci on de distribuci on de interarribo es un proceso de renovaci on, entonces la suma y cada uno de los sumandos es un proceso de Poisson. c ) Mediante un contraejemplo demuestre que, en general, la suma de dos procesos de renovaci on independientes y con la misma funci on de distribuci on de interarribo no es necesariamente un proceso de renovaci on. 111. Sea {Nt } un proceso de renovaci on. Demuestre que para cada k 1, E (Ntk ) =
n=0
[(n + 1)k nk ] F (n+1) (t).
164
6.5. Confiabilidad
112. Sea {Nt } un proceso de renovaci on con funci on de renovaci on (t) = E (Nt ). Demuestre que para cualquier t 0, 0 (t) 1 . 1 F (t)
113. Sea {Nt } un proceso de renovaci on. Demuestre que la funci on A(t) = E (WNt +1 ) satisface la ecuaci on de renovaci on
t
A(t) = E (T ) +
0
A(t s) dF (s).
114. Demuestre que el tiempo de vida restante t y el tiempo de vida transcurrido t , para un proceso de renovaci on, tienen distribuci on conjunta dada por la siguiente expresi on: Para 0 < y < t,
t
P (t > x, t y ) =
ty
(1 F (t + x u)) d(u).
115. Considere el proceso de Poisson visto como un proceso de renovaci on, es decir, los tiempos de vida tienen distribuci on exponencial con par ametro . Demuestre que la funci on de renovaci on (t) = t satisface la ecuaci on de renovaci on
t
(t) = 1 et +
(t s)es ds.
116. Sea {Nt } un proceso de Poisson de par ametro > 0. Demuestre que el tiempo de vida total t tiene funci on de distribuci on la que aparece abajo. Demuestre 1 adem as que E (t ) = (2 et ). P (t x) = 0 1 (1 + (t x)) ex si x > 0, otro caso.
117. Sea {Nt } el proceso de conteo de un proceso de renovaci on. Dena (t) = E (Nt ), y 2 (t) = E (Nt2 ). Demuestre que a ) 2 (t) =
n=1
(2n 1)F n (t).

t 0
b ) 2 (t) = (t) + 2
(t s) d(s).
n y confiabilidad Cap tulo 6. Procesos de renovacio Encuentre adem as 2 (t) cuando {Nt } es un proceso de Poisson.
165
118. Encuentre la distribuci on de probabilidad del tiempo de vida restante, del tiempo de vida transcurrido y del tiempo de vida total para un proceso de Poisson. Encuentre adem as la esperanza de estas variables aleatorias. 119. Sea {Nt } un proceso de renovaci on. Demuestre directamente que para cada n jo, l m P (Nt = n) = 0.
t
Conabilidad 120. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en serie como en la Figura 6.6. Suponga que las correspondientes funciones de distribuci on y de densidad son F1 (t), . . . , Fn (t), y f1 (t), . . . , fn (t), respectivamente. Demuestre que las funciones de distribuci on y de densidad del tiempo de falla del sistema dado por T = m n {T1 , . . . , Tn } son a) F (t) = 1 (1 F1 (t)) (1 Fn (t)).
n
b) f (t) =
k=1
fk (t) (1 F1 (t) 1(k=1) ) (1 Fn (t) 1(k=n) ).
121. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en paralelo como en la Figura 6.7. Suponga que las correspondientes funciones de distribuci on y de densidad son F1 (t), . . . , Fn (t), y f1 (t), . . . , fn (t), respectivamente. Demuestre que las funciones de distribuci on y de densidad del tiempo de falla del sistema dado por T = m ax {T1 , . . . , Tn } son a) F (t) = F1 (t) Fn (t).
n
b) f (t) =
k=1
fk (t) (1 (1 F1 (t)) 1(k=1) ) (1 (1 Fn (t)) 1(k=n) ).
Cap tulo 7
Martingalas
Existen varias acepciones para el t ermino martingala. Una de ellas hace referencia a un tipo de proceso estoc astico que b asicamente cumple la identidad E (Xn+1 | X0 = x0 , . . . , Xn = xn ) = xn . Hemos mencionado antes que este tipo de modelo corresponde a un proceso que representa la evoluci on del capital de un jugador que realiza una sucesi on de apuestas justas. Parte de la motivaci on para el estudio de este tipo de procesos fue el buscar demostrar la inexistencia de estrategias ventajosas en este juego de apuestas. El concepto de martingala fue incorporado a la teor a de la probabilidad por Paul L` evy, y buena parte de su desarrollo inicial fue realizado por Joseph Doob. En este cap tulo se presenta una introducci on a la teor a de martingalas a tiempo discreto, aunque tambi en se mencionan algunas deniciones generales a tiempo continuo.
7.1.
Filtraciones
Sea (, F , P ) un espacio de probabilidad para modelar un cierto experimento aleatorio. La - algebra F es la estructura que agrupa a los eventos del experimento aleatorio a los cuales se les puede calcular su probabilidad. Suponga ahora que se consideran dos sub - algebras F1 y F2 tales que F1 F2 . Entonces F2 contiene m as informaci on que F1 en el sentido de que, en general, un mayor n umero de conjuntos son considerados como eventos. M as generalmente, puede considerarse
167
168
7.1. Filtraciones
una sucesi on no decreciente de sub - algebras F1 F2 Este tipo de estructuras surgen de manera natural, por ejemplo, para un proceso estoc astico a tiempo discreto {Xn }, pues puede construirse la sucesi on {Fn } de la siguiente forma Fn = {X1 , . . . , Xn }, en donde efectivamente se cumple que F1 F2 En este caso la - algebra Fn contiene los eventos para los cuales puede determinarse su ocurrencia o no ocurrencia, s olo con la informaci on del proceso disponible hasta el tiempo n. Ejemplo. Si las variables {Xn } representan los resultados de lanzar sucesivamente un dado, y si se dene el evento A como La suma de los dos primeros resultados es mayor a 3, entonces es claro que A / F1 , sin embargo A F2 . Por supuesto, si sucede por ejemplo que X1 = 4, entonces sabemos que el evento A ocurre, pero sin esta informaci on adicional la ocurrencia o no ocurrencia del evento A no puede determinarse sino hasta el segundo lanzamiento del dado. Estas consideraciones sobre sucesiones no decrecientes de - algebras llevan a la denici on de ltraci on. Denici on. Una ltraci on es una colecci on de - algebras {Fn }n1 tal que Fn Fm , cuando n m. En particular, la ltraci on natural o can onica de un proceso {Xn } es aquella sucesi on de - algebras denidas por Fn = {X1 , . . . , Xn }, n 1. A tiempo continuo las deniciones de estos conceptos son an alogas: Una ltraci on es una colecci on no numerable de sub - algebras {Ft }t0 tal que Fs Ft , cuando 0 s t. La ltraci on natural o can onica de un proceso a tiempo continuo {Xt : t 0} es la colecci on de - algebras {Ft }t0 dadas por Ft = {Xs : 0 s t}, esto es, Ft es la m nima - algebra que hace que cada una de las variables Xs , para valores de s en el intervalo [0, t], sean medibles. A la - algebra Ft se le denomina la historia del proceso al tiempo t. Regresemos al caso de tiempo discreto. Denici on. Se dice que un proceso {Xn } es adaptado a una ltraci on {Fn } si la variable Xn es Fn -medible, para cada n 1. Sabemos que cada Xn es F -medible por ser variable aleatoria. La condici on de adaptabilidad requiere que Xn sea tambi en una variable aleatoria respecto de la
Cap tulo 7. Martingalas
169
sub - algebra Fn . Naturalmente todo proceso es adaptado a su ltraci on natural, y puede demostrarse que la ltraci on natural es la ltraci on m as peque na respecto de la cual el proceso es adaptado. El siguiente caso particular es necesario de considerar. Denici on. Se dice que el proceso {Xn : n 1} es predecible respecto de la ltraci on {Fn }n0 si para cada n 1, la variable Xn es Fn1 -medible. Evidentemente todo proceso predecible es adaptado. La denici on de adaptabilidad es la misma en el caso de procesos a tiempo continuo, y se pueden denir adem as las siguientes dos - algebras: F Ft+ = =
s>t
(
t0
Ft ), Fs .
Se dice entonces que una ltraci on es continua por la derecha si Ft+ = Ft . Si Ft es una ltraci on continua por la derecha y la - algebra inicial F0 contiene a todos los subconjuntos insignicantes de F , entonces la ltraci on se llama est andar, o bien que satisface las condiciones usuales. Algunos c alculos requieren suponer estas hip otesis.
7.2.
Tiempos de paro
Sea {Xn } un proceso adaptado a una ltraci on {Fn }. Un tiempo de paro es una variable aleatoria con valores en el espacio parametral de este proceso, que registra el tiempo en el que ocurre un cierto evento del proceso de tal forma que puede determinarse si ha ocurrido o no ha ocurrido tal evento al tiempo n con la informaci on de la - algebra Fn . Esta variable aleatoria puede tomar el valor innito cuando el evento de inter es nunca ocurre. Denici on. Una variable aleatoria con valores en {1, 2, . . .} {} es un tiempo de paro respecto de una ltraci on {Fn } si para cada n 1 se cumple que ( n) Fn .
170
7.2. Tiempos de paro
Bajo la interpretaci on de que es un tiempo aleatorio en el cual ocurre un cierto evento de inter es, la condici on ( n) Fn puede interpretarse del siguiente modo: la pregunta de si el evento de inter es ha ocurrido al tiempo n o antes, debe poder ser respondida con la informaci on dada por la ltraci on al tiempo n. No es dif cil comprobar que la condici on que aparece en la denici on es equivalente a la condici on ( = n) Fn , para cada n 1. Ejemplo: Tiempo de primer arribo. Sea X1 , X2 , . . . una sucesi on de variables aleatorias adaptada a la ltraci on Fn . Sea A un conjunto de Borel de R, y dena = m n {n 1 : Xn A}, en donde conviene denir m n = . Es decir, es el primer momento en el que la sucesi on toma un valor dentro del conjunto A, si acaso ello sucede. La variable aleatoria es un tiempo de paro pues para cualquier valor entero de n, ( = n) = (X1 / A) (Xn1 / A) (Xn A) Fn . En particular, y recordando el problema de la ruina del jugador, tomando A como el conjunto {0, N }, el primer momento en el que la variable Xn = 1 + + n toma uno de los dos valores del conjunto A es un tiempo de paro, y es el tiempo aleatorio en el cual el juego naliza, ya sea porque el jugador se arruina o porque gana todo el capital. Ejemplo: Tiempo de segundo arribo. Sea nuevamente X1 , X2 , . . . una sucesi on de variables aleatorias adaptada a la ltraci on Fn , y sea A un conjunto de Borel de R. Dado un tiempo de paro cualquiera 1 , dena ahora un segundo tiempo de paro de la siguiente forma 2 = m n {n > 1 : Xn A}. Es decir 2 es el primer momento, despu es de 1 , en el que el proceso toma un valor dentro del conjunto A. Naturalmente se cumple 1 2 . Esta nueva variable resulta tambi en ser un tiempo de paro pues el siguiente conjunto es un elemento de Fn . (2 = n) =
n1 k=1
(1 = k ) (Xk+1 / A) (Xn1 / A) (Xn A).
Ejercicio. Sea n un entero positivo. Demuestre que la variable aleatoria constante = n es un tiempo de paro. Este es un tiempo de paro determinista. Compruebe adem as que = es tambi en un tiempo de paro.
171
Ejercicio. Sea un tiempo de paro con valores en {1, 2, . . .} {}, y sea n un entero positivo. Demuestre que las siguientes variables tambi en son tiempos de paro. a) n. b) n. c) + n. En el caso de tiempos continuos, la denici on de tiempo de paro es la siguiente. Una variable aleatoria : [0, ) {} es un tiempo de paro respecto de una ltraci on {Ft } si se cumple que ( t) Ft , para cada t 0.
7.3.
Martingalas
Denici on. Se dice que un proceso {Xn } es una martingala respecto de una ltraci on {Fn } si cumple las siguiente tres condiciones: a) Es integrable. b) Es adaptado a la ltraci on. c) Para cualesquiera n m, E (Xm | Fn ) = Xn , c.s. (7.1)
Cuando en lugar de (7.1) se cumple la desigualdad E (Xm | Fn ) Xn , entonces el proceso es una submartingala, y si E (Xm | Fn ) Xn , entonces es una supermartingala. Las martingalas tienen una interpretaci on sencilla en t erminos de juegos justos que ya hemos mencionado antes: Si Xn denota el capital de un jugador al tiempo n, entonces la igualdad (7.1) establece que la fortuna promedio al tiempo futuro m, dado que se conoce la historia del juego hasta el tiempo n, es su capital al tiempo n, es decir, el juego es justo pues en promedio el jugador no pierde ni gana. En este sentido, la desigualdad E (Xm | Fn ) Xn , correspondiente a la denici on de submartingala, equivale a un juego favorable al jugador. La desigualdad contraria, el caso de submartingala, corresponde a un juego desfavorable al jugador.
172
7.4. Ejemplos
Puede comprobarse que la condici on (7.1) es equivalente a la igualdad aparentemente m as d ebil E (Xn+1 | Fn ) = Xn . Esta u ltima condici on es la que a menudo usaremos para vericar la propiedad de martingala de un proceso a tiempo discreto. Adem as, cuando la ltraci on es la natural, es decir, cuando Fn = {X1 , . . . , Xn }, la condici on de martingala puede escribirse en la forma E (Xn+1 | X1 , . . . , Xn ) = Xn . Observe que toda martingala es al mismo tiempo una submartingala y una supermartingala, y que si {Xn } es una submartingala, entonces {Xn } es una supermartingala. Por lo tanto, toda propiedad para submartingalas puede ser escrita tambi en para supermartingalas bajo este cambio de signo. Por otro lado, tomando esperanza en (7.1) con n = 1 se obtiene la igualdad E (Xm ) = E (X1 ), para cada m 1, esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. An alogamente, tomando esperanza ahora en la condici on de submartingala se obtiene que para cualesquiera tiempos 1 n m, E (Xm ) E (Xn ), esto puede interpretarse en el sentido de que, en promedio, las submartingalas son procesos que tienden a crecer. M as adelante demostraremos que cuando la submartingala es acotada superiormente, es convergente. Este interesante resultado es el an alogo estoc astico al hecho de que toda sucesi on de n umeros reales creciente y acotada es convergente. Para procesos a tiempos continuos, la condici on de martingala se escribe E (Xt | Fs ) = Xs , para cualesquiera tiempos s y t tales que 0 s t, sin olvidar la condiciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una martingala.
7.4.
Ejemplos
Veremos a continuaci on algunos ejemplos de martingalas. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes id enticamente distribuidas y con esperanza nita. Dena Xn = 1 + + n , y considere la ltraci on Fn = {1 , . . . , n }. La variable aleatoria Xn puede interpretarse como la fortuna de un jugador despu es de n apuestas sucesivas en donde la ganancia o p erdida en la k - esima apuesta es k .
Cap tulo 7. Martingalas Claramente el proceso Xn es integrable y es adaptado. Adem as E (Xn+1 | Fn ) = = = E (Xn + n+1 | Fn ) Xn + E (n+1 | Fn ) Xn + E (n+1 ).
173
Cuando el resultado promedio de cualquiera de las apuestas es cero, el segundo sumando se anula y se tiene un ejemplo de martingala, es decir, un juego justo. En particular, una caminata aleatoria sim etrica es una martingala. Si el resultado promedio de las apuestas es mayor o igual a cero, entonces E (Xn+1 |Fn ) Xn , y por lo tanto el proceso es una submartingala, un juego favorable al jugador. Finalmente cuando el resultado promedio de cualquier apuesta es menor o igual a cero, el proceso es una supermartingala pues E (Xn+1 |Fn ) Xn , correspondiente a un juego desfavorable al jugador. Ejercicio. Para la martingala del juego de apuestas justas Xn = 1 + + n , 2 demuestre que el proceso Xn n es una martingala si, y s olo si, Var( ) = 1. Martingala del proceso de Poisson centrado. Sea Xt un proceso de Poisson de par ametro . Entonces el proceso centrado Xt t es una martingala. En efecto, este nuevo proceso es integrable y adaptado. Adem as, para cada 0 s t, E (Xt t | Fs ) = = = = = = E (Xt Xs + Xs | Fs ) t E (Xt Xs | Fs ) + Xs t E (Xt Xs ) + Xs t (t s) + Xs t Xs s. E (Xt | Fs ) t
Este ejemplo es un caso particular del siguiente resultado que el lector puede f acilmente vericar siguiendo el c alculo anterior: Si un proceso integrable {Xt } tiene incrementos independientes, entonces el proceso centrado {Xt E (Xt )} es una martingala. Martingala de la esperanza condicional. Sea X una variable aleatoria integrable, y sean F1 y F2 dos sub - algebras tales que F1 F2 . No es dif cil comprobar la siguiente propiedad de la esperanza condicional: E ( E (X | F2 ) | F1 ) =
174
7.4. Ejemplos
E (X | F1 ). Sea Fn una ltraci on dada. Usando la identidad anterior demostraremos que la sucesi on de variables aleatorias dada por Xn = E (X | Fn ) es una martingala. Es claro que cada una de estas variables es integrable y por denici on de esperanza condicional el proceso es adaptado a la ltraci on. Adem as E (Xn+1 | Fn ) = E (E (X | Fn+1 ) | Fn ) = E (X | Fn ) = Xn . Martingala de la urna de Polya. Suponga que una urna contiene inicialmente una bola blanca y una bola negra. Un experimento consiste en escoger una bola al azar y regresarla a la urna junto con otra bola del mismo color. Este experimento se repite varias veces. Sea Xn el n umero de bolas blancas en la urna despu es del n- esimo Figura 7.1: ensayo. Es claro que X0 = 1, y que despu es del n- esimo ensayo hay n+2 bolas en la urna. Adem as 1 Xn n+1, y por lo tanto E |Xn | < . Las probabilidades de transici on son las siguientes P (Xn+1 = k + 1 | Xn = k ) = P (Xn+1 k , n+2 n+2k = k | Xn = k ) = . n+2
Observe que se puede escribir Xn+1 = Xn + Yn+1 , en donde Yn+1 es una variable aleatoria que toma el valor +1 cuando se escoge una bola blanca en la extracci on n + 1, y el valor 0 cuando la bola escogida es negra, por lo tanto E (Xn+1 | Xn ) = Xn + (0) Xn n+3 n + 2 Xn + (1) = Xn . n+2 n+2 n+2
Este c alculo demuestra que el proceso {Xn } no es una martingala. Sin embargo, si se dene Mn = Xn /(n + 2), lo cual representa la fracci on de bolas blancas en la urna despu es de la n- esima extracci on, entonces se tiene que E (Mn+1 | Fn ) = E ( Xn+1 Xn | Fn ) = = Mn . n+3 n+2
Es decir, hemos comprobado que el proceso {Mn } es una martingala. Se modica el resultado si la conguraci on inicial de la urna es distinta a la considerada? Se modica el resultado si en lugar de agregar una bola adicional se agregan r bolas del mismo color?
175
7.5.
Procesos detenidos
Sea Xn un proceso estoc astico adaptado a una ltraci on Fn , y sea un tiempo de paro respecto de la misma ltraci on. En ocasiones es necesario considerar un proceso de la forma X n , en donde n = m n{, n}. A este tipo de procesos se les llama procesos detenidos, por ejemplo, suponga que = k , entonces X n = Xn Xk si n k, si n > k.
Es decir, como funci on del par ametro n el proceso se vuelve constante a partir del tiempo aleatorio . Medibilidad y adaptabilidad de {X n}. Las variables del proceso detenido son efectivamente variables aleatorias y el proceso mismo es adaptado a la misma ltraci on pues para cualquier n umero real x, y para cada n umero natural n,
n
(X n x) = [
k=1
( = k ) (Xk x)] [( > n) (Xn x)].
La expresi on del lado derecho es claramente un elemento de Fn . Si el proceso original es integrable, entonces el proceso detenido es tambi en integrable pues E |X n | = E ( |X | 1( n) ) + E ( |Xn | 1( >n) )
n
k=1 n
E ( |Xk | 1( =k) ) + E ( |Xn | 1( >n) ) E |Xk | + E |Xn | < .
k=1
Por ejemplo, considere que {Xn } es la martingala del juego de apuestas. Suponga que el jugador decide dejar de jugar cuando pierda todo su capital o cuando consigue ganar el doble de su capital inicial. El momento aleatorio en el que ocurre alguno de estos dos eventos es un tiempo de paro . El capital del jugador en cualquier tiempo n puede expresarse como X n . Ejercicio. Sea {Xn } un proceso adaptado a la ltraci on {Fn }, y sea un tiempo de paro a tiempo discreto que adem as es nito, es decir, P ( < ) = 1. Demuestre que X es una variable aleatoria.
176
n: Estrategias de juego 7.6. Una aplicacio
Demostraremos a continuaci on que una martingala detenida sigue siendo martingala. Proposici on. Si {Xn } es una martingala, submartingala o supermartingala, y es un tiempo de paro respecto de la misma ltraci on, entonces el proceso detenido {X n} tambi en lo es. Demostraci on. Hemos demostrado antes que el proceso detenido es adaptado e integrable. Resta demostrar la propiedad de martingala. El caso submartingala y supermartingala se obtienen modicando adecuadamente la pen ultima igualdad en el siguiente an alisis.
n
E (X (n+1) | Fn ) = =
k=1 n k=1 n
E (Xk 1( =k) | Fn ) + E (Xn+1 1( >n) | Fn ) Xk 1( =k) + E (Xn+1 | Fn ) 1( >n) Xk 1( =k) + Xn 1( >n)
=
k=1
X n
7.6.
Una aplicaci on: Estrategias de juego
Considere nuevamente la sucesi on de variables aleatorias independientes id enticamente distribuidas {n } tal que P ( = +1) = 1/2 y P ( = 1) = 1/2, y con ltraci on natural {Fn }. Considere la suma Xn = 1 + + n , es decir, Xn es una martingala que representa el total de ganancias en una serie de n apuestas justas de una unidad monetaria. Suponga ahora que el monto de cada apuesta no es uno, sino una cantidad an para la n- esima apuesta. Supondremos que an es una variable aleatoria que el jugador determina a partir de la informaci on de las n 1 apuestas previas, y por lo tanto es una variable Fn1 -medible, es decir, se trata de un proceso predecible. A la colecci on de variables aleatorias {an } con esta caracter stica se le llama una estrategia de juego. Bajo una de estas estrategias, el capital del
177
jugador despu es de la n- esima apuesta es ahora An = a1 1 + + an n , que es Fn -medible. Bajo la hip otesis de que la estrategia de juego consta de variables aleatorias acotadas, se cumple que el proceso {An } es integrable y cumple adem as la propiedad de martingala pues E (An+1 | Fn ) = = = = = E (An + an+1 n+1 | Fn ) An + an+1 E (n+1 | Fn )
An .
An + an+1 E (Xn+1 Xn | Fn ) An + an+1 (E (Xn+1 | Fn ) Xn )
Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganancias {An } es una martingala siempre y cuando el proceso original {Xn } lo sea. Este resultado es importante saber para los apostadores pues quiere decir que no existe una estrategia de juego que convierta un juego justo en un juego favorable o desfavorable al jugador. El mismo an alisis demuestra que si el proceso original {Xn } es una submartingala o supermartingala y la estrategia de juego consta de variables aleatorias no negativas y acotadas, entonces el proceso {An } sigue siendo una submartingala o supermartingala. Uno de los varios signicados del t emino martingala, y que parece ser el original, establece que una martingala es una estrategia de juego en la cual un jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta del siguiente modo: Inicialmente apuesta una unidad monetaria. En caso de perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo esta estrategia de juego.
Monto de la apuesta Resultado del lanzamiento Ganancia
1 x -1
2 x -3
4 x -7
8 1
1 2
1 x 1
2 3
1 x 2
Figura 7.2: Bajo esta estrategia de juego resulta que, cada vez que el jugador acierta, se recupera de las p erdidas anteriores e incluso incrementa su fortuna en una unidad monetaria. En efecto, si el jugador pierde las primeras n apuestas y gana la apuesta
178
n: Estrategias de juego 7.6. Una aplicacio
n + 1, entonces su capital al tiempo n + 1 es 1 21 22 2n1 +

n apuestas perdidas
2n
apuesta n + 1 ganada
n1 k=0
2k + 2n
= = =
1 2n + 2n 12 (1 2n ) + 2n 1.
De esta manera si el jugador pudiera mantener esta estrategia de juego tendr a una unidad ganada por cada acierto que haya conseguido. Parece ser una estrategia segura de ganar, sin embargo, veamos cu anto, en promedio, podr a ser su d ecit justo antes de recuperarse, es decir, calcularemos E (X 1 ), en donde es el tiempo de paro en el que el jugador acierta por primera vez. Puede comprobarse que este tiempo de paro es nito casi seguramente, es decir, P ( < ) = 1. De hecho, con probabilidad uno, el jugador tendr a eventualmente un exito a un cuando sus probabilidades de acertar fueran peque nas. Como hemos visto, despu es de n apuestas consecutivas perdidas el capital empe nado es 1 21 22 2n1 = 1 2n , y la probabilidad de perder n apuestas sucesivas y ganar la apuesta n + 1 es 1/2n+1 . Por lo tanto E (X 1 ) = = = =
n=1 n=1
E (X 1 | = n) P ( = n) E (Xn1 ) P ( = n) 1 2n
n=1
(1 2n1 )
Es decir, se requerir a de un capital promedio innito y poder apostar una innidad de veces para llevar a cabo con exito esta estrategia, algo no muy factible en t erminos de dinero y tiempo.
179
7.7.
Teorema de paro opcional y aplicaciones
Hemos observado antes que para una martingala Xn se cumple que E (Xn ) = E (X1 ), para cualquier valor de n. Si adem as se tiene un tiempo de paro nito , no necesariamente es cierto que E (X ) = E (X1 ), e incluso el n umero E (X ) podr a no ser nito como en la estrategia de juego llamada martingala analizada en la secci on anterior. El siguiente resultado establece condiciones bajo las cuales la variable X tiene la misma esperanza que la martingala. Teorema de paro opcional. Sea {Xn } una martingala y sea un tiempo de paro nito, ambos respecto de una ltraci on {Fn }, tales que a) X es integrable. b) l m E (Xn 1( >n) ) = 0.
n
Entonces E (X ) = E (Xn ), para cualquier n 1. Demostraci on. La observaci on importante es que para cualquier n 1, X = X n + (X Xn ) 1( >n) . Tomando esperanza y usando el hecho de que X n es una martingala, E (X ) = = E (X n ) + E ((X Xn ) 1( >n) ) E (X1 ) + E (X 1( >n) ) E (Xn 1( >n) ).
Como el proceso original es una martingala, el primer sumando es E (Xn ). Haciendo n , el tercer sumando se anula por hip otesis. Usando la hip otesis de integrabilidad de X y el teorema de convergencia dominada, el segundo sumando converge tambi en a cero pues es la cola de la serie convergente E (X ) = E (
X k 1 ( =k ) ) =
k=1
E (Xk 1( =k) ).
k=1
Como una aplicaci on del teorema de paro opcional calcularemos algunos tiempos medios de arribo en caminatas aleatorias.
180
7.7. Teorema de paro opcional y aplicaciones
Caso caminata sim etrica, barrera sim etrica Sea {Xn } una caminata aleatoria sim etrica simple sobre Z que inicia en cero, y sea b 1 un entero cualquiera. Dena el tiempo de paro = m n {n 1 : |Xn | = b},
Xn ( ) b
es decir, es el primer momento en el que la caminata alcanza, en valor absoluto, el b nivel b, v ease la Figura 7.3. Nos interesa encontrar E ( ), esto es, el n umero promedio de pasos que le toma a la caminata Figura 7.3: llegar al nivel b. Sabemos que tanto el 2 proceso {Xn } como {Xn n} son martingalas. Suponiendo de manera preliminar que las condiciones del teorema de paro 2 2 opcional se cumplen, se tiene que E (X ) = E (X1 1) = 0. Por lo tanto, 2 2 E ( ) = E (X ) = b . La u ltima igualdad se obtiene al observar que |X | = b. En palabras, este resultado dice que la caminata aleatoria sim etrica simple que inicia en cero necesita, en promedio, b2 pasos para alcanzar, en valor absoluto, el nivel b.
Caso caminata sim etrica, barrera asim etrica Generalizaremos ahora el c alculo anterior para el caso en el que se tiene una barrera inferior a y una barrera superior b, con a, b N, no necesariamente id enticos. La idea es aplicar nuevamente el teorema de paro opcional aunque los c alculos no son tan inmediatos. Supongamos entonces que {Xn } es una caminata aleatoria sim etrica simple que inicia en cero y dena el tiempo de paro = m n {n 0 : Xn = b o X n = a} ,
2 en donde a, b N. Nuevamente el proceso centrado {Xn n} es una martingala 2 2 2 y por lo tanto E (X ) = E (X1 1) = 0, de donde se obtiene E ( ) = E (X ). 2 Ahora no es tan sencillo calcular esta esperanza pues X puede tomar dos valores, b2 o a2 . Entonces 2 E ( ) = E (X ) = b2 P (X = b) + a2 P (X = a).
Dena uk = P (X = b | X0 = k ). Usando an alisis del primer paso puede comprobarse que uk cumple la ecuaci on en diferencias 2uk = uk+1 + uk1 , con condiciones de frontera ub = 1 y ua = 0, y cuya soluci on es uk = (a + k )/(a + b).
181
An alogamente, deniendo vk = P (X = a | X0 = k ), se encuentra que vk cumple la ecuaci on en diferencias 2vk = vk+1 + vk1 , con condiciones de frontera vb = 0 y va = 1, y cuya soluci on es vk = (b k )/(a + b). Por lo tanto, E ( )
2 ) = E (X 2 = b P (X = b) + a2 P (X = a)
= b2 u0 + a2 v0 b a + a2 = b2 a+b a+b = ab.
Caso caminata asim etrica, barrera asim etrica En este caso {Xn } no es una martingala pero debido a la propiedad de incrementos independientes, el proceso centrado {Xn n(p q )} lo es. Suponiendo nuevamente que las condiciones del teorema de paro opcional se cumplen, se tiene que E (X (p q )) = E (X1 (p q )) = 0. De donde se obtiene E ( ) = E (X )/(p q ). El problema es nuevamente encontrar E (X ). Tenemos que E (X ) = b P (X = b) a P (X = a). Dena nuevamente uk = P (X = b | X0 = k ). Usando an alisis del primer paso puede comprobarse que uk cumple la ecuaci on en diferencias uk = p uk+1 + q uk1 , con condiciones de frontera ub = 1 y ua = 0, y cuya soluci on es uk = (p/q )bk (p/q )a+b . 1 (p/q )a+b
An alogamente, deniendo vk = P (X = a | X0 = k ), se encuentra que vk cumple la ecuaci on en diferencias vk = p vk+1 + q vk1 , con condiciones de frontera vb = 0 y va = 1, y cuya soluci on es vk = (q/p)a+k (q/p)a+b . 1 (q/p)a+b
182
Por lo tanto,
7.7. Teorema de paro opcional y aplicaciones
E (X )
= b u0 a v0 (q/p)a (q/p)a+b (p/q )b (p/q )a+b a = b a + b 1 (p/q ) 1 (q/p)a+b = b (a + b) 1 (p/q )b . 1 (p/q )a+b
Entonces E ( ) =
a + b 1 (p/q )b b . p q p q 1 (p/q )2b
Vericaremos a continuaci on la validez de las tres condiciones del teorema de paro opcional para esta aplicaci on cuando la caminata y las barreras son sim etricas. a) Demostraremos que < c.s. La estrategia consiste en considerar bloques sucesivos de 2b pasos en la caminata aleatoria. Observe que el evento ( = ) es el l mite de la sucesi on decreciente de eventos ( > 2bk ), para k = 1, 2, . . ., y que el evento ( > 2bk ) est a contenido en el evento Ninguno de los primeros k bloques contiene u nicamente valores +1. La utilidad de este evento mayor radica en que es f acil calcular su probabilidad como veremos a continuaci on. Tenemos que P ( = ) = = =
k k
l m P ( > 2bk )
l m P (Ninguno de los primeros k bloques contiene u nicamente valores +1) l m (1 (1/2)2b )k
0.

2 2 b) Demostraremos ahora que E (|X |) < . Como X = b2 , se tiene que 2 E (|X |)
183
b2 + E ( ) b2 +
2 k=0
k P ( = k )
2b
b + b2 +
(2bk + j ) P ( = 2bk + j )
2b
k=0 j =1
<
(2b(k + 1)) P ( > 2bk ) (k + 1) (1 (1/2)2b )k
b2 + (2b) .
k=0 j =1 2 k=0
2 c) Finalmente vericaremos que E ((Xn n)1( >n) ) 0, cuando . 2 E (|Xn n|1( >n)) 2 E (Xn 1( >n) ) + E (n1( >n) )
N 2 P ( > n) + E ( 1( >n) ).
La sucesi on de eventos ( > n) es mon otona decreciente y por lo tanto convergente, su l mite es el evento ( = ) que tiene probabilidad cero. El primer sumando por lo tanto se hace peque no cuando n crece. Como E ( ) < , la sucesi on de variables 1( >n) es tambi en decreciente y consta de variables aleatorias integrables cuyo l mite es cero c.s. El segundo sumando por tanto tambi en converge a cero.
7.8.
Algunas desigualdades
Proposici on. (Desigualdad maximal de Doob.) Sea Xn una submartin gala no negativa y dena Xn = m ax{X1 , . . . , Xn }. Entonces para cualquier > 0, ) ). P (Xn ) E (Xn 1(Xn
184
7.8. Algunas desigualdades
Demostraci on. Para cada n natural dena el tiempo de paro = n m n{1 k n : Xk }. Es decir, es el primer momento hasta n en el que el proceso alcanza o rebasa el valor . Si tal evento nunca ocurre, entonces = n. Como Xn es una submartingala y 1 n, se tiene que E (Xn ) E (X ). Observe que si ocurre el evento (Xn ), entonces X , y si ocurre (Xn < ), entonces = n. Por lo tanto E (Xn )
) ) + E (X 1(X <) ) = E (X 1(Xn n <) ). ) + E (Xn 1(Xn P (Xn
E (X )
Es decir,
P (Xn )
<) ) E (Xn ) E (Xn 1(Xn
) ). = E (Xn 1(Xn
Proposici on. (Desigualdad maximal de Doob en L2 .) Sea Xn una sub martingala no negativa y cuadrado integrable. Para Xn = m ax{X1 , . . . , Xn } se tiene que 2 2 E (|Xn | ) 4 E (Xn ).
Demostraci on. El segundo momento de una variable aleatoria no negativa X puede expresarse, cuando existe, de la siguiente forma E (X 2 ) = 2
0
x P (X > x) dx.
Usando esta expresi on, la primera desigualdad maximal, el teorema de Fubini y
Cap tulo 7. Martingalas despu es la desigualdad de Cauchy-Schwarz se tiene que

2 E (|Xn | )
185
= 2
0
x P (Xn > x) dx
x) ) dx. E (Xn 1(Xn
2 = 2
(
x ) (Xn Xn
Xn dP ) dx dx dP
0
= 2
Xn
= 2
Xn Xn dP
) = 2E (Xn Xn
2 Por lo tanto,
E |X n |2
|2 . E |X n
Elevando al cuadrado se obtiene el resultado.
2 E (|Xn | ) 2 |2 E |X n
E |X n |2 .
7.9.
Convergencia de martingalas
Proposici on. Sea {Xn } una submartingala y sean 1 y 2 dos tiempos de paro acotados tales que 0 1 2 N , con N N jo. Entonces E (X1 ) E (X2 ).
Demostraci on. Sea k jo tal que k n N . Entonces E (Xn+1 1(1 =k) 1(2 >n) ) = = E (E (Xn+1 | Fn ) 1(1 =k) 1(2 >n) ) E (Xn 1(1 =k) 1(2 >n) ). E (E (Xn+1 1(1 =k) 1(2 >n) | Fn ))
186
Por lo tanto
7.9. Convergencia de martingalas
E (X2 n 1(1 =k) ) =
E (X2 1(1 =k) 1(2 n) ) + E (Xn 1(1 =k) 1(2 >n) ) E (X2 1(1 =k) 1(2 n) ) + E (Xn+1 1(1 =k) 1(2 >n) ) E (X2 (n+1) 1(1 =k) ).
Esto quiere decir que la funci on n E (X2 n 1(1 =k) ) es mon otona creciente. Evaluando esta funci on en n = k y despu es en n = N se obtiene la desigualdad E (Xk 1(1 =k) ) E (X2 1(1 =k) ). Entonces
N
E (X1 ) =
k=0 N
E (X1 1(1 =k) ) E (Xk 1(1 =k) )

k=0 N
E (X2 1(1 =k) )

k=0
E (X2 ).
Sea {Xk } un proceso adaptado a una ltraci on {Fk }, y sean a < b dos n umeros reales. Consideraremos que n es un n umero natural cualquiera. Dena la sucesi on creciente de tiempos de paro 1 2 3 4 = m n {k 1 : Xk > b},
= m n {k > 1 : Xk < a}, = m n {k > 2 : Xk > b},
= m n {k > 3 : Xk < a}, . . .

Xk ( )
187
Si alguno de los conjuntos se nalados es vac o o b bien cuando k n, para alguna k , se dene k = a n. De esta forma se tiene la sucesi on 1 2 n. Una de tales suk cesiones se muestra en la 1 2 3 4 5 6 Figura 7.4, en donde se Figura 7.4: presenta una trayectoria del proceso con sus valores unidos por una l nea continua para una mejor visualizaci on. Nos interesa contar el n umero de cruces de arriba hacia abajo, que las trayectorias del proceso realizan sobre el intervalo [a, b]. En la gr aca se muestran tres cruces de este tipo, los cuales se encuentran remarcados en la trayectoria. Observe que antes del valor n y para valores impares en el sub ndice de , el proceso se encuentra arriba de b en ese momento, mientras que para valores pares del sub ndice, el proceso se encuentra por abajo del nivel a, es decir, entre los tiempos 2k1 y 2k el proceso realiza un cruce de arriba hacia abajo. El n umero de cruces completos, de arriba hacia abajo, que el proceso realiza sobre el intervalo [a, b] antes del tiempo n es el m aximo entero k tal que 2k < n, y se denota por Dn [a, b], es decir, Dn [a, b] = m ax {k 1 : 2k < n}. Si el conjunto de cruces es vac o, se dene Dn [a, b] = 0. La letra D usada para denotar este n umero proviene del t ermino en ingl es Downcrossing. Observe que para cada n, la funci on Dn [a, b] : {0, 1, . . .} es una variable aleatoria pues para cada entero k , el conjunto (Dn [a, b] k ) = (2k < n) es medible. De esta manera se tiene la sucesi on mon otona de variables aleatorias D1 [a, b] D2 [a, b] que es convergente al n umero total de cruces D[a, b] = sup {k 1 : 2k < }. En la demostraci on que se presenta a continuaci on sobre la convergencia de submartingalas se hace uso de este n umero de cruces. Empezaremos estimando la esperanza de Dn [a, b].
188
Proposici on. Sea {Xn } una submartingala. Entonces E (Dn [a, b]) 1 1 E (Xn b)+ ( sup E |Xn | + |b| ). ba ba n
Demostraci on. Dena la sucesi on de eventos Ak = (k < n) para k = 1, 2, . . . Por la monoton a de los tiempos de paro denidos antes se tiene que A1 A2 Eventualmente los elementos de esta sucesi on son el conjunto vac o pues no pueden efectuarse demasiados cruces en un tiempo limitado n. Observe adem as que cuando ocurre el evento A2k1 el proceso al tiempo 2k1 se encuentra por arriba de b, mientras que cuando ocurre A2k , el proceso al tiempo 2k se encuentra por abajo de a. A continuaci on usaremos la propiedad de submartingala aplicada a los tiempos de paro acotados 2k1 2k n. Tenemos entonces que E (X2k1 ) E (X2k ), es decir,
X2k1 dP
X2k dP.
Separando ambas regiones de integraci on como = A2k1 Ac 2k1 , se tiene que X2k1 dP + X2k1 dP X2k dP +
A2k1
A2k1
Ac 2k1
Ac 2k1
X2k dP.
Ahora observe que sobre el conjunto Ac 2k1 , se cumple que 2k1 = 2k = n. Por lo tanto, la segunda y cuarta integral coinciden y podemos omitirlas de esta desigualdad. A nadiendo la constante b, se llega al siguiente resultado
0 Entonces
A2k1
(X2k1 b) dP
A2k1
(X2k b) dP.
189
0 =
A2k1
(X2k b) dP
A2k1 \A2k
A2k
(X2k b) dP +
(X2k b) dP
Por lo tanto
(a b)P (A2k ) +
A2k1 \A2k
(Xn b) dP.
P (A2k )
1 ba 1 ba
A2k1 \A2k A2k1 \A2k
(Xn b) dP (Xn b)+ dP.
Como P (A2k ) = P (2k < n) = P (Dn [a, b] k ),

n
E (Dn [a, b]) =

k=1 n
P (Dn [a, b] k ) P (A2k )
=
k=1
1 ba
n A2k1 \A2k
k=1
(Xn b)+ dP
1 E (Xn b)+ . ba
Para la u ltima desigualdad se hace uso del hecho de que las diferencias A2k1 \A2k son conjuntos ajenos. Esto concluye la demostraci on de la primera estimaci on. La segunda desigualdad del enunciado se sigue de las siguientes estimaciones (Xn b)+ |Xn b| |Xn | + |b|.
Ahora estamos en condiciones de probar que toda submartingala acotada en media es convergente.
190
Teorema de convergencia de submartingalas de Doob. Sea {Xn } una submartingala tal que supn E |Xn | < . Entonces existe una variable aleatoria integrable X tal que l m Xn = X c.s.
n
Demostraci on. Vericaremos primero que la convergencia de tal sucesi on de variables aleatorias es equivalente a la condici on: D[a, b] < casi seguramente, para cualesquiera n umeros a < b. Sea en y considere la sucesi on num erica X1 ( ), X2 ( ), . . . cuyo n umero de cruces es D[a, b]( ). Demostraremos que la sucesi on {Xn ( )} es convergente si, y s olo si, D[a, b]( ) < , para cualesquiera a < b. () Suponga que la sucesi on es convergente pero que D[a, b]( ) = para alg un par de n umeros a y b tales que a < b. Entonces l m inf Xn ( ) a < b l m sup Xn ( ).
n n
Esto contradice la hip otesis de que la sucesi on es convergente. () Suponga ahora que D[a, b]( ) < para cualesquiera a < b. Suponga que la sucesi on no es convergente. Entonces existen a1 < b1 tales que l m inf Xn ( ) a1 < b1 l m sup Xn ( ).
n n
Entonces, en particular, para este par de n umeros reales se tiene que D[a1 , b1 ]( ) = , lo cual contradice la hip otesis inicial. Por lo tanto es suciente demostrar que con probabilidad uno, D[a, b] < . Para llegar a esta conclusi on demostraremos que E (D[a, b]) < , pero ello es consecuencia del teorema de convergencia mon otona y la u ltima proposici on pues E (D[a, b]) =
n
l m E (Dn [a, b])
La integrabilidad del l mite X se sigue del lema de Fatou pues

n n n
1 (sup E |Xn | + |b|) < . ba n
E |X | = E (l m inf |Xn |) l m inf E |Xn | sup E |Xn | < .
191
Como toda martingala es una submartingala, y toda supermartingala se convierte en una submartingala a trav es de un cambio de signo, se tiene que el teorema anterior es v alido en cualquiera de los tres casos. Es decir, toda martingala, submartingala o supermartingala acotada en la forma en la que indica el enunciado del teorema, es convergente casi seguramente, y su l mite es una variable aleatoria integrable. La demostraci on que se ha presentado aqui sobre la convergencia de submartingalas es la prueba original de Doob de 1940. En [14] pueden encontrarse algunos otros m etodos alternativos de demostraci on. Como hemos mencionado antes, las submartingalas son procesos que en promedio tienden a crecer, de modo que en este caso hemos encontrado una cota superior para el n umero promedio de cruces hacia abajo. En algunos textos, por ejemplo [4], se enuncia y prueba el mismo resultado para supermartingalas, procesos que, en promedio, tienden a decrecer.
7.10.
Representaci on de martingalas
En esta secci on demostraremos que toda martingala que cumple la condici on de ser uniformemente integrable puede escribirse en t erminos de una esperanza condicional. Antes de enunciar el resultado explicaremos la condici on de integrabilidad uniforme para un proceso. Integrabilidad uniforme. Puede comprobarse que una variable aleatoria X es integrable si, y s olo si, para cada > 0 puede encontrarse un n umero M > 0 tal que
(|X |>M )
|X | dP < .
Considere ahora una sucesi on innita de variables aleatorias integrables X1 , X2 , . . . Para cada > 0 puede encontrarse entonces una sucesi on de n umeros reales Mn > 0 tales que
(|Xn |>Mn )
|Xn | dP < .
Cuando la sucesi on Mn no depende de n, es decir, cuando sea una sucesi on constante, se dice que la sucesi on de variables aleatorias es uniformemente integrable. Es
192
n de martingalas 7.10. Representacio
evidente que la integrabilidad uniforme es m as fuerte que la simple integrabilidad de las variables de un proceso. Tenemos entonces la siguiente denici on, la cual ilustraremos despu es con un par de ejemplos. Denici on. Se dice que una sucesi on de variables aleatorias integrables X1 , X2 , . . . es uniformemente integrable si para cada > 0 existe un n umero M > 0 tal que para toda n 1,
(|Xn |>M )
|Xn | dP < .
Ejemplo. Considere el espacio muestral = (0, 1) con la - algebra los subconjuntos de Borel de (0, 1), y como medida de probabilidad la medida de Lebesgue sobre dicho intervalo. La sucesi on de variables aleatorias dada por Xn = n 1(0,1/n) no es uniformemente integrable pues para cualquier M > 0, |Xn | dP = 1 0 si n > M, si n M. Ejemplo. Sea X una variable aleatoria integrable y sea Fn un ltraci on. Demostraremos que la martingala Xn = E (X | Fn ) es uniformemente integrable. Como |X | es integrable, tenemos que para cada > 0 existe > 0 tal que si P (A) < , as, como |Xn | E (|X | | Fn ), tomando esperanzas y entonces A |X | dP < . Adem para cualquier M > 0 se tiene que E |X | E |X n |
(|Xn |>M )
(|Xn |>M )
|Xn | dP
M P (|Xn | > M ).
De modo que si se toma M > E (|X |)/ , con > 0 arbitrario, entonces P (|Xn | >
Cap tulo 7. Martingalas M ) E (|X |)/M < . Por lo tanto

(|Xn |>M )
193
|Xn | dP
(|Xn |>M ) (|Xn |>M )
E (|X | | Fn ) dP |X | dP
< .
La siguiente proposici on establece que la convergencia en media es una condici on suciente para que se cumpla la propiedad de integrabilidad uniforme en un proceso. Proposici on. Todo proceso que consta de variables aleatorias integrables y que es convergente en media, es uniformemente integrable.
Demostraci on. Suponga que X1 , X2 , . . . es una sucesi on de variables aleatorias integrables convergente en media a la variable aleatoria integrable X , es decir, E |Xn X | 0. Esto es, para cada > 0 existe un natural N tal que para cualquier n > N , E |Xn X | < /2. Dado que el l mite X es integrable, para cada > 0 existe > 0 tal que si P (A) < , entonces A |X | dP < /2. Tomando un valor de > 0 m as peque no si es necesario se tiene adem as que A |Xn | dP < , para cada n = 1, . . . , N , cuando P (A) < . Por otro lado, para cualquier n 1, E (|Xn |)
(|Xn |>M )
|Xn | dP M P (|Xn | > M ).
1 E (|Xn |) si se toma M = 1 Es decir, P (|Xn | > M ) M supn E ((|Xn |). Tal valor de M es nito pues como la sucesi on converge en media, es acotada en media. En particular y con el valor de M mencionado, lo anterior demuestra la integrabilidad uniforme de las variables Xn para valores de n menores o iguales a N . Para el caso n > N se tiene que
(|Xn |>M )
|Xn | dP
(|Xn |>M ) (|Xn |>M )
|X | dP +
(|Xn |>M )
|Xn X | dP
|X | dP + E (|Xn X |)
+ = . 2 2
194
El siguiente resultado es un rec proco de la proposici on anterior, s olo que hay que a nadir la condici on de que el proceso sea una submartingala, en particular, una martingala. Proposici on. Toda submartingala uniformemente integrable es convergente en media.
Demostraci on. Sea {Xn : n 1} una submartingala uniformemente integrable. Hemos demostrado antes que en tales condiciones la submartingala es necesariamente acotada en L1 , y por lo tanto satisface las condiciones del teorema de convergencia de martingalas de Doob. Existe entonces una variable aleatoria integrable X tal que Xn X c.s. Demostraremos que Xn X en media, es decir, que E |Xn X | 0. Sea > 0 arbitrario. Debido a la hip otesis de integrabilidad uniforme, existe M > 0 tal que para toda n 1,
(|Xn X |>M )
|Xn X | dP <
. 3
Por otro lado, como la convergencia casi segura implica la convergencia en probabilidad se tiene que P (|Xn X | > /3) 0, cuando n , es decir, existe un entero N tal que para n > N , P (|Xn X | > /3) < , 3M en donde M > 0 es la constante de la estimaci on anterior. Entonces E (|Xn X |) =
(|Xn X |>M )
|Xn X | dP |Xn X | dP
+
(/3<|Xn X |M )
+
(|Xn X |/3)
|Xn X | dP
< <
+ M P (|Xn X | > /3) + P (|Xn X | /3) 3 3 .
195
Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional. Teorema de representaci on de martingalas. Sea Xn una martingala uniformemente integrable, con ltraci on natural Fn , y teniendo a la variable X como su l mite en media. Entonces Xn = E (X | Fn ).
Demostraci on. Para cualquier m > n, E (Xm | Fn ) = Xn . Esto quiere decir que para cualquier evento A en Fn , Xm dP =
A A
Xn dP.
Entonces | (Xn X ) dP | = | (Xm X ) dP |
|Xm X | dP |Xm X | dP.
Por lo demostrado antes, el u ltimo t ermino converge a cero cuando m . Es decir, para cualquier A en Fn , A Xn dP = A X dP . Esto signica que Xn = E (X | Fn ) c.s. La variable Xn = E (X | Fn ) puede interpretarse como una aproximaci on de la variable desconocida X cuando se cuenta con la informaci on dada por la - algebra Fn . Conforme n crece, la informaci on acerca de X aumenta a trav es de la ltraci on, y en el l mite se obtiene o reconstruye X . Notas y referencias. El lector puede encontrar otras exposiciones introductorias al tema de martingalas a tiempo discreto en Karlin y Taylor [19], y Lawler [23]. Para lecturas m as avanzadas pueden consultarse Revuz y Yor [29] y Tudor [38].
196
Joseph L. Doob (USA 19102004). Doob empez o a tener inter es por la ciencia desde peque no cuando cursaba la escuela secundaria. Estuvo muy interesado en el funcionamiento del radio e incluso construy o el mismo su propio equipo. Este inter es suyo por la electr onica y las comunicaciones se increment o durante la preparatoria obteniendo incluso una licencia para llevar a cabo transmisiones por radio. Dado este inter es en la electr onica, Doob pens o que la f sica era el area que deb a estudiar al ingresar a la universidad. Y as lo hizo al ingresar a la universidad de Harvard en 1926. Sin embargo, despu es de J. L. Doob un a no de estudios, se convenci o que el curso que verdaderamente disfrut o fue el de c alculo y sus aplicaciones. Para el segundo a no se registr o en cursos de matem aticas. En 1930 obtuvo el grado de licenciatura de la universidad de Harvard, y en 1931 obtuvo el grado de maestr a bajo la supervisi on de J. L. Walsh en la misma universidad. En Junio de ese mismo a no se cas o con Elsie Field con quien tuvo tres ni nos. Al a no siguiente, en 1932, obtuvo el grado de doctorado con un trabajo de tesis sobre las funciones anal ticas y sus valores de frontera. Tiempo despu es obtuvo un beca para trabajar en la teor a de la probabilidad con H. Hotelling en la universidad de Columbia de 1934 a 1935. Al nal de ese periodo fue contratado como profesor asociado en la universidad de Illinois en 1935, all fue donde desarroll o su carrera como profesor hasta el a no de 1978 cuando se jubil o. Dentro de sus estudiantes de doctorado guran, entre otros, Paul Halmos (1938), David Blackwell (1941), J. Laurie Snell (1951) y John Walsh (1966). El trabajo de Doob se centra principalmente en la teor a de la medida, la teor a de la probabilidad y las relaciones de esta u ltima con la teor a del potencial. En particular, y profundizando parte del trabajo de Paul L` evy, durante los a nos cuarentas y cincuentas Doob desarroll o la teor a b asica de las martingalas y algunas de sus aplicaciones. En 1953 public o su libro cl asico Stochastic Processes, el cual fue reeditado en 1990. En 1984 public o Classical Potential Theory and its Probabilistic Counterparts, reimpreso en 2001. En 1994, a la edad de 84 a nos, public o su u ltimo texto titulado Measure Theory. Doob fue miembro de las Academias de Ciencias de los Estados Unidos y de Francia, presidi o el Instituto de Estad stica Matem atica (IMS) en 1950, y la Sociedad Matem atica Norteamericana (AMS) de 1963 a 1964. Recibi o varios premios prestigiosos de su pa s por la trascendencia y profundidad de sus trabajos. Durante muchos a nos de su vida Doob mantuvo la costumbre y el gusto por organizar y realizar las famosas caminatas de los s abados por la tarde junto a profesores universitarios, colegas y amigos, de la universidad de Illinois. A petici on propia, las cenizas de los restos mortales de Doob fueron esparcidas por
197
sus compa neros en uno de sus sitios favoritos donde acostumbraba caminar junto a sus amigos. Para una informaci on m as amplia sobre la vida y el trabajo de Doob v eanse los trabajos de Bingham [2], Burkholder y Protter [5], y Snell [32], [33]. Fuente: Archivo MacTutor, Universidad de St. Andrews.
198
Ejercicios
Filtraciones 122. Sea {Xt } un proceso adaptado a la ltraci on {Ft }, y sea {Gt } la ltraci on natural del proceso. Demuestre que para cada t 0 se cumple Gt Ft . Esto signica que la ltraci on natural es la ltraci on m as peque na respecto de la cual un proceso es adaptado.
Tiempos de paro 123. Sea {Xn } la sucesi on de resultados que se obtienen al lanzar sucesivamente un dado equilibrado. Sea {Fn } la ltraci on natural de este proceso y dena la variable como el primer tiempo n tal que X1 + + Xn 10. Determine si es un tiempo de paro respecto de la ltraci on dada. 124. Demuestre que la condici on en la denici on de tiempo de paro a tiempo discreto ( n) Fn es equivalente a la condici on ( = n) Fn . 125. Sea n un entero positivo. Demuestre que la variable aleatoria constante = n es un tiempo de paro. Compruebe adem as que = es tambi en un tiempo de paro. 126. Sea un tiempo de paro con valores en {1, 2, . . . , } y sea n un n umero natural. Demuestre que tanto n como n son tambi en tiempos de paro respecto de la misma ltraci on. 127. Sean 1 y 2 dos tiempos de paro respecto de la misma ltraci on. Demuestre que las siguientes variables aleatorias tambi en son tiempos de paro. a) 1 2 b) 1 2 . 128. Sean 1 y 2 dos tiempos de paro respecto de la misma ltraci on. Demuestre que 1 + 2 es tambi en un tiempo de paro. 129. Sea Xn un proceso a tiempo discreto, y sea x un n umero real cualquiera dentro del espacio de estados del proceso. Dena las variables aleatorias: 1 como el primer momento en el que el proceso toma el valor x, 2 como el segundo momento en el que el proceso toma el valor x, etc. Demuestre que 1 2 son tiempos de paro.
199
130. Sea un tiempo de paro con valores en [0, ) y sea c 1 una constante. Demuestre que c es tiempo de paro. 131. Sea 1 , 2 , . . . una sucesi on innita de tiempos de paro. Demuestre que tanto supn n como nf n n son tiempos de paro. Martingalas 132. Sea {Xn } una martingala a tiempo discreto. Demuestre que la propiedad de martingala E (Xm | Fn ) = Xn , para cualquier m n, es equivalente a la condici on E (Xn+1 | Fn ) = Xn , para cada n 1. Enuncie y demuestre la equivalencia an aloga al caso submartingala y supermartingala. 133. Demuestre que a) toda martingala es una submartingala y una supermartingala. b) todo proceso que es al mismo tiempo una submartingala y una supermartingala es una martingala. 134. Demuestre que para cualquier t > s 0, a ) E (Xt ) = E (Xs ) cuando {Xt } es una martingala. b ) E (Xt ) E (Xs ) cuando {Xt } es una submartingala.
c ) E (Xt ) E (Xs ) cuando {Xt } es una supermartingala. 135. Sea X una variable aleatoria integrable, y sea {Ft }t0 una ltraci on a tiempo continuo. Demuestre que Xt = E (X | Ft ) es una martingala. 136. Sea {Xn : n 1} un proceso adaptado a la ltraci on {Fn }n1 . Demuestre que si A es un evento F1 -medible, entonces el proceso {Xn 1A } es una martingala, submartingala o supermartingala cuando {Xn } lo es. 137. Sea M una constante. Demuestre que a) si {Xn } es una submartingala, entonces {Xn M } es una submartingala. b) si {Xn } es una supermartingala, entonces {Xn M } es una supermartingala. 138. Sean {Xt } and {Yt } dos martingalas, submartingalas o supermartingalas respecto de la misma ltraci on. Demuestre que el proceso {aXt + bYt + c} es tambi en una martingala, submartingala o supermartingala, respectivamente,
200
n de martingalas 7.10. Representacio en donde a, b y c son constantes. Para el caso submartingala y supermartingala se necesita suponer adem as que a y b son no negativos. En particular esto demuestra que la suma de dos martingalas es una martingala, y que el conjunto de martingalas respecto de la misma ltraci on y denidas en un mismo espacio de probabilidad es un espacio vectorial.
139. Sea {Xn } un proceso integrable. Demuestre que el proceso dado por Xn = m ax{X1 , . . . , Xn } es una submartingala.
140. Sean {Xt } y {Yt } dos martingalas o submartingalas respecto de la misma ltraci on. Demuestre que el proceso {Xt Yt } es una submartingala. 141. Sean {Xt } y {Yt } dos martingalas o supermartingalas respecto de la misma ltraci on. Demuestre que el proceso {Xt Yt } es una supermartingala. 142. Martingala de de Moivre. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes cada una de ellas con la misma distribuci on dada por P ( = +1) = p y P ( = 1) = q = 1 p. Sea Xn = 1 + + n . Demuestre on generada por el que Yn = (q/p)Xn es una martingala respecto de la ltraci proceso Xn . 143. Sea {Xt } una martingala respecto de una ltraci on {Ft }. Demuestre que el proceso tambi en es una martingala respecto de su ltraci on natural. En general el rec proco es falso. 144. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes con esperanza cero. Dena X0 = 0 y Xn = 1 + + n , para n 1. Se ha demostrado que el proceso Xn es una martingala respecto de la ltraci on Fn = {1 , . . . , n }. Suponga ahora que las variables tienen segundo momento nito. Demues2 n es tambi en una martingala respecto de la misma tre que el proceso Xn ltraci on si, y s olo si, las variables tienen varianza uno. 145. Martingala producto. Sean 1 , 2 , . . . variables aleatorias independientes con esperanza unitaria. Demuestre que el proceso Xn = 1 n es una martingala respecto de su ltraci on natural. 146. Sea {Xn } una submartingala. Demuestre que los siguientes procesos tambi en son submartingalas.
+ a ) Xn = m a x { Xn , 0 } . b ) Xn = m n {Xn , 0}.
c ) |Xn |. Suponga, en este caso, que Xn es una martingala.
201
147. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes e id enticamente distribuidas. Dena Xn = 1 + + n . Demuestre que el proceso a ) {Xn nE ( )} es una martingala, suponiendo E ( ) < .
2 b ) { Xn nE ( 2 )} es una martingala, suponiendo E ( 2 ) < .
2 148. Sea {Xt } una martingala cuadrado integrable. Demuestre que {Xt } es una submartingala respecto de la misma ltraci on. Vea el siguiente ejercicio para una generalizaci on de este resultado.
149. Sea {Xt } una martingala tal que E |Xt |p < para cada t 0, con p 1. Demuestre que {|Xt |p } es tambi en una submartingala. Sugerencia: Use la desigualdad de Jensen. En el siguiente ejercicio se generaliza este resultado. 150. Sea {Xt } un proceso integrable, y sea g una funci on convexa tal que g (Xt ) es integrable. Demuestre que bajo cualquiera de las siguientes condiciones se cumple que el proceso g (Xt ) es una submartingala. a ) cuando {Xt } es una martingala.
b ) cuando {Xt } es una submartingala y g es una funci on no decreciente.
151. Sea 1 , 2 , . . . una sucesi on de variables aleatorias independientes tales que 2 E ( ) = k , Var( ) = k < , y con ltraci on natural Fn . Demuestre que el siguiente proceso es una martingala respecto de esta ltraci on.
n 2 Xn n
=(
k=1
(k k ) )
2 k . k=1
152. Sea {n : n 0} un proceso integrable y adaptado a la ltraci on {Fn }. Demuestre que el siguiente proceso es una martingala.
n
Xn =
k=1
( k E (k | Fk1 ) ).
153. Sea {Xt } un proceso de Poisson de par ametro > 0. Demuestre que los siguientes procesos son martingalas. a) Yt = (Xt t)2 t. b) Yt = exp( Xt + t (1 e ) ), en donde R.
202
154. Sea {Xt } un proceso integrable con incrementos independientes. Demuestre que el proceso centrado {Xt E (Xt )} es una martingala. 155. Considere la martingala de la urna de Polya con una conguraci on inicial de una bola blanca y una negra. Suponga ahora que cuando se extrae una bola de un color se regresa a la urna junto con k bolas del mismo color. Dena Mn = Xn /(2 + nk ). Es {Mn } una martingala? 156. Demuestre que el proceso {Xn } de la estrategia de juego llamada martingala, cuando las apuestas son justas, es una martingala. 157. Sea Xn = 1 + + n una caminata aleatoria simple sobre Z y que inicia en el origen. Suponga P ( = +1) = p y P ( = 1) = q = 1 p. Sean a y b dos enteros positivos jos. Dena el tiempo de paro = m n{n 1 : Xn = a o Xn = b } . Demuestre que E ( ) = ab si p = q, si p = q. a + b 1 (p/q )b b pq p q 1 (p/q )a+b E ((Xn3 Xn2 )Xn1 ) = 0. 159. Sea 1 , 2 , . . . una sucesi on de variables aleatorias tal que el proceso Xn = 1 + + n es una martingala. Demuestre que E (i j ) = 0 para i = j . 160. Sea {Xn } una cadena de Markov con espacio de estados {0, 1, . . .}. Suponga que las probabilidades de transici on son p00 = 1 y pij = ei ij /j ! en los otros casos. Demuestre que {Xn } es una martingala. Teorema de paro opcional 161. Sea Xn = 1 + + n una caminata aleatoria simple sobre Z y que inicia en el origen. Suponga P ( = +1) = p y P ( = 1) = q = 1 p. Sean a y b
158. Sea {Xn } una martingala. Demuestre que para n1 n2 < n3 ,
203
dos enteros positivos jos. Dena el tiempo de paro = m n{n 1 : Xn = a o Xn = b}. Demuestre que si p = q, ab a + b 1 (p/q )b b E ( ) = si p = q. pq p q 1 (p/q )a+b Integrabilidad uniforme 162. Demuestre que una variable aleatoria X es integrable si, y s olo si, para cada > 0 existe M > 0 tal que |X | dP < .
(|X |>M )
Cap tulo 8
Movimiento Browniano
El fen omeno natural que ahora se conoce como movimiento Browniano tiene una interesante historia. El primer registro, aunque no as la primera observaci on de el, data de 1828 cuando el bot anico Robert Brown report o en una revista cient ca que granos de polen suspendidos en una cierta substancia y vistos a trav es de un microscopio, realizaban un movimiento irregular e inexplicable [3]. Este extra no movimiento fue objeto de mucha discusi on y muy diversas controversias se suscitaron a partir de su divulgaci on en la comunidad cient ca de aquella epoca. Con la intenci on de dar una explicaci on satisfactoria R. Brown del extra no fen omeno observado, se llevaron a cabo diversos experimentos y se formularon muy diversas hip otesis [10]. Hoy en d a este movimiento es entendido y explicado a trav es de las m ultiples colisiones aleatorias de las mol eculas del l quido con los granos de polen. Llegar a tal aseveraci on tom o muchos a nos pues debi o aceptarse la teor a cin etico molecular de la materia, y el seminal trabajo de Einstein de 1905 sobre este fen omeno contribuy o decididamente a tal tarea [10]. En este cap tulo se presenta una introducci on al modelo matem atico para el movimiento Browniano. Se trata del ejemplo m as importante de un proceso de Markov a tiempo continuo y con espacio de estados continuo.
205
206
n 8.1. Definicio
8.1.
Denici on
Las observaciones reales del movimiento de granos de polen a trav es del microscopio sugieren que las trayectorias son continuas y que los desplazamientos son independientes en intervalos de tiempo disjuntos. Adem as, debido al gran n umero de colisiones del grano de polen con las mol eculas circundantes en longitudes de tiempo no peque nos, y teniendo en cuenta el teorema central del l mite, los incrementos pueden modelarse como variables aleatorias 8.1: Movimiento Gausianas. La estructura matem atica de un proceso Figura estoc astico a tiempo continuo, denotado en este caso Browniano por {Bt : t 0}, ha resultado adecuada para modelar este tipo de fen omenos. La variable Bt puede representar la posici on de la part cula al tiempo t. La denici on matem atica, en el caso unidimensional, es la siguiente. Denici on. (I) Un movimiento Browniano unidimensional de par ametro 2 es un proceso estoc astico {Bt : t 0} con valores en R que cumple las siguientes propiedades. 1. B0 = 0 c.s. 2. Las trayectorias son continuas. 3. El proceso tiene incrementos independientes. 4. La variable Bt Bs tiene distribuci on N (0, 2 (t s)), para cualesquiera tiempos 0 s < t. Las condiciones que aparecen en esta denici on son consecuencia directa de las observaciones del fen omeno f sico, pero eso no garantiza que tal objeto matem atico exista. En 1923 el matem atico norteamericano Norbert Wiener demostr o la existencia y unicidad de un proceso con tales condiciones. Es por esta raz on que a menudo a este proceso tambi en se le llama proceso de Wiener, y se le denota tambi en por {Wt : t 0}. En sentido estricto, el movimiento Browniano es el fen omeno f sico, mientras que su modelo matem atico es el proceso de Wiener, aunque es com un
Cap tulo 8. Movimiento Browniano
207
llamar a ambas cosas por el mismo nombre: movimiento Browniano. Demostraremos a continuaci on que las condiciones (3) y (4) de la denici on anterior son equivalentes a solicitar que las distribuciones nito dimensionales del proceso sean las siguientes. Denici on. (II) Un movimiento Browniano unidimensional de par ametro 2 es un proceso estoc astico {Bt : t 0} con valores en R que cumple las siguientes propiedades. 1. B0 = 0 c.s. 2. Las trayectorias t Bt son continuas. 3. Para cualesquiera tiempos 0 < t1 < < tn , y para cualesquiera conjuntos de Borel A1 , . . . , An de R, se cumple que P (Bt1 A1 , . . . , Btn An ) = p(t1 , 0, x1 )
A1
An
p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) dxn dx1 , en donde

2 2 1 p(t, x, y ) = e(yx) /2 t . 2 2 t
(8.1)
Observe que la tercera propiedad de la u ltima denici on establece que la funci on de densidad del vector (Bt1 , . . . , Btn ) evaluada en el punto (x1 , . . . , xn ) es p(t1 , 0, x1 )p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ). En particular, la variable Bt tiene distribuci on N(0, 2 t). Demostraremos a continuaci on que las dos deniciones anteriores son equivalentes. (I ) (II ). Se hace uso de la independencia de los incrementos y de la hip otesis
208
n 8.1. Definicio
de que estos tienen distribuci on normal. fBt1 ,Bt2 ,...,Btn (x1 , x2 , . . . , xn ) = fBt1 ,Bt2 Bt1 ,...,Btn Btn1 (x1 , x2 x1 , . . . , xn xn1 )
= fBt1 (x1 ) fBt2 Bt1 (x2 x1 ) fBtn Btn1 (xn xn1 ) = p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ).
= p(t1 , 0, x1 ) p(t2 t1 , 0, x2 x1 ) p(tn tn1 , 0, xn xn1 )
(II ) (I ). De acuerdo al tercer postulado, para 0 s < t, la funci on de densidad ormula del vector (Bs , Bt ) es fBs ,Bt (x, y ) = p(s, 0, x) p(t s, x, y ). Aplicando la f general para la funci on de densidad de la diferencia de dos variables aleatorias, fY X (u) = fX,Y (x, u + x) dx, se obtiene fBt Bs (u) = =

p(s, 0, x) p(t s, x, u + x) dx
2 2 2 1 1 eu /2 (ts) dx ex /2s 2 2 2 (t s) 2 s 2 2 1 = eu /2 (ts) 2 2 (t s) = p(t s, 0, u),
es decir, Bt Bs tiene distribuci on N(0, t s). Entonces fBt1 ,Bt2 Bt1 ,...,Btn Btn1 (x1 , x2 , . . . , xn ) = fBt1 ,Bt2 ,...,Btn (x1 , x2 + x1 , . . . , xn + xn1 + + x1 ) = p(t1 , 0, x1 )p(t2 t1 , x1 , x2 + x1 )
. . . p(tn tn1 , x1 + + xn1 , x1 + + xn ) = p(t1 , 0, x1 )p(t2 t1 , 0, x2 ) p(tn tn1 , 0, xn ) = fBt1 (x1 )fBt2 Bt1 (x2 ) fBtn Btn1 (xn ).
Esto demuestra que las variables Bt1 , Bt2 Bt1 , . . . , Btn Btn1 son independientes cada una de ellas con distribuci on normal con los par ametros mencionados. Se dice que un movimiento Browniano es est andar cuando 2 = 1. A trav es del 2 cambio de variable = t un movimiento Browniano no est andar puede convertirse en uno est andar. Entonces, a menos que se especique lo contrario y sin p erdida
209
de generalidad, a partir de ahora supondremos que el movimiento Browniano es est andar, es decir, Bt Bs tiene distribuci on N (0, t s). Ejercicio. Sea {Bt } un movimiento Browniano. Demuestre que los siguientes procesos tambi en son movimientos Brownianos. a) Wt = Bt .
2 b) Wt = 1 c Bc t , con c constante positiva.
c) Wt = t B1/t , con W0 = 0. d) Wt = Bt+t0 Bt0 , con t0 0 jo.
8.2.
Funci on de probabilidad de transici on
A la funci on p(t, x, y ) denida por (8.1) se le llama funci on de probabilidad de transici on del movimiento Browniano de par ametro 2 . En particular, la probabilidad de que un movimiento Browniano que inicia en x se encuentre en un conjunto A R (apropiadamente medible) despu es de t unidades de tiempo es p(t, x, A) =
A
p(t, x, y ) dy.
Hemos hecho enfasis en la propiedad que aparece en el inciso (3) de la denici on II del movimiento Browniano, pues esta tiene la ventaja de que proporciona una expresi on expl cita para la probabilidad del conjunto de trayectorias Brownianas que cumplen las condiciones de encontrarse en el conjunto A1 al tiempo t1 , estar en el conjunto A2 al tiempo posterior t2 , etc etera. La condici on de que el movimiento Browniano inicie en el origen no es absolutamente necesaria. Pueden considerarse trayectorias Brownianas que inicien en un x punto x cualquiera a trav es del proceso x + Bt , el cual se denota a veces por Bt para recordar la posici on de origen. Integrando directamente puede comprobarse que la probabilidad de transici on p(t, x, y ) cumple la ecuaci on de Chapman-Kolmogorov, p(t + s, x, y ) =

p(t, x, u) p(s, u, y ) du,
210
sicas 8.3. Propiedades ba
y tambi en cumple la ecuaci on de difusi on, o ecuaci on de calor, p 1 2p . = t 2 x2
8.3.
Propiedades b asicas
Tenemos entonces que para el movimiento Browniano est andar cada variable alea2 toria Bt tiene distribuci on N (0, t) y por lo tanto E (Bt ) = 0 y Var(Bt ) = E (Bt ) = t. 2 En particular E (Bt Bs ) = t s, para 0 s < t. El movimiento Browniano f sico real se presenta en tres dimensiones y es completamente err atico. En la Figura 8.2 puede apreciarse una posible trayectoria Browniana cuando esta se proyecta sobre una de sus coordenadas. Esta gr aca fue generada en computadora y es s olo una aproximaci on del modelo matem atico. En la gr aca pueden apreciarse algunas peque nas partes en donde aparentemente el comportamiento es lineal y suave, ello no sucede en el modelo te orico.
Bt ( )
Figura 8.2: Usando esta probabilidad de transici on demostraremos a continuaci on que el movimiento Browniano cumple la propiedad de Markov en el sentido d ebil. Proposici on. El movimiento Browniano es un proceso de Markov.
Demostraci on. Para cualesquiera tiempos 0 t1 < t2 < < tn < tn+1 , y para
Cap tulo 8. Movimiento Browniano cualquier evento A en R,
211
P (Btn+1 A | Bt1 = x1 , . . . , Btn = xn ) p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) p(tn+1 tn , xn , A) = p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) = p(tn+1 tn , xn , A) p(tn , 0, xn ) = p(tn+1 tn , xn , A) p(tn , 0, xn ) = P (Btn+1 A | Btn = xn ).
Puede demostrarse que cumple adem as la propiedad fuerte de Markov: Si es un tiempo de paro respecto de la ltraci on del movimiento Browniano, entonces el proceso Bt+ B es tambi en un movimiento Browniano y es independiente de la - algebra F = {A F : A ( t) Ft para cada t 0}. En particular, cuando es constante t0 , el proceso Bt+t0 Bt0 es un movimiento Browniano. Como una consecuencia del hecho de que los incrementos de este proceso son independientes, demostraremos a continuaci on la propiedad de martingala. Proposici on. El movimiento Browniano es una martingala continua.
Demostraci on. Claramente el proceso es adaptado a su ltraci on natural y cada variable aleatoria del proceso es integrable. Por otro lado, para cualesquiera tiempos s y t tales que 0 s < t, E (Bt | Fs ) = = = = E (Bt Bs + Bs | Fs ) E (Bt Bs | Fs ) + E (Bs | Fs ) E (Bt Bs ) + Bs Bs .
El siguiente resultado no trivial se debe a Paul L` evy y establece condiciones que caracterizan de manera u nica al movimiento Browniano en t erminos de la propiedad de martingala.
212
sicas 8.3. Propiedades ba
Teorema de caracterizaci on de Paul L` evy. Un proceso {Xt : t 0} es un movimiento Browniano si, y s olo si, tiene trayectorias continuas, empieza en 2 cero, y tanto {Xt } como {Xt t} son martingalas. El movimiento Browniano {Bt } cumple claramente cada una de las condiciones 2 mencionadas, aunque posiblemente no sea tan evidente que el proceso {Bt t} sea tambi en una martingala, ello no es dif cil de vericar y se deja como ejercicio. La parte fuerte de esta caracterizaci on radica en que estas condiciones denen a un movimiento Browniano. Ejercicio. Use la caracterizaci on de Paul L` evy para demostrar nuevamente que los siguientes procesos son movimientos Brownianos. a) Wt = Bt .
2 b) Wt = 1 c Bc t , con c > 0 constante.
c) Wt = t B1/t , con W0 = 0. d) Wt = Bt+t0 Bt0 , con t0 0 jo.
El movimiento Browniano como l mite de una caminata aleatoria. Considere una caminata aleatoria sim etrica simple sobre Z que inicia en el origen, es decir, sea Xn = 1 + + n , en donde 1 , 2 , . . . son variables aleatorias independientes e id enticamente distribuidas tales que P ( = +1) = P ( = 1) = 1/2. Es decir, E ( ) = 0 y Var( ) = E ( 2 ) = 1. Suponga que la unidad en la variable tiempo es ahora de longitud t = 1/N , con N entero. El objetivo es hacer t cada vez m as peque no. Para lograr una versi on discreta del movimiento Browniano es necesario hacer tambi en un cambio en la escala en el tama no de los saltos, ahora no ser an unitarios sino de longitud t, m as adelante explicaremos las razones de esta elecci on. Para cada n umero natural n dena ahora la caminata aleatoria Wnt = t 1 + + t n , una de cuyas trayectorias aparece en la Figura 8.3.
Cap tulo 8. Movimiento Browniano Dada la simetr a de la caminata, sigue cumpli endose que E (Wnt ) = 0. La raz on por la que se ha tomado esa nueva escala en el tama no de los saltos es que con ello se logra similitud con el movimiento Browniano est andar al cumplirse tambi en que para cualquier valor de n, Var(Wnt ) = nt Var( ) = nt. Puede demostrarse que cuando t 0 esta caminata tiende a un proceso a tiempo continuo con trayectorias continuas. El proceso l mite resultante es el movimiento Browniano est andar.
213
3 t 2 t t
t t
2t
3t
4t
5t
6t
7t
8t
2 t
Figura 8.3:
Esta aproximaci on del movimiento Browniano como l mite de una caminata aleatoria sugiere un mecanismo para simular trayectorias Brownianas por computadora: Se escoge t peque no y N el n umero de puntos que se deseen gracar. Se generan entonces N valores independientes de la variable con distribuci on uniforme en el conjunto {1, +1}, y se graca la sucesi on de puntos (k t, Wkt ), para k = 0, 1, . . . , N . En la pr actica suelen generarse valores continuos para con distribuci on normal est andar. Este es el mecanismo seguido para generar la gr aca de la Figura 8.2 y las otras trayectorias Brownianas que aparecen en este cap tulo. Difusi on. Suponga que se coloca una part cula al azar en la recta real de acuerdo a una densidad de probabilidad f (y ). Suponga ahora que esta part cula se mueve siguiendo un movimiento Browniano est andar unidimensional. Entonces la densidad de probabilidad de la posici on de la part cula despu es de t unidades de tiempo es la funci on f (t, x) dada por f (t, x) =

f (y ) p(t, y, x) dx =
f (y ) p(t, x, y ) dx,
en donde para la segunda igualdad se ha hecho uso de la identidad p(t, y, x) = p(t, x, y ), pero ahora esta u ltima expresi on adquiere una interpretaci on interesante pues corresponde a la esperanza de la variable f (Bt ) para un movimiento Browx niano que inicia en x, es decir, f (t, x) = E (f (Bt )). A esta funci on tambi en se le x denota por E (f (Bt )), y puede demostrarse que satisface la ecuaci on 1 2 f (t, x). f (t, x) = t 2 x2
214
8.4. Propiedades de las trayectorias
8.4.
Propiedades de las trayectorias
Antes de establecer las siguientes propiedades, recordemos la denici on de variaci on de una funci on. Sea a = t0 < t1 < < tn = b una partici on del intervalo [a, b], y dena t = m ax {|ti+1 ti | : i = 0, . . . , n 1}. La variaci on de una funci on g : [a, b] R es el n umero l m sup
t0 n1 i=0
|g (ti+1 ) g (ti )|.
Cuando este n umero es nito se dice que la funci on tiene variaci on nita en dicho intervalo. An alogamente, la variaci on cuadr atica es l m sup
t0 n1 i=0
|g (ti+1 ) g (ti )|2 .
Demostraremos a continuaci on que sobre un intervalo de tiempo acotado [a, b], casi todas las trayectorias del movimiento Browniano tienen variaci on no acotada, esto es, l m sup
t0 n1 i=1
|Bti+1 Bti | = ,
c.s.
Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como funciones integradoras en el sentido de Riemann-Stieltjes. El hecho de que se desee denir alg un tipo de integral respecto del movimiento Browniano ser a claro en el siguiente cap tulo cuando se estudian ecuaciones diferenciales estoc asticas. Por otro lado demostraremos tambi en que la variaci on cuadr atica del movimiento Browniano sobre [a, b] es nita, de hecho, es la longitud del intervalo en cuesti on. Proposici on. La variaci on cuadr atica de una trayectoria del movimiento Browniano sobre el intervalo [a, b] es la longitud del intervalo, es decir, l m sup
t0 n1 i=1
|Bti+1 Bti |2 = b a,
en el sentido L2 (P ).
215
Demostraci on. Sea {Pn } una sucesi on de particiones nitas del intervalo [a, b]. Denote por ti el incremento ti+1 ti , y sea Bi la diferencia Bti+1 Bti . Entonces E|
i
(Bi )2 (b a)|2
i,j
=E =
i
(Bi )2 (Bj )2 2(b a)E
(Bi )2 + (b a)2 (ti ) + (b a)2
E (Bi )4 +
i=j
E (Bi )2 E (Bj )2 2(b a)

2
=
i
3(ti ) +
i=j
ti tj (b a) ti )2 (b a)2
=
i
2(ti )2 + (
i
=
i
2(ti )
2(b a) m ax ti 0.
0i<n
Recordemos ahora el resultado que establece que toda toda sucesi on convergente en el sentido L2 (P ) tiene una subsucesi on convergente casi seguramente. Por lo tanto existe una subsucesi on de particiones {Pnk } del intervalo [a, b] tal que l m sup
t0 n1 i=1
|Bti+1 Bti |2 = b a,
c.s.
Proposici on. (Variaci on del movimiento Browniano). La variaci on de una trayectoria del movimiento Browniano sobre el intervalo [a, b] es innita, casi seguramente, es decir, l m sup
t0 n1 i=1
|Bti+1 Bti | = ,
c.s.
216
8.4. Propiedades de las trayectorias
Demostraci on. Para cada n natural sea Pn la partici on uniforme del intervalo [a, b] en n subintervalos, es decir cada incremento ti = ti+1 ti tiene longitud (b a)/n. Entonces se tiene la estimaci on
n1 i=0
|Bi |2 ( m ax |Bi | )
0i<n
n1 i=0
|Bi |.
(8.2)
Sea {Pnk } subsucesi on de particiones uniformes tal que

k
l m
nk 1 i=0
|Bi |2 = b a,
c.s.
Por otro lado, como las trayectorias del movimiento Browniano son continuas casi seguramente, se tiene que
k
l m ( m ax |Bi | ) = 0,
0i<nk
c.s.
Substituyendo los u ltimos dos resultados en (8.2) se obtiene que, respecto de la subsucesi on de particiones, l m
nk 1 i=0
|Bi | = ,
c.s.
De donde se sigue que el l mite superior es innito casi seguramente. No diferenciabilidad. Demostraremos a continuaci on que para cualquier tiempo t0 0 jo, con probabilidad uno la trayectoria t Bt no es diferenciable en t0 . M as adelante se enuncia sin demostraci on un resultado m as fuerte acerca de esta no diferenciabilidad. Proposici on. Sea t0 0 jo. Con probabilidad uno, el movimiento Browniano {Bt } no es diferenciable en t0 . en un movimiento Browniano, Demostraci on. Debido a que Bt+t0 Bt0 es tambi es suciente demostrar la no diferenciabilidad de Bt en t = 0. Demostraremos que con probabilidad uno, para cada n umero natural n existe t en el intervalo [0, 1/n2]
217
tal que | 1 t Bt | > n. Esta propiedad implica que Bt no es diferenciable en t = 0. Para cada n umero natural n dena el evento 1 An = { | Bt | > n, t para alg un t [0, 1/n2] },
y observe que A1 A2 Entonces P (An ) = = = 1 B1/n4 | > n ) 1/n4 1 P ( |B1/n4 | > 3 ) n 1 2 P ( |n B(1/n4 )(1) | > ) n 1 P ( |B1 | > ) 1 cuando n . n P( |
2 en un movimiento Browniano para Hemos usado el hecho de que 1 c Bc t es tambi cualquier c > 0 constante. Por lo tanto P (A1 ) P (A2 ) 1. Es decir, P (An ) = 1 para cualquier n 1.
Es decir, para cada t0 0, el conjunto de trayectorias t Bt que no son diferenciables en t0 tiene probabilidad uno. Este conjunto de trayectorias puede cambiar para cada valor de t0 , aunque cada una de ellas tenga probabilidad uno. El siguiente resultado, m as fuerte y que se enuncia sin demostraci on, asegura que con probabilidad uno no hay diferenciabilidad en ning un punto. Observe que el conjunto de tiempos t0 0 no es numerable y por lo tanto la armaci on no se sigue de manera obvia del resultado anterior. Proposici on. Con probabilidad uno, el movimiento Browniano {Bt } no es diferenciable en ning un t 0. Las trayectorias Brownianas son entonces ejemplos de funciones, otrora consideradas extra nas, que son continuas pero no diferenciables en ning un punto. La gr aca de la Figura 8.2 muestra una de tales trayectorias, el zigzagueo incesante del movimiento de la part cula no permite la diferenciabilidad de su trayectoria en ning un punto. Este tipo de resultados son los que dan la pauta para buscar desarrollar una teor a de la diferenciabilidad de funciones un poco m as amplia que la proporcionada por el c alculo diferencial tradicional.
218
8.5. Movimiento Browniano multidimensional
8.5.
Movimiento Browniano multidimensional
El movimiento Browniano que hemos estudiado con valores en R puede extenderse a un proceso con valores en Rn de la siguiente forma. Denici on. Sean B1 (t), . . . , Bn (t) movimientos Brownianos independientes unidimensionales. El movimiento Browniano en Rn es el proceso B (t) = (B1 (t), . . . , Bn (t)).
En la Figura 8.4 puede apreciarse una simulaB2 (t) ci on de una trayectoria Browniana en R2 . En completa analog a con el caso unidimensional, este proceso puede denirse de manera alternativa mediante los siguientes postulados. Primeramente se pide que B (0) = (0, . . . , 0) caB1 (t) si seguramente. Se presupone adem as que las trayectorias t B (t) son continuas, y que el proceso tiene incrementos independientes. FiFigura 8.4: nalmente, para cualesquiera tiempos 0 s < t, el vector B (t) B (s) tiene una distribuci on normal multivariada con media el vector de ceros (0, . . . , 0), y matriz de covarianzas la matriz diagonal 2 (t s)1 0 .. Var(B (t) B (s)) = . . 0
2 (t s)n
Es decir, la funci on de densidad del vector B (t) B (s) es f (x1 , . . . , xn ) = 1 2 (t

2 s)1
ex1 /2(ts)1
2 2 1 exn /2(ts)n . 2 2 (t s)n
Cuando los valores de los par ametros son todos uno, se dice nuevamente que
219
el movimiento Browniano es est andar, y la funci on de densidad de B (t) B (s) adquiere la expresi on compacta f (x1 , . . . , xn ) =
2 1 e||x|| /2(ts) , n/ 2 (2 (t s))
2 en donde ||x|| = x2 1 + + xn . Como en el caso unidimensional, puede considerarse un movimiento Browniano que inicie en x Rn , y entonces para cualquier t > 0 la probabilidad de transici on o densidad de B (t) es
p(t, x, y ) =
2 1 e||yx|| /2t , n/ 2 (2t)
que nuevamente cumple al ecuaci on de Chapman-Kolmogorov p(t + s, x, y ) =

Rn
p(t, x, u) p(s, u, y ) du.
El proceso de Bessel. Sea B (t) un movimiento Browniano en Rn . El proce2 2 so de Bessel es el proceso dado por R(t) = ||B (t)|| = (B1 (t) + + Bn (t))1/2 . Es decir, R(t) es la distancia Euclideana que guarda un movimiento Browniano ndimensional respecto al origen al tiempo t, y por eso se le llama a veces movimiento Browniano radial. Se trata pues de un proceso con valores en [0, ) que evidentemente tiene trayectorias continuas. Puede demostrarse (v ease [1]) que este proceso cumple la propiedad de Markov y que la funci on de probabilidades de transici on p(t, x, y ) puede expresarse en t erminos de las funciones de Bessel, y de all es de donde adquiere este nombre alternativo. Ecuaci on de calor en dominios acotados. Vamos a enunciar sin demostraci on un resultado que nos llevar a a una aplicaci on del movimiento Browniano. Considere una regi on abierta y acotada D de Rn con frontera D, y suponga que la funci on u(t, x) representa la temperatura en el punto x D al tiempo t 0. La evoluci on en el tiempo de esta funci on est a dada por la ecuaci on de calor d u(t, x) = u(t, x), t 2 en donde es el operador Laplaciano, y d es una constante positiva. Suponga adem as que se tiene una temperatura inicial u(0, x) = f (x) para x D, y la condici on de frontera u(t, x) = g (x) para x D. Sea x un punto cualquiera x x en D y dena el tiempo = nf {t > 0 : Bt D}, en donde {Bt } es un
220
8.5. Movimiento Browniano multidimensional
movimiento Browniano de par ametro 2 = d, y que inicia en x. La soluci on a esta ecuaci on de calor con las condiciones mencionadas se puede expresar en t erminos del movimiento Browniano de la siguiente forma
x x u(t, x) = E ( f (Bt )1( >t) + g (B )1( t) ).
(8.3)
Conforme t la estructura de la ecuaci on de calor hace que la soluci on u(t, x) se aproxime a una funci on u(x), la soluci on estacionaria de la ecuaci on de calor, que satisface u(x) = 0, para x D, y conservando la condici on de frontera u(x) = g (x) para x D, es decir, x E ( g (B ) ) si x D, u(x) = l m u(t, x) = t g (x) si x D. Ejemplo: El problema de la ruina del jugador con trayectorias Brownianas. Suponga que un movimiento Browniano unidimensional inicia en el punto x dentro del intervalo (a, b), con 0 a < b < . Cu al es la probabilidad de que el proceso tome el valor a antes que b? Una trayectoria Browniana que cumple tal condici on se muestra en la Figura 8.5(a). Este es el problema de la ruina del jugador estudiado antes s olo que ahora el capital del jugador cambia continuamente siguiendo un movimiento Browniano. Llegar primero al valor a se interpreta como ruina, y el juego es justo pues los saltos del movimiento Browniano tienen esperanza nula. x x Dena nuevamente el tiempo de paro = nf {t > 0 : Bt = a o Bt = b}. Nos interesa encontrar x x u(x) = P (B = a) = E (1{a} (B )). Por lo anterior, esta funci on cumple la ecuaci on u (x) = 0, para a < x < b, con condiciones de frontera u(a) = 1 y u(b) = 0. La soluci on es u(x) = (b x)/(b a), cuya gr aca se muestra en la Figura 8.5(b).
221
Bt b x a t (a ) 1
u(x)
a ( b)
Figura 8.5:
8.6.
El principio de reexi on
Este resultado tiene una interXt ( ) pretaci on geom etrica f acil de entender. Considere un movimiento Browniano que inicia en a, y sea b otro n umero tal que b > a. El conjunto de trab yectorias que tocan la l nea hoa rizontal y = b en alg un tiempo s [0, t], se descompone en dos conjuntos ajenos que son sim etricos uno del otro y t tienen id entica probabilidad: Figura 8.6: aquel conjunto de trayectorias que nalizan en alg un punto arriba de b, y el conjunto de trayectorias que terminan por abajo de b. En la Figura 8.6 se ilustra esta situaci on. Una vez que una trayectoria toca el punto b, es igualmente probable que nalice al tiempo t arriba de b o abajo de b. Este resultado adquiere su nombre debido a esta propiedad de reexi on y facilita el c alculo de algunas probabilidades, en particular, lo usaremos para demostrar la propiedad de recurrencia puntual del movimiento Browniano unidimensional.
222
a Proposici on. (Principio de reexi on). Sea Bt un movimiento Browniano que empieza en a, y sea b > a. Para cualquier t > 0, a a P ( Bs b para alg un s [0, t] ) = 2 P (Bt b).
(8.4)
Demostraci on. Sea el primer momento en el que el movimiento Browniano es a igual a b, es decir, sea = nf {t 0 : Bt = b}. Esta variable aleatoria puede tomar el valor innito si el evento mencionado nunca ocurre. Entonces
a P ( Bs b para alg un s [0, t] ) =
= =
P ( t)
P ( < t) + P ( = t) P ( < t).
a a La u ltima igualdad se debe a que P ( = t) P (Bt = b) = 0, por ser Bt una variable aleatoria continua. Por otro lado, a P (Bt b) = a P (Bt b | t) P ( t)
a P (Bt b 0 | < t) P ( < t),
(8.5)
en donde, por la propiedad de Markov, y condicionada a la ocurrencia del evento a a a ( < t), la variable Bt b = Bt B tiene distribuci on N(0, (t ) 2 ). Por lo a tanto P (Bt b 0 | < t) = 1/2. Substituyendo en (8.5) se obtiene
a b). P ( < t) = 2 P (Bt
8.7.
Recurrencia y transitoriedad
En esta secci on encontraremos la probabilidad de que el movimiento Browniano eventualmente regrese a su posici on de origen. Veremos que la respuesta depende de la dimensi on del proceso. Empezaremos estudiando una propiedad general en el caso unidimensional.
223
Proposici on. Sea {Bt } un movimiento Browniano unidimensional que inicia en cero y considere dos tiempos t1 y t2 tales que 0 < t1 < t2 . Entonces 2 t1 P ( Bt = 0 para alg un t [t1 , t2 ] ) = 1 arctan . t2 t1
Demostraci on. Para cualquier u > 0, mediante argumentos de traslaci on y por el principio de reexi on se tiene que P ( Bt = 0 para alg un t [t1 , t2 ] | Bt1 = u ) = P ( Bt u para alg un t [0, t2 t1 ] ) = P ( Bt u para alg un t [0, t2 t1 ] ) = 2 P (Bt2 t1 u).
Por simetr a se tiene la misma probabilidad para el caso u < 0. Entonces P ( Bt = 0 para alg un t [t1 , t2 ] ) = = =4 =4
0
P ( Bt = 0 para alg un t [t1 , t2 ] | Bt1 = u ) p(t1 , 0, u) du 2 P ( Bt2 t1 u ) p(t1 , 0, u) du P ( Bt2 t1 u ) p(t1 , 0, u) du (

u u
p(t2 t1 , 0, v ) dv ) p(t1 , 0, u) du 1 2 (t2 t1 ) e v

2
=4
0
/2(t2 t1 )
2 1 eu /2t1 dv du. 2t1
Haciendo el cambio de variable (x, y ) = (u/ t1 , v/ t2 t1 ) se obtiene la expresi on equivalente 4

0 x t1 / t2 t1
1 ( x 2 + y 2 ) /2 e dy dx. 2
Ahora se resuelve esta integral usando on de inte coordenadas polares. La regi graci on {(x, y ) : x 0 y y x t1 / t2 t1 } que se muestra en la Figura 8.7,
224
1 , /2)}. Por lo corresponde a la regi on polar {(r, ) : r > 0 y (arctan t2t t1 tanto la probabilidad buscada es
/2
t arctan 1
1 r 2 /2 e r dr d 2 0 t2 t1 t1 1 = 4 ( arctan ) 2 2 t2 t1 2 t1 = 1 arctan . t2 t1
e r
/2
r dr
y=
t1 x t 2 t 1
= arctan
t1 t 2 t 1
Figura 8.7: Con ayuda de este resultado demostramos ahora la recurrencia puntual del movimiento Browniano unidimensional. Proposici on. (Recurrencia puntual del mov. Browniano unidimensional). Con probabilidad uno el movimiento Browniano unidimensional es recurrente puntual, es decir, regresa a su posici on de origen una innidad de veces casi seguramente.
Demostraci on. Haciendo t2 tender a innito en la f ormula reci en demostrada e intercambiando el l mite con la probabilidad, lo cual es v alido pues la sucesi on de
Cap tulo 8. Movimiento Browniano eventos es creciente, se obtiene que para cualquier valor positivo de t1 , t1 2 ) = 1. P ( Bt = 0 para alg un t [t1 , ) ) = l m (1 arctan t2 t2 t1
225
Esto es, la probabilidad de que el movimiento Browniano unidimensional regrese al cero para alg un tiempo t dentro del intervalo [t1 , ) es uno, sin importar la magnitud de t1 . Ahora, una vez que regresa a cero, por la propiedad fuerte de Markov, inicia en ese momento otro movimiento Browniano que eventualmente regresar a nuevamente a cero con probabilidad uno. De esta manera regresar a a cero una innidad de veces con probabilidad uno. Esta propiedad de recurrencia signica que una trayectoria como la de la Figura 8.2 cruzar a una innidad de veces el eje horizontal, casi seguramente. Puede uno tambi en considerar que el movimiento inicia en un punto cualquiera x obteni endose la misma propiedad de recurrencia al punto x. La siguiente conclusi on es tambi en muy interesante: Hemos mencionado antes que el proceso Wt = tB1/t , con W0 = 0, es tambi en un movimiento Browniano. Ahora, dado que Bt es cero para una innidad de valores de t en cualquier intervalo de la forma [t1 , ), se tiene entonces que Wt es cero una innidad de veces dentro del intervalo (0, 1/t1 ). Es decir, en cualquier vecindad de t = 0, las trayectorias del movimiento Browniano cruzan el eje horizontal una innidad de veces, casi seguramente. Esta misma conclusi on puede obtenerse directamente de la f ormula reci en demostrada tomando t2 > 0 jo y haciendo t1 0, es decir, 2 t1 P ( Bt = 0 para alg un t (0, t2 ] ) = l m (1 arctan ) = 1. t1 0 t2 t1 En el caso de dimensiones mayores la situaci on es distinta.
226
Proposici on. Sea B (t) un movimiento Browniano n-dimensional que inicia en el origen, y sea el disco D = {x Rn : ||x|| < r}, para alg un r > 0. 1. Cuando n = 2, con probabilidad uno el movimiento Browniano visita la vecindad D en una innidad de tiempos no acotados. Esto es, el proceso es recurrente por vecindades. Sin embargo no es recurrente puntual pues la probabilidad de que regrese exactamente al punto de partida es cero. 2. Cuando n 3, el proceso es transitorio por vecindades, es decir, existe una probabilidad positiva de que el proceso nunca regrese a la vecindad del punto de partida.
Demostraci on. Sean r1 y r2 dos radios tales que 0 < r1 < r2 , y dena la regi on A = {x Rn : r1 < ||x|| < r2 } como se muestra en la Figura 8.8. La frontera de A 2 es A = {x Rn : ||x|| = r1 o ||x|| = r2 }, y ||x|| = x2 1 + x2 .
r1
r2
Figura 8.8: Suponga que el movimiento Browniano inicia en el origen y que en alg un tiempo posterior se encuentra en un punto x dentro de la regi on A. Dena la funci on f (x) como la probabilidad de que el movimiento Browniano que parte de x llegue a la circunferencia exterior {x Rn : ||x|| = r2 } antes que a la circunferencia interior {x Rn : ||x|| = r1 }. Es decir, si se dene el tiempo de paro = nf {t > 0 : B (t) D},
227
entonces f (x) = P ( ||B ( )|| = r2 | B (0) = x ). Esta funci on puede tambi en escribirse como f (x) = E ( g (B ( )) | B (0) = x ), en donde g (x) : A R es la funci on indicadora g (y ) = La funci on f (x) satisface f (x) = 0, con condiciones de frontera f (y ) = g (y ) = 1 0 si ||y || = r2 , si ||y || = r1 . (8.6) 1 0 si ||x|| = r2 , si ||x|| = r1 .
Dada la simetr a del movimiento Browniano, la funci on f (x) depende de x s olo a trav es de la magnitud ||x||. Sea entonces f (x) = (||x||) para alguna funci on (r) con r = ||x||. En este caso particular, conviene escribir al operador de Laplace en coordenadas esf ericas adquiriendo la expresi on = = d n1 d (r ) dr dr n1 d d2 + . dr2 r dr 1 rn1
Por lo tanto, la ecuaci on (8.6) se escribe (r) + n1 (r) = 0, r para r (r1 , r2 ),
y las nuevas condiciones de frontera son (r2 ) = 1 y (r1 ) = 0. La soluci on general de esta ecuaci on es (r) = c1 ln r + c2 c1 r2n + c2 si n = 2, si n 3,
con c1 y c2 constantes. Usando ahora las condiciones de frontera se obtiene (||x||) (||x||) = = ln ||x|| ln r1 ln r2 ln r1 2n r1 ||x||2n 2n 2n r1 r2 si n = 2, si n 3. (8.7) (8.8)
228
Estos resultados nos permitir an encontrar las probabilidades buscadas tomando algunos l mites sobre los radios r1 y r2 . Para el caso n = 2, la probabilidad de que el movimiento Browniano que inicia en x nunca visite la bola de radio r1 alrededor del cero es, por (8.7),
r2
l m P ( ||B ( )|| = r2 antes que ||B ( )|| = r1 | B (0) = x ) = l m = 0.

r2
ln ||x|| ln r1 ln r2 ln r1
Es decir, la probabilidad de que el movimiento Browniano en R2 visite el disco de radio r1 alrededor del origen es uno. Y regresar a a dicho disco en una innidad de tiempos no acotados. Este comportamiento se conoce con el nombre de recurrencia por vecindades. Sin embargo, no se presenta la recurrencia puntual, es decir, la probabilidad de que el movimiento Browniano en R2 regrese exactamente al punto de origen es cero. Esto es consecuencia nuevamente de (8.7) al tomar el l mite cuando r1 0. Es decir, la probabilidad de que el proceso tome el valor (0, 0) antes de que toque el c rculo de radio r2 es
r1 0
l m P ( ||B ( )|| = r1 antes que ||B ( )|| = r2 | B (0) = x ) = l m ( 1 = 0.

r1 0
ln ||x|| ln r1 ) ln r2 ln r1
Ahora consideremos el caso n 3. La probabilidad de que el proceso que inicia en x nunca visite el disco de radio r1 alrededor del cero es, por (8.8),
r2
l m P ( ||B ( )|| = r2 antes que ||B ( )|| = r1 | B (0) = x ) = l m

2n r1 ||x||2n 2 n 2n r2 r1 r2 r1 n2 ) =1( ||x|| > 0.
Es decir, existe una probabilidad estrictamente positiva de que el proceso nunca visite el disco de radio r1 alrededor del origen, cuando inicia en x. Este es el comportamiento transitorio del movimiento Browniano para dimensiones n 3. Expl citamente, la probabilidad de un retorno exacto al origen es cero pues por (8.8), esta
Cap tulo 8. Movimiento Browniano probabilidad es

r1 0
229
l m P ( ||B ( )|| = r1 antes que ||B ( )|| = r2 | B (0) = x ) = l m (1

r1 0 2n r1 ||x||2n 2n 2n ) r1 r2
= 0.
Notas y referencias
El lector puede encontrar una muy interesante y motivadora exposici on hist orica sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward Nelson [24]. Este libro se encuentra disponible en formato electr onico en la p agina web del autor. Para otras primeras lecturas y mas resultados sobre el movimiento Browniano pueden consultarse, por ejemplo, los textos de Karlin y Taylor [19], Lawler [23], Nelson [24], y Tudor [38].
230
Norbert Wiener (USA 18941964). Norbert Wiener fue ante todo un ni no prodigio. En 1903 a la edad de 9 a nos ingres o a la preparatoria Ayer en Massachusetts, la cual concluy o en 1906 para ingresar despu es al colegio Tufts en donde estudi o matem aticas con el apoyo y asesor a de su padre. En 1909 se gradu o del colegio Tufts a la edad 14 a nos e ingres o a la universidad de Harvard para realizar estudios de posgrado en Zoolog a. Con ayuda de una beca ingres o despu es a la universidad de Cornell en 1910 en donde tom o cursos de posgrado en matem aticas y losof a, pero su desempe no all no fue del todo satisfactorio y su padre lo regres o a Harvard para continuar sus N. Wiener estudios de losof a. Se gradu o en Harvard a la edad de 18 a nos con una tesis sobre l ogica matem atica bajo la direcci on de Karl Schmidt. Despu es de Harvard viaj o a Cambridge, Inglaterra, para estudiar junto a Bertrand Russell y en donde asisti o a algunos cursos dictados por G. H. Hardy. En 1914 viaj o a Gottingen para estudiar ecuaciones diferenciales con David Hilbert. Regres o a los Estados Unidos dos d as antes del inicio de la primera guerra mundial. Muri o en Estocolmo a la edad de 69 a nos despu es de sufrir un segundo ataque al coraz on. Una universidad en el Per u lleva ahora su nombre. Fuente: Archivo MacTutor, Universidad de St. Andrews.
231
Paul Pierre L` evy (Francia 18861971). Paul L` evy naci o dentro de una familia con tradici on matem atica. Su abuelo fue profesor de matem aticas y su padre estudi o geometr a y trabaj o en la Ecole Polytechnique. De peque no, L` evy asisti o al Lyc ee Saint Louis en Paris, en donde mostr o ser un excelente estudiante, sobresaliendo y ganando premios no s olo en matem aticas sino tambi en en Griego, f sica y qu mica. Ingres o despu es a la Ecole Polytechnique y siendo all a un estudiante public o su primer art culo en matem aticas en 1905, el cual tocaba temas de series convergentes. Despu es de un a no de servicio militar, P. P. L` evy ingres o en 1907 a la Ecole des Mines, y asisti o a cursos de matem aticas en la Sorbonne. En 1910 concluy o sus estudios en la Ecole des Mines, y realiz o a partir de entonces trabajos de investigaci on en an alisis funcional que le llevaron a obtener el grado de Docteur es Sciences en 1912 bajo el escrutinio de E. Picard, H. Poincar e y J. Hadamard. Trabaj o como profesor en la Ecole des Mines de Saint-Etienne en Paris de 1910 a 1913, y en la Ecole Nationale Sup erieure de Mines de 1914 a 1951. Tambi en imparti o clases en la Ecole Polytechnique de 1920 a 1959, a no en el que se jubil o. En 1963 fue nombrado miembro honorario de la London Mathematical Society, y en 1964 fue elegido miembro de la Acad emie des Sciences. Paul L` evy realiz o contribuciones importantes en la teor a de la probabilidad, el an alisis funcional y las ecuaciones diferenciales parciales. Dentro de sus textos publicados se encuentran Le cons danalyse funtionelle (1922), Calcul des probabilit es (1925), Theorie de laddition des variables al eatoires (1937), y Processus stochastiques et mouvement Brownien (1948). Paul L` evy fue uno de los m as grandes matem aticos de su tiempo. Como cient co fue un ejemplo de individualismo absoluto, era un investigador solitario que s olo se preocupaba por plantearse problemas matem aticos de su inter es y buscaba su soluci on a trav es de la reexi on interior. No participaba mayormente en los congresos internacionales excepto posiblemente hacia el nal de su vida. A menudo encontraba por si mismo resultados ya conocidos, y otras veces descubr a resultados importantes nuevos sin darles mucha publicidad pues los cre a ya conocidos. Paul L` evy fue un ejemplo de un hombre de pensamiento de originalidad profunda, indiferente a las escuelas y m etodos establecidos, y quien no dudaba en lanzarse sobre nuevos caminos de pensamiento pues no tem a de ninguna manera a la soledad intelectual. Fuente: Archivo MacTutor, Universidad de St. Andrews.
232
Ejercicios
Movimiento Browniano unidimensional
163. Sea {Bt } un movimiento Browniano de par ametro 2 . Demuestre que Wt = Bt/2 es un movimiento Browniano est andar. 164. Sea = 0 una constante. Demuestre que si {Bt } es un movimiento Browniano est andar, entonces los siguientes procesos son movimientos Brownianos de par ametro 2 . a ) Wt = Bt . b ) Wt = B2 t . 165. Sea Bt un movimiento Browniano de par ametro 2 . A partir de la denici on, demuestre que el proceso Wt = tB1/t , con W0 = 0, es un movimiento Browniano de par ametro 2 . 166. Demuestre que la funci on de covarianza del movimiento Browniano est andar es Cov(Bs , Bt ) = s t. 167. Sea t0 > 0 jo y sea Bt es un movimiento Browniano est andar. Demuestre que el proceso {Bt0 Bt0 t : 0 t t0 } es un movimiento Browniano en el intervalo [0, t0 ]. Este es un movimiento Browniano con tiempo invertido. 168. Sea {Bt } un movimiento Browniano de par ametro 2 . Demuestre que para cualesquiera tiempos t = s, P (Bt > Bs ) = 1/2. 169. Demuestre que la probabilidad de transici on p(t, x, y ) del movimiento Browniano unidimensional de par ametro 2 satisface la ecuaci on de difusi on (tambi en llamada ecuaci on de calor): 2p p . = t 2 y 2 170. Demuestre que la probabilidad de transici on p(t, x, y ) del movimiento Browniano unidimensional de par ametro 2 cumple la ecuaci on de Chapman- Kolmogorov p(t + s, x, y ) =
p(t, x, u) p(s, u, y ) du.
Cap tulo 8. Movimiento Browniano 171. Sea {Bt } un movimiento Browniano est andar. Demuestre que a ) E |B t B s | = 2 |t s | . b ) E (Bt Bs )2 = |t s|. c ) E (Bs Bt ) = m n{s, t}.
233
d ) (Bt , Bs ) =
s/t, para 0 s t.
172. Demuestre que el movimiento Browniano es una martingala respecto de su ltraci on natural.
2 173. Sea {Bt } un movimiento Browniano. Demuestre que el proceso {Bt t} es tambi en una martingala respecto de la misma ltraci on.
174. Sea {Bt } un movimiento Browniano de par ametro 2 que inicia en cero. Sea a una constante y dena el tiempo = nf {t 0 : Bt = a}. Encuentre la funci on de densidad de . 175. Movimiento Browniano reejado en el origen. Sea Bt un movimiento Browniano est andar. El proceso Xt = |Bt | corresponde a un movimiento Browniano que s olo toma valores positivos pues las trayectorias son reejadas respecto del origen hacia la parte positiva del eje. Demuestre que Xt es un proceso de Markov con trayectorias continuas y que tiene funci on de probabilidad de transici on q (t, x, y ) dada por q (t, x, y ) = p(t, x, y ) + p(t, x, y ), para cualesquiera valores x, y 0, en donde p(t, x, y ) es la correspondiente funci on de probabilidad de transici on del movimiento Browniano. Compruebe adem as que a ) E (Xt ) = 2t/ . b ) Var(Xt ) = (1 2/ )t.
x 176. Movimiento Browniano con absorci on en el origen. Sea {Bt } un movimiento Browniano est andar que inicia en x > 0. Dena el tiempo = nf {t 0 : x Bt = 0} y el proceso
Xt =
x Bt 0
si 0 t , si t > ,
el cual representa un movimiento Browniano que inicia en x con la caracter stica de que una vez que llega al cero permanece en ese estado el resto del tiempo.
234
8.7. Recurrencia y transitoriedad a ) Demuestre que {Xt } es un proceso de Markov con trayectorias continuas.
b ) Observe que la variable Xt es mixta, es decir, no es discreta ni continua. Demuestre que la funci on de probabilidad de transici on del proceso {Xt } es, en su parte continua, q (t, x, y ) = p(t, 0, y x) p(t, 0, y + x), para x, y > 0, en donde p(t, x, y ) es la correspondiente funci on para Bt , un movimiento Browniano que inicia en cero. Demuestre adem as que, para la parte discreta, q (t, x, 0) = 2(1 F (x)), en donde F (x) es la funci on de distribuci on de Bt .
c ) Calcule E (Xt ) y Var(Xt ). 177. La martingala exponencial. El proceso que se obtiene al tomar la exponencial de un movimiento Browniano no es, en general, una martingala, sin embargo, a nadiendo un t ermino extra este nuevo proceso puede convertirse en una martingala y se le llama martingala exponencial. M as espec camente, sea Bt un movimiento Browniano est andar y sea c una constante. Dena el proceso Xt = exp ( cBt c2 t/2 ). Compruebe que Xt es efectivamente una martingala respecto de la ltraci on natural del movimiento Browniano y verique adem as 2 que E (Xt ) = 1 y Var(Xt ) = ec t 1. 178. El puente Browniano en [0, 1]. Sea {Bt } un movimiento Browniano unidimensional est andar. Demuestre que la distribuci on condicional de la variable Bt , con t (0, 1), dado que B0 = 0 y B1 = 0, es f (x) = 1 2 t(1 t) e x
2
/2t(1t)
para < x < , es decir, Bt tiene distribuci on condicional N(0, t(1 t)). A este proceso condicionado se le conoce con el nombre de puente Browniano en el intervalo unitario (0, 1). El siguiente ejercicio generaliza este resultado. 179. El puente Browniano en [t1 , t2 ]. Sea {Bt } un movimiento Browniano unidimensional est andar, y sean t1 y t2 dos tiempos jos tales que 0 t1 < t2 . Demuestre que la distribuci on condicional de la variable Bt , con t (t1 , t2 ), dado que Bt1 = a y Bt2 = b, es N(, 2 ) con 2 = = a+ t t1 (b a), t2 t1 (t2 t)(t t1 ) . t2 t1
235
Movimiento Browniano multidimensional

180. Sea B (t) = (B1 (t), . . . , Bn (t)) un movimiento Browniano est andar en Rn , y 2 2 1/2 sea r > 0. Sea ||x|| = (x1 + + xn ) la norma Euclideana en Rn . Demuestre que la funci on de densidad de ||B (t)|| es, para x > 0, f (x) = 1 (n/2) 1 2
n/2
x2 t
n/21
2x x2 /2t e . t
En particular, demuestre que para n = 2, P ( ||B (t)|| x ) = 1 ex

2
/2t
181. Demuestre que el operator Laplaciano en R2 , f (x, y ) = 2 f /x2 + 2 f /y 2 adquiere la siguiente expresi on en coordenadas polares f (r, ) = 1 1 2 2 f+ f + 2 2 f. 2 r r r r
Compruebe que cuando f depende de x y de y u nicamente a trav es de r = on x2 + y 2 , el Laplaciano se reduce a la expresi f (r, ) = d2 1 d f+ f. 2 dr r dr
Este resultado fue usado en la demostraci on de la propiedad de recurrencia por vecindades del movimiento Browniano en R2 . 182. Demuestre que el operator Laplaciano en R3 , f (x, y, z ) = 2 f /x2 + 2 f /y 2 + 2 f /z 2 adquiere la siguiente expresi on en coordenadas esf ericas f (r, , ) = 1 2 2 1 1 f. ( r ) f + (sen ) f + r2 r r r2 sen r2 sen2 2
Compruebe que cuando f depende de x, y y z u nicamente a trav es de r = on x2 + y 2 + z 2 , el Laplaciano se reduce a la expresi f (r, ) = d2 2 d f+ f. 2 dr r dr
Este resultado fue usado en la demostraci on de la propiedad de transitoriedad del movimiento Browniano en R3 .
Cap tulo 9
C alculo estoc astico
En este u ltimo cap tulo se presenta una breve introducci on al c alculo estoc astico de It o. Vamos a denir la integral de It o de un proceso estoc astico respecto del movimiento Browniano. Mostraremos adem as el uso y aplicaci on de la f ormula de It o, y resolveremos algunos modelos sencillos de ecuaciones estoc asticas.
9.1.
Integraci on estoc astica
El objetivo de esta secci on es presentar la denici on de la integral de It o de un proceso Xt respecto del movimiento Browniano, es decir, una integral de la forma
T
Xt dBt .
0
(9.1)
Este tipo de integrales no pueden denirse trayectoria por trayectoria, es decir, como si fuera una integral de Riemann-Stieltjes de una funci on respecto de otra funci on, pues en este caso la funci on integradora es una trayectoria del movimiento Browniano que, como hemos visto antes, no tiene variaci on nita. La justicaci on para desear denir este tipo de integrales ser a evidente m as adelante cuando estudiemos ecuaciones estoc asticas basadas en este tipo de integrales. Denir la integral de It o a un nivel elemental nos conducir a necesariamente a dejar sin demostraci on algunos resultados t ecnicos. Daremos la denici on de integral estoc astica en varios pasos, primero para procesos simples y despu es, por aproximaci on, para procesos m as generales. 237
238
9.1. Integraci on estoc astica
Primeras hip otesis. Consideraremos como elementos iniciales un espacio de probabilidad (, F , P ), y un movimiento Browniano est andar unidimensional {Bt }, junto con su ltraci on natural {Ft }. Supondremos dado un proceso {Xt } con espacio parametral el intervalo [0, T ], con T > 0 jo, y que visto como funci on X : [0, T ] R, es FT B [0, T ]-medible, en donde el t ermino FT B [0, T ] corresponde a la m nima - algebra generada por el espacio producto FT B [0, T ]. Supondremos adem as que el proceso es adaptado, es decir, para cada t en el intervalo [0, T ], la variable aleatoria Xt es medible respecto de Ft . El espacio L2 (P ). Denotaremos por L2 (P ) al espacio vectorial de variables aleatorias X que son cuadrado integrables, es decir, que cumplen la condici on ||X ||L2 (P ) = (E |X |2 )1/2 < . La funci on || ||L2 (P ) dene una norma en L2 (P ), es decir, es una funci on real denida sobre este espacio lineal que cumple las siguientes cuatro condiciones: a) ||X || 0. b) ||X || = 0 X = 0 c.s. c) ||X + Y || ||X || + ||Y ||. d) ||X || = || ||X ||, constante. Se puede vericar que el espacio lineal L2 (P ) es completo respecto de esta norma, es decir, es un espacio de Banach. Esto quiere decir que toda sucesi on de Cauchy en este espacio tiene l mite en el. A la convergencia usando esta norma se le llama convergencia en L2 (P ), o tambi en convergencia en media cuadr atica. Por ejemplo, la variable aleatoria Bt del movimiento Browniano pertenece a este espacio pues ||Bt ||L2 (P ) = (E |Bt |2 )1/2 = t < . El espacio L2 (P dt). Denotaremos tambi en por L2 (P dt) al espacio lineal de todos los procesos X = {Xt : 0 t T }, que cumplen la condici on
T
||X ||L2 (P dt) = (E
|Xt |2 dt)1/2 < .
Puede demostrarse que la funci on || ||L2 (P dt) es efectivamente una norma y que este espacio es completo respecto de esta norma, es decir, es un espacio de Banach.
lculo estoca stico Cap tulo 9. Ca
239
Por ejemplo, el movimiento Browniano B = {Bt : 0 t T } pertenece a este espacio pues

T
||B ||L2 (P dt)
= (E
0 T
|Bt |2 dt )1/2
= (
0 T
E |Bt |2 dt )1/2 t dt )1/2
= (
0
T < . 2
2 El espacio H0 de procesos simples. Deniremos primero la integral de It o para procesos que tienen la forma indicada a continuaci on.
Denici on. Sea 0 = t0 < t1 < < tn = T una partici on nita del intervalo [0, T ]. Un proceso estoc astico simple es un proceso de la forma Xt =
n1 k=0
X (k) 1[tk ,tk+1 ) (t),
(9.2)
en donde X (0) , . . . , X (n1) es una colecci on de variables aleatorias adaptadas n1 a la ltraci on {Ftk }k , y que son cuadrado integrables. =0 La expresi on 1[a,b) (t) denota a la funXt ( ) ci on indicadora del intervalo [a, b). Un X (n1) proceso simple es entonces un proceso X (1) constante por pedazos con trayectorias c` adl` ag (continuas por la derecha, con X (0) l mite por la izquierda), y las condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias t cuadrado integrables. Una trayectoria tn1 t1 t2 tn de este tipo de procesos se muestra en 2 Figura 9.1: la Figura 9.1. Denotaremos por H0 al espacio de todos los procesos simples. Haciendo posiblemente algunos renamientos en las particiones, dos procesos sim-
240
ples pueden siempre expresarse en t erminos de una misma partici on com un. De modo que la suma de dos procesos simples tiene sentido y resultar a ser tambi en un 2 proceso simple. El espacio H0 es efectivamente un espacio vectorial. Integral para procesos simples. Esta es la denici on intuitiva de integral y establece simplemente que si el integrando es constante en alg un subintervalo, entonces la integral debe ser esa constante multiplicada por el incremento del movimiento Browniano en dicho subintervalo. Denici on. La integral estoc astica de It o de un proceso simple X de la forma (9.2), respecto del movimiento Browniano, denotada por I (X ), se dene como la variable aleatoria
T
I (X ) =
0
Xs dBs =
n1 k=0
X (k) (Btk+1 Btk ).
Veamos algunas propiedades de esta variable aleatoria. a) Es integrable pues siendo las variables X (k) y Btk+1 Btk independientes, cada sumando tiene esperanza cero, y por lo tanto la esperanza de la integral es cero. b) La integral es adem as cuadrado integrable y de hecho se cumple la siguiente igualdad fundamental llamada Isometr a de It o: ||I (X )||L2 (P ) = ||X ||L2 (P dt) . (9.3)
Para comprobar esta identidad vamos a denotar nuevamente por Bk a la diferencia Btk+1 Btk , y sea tk = tk+1 tk . Nuevamente por la independencia
lculo estoca stico Cap tulo 9. Ca de X (k) y Bk se tiene que ||I (X )||2 L 2 (P ) = E( |
n1 j,k=0 n1 k=0
241
X (k) (Btk+1 Btk )|2 )
E ( X (j ) X (k) Bj Bk )
= = = =
n1 k=0 n1 k=0
E ( (X (k) )2 (Bk )2 ) E (X (k) )2 tk

T
E(
|Xt |2 dt) 0 ||X ||2 L2 (P dt) .
Esta identidad establece que tanto el proceso simple X como la variable aleatoria I (X ) tienen la misma norma en sus respectivos espacios. Como se ver a m as adelante, esta igualdad juega un papel primordial en la denici on general de integral 2 estoc astica. La integral estoc astica asigna entonces a cada elemento del espacio H0 2 una variable aleatoria en el espacio L (P ). De esta forma se tiene la transformaci on 2 lineal I : H0 L2 (P ), que resulta ser continua por la isometr a de It o. Observe que se puede tomar como ejemplo de proceso simple el movimiento Browniano discretizado, es decir, se puede tomar como proceso simple X (k) = Btk , y de esta forma tener la integral estoc astica discreta del movimiento Browniano respecto de s mismo,
n1 k=0
Btk (Btk+1 Btk ).
Extensi on por aproximaci on. Ahora extenderemos la integral estoc astica a procesos un poco m as generales. Sea H2 el espacio de todos los procesos Xt medibles y adaptados, tales que
T
E
0
|Xt |2 dt < .
El espacio H2 resulta ser un subespacio lineal cerrado de L2 (P dt). Observe que la u nica diferencia entre estos dos espacios es que a los elementos de H2 se les pide
242
adem as que sean medibles y adaptados. En particular, todo proceso simple es un 2 elemento de H2 . Tenemos entonces la contenci on de espacios H0 H2 L2 (P dt), 2 en donde puede probarse que H0 es denso en H2 respecto de la norma en L2 (P dt). Esto signica que para cualquier proceso X en H2 existe un sucesi on de procesos 2 X k en H0 tales que l m ||X X k ||L2 (P dt) = 0. (9.4) Este procedimiento de aproximaci on puede llevarse a cabo de la siguiente forma: Mediante la t ecnica de truncaci on todo proceso en H2 puede ser aproximado por un proceso acotado. A su vez todo proceso en H2 que es acotado se puede aproximar por procesos acotados y continuos. Y estos a su vez se aproximan por procesos simples de la forma (9.2). Los detalles completos de esta sucesi on de aproximaciones pueden encontrarse en [26]. Usando la isometr a de It o es sencillo comprobar que la sucesi on I (X k ) es una sucesi on de Cauchy en el espacio L2 (P ), en efecto, ||I (X k ) I (X l )||L2 (P ) = ||X k X l ||L2 (P dt) = ||I (X k X l )||L2 (P )
k
||X X k ||L2 (P dt) + ||X X l ||L2 (P dt) . Debido a (9.4) la u ltima expresi on puede hacerse tan peque na como se desee, tomando ndices k y l sucientemente grandes. Denici on. Sea X un proceso en H2 , y sea X k una sucesi on de procesos en 2 H0 aproximante a X . Se dene la integral estoc astica de X como I (X ) = l m I (X k ),
k
en donde el l mite debe entenderse dentro del espacio L2 (P ), es decir, se trata de la convergencia en media cuadr atica de una sucesi on de variables aleatorias. Esto signica que la variable aleatoria I (X ) es un elemento de L2 (P ) y es tal que l mn ||I (X ) I (X k )||L2 (P ) = 0. No es dif cil vericar que tal denici on es correcta en el sentido de que el l mite no depende de la sucesi on aproximante. En este punto empieza a perderse nuestra concepci on tradicional de integral pues ahora esta se encuentra denida a trav es de una sucesi on aproximante del proceso a integrar. De manera gr aca esta extensi on se ilustra en la Figura 9.2. La isometr a de It o se cumple tambi en para procesos en H2 como se muestra a continuaci on.
243
H2 0 H2 L2 (P dt)
L2 (P )
Figura 9.2: Proposici on. (Isometr a de It o). Para cualquier proceso X en H2 se cumple ||I (X )||L2 (P ) = ||X ||L2 (P dt) . (9.5)
2 Demostraci on. Sea X en H2 y sea Xn en H0 tal que ||X Xn ||L2 (P dt) 0. Esta convergencia y la desigualdad | ||a|| ||b|| | ||a b|| implican que ||Xn ||L2 (P dt) ||X ||L2 (P dt) . An alogamente, como ||I (X ) I (Xn )||L2 (P ) 0 se tiene que ||I (Xn )||L2 (P ) ||I (X )||L2 (P ) . El resultado buscado se obtiene al tomar el l mite en la isometr a de It o como se muestra en el siguiente diagrama:
||I (Xn )||L2 (P ) ||I (X )||L2 (P )
= ||Xn ||L2 (P dt) ||X ||L2 (P dt) .
La propiedad de esperanza nula se cumple tambi en para procesos en H2 , pues usando probabilidad elemental, o por la desigualdad de Jensen, 0 E 2 ( I (X ) I (X k ) ) E ( I (X ) I (X k ) )2 0. De donde se obtiene E ( I (X ) I (X k ) ) 0, es decir, E (I (X )) = l m E (I (X k )) = 0.
k
244
De esta forma se tiene ahora la transformaci on lineal y continua I : H2 L2 (P ). Observe nuevamente que el movimiento Browniano Bt es un ejemplo de un proceso en el espacio H2 , y es posible demostrar que tal proceso puede ser aproximado en el sentido de la norma del espacio L2 (P dt) por el proceso simple Xt =
n1 k=0
Btk 1[tk ,tk+1 ) (t),
en donde 0 = t0 < t1 < < tn = T es una partici on de [0, T ]. Se tiene entonces la siguiente integral estoc astica particular, y su aproximaci on como l mite en media cuadr atica
T
Bt dBt = l m
0
n1 k=0
Btk (Btk+1 Btk ),
en donde el l mite debe entenderse en el sentido de que la distancia m axima entre dos puntos sucesivos de la partici on tiende a cero. M as adelante calcularemos esta integral estoc astica de dos maneras, primero usando esta representaci on como l mite en el espacio L2 (P ), y despu es usando la f ormula de It o. La integral como un proceso. Haremos ahora una peque na extensi on. Para cada t en [0, T ] y para cualquier X en H2 se dene el proceso
T t
It (X ) =
0
Xs 1[0,t] (s) dBs =

0
Xs dBs .
Este peque no articio permite ver a la integral estoc astica no como una variable aleatoria sino como un proceso. Es claro que tal proceso no es necesariamente continuo, sin embargo puede demostrarse que existe una versi on continua de el, y que esa versi on es una martingala respecto de la ltraci on natural del movimiento Browniano. Denotaremos por el mismo s mbolo a tal martingala continua. Extensi on por localizaci on. Mediante un procedimiento llamado de localizaci on es posible extender la denici on de integral de It o a procesos medibles y adaptados que cumplen la condici on menos restrictiva
T
P(
0
|Xt |2 dt < ) = 1.
(9.6)
Denotaremos por L2 loc el espacio de todos estos procesos. Este nuevo espacio contiene a H2 y es tal que para cada proceso X en L2 on creciente loc existe una sucesi de tiempos de paro 0 1 2 tales que n T cuando n , y para
245
cada n 1 el proceso Xt 1(n t) pertenece al espacio H2 . Se dene entonces la integral estoc astica como el siguiente l mite en el espacio L2 (P ),
t T
Xs dBs = l m
0
Xs 1(n t) ( ) 1[0,t] (s) dBs .
Nuevamente es posible demostrar que tal l mite existe, que existe una versi on continua de el, y que es independiente de la sucesi on de tiempos de paro localizante. En este caso la integral ya no es una martingala sino una martingala local, esto quiere decir que el proceso detenido Itn (X ) es una martingala para cada natural n. En general, la isometr a de It o ya no se cumple cuando la integral estoc astica tiene como dominio de denici on el espacio L2 loc . Ejemplo. Para el movimiento Browniano unidimensional Bt y para cualquier funci on continua f , el proceso f (Bt ) tiene trayectorias continuas y acotadas, por lo tanto se cumplen las condiciones de adaptabilidad y medibilidad y se cumple tambi en (9.6), por lo tanto este proceso es un elemento de L2 loc , y tiene sentido la expresi on
t
f (Bs ) dBs .
0
Se puede demostrar que esta integral puede ser calculada mediante el siguiente l mite en el espacio L2 (P ), aunque tambi en se verica la convergencia en probabilidad:
t
f (Bs ) dBs = l m
0
n1 k=0
f (Btk ) (Btk+1 Btk ),
(9.7)
en donde 0 = t0 < t1 < . . . < tn = t es una partici on de [0, t], y nuevamente el l mite debe entenderse en el sentido de que la distancia m axima entre dos puntos sucesivos de la partici on tiende a cero. Con esto concluimos la serie de ideas generales bajo las cuales puede construirse la integral de It o. Las demostraciones de algunos detalles t ecnicos que hemos simplemente mencionado se pueden encontrar en [35]. El esquema simplicado del procedimiento seguido para denir la integral estoc astica se ilustra la Figura 9.3. Ejemplo. Con la ayuda de (9.7) calcularemos la integral estoc astica
t
Bs dBs .
0
246
H2 0
Denici on
H2
Aproximaci on
L2 loc
Localizaci on
L2 (P )
Figura 9.3: Sea 0 = t0 < t1 < < tn = t una partici on uniforme de [0, t], es decir ti+1 ti = 1/n. Usando la identidad a(b a) = se obtiene
t
1 1 2 (b a2 ) (a b)2 2 2
Bs dBs
0
l m
n1 j =0 n1
Btk (Btk+1 Btk )
= =
l m
1 2 1 2 [ (Bt Bt ) (Btk+1 Btk )2 ] k+1 k 2 2 j =0
1 2 1 B t. 2 t 2
La primera suma es telesc opica mientras que la segunda suma corresponde a la variaci on cuadr atica del movimiento Browniano. Los l mites indicados son v alidos 1 2 Bt como si en el sentido de media cuadr atica. Observe que aparece el t ermino 2 1 t, se siguieran las reglas de integraci on usual, pero aparece tambi en el t ermino 2 conocido como la correcci on de It o. Ahora veamos el cambio en la soluci on de la integral cuando se modica ligeramente la forma de calcular la integral. El cambio consiste en evaluar el integrando en el extremo derecho de cada subintervalo. Observe que en este caso el proceso a integrar ya no es adaptado y por lo tanto queda fuera de la teor a desarrollada antes. Usando
lculo estoca stico Cap tulo 9. Ca la identidad
247
1 1 2 (b a2 ) + (a b)2 2 2 se obtiene, nuevamente en el sentido de media cuadr atica, b(b a) =

t
Bs dBs
0
l m
n1 j =0 n1
Btk+1 (Btk+1 Btk )
= =
l m
1 2 1 2 [ (Bt Bt ) + (Btk+1 Btk )2 ] k+1 k 2 2 j =0
1 2 1 B + t. 2 t 2
El signo del segundo t ermino cambi o de negativo a positivo. Esto muestra que, a diferencia de la integral de Riemann, la integral estoc astica es sensible al punto donde se eval ua el integrando. Al considerar el promedio de las dos evaluaciones en los extremos se obtiene la as llamada integral de Stratonovich, denotada de la forma siguiente t 1 2 Bs dBs = Bt . 2 0 Observe que el t ermino adicional de la integral de It o ha desaparecido. La integral de Stratonovich tiene algunas ventajas operacionales pues sigue algunas reglas usuales del c alculo integral, pero vista como proceso deja de ser una martingala. Ejemplo. calcularemos ahora la esperanza y varianza del proceso
t
Bs dBs .
0
La esperanza es cero pues la integral estoc astica en este caso es una martingala.
248
Para la varianza se tiene que

t t
Var(
0
Bs dBs )
= E(
0 t
Bs dBs )2
2 Bs ds)
= E(
0 t
=
0 t
2 E (Bs ) ds
=
0
s ds 1 2 t . 2
=
t
1 2 Alternativamente, como 0 Bs dBs = 1 2 Bt 2 t, las cantidades anteriores pueden 1 2 1 calcularse usando el lado derecho de esta igualdad. Claramente E ( 2 Bt 2 t) = 0. Adem as
1 2 1 t) Var( Bt 2 2
= = = =
1 2 Var(Bt ) 4 1 4 2 (E (Bt ) E 2 (Bt )) 4 1 2 (3t t2 ) 4 1 2 t . 2
Ejemplo. Sean Xt y Yt dos procesos en H2 . Entonces

t t t
E(
0
Xs dBs
0
Ys dBs ) =
0
E (Xs Ys ) ds.
Esta f ormula es f acil de comprobar usando la isometr a de It o y la igualdad ab =

1 2 (a 1 2 + b)2 2 (a + b2 ). En efecto, t t
249
E(
0
Xs dBs
0
Ys dBs )
t t t 1 1 = E( | (Xs + Ys ) dBs |2 ) (E | Xs dBs |2 + E | Ys dBs |2 ) 2 0 2 0 0 t t 1 t 1 = E |Xs |2 ds + E |Ys |2 ds) E |Xs + Ys |2 ds ( 2 0 2 0 0 t
=
0
E (Xs Ys ) ds.
Propiedades de la integral. La integral estoc astica de It o cumple varias propiedades aunque s olo mencionaremos algunas de ellas aqu , a manera de resumen de las caracter sticas se naladas antes.
2 a) La integral It : L2 loc L (P ) es lineal, es decir, para c constante y para cualesquiera procesos Xs y Ys en L2 loc , se cumple que t t t
(cXs + Ys ) dBs = c
0 0
Xs dBs +
0
Ys dBs ,
c.s.
b) Tiene esperanza es cero, es decir, para cualquier proceso Xs en L2 loc ,

t
E(
0
Xs dBs ) = 0,
c.s.
c) Cuando la integral se restringe al espacio H2 , se cumple la isometr a de It o, es decir,

t t
E|
Xs dBs |2 = E
|Xs |2 ds.
d) Nuevamente restringida al espacio H2 , la integral es una martingala, es decir, es integrable, adaptada y para 0 s t, se cumple
t s
E(
0
Xu dBu | Fs ) =
Xu dBu .
0
En general, para procesos en L2 loc , la integral ya no es una martingala sino una martingala local.
250
rmula de Ito 9.2. Fo
e) Existe una versi on continua de la integral estoc astica.
9.2.
F ormula de It o
Usualmente una integral de Riemann no se calcula a partir la denici on, en lugar de ello existen f ormulas bien conocidas para calcular integrales. La misma situaci on se presenta para integrales estoc asticas: en muy raros casos se calculan estas a trav es de su denici on. La famosa f ormula de It o es la herramienta fundamental para este tipo de integrales. Se enuncia a continuaci on este resultado en una versi on simple y se ejemplica su uso. M as adelante se presenta una versi on un poco m as general. En lo sucesivo haremos referencia a las siguientes espacios de funciones. Una funci on real de variable real es de clase C 1 , cuando es diferenciable y su derivada es continua. An alogamente, una funci on es de clase C 2 , si es dos veces diferenciable y su segunda derivada es una funci on continua. Teorema. (F ormula de It o I). Sea f (x) es un funci on de clase C 2 . Entonces
t
f (Bt ) f (B0 ) =
f (Bs ) dBs +
1 2
t 0
f (Bs ) ds.
Explicaremos una forma de obtener este resultado usando el teorema de Taylor pero sin dar una justicaci on rigurosa de la prueba. Para una funci on f (x) sucientemente suave, se tiene que f (x) = f (x0 ) + f (x0 )(x x0 ) + R(x), en donde el residuo R(x) puede escribirse como sigue
x
R(x) =
x0 1
f (t)(x t) dt
=
0
(1 )f (x0 + (x x0 ))(x x0 )2 d.
La segunda igualdad se obtiene despu es de un evidente cambio de variable. Por lo
lculo estoca stico Cap tulo 9. Ca tanto, si 0 = t0 < t1 < < tn = t es una partici on de [0, t], entonces
n
251
f (Bt ) f (B0 )
=
k=1 n
[ f (Btk ) f (Btk1 ) ] f (Btk1 )Bk

1 n
=
k=1
+
0
(1 )
k=1
f (Btk1 + Bk )(Bk )2 d.
Puede comprobarse que al tomar el l mite cuando n las sumas convergen casi seguramente y entonces se obtiene la igualdad
t
f (Bt ) f (B0 ) = =
f (Bs ) dBs +
0
0 t 0
(1 )
t 0
f (Bs ) ds d
f (Bs ) dBs +
1 2
f (Bs ) ds.
Esta f ormula es una versi on estoc astica de la regla de la cadena del c alculo diferencial usual, y es com un escribirla en su forma diferencial del siguiente modo 1 df (Bt ) = f (Bt ) dBt + f (Bt ) dt. 2 Esta expresi on debe entenderse en el sentido de su forma integral arriba enunciado. Ilustraremos su uso mediante algunos ejemplos.
1 2 Ejemplo. Sea f (x) = 2 x . Entonces la f ormula de It o establece que
1 2 1 2 B B0 = 2 t 2 Es decir,
0 t
Bs dBs +
0
1 2
1 ds.
0
Bs dBs =
1 2 1 B t. 2 t 2
Este resultado hab a sido encontrado antes, ahora lo hemos obtenido de manera 1 3 x se inmediata de la f ormula de It o. De manera an aloga, para la funci on f (x) = 3 obtiene t t 1 3 2 Bs dBs = Bt Bs ds. 3 0 0
252
9.3. Ecuaciones diferenciales estoc asticas

1 n+1 n+1 x
M as generalmente, para f (x) =

t 0 n Bs dBs =
se obtiene
t 0 n1 nBs ds.
1 1 B n+1 n+1 t 2
Ejemplo. Usaremos la f ormula de It o para encontrar una expresi on de los momentos pares de una distribuci on normal centrada. Demostraremos que
2n E (Bt )=
(2n)! n t . 2 n n!
Los momentos impares de dicha distribuci on se anulan pues en tal caso el integrando 2n resulta ser una funci on impar. Consideremos entonces la funci on f (x) = 21 nx , para cualquier entero natural n. De la f ormula de It o se sigue que 1 2n 1 2n B B = 2n t 2n 0
t 0 2n1 Bs dBs +
1 2
t 0 2n2 (2n 1)Bs ds.
Tomando esperanza y resolviendo de manera iterada se obtiene

2n E (Bt ) =
= . . . =
2n(2n 1) t 2n2 E (Bs ) ds 2 0 2n(2n 1) (2n 2)(2n 3) 2 2 (2n)! 2n

t 0 0 t1 tn1 0
t 0 0
t1
2n4 E (Bs ) ds dt1
1 ds dtn1 dt1 .
No es dif cil vericar que los resultados sucesivos de estas integrales son: tn1 , 3 n t2 / 2!, t ormula enunciada. n2 n3 /3!, . . ., t /n! De esta forma se obtiene la f
9.3.
Ecuaciones diferenciales estoc asticas
Sea (, F , P ) un espacio de probabilidad, y sea {Bt } un movimiento Browniano unidimensional adaptado a la ltraci on {Ft }.
253
Denici on. Sean b(t, x) y (t, x) dos funciones de [0, T ] R en R. Una ecuaci on estoc astica es una ecuaci on de la forma dXt = b(t, Xt ) dt + (t, Xt ) dBt , (9.8)
denida para valores de t en el intervalo [0, T ], y con condici on inicial la variable aleatoria X0 que se presupone F0 -medible e independiente del movimiento Browniano. La ecuaci on (9.8) se interpreta como la ecuaci on integral
t t
Xt = X0 +
0
b(s, Xs ) ds +
0
(s, Xs ) dBs ,
(9.9)
en donde la primera es una integral de Riemann, mientras que la segunda es una integral estoc astica de It o. Al proceso Xt se le llama proceso de It o. Los elementos conocidos de esta ecuaci on son los coecientes b(t, x) y (t, x), y la variable aleatoria inicial X0 . La inc ognita es el proceso Xt . A la funci on b(t, x) se le conoce como coeciente de tendencia (drift en ingl es o tambi en deriva en espa nol). A la funci on (t, x) se le llama coeciente de difusi on. El proceso soluci on puede interpretarse como el estado de un sistema que evoluciona de manera determinista gobernado por la parte no aleatoria de la ecuaci on (la tendencia), pero alterado por un ruido aditivo dado por la integral estoc astica (la difusi on). Para que una ecuaci on estoc astica tenga soluci on se deben pedir condiciones en los coecientes. De manera an aloga al caso de ecuaciones diferenciales deterministas, existen teoremas b asicos de existencia y unicidad para ecuaciones estoc asticas que establecen condiciones de regularidad para los coecientes b(t, x) y (t, x), bajo las cuales la ecuaci on (9.8) tiene soluci on u nica. El siguiente es uno de tales resultados.
254
Teorema de existencia y unicidad. Si los coecientes b(t, x) y (t, x) de la ecuaci on (9.8) satisfacen la condici on de Lipschitz en la variable x, |b(t, x) b(t, y )|2 + | (t, x) (t, y )|2 K |x y |2 , y la condici on de crecimiento en x, |b(t, x)|2 + | (t, x)|2 K (1 + |x|2 ), para alguna constante K > 0, entonces existe un proceso estoc astico {Xt } soluci on de (9.8) que es adaptado a la ltraci on, tiene trayectorias continuas, 2 es uniformemente acotado en L2 (P ), es decir, sup0tT E (Xt ) < , y adem as es u nico en el sentido de indistinguibilidad. En este caso a tal soluci on se le llama soluci on fuerte de la ecuaci on estoc astica. No presentaremos la demostraci on de este resultado, simplemente comentaremos algunos aspectos de los que consta la prueba completa. La demostraci on es semejante al caso determinista, y hace uso del m etodo de iteraciones de Picard. Mediante este m etodo se dene la sucesi on de procesos Xt Xt
(0)
= =
X0 ,
t
(n+1)
X0 +
0
(n) b(s, Xs ) ds +
t 0
(n) (s, Xs ) dBs .
tal que con probabilidad uno, Xt converge a Xt de manera uniforme en el intervalo [0, T ]. Adicionalmente puede demostrarse que el proceso l mite es L2 -acotado (n) en [0, T ], y que la convergencia Xt Xt tambi en es v alida en L2 (P ). Tambi en debe demostrarse que el proceso l mite es efectivamente soluci on de la ecuaci on estoc astica. Para ello se toma el l mite en la ecuaci on que dene las iteraciones, y se verica la convergencia uniforme en [0, T ] con probabilidad uno, t ermino a t ermino. Los detalles de esta demostraci on pueden encontrarse por ejemplo en [35]. Observe que el teorema anterior no establece la forma de encontrar la soluci on a
Para que estas iteraciones tengan sentido es necesario vericar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. Para comprobar que tal sucesi on de procesos es convergente se demuestra que, con probabilidad uno, esta sucesi on constituye una sucesi on de Cauchy en el espacio de funciones continuas C [0, T ], respecto de la norma uniforme ||X || = sup0tT |Xt |. Dado lo anterior, existe entonces un proceso continuo X ,
(n)
255
una ecuaci on estoc astica dada, sino que asegura u nicamente la existencia de dicha soluci on. La siguiente versi on de la f ormula de It o es un resultado bastante u til para resolver algunas ecuaciones estoc asticas y generaliza la versi on anteriormente enunciada. Teorema.(F ormula de It o II). Si {Xt } es un proceso de It o dado por (9.8) y f (t, x) es un funci on de clase C 1 en t y de clase C 2 en x, entonces el proceso Yt = f (t, Xt ) es tambi en un proceso de It o y satisface la ecuaci on estoc astica 1 dYt = ft (t, Xt )dt + fx (t, Xt )dXt + fxx (t, Xt )(dXt )2 . 2 (9.10)
Los sub ndices indican derivada y (9.8) se substituye dt dBt en (9.10) usando la siguiente tabla de multiplicaci on dt 0 0 de McKean que se muestra en la Figura 9.4. Observe dB 0 dt t que como las derivadas involucradas son funciones continuas, las integrales estoc asticas resultantes est an bien Figura 9.4: denidas. La demostraci on de este resultado sigue las mismas l neas que la versi on m as simple. Ilustraremos a continuaci on el uso de esta f ormula con varios ejemplos.
t t
Ejemplo. Demostraremos que

0
s dBs = tBt
Bs ds.
0
Para vericar esta f ormula puede tomarse el proceso Xt = Bt y la funci on f (t, x) = tx. Entonces d(f (t, Bt )) d(tBt ) 1 = ft (t, Bt ) dt + fx (t, Bt ) dBt + fxx (t, Bt ) (dBt )2 2 = Bt dt + t dBt .
Esta es la forma diferencial de la f ormula enunciada. Ejemplo. Considere la funci on f (x) = ex . Por la f ormula de It o, eBt eB0 =
t 0
eBs dBs +
1 2
t 0
eBs ds,
256
on diferencial es decir, el proceso Xt = eBt satisface la ecuaci 1 dXt = Xt dBt + Xt dt, 2 con condici on inicial X0 = 1. A este proceso se le llama movimiento Browniano geom etrico. Ejemplo. Demostraremos que el proceso Xt = Bt /(1 + t) es soluci on de la ecuaci on estoc astica Xt 1 dXt = dt + dBt , 1+t 1+t con condici on inicial X0 = 0. Sea f (t, x) = x/(1 + t). El proceso Xt = f (t, Bt ) cumple la condici on inicial y por la f ormula de It o satisface la ecuaci on dXt 1 = ft (t, Bt )dt + fx (t, Bt ) dBt + fxx (t, Bt ) dt 2 Bt 1 = dt + dBt (1 + t)2 1+t 1 Xt dt + dBt . = 1+t 1+t Ejemplo. Usando el m etodo de igualaci on de coecientes resolveremos la ecuaci on dXt = Xt dt + et dBt , con condici on inicial X0 = 0. Se busca un funci on f (t, x) tal que el proceso soluci on pueda escribirse como Xt = f (t, Bt ). Igualando los coecientes de esta ecuaci on con los de la f ormula de It o 1 dXt = ft (t, Bt )dt + fx (t, Bt ) dBt + fxx (t, Bt ) dt, 2 se obtiene el sistema de ecuaciones fx (t, x) 1 ft (t, x) + fxx (t, x) 2 = = e t f (t, x).
257
De la primera ecuaci on se obtiene f (t, x) = et x + c(t). Substituyendo en la segunda ecuaci on y simplicando se obtiene c (t) = c(t), cuya soluci on es c(t) = cet , en donde c es una constante. Por lo tanto f (t, x) = et (x + c). Para que el proceso Xt = f (t, Bt ) = et (Bt + c) cumpla la condici on inicial X0 = 0 forzosamente la constante c debe ser cero. De esta forma la funci on buscada es f (t, x) = et x. En tal caso la f ormula de It o asegura que efectivamente dXt = = et Bt dt + et dBt Xt dt + et dBt .
9.4.
Simulaci on
Una ecuaci on estoc astica ha resultado muy u til para modelar sistemas que presentan alg un tipo de ruido o perturbaci on aleatoria. Aplicaciones de tales modelos se estudian en ingenier a, nanzas y f sica entre muchas otras areas del conocimiento. Debido a la imposibilidad de encontrar soluciones expl citas a ciertas ecuaciones de inter es, los m etodos num ericos del caso determinista se han extendido al caso estoc astico. En las siguientes secciones presentaremos algunos modelos particulares de ecuaciones estoc asticas, y explicaremos un mecanismo para simular las trayectorias del proceso soluci on. Una trayectoria de un proceso Xt que sigue la ley de movimiento de una ecuaci on estoc astica de la forma dXt X0 = b(t, Xt ) dt + (t, Xt ) dBt , = x0 ,
puede obtenerse mediante el m etodo de discretizaci on de Euler-Maruyama. En este procedimiento se divide el intervalo [0, t] de manera uniforme en n subintervalos de id entica longitud t = t/n, y se dene tj = j t para j = 0, 1, 2, . . . , N . Suponiendo que Yj es un valor al azar de la distribuci on normal est andar, se denen los valores sucesivos de la trayectoria soluci on de la ecuaci on estoc astica como sigue X0 Xtj+1 = x0 , = Xtj + b(tj , Xtj )t + (tj , Xtj ) t Yj .
258
9.5. Algunos modelos particulares
M as adelante se presentar a una implementaci on de este procedimiento en MATLAB para simular trayectorias de soluciones de ecuaciones particulares.
9.5.
Algunos modelos particulares
Movimiento Browniano geom etrico. Este modelo es de amplio uso en nanzas y sirve para representar el precio de algunos bienes que uct uan siguiendo los vaivenes de los mercados nancieros Denici on. Sean y > 0 dos constantes, y x0 > 0. El movimiento Browniano geom etrico es el proceso soluci on de la ecuaci on estoc astica dXt X0 = = Xt dt + Xt dBt , x0 . (9.11)
Esta ecuaci on puede interpretarse de la siguiente forma. En ausencia del t ermino estoc astico, la ecuaci on se reduce a dXt = Xt dt, cuya soluci on es Xt = x0 et . Esta funci on representa el comportamiento en el tiempo de un capital inicial positivo x0 que crece de manera continua y determinista a una tasa efectiva del 100 %, suponiendo > 0. Por otro lado la parte estoc astica corresponde a la volatilidad de una inversi on con riesgo sujeta a las uctuaciones de los mercados nancieros. El modelo supone que dicha variabilidad es proporcional al valor de la inversi on. Observe que los coecientes de esta ecuaci on satisfacen las condiciones para la existencia y unicidad de la soluci on. Resolveremos esta ecuaci on usando el m etodo de igualaci on de coecientes. Proposici on. La soluci on a la ecuaci on (9.11) es 1 Xt = x0 exp [ ( 2 )t + Bt ]. 2 (9.12)
Demostraci on. Encontraremos una funci on f (t, x) tal que al aplicar la f ormula de
259
It o al proceso Xt = f (t, Bt ) se obtenga la ecuaci on (9.11). Comparando entonces los coecientes de la f ormula general 1 dXt = ft (t, Xt ) dt + fx (t, Xt ) dBt + fxx (t, Xt ) dt 2 con los de (9.11), se obtienen las igualdades f (t, x) = f (t, x) = 1 ft (t, x) + fxx (t, x), 2 fx (t, x).
De la segunda ecuaci on se obtiene que f (t, x) = exp [x + g (t)], para alguna funci on 1 2 g (t). Substituyendo en la primera ecuaci on se obtiene g (t) = 2 , cuya soluci on 1 2 )t. De donde Xt = f (t, Bt ) adquiere la expresi on indicada. es g (t) = ( 2 A este proceso se le llama tambi en se Xt ( ) le conoce con el nombre de movimiento E (Xt ) Browniano exponencial. En la Figura 9.5 puede apreciarse una trayectoria de este proceso con una inversi on inicial x0 de una unidad monetaria, y con par ametros = 1, y = 1/3. La curva creciente cox0 rresponde al crecimiento determinista de t la inversi on cuando no hay aleatoriedad, 1 2 es decir, cuando el coeciente de difusi on Figura 9.5: es cero. El valor de en la simulaci on es peque no y por esa raz on la trayectoria aleatoria mostrada se mantiene cerca de la trayectoria determinista. Cuando se incrementa el valor de las trayectorias pueden diferir considerablemente. En el programa de computadora de la Figura 9.6 se muestra una manera de simular trayectorias de este proceso. El c odigo es una traducci on a MATLAB de la discretizaci on de la ecuaci on estoc astica, y es una adaptaci on del c odigo que aparece en [15]. Este programa puede ser encontrado en la p agina web de Desmond J. Higham, junto con la implementaci on de otros modelos y otras t ecnicas de discretizaci on. La funci on randn produce un valor al azar de la distribuci on normal est andar. Demostraremos ahora algunas caracter sticas num ericas de este proceso.
260
0
randn(state,100) T=2; N=300; dt=T/N; xcero=1; mu=1; sigma=1/3; -1 dW=zeros(1,N); MBG=zeros(1,N); dW(1)=sqrt(dt)*randn; MBG(1)=xcero+mu*dt+sigma*xcero*dW(1); -2 for j=2:N dW(j)=sqrt(dt)*randn MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j) -3 end 0 1 2 3 4 5 6 7 8 9 plot([0:dt:T],[xcero,MBG],r-)
10
Figura 9.6:
Proposici on. Para el movimiento Browniano geom etrico se cumple lo siguiente. 1. E (Xt ) = x0 et .
2t t 2. Var(Xt ) = x2 (e 1). 0e (s+t) 3. Cov(Xt , Xs ) = x2 (e 0e
2 2
1), para 0 s t.
Demostraci on. Usaremos el hecho de que la funci on generadora de momentos de 1 2 2 s ). la distribuci on N(, 2 ) es M (s) = exp(s + 2 1. Para la esperanza se tiene que E (Xt ) 1 = E (x0 exp[( 2 )t + Bt ]) 2 1 2 = x0 exp[( )t] E (exp[Bt ]) 2 1 1 = x0 exp[( 2 )t] exp[ t 2 ] 2 2 = x0 et .
lculo estoca stico Cap tulo 9. Ca 2. Ahora calcularemos la varianza. Var(Xt ) = = = = = 1 Var(x0 exp[( 2 )t + Bt ]) 2 1 2 x2 0 exp[2( )t] Var(exp[Bt ]) 2 1 2 2 x2 0 exp[2( )t] (E (exp[2Bt ]) E (exp[Bt ])) 2 1 1 2 1 2 2 x2 0 exp[2( )t] (exp[ t(2 ) ] exp[2( t )]) 2 2 2 2 2t 2 t x0 e (e 1).
261
3. Calcularemos primero E (Xt Xs ). Observe que Bt + Bs se puede escribir como 2Bs + (Bt Bs ), siendo estos sumandos independientes. Entonces E (Xt Xs ) 1 2 = E (x2 0 exp[( )(t + s) + (Bt + Bs )]) 2 1 2 2 = x0 exp[( )(t + s) E (exp[ (Bt + Bs )]) 2 1 2 = x0 exp[( 2 )(t + s) E (e2Bs ) E (e(Bt Bs ) ) 2 2 2 1 1 2 = x0 exp[( 2 )(t + s)e2s e 2 (ts) 2 2 = x2 0 exp[(t + s) + s ].
Por lo tanto, Cov(Xt , Xs ) = E (Xt Xs ) E (Xt )E (Xs )

2
(t+s) = x2 (es 1) 0e
(t+s) (t+s)+s = x2 x2 0e 0e
2
Proceso de Ornstein-Uhlenbeck. Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una part cula en intervalos de tiempo peque nos.
262
Denici on. Sean y dos constantes positivas. El proceso de OrnsteinUhlenbeck es aquel proceso soluci on de la ecuaci on estoc astica dXt X0 = = Xt dt + dBt , (9.13)
x0 .
La variable Xt se interpreta como la velocidad de la part cula al tiempo t. La parte determinista Xt corresponde a la fuerza de fricci on, y el sumando dBt es un ruido aleatorio. Encontraremos la soluci on de esta ecuaci on. Proposici on. La soluci on a la ecuaci on (9.13) est a dada por Xt = x0 et +
0 t
e(ts) dBs .
(9.14)
Demostraci on. Considere una soluci on de la forma

t
Xt = a(t) [x0 +
0
b(s) dBs ],
(9.15)
en donde a(t) y b(t) son funciones diferenciables. Derivando (9.15) y usando la f ormula de It o (9.10) se obtiene dXt = = a (t) [x0 +
0 t
b(s) dBs ] dt + a(t) b(t) dBt
a (t) Xt dt + a(t) b(t) dBt . a(t)
Comparando con (9.13), las funciones a(t) y b(t) deben cumplir las ecuaciones a (t) = , a(t) a(t) b(t) = .
Suponiendo a(0) = 1 se obtiene a(t) = exp(t), y b(t) = exp(t). Substituyendo en (9.15) se obtiene (9.14).
lculo estoca stico Cap tulo 9. Ca En la Figura 9.7 se muestra la simulaci on de una trayectoria de este proceso y se compara con E (Xt ). El proceso muestra un decaimiento conforme el tiempo avanza y ello es debido al factor de fricci on del modelo. Calcularemos a continuaci on la esperanza y varianza de este proceso.
263
Xt ( )
4 3 2 1
x0 = 3 =1 =1
E (Xt ) t
1 Figura 9.7:
Proposici on. Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente. 1. E (Xt ) = x0 et . 2. Var(Xt ) = 2 (1 e2t ). 2 2 (ts) (e e(t+s) ). 2
3. Cov(Xt , Xs ) =
Demostraci on. 1. Este resultado se obtiene al tomar esperanza en (9.14), y observar que la integral estoc astica es una martingala que inicia en cero.
264
2. El c alculo de la varianza de Xt es una aplicaci on de la isometr a de It o,

t
Var(Xt ) = = = = =
2 Var(
0
e(ts) dBs )
t
2 E( 2 (
0 0 t
e(ts) dBs )2
e2(ts) ds) 1 2s e 2
t 0
2 e2t
2 (1 e2t ). 2
2. Nuevamente usaremos la isometr a de It o. Para 0 s t, Cov(Xt , Xs ) = = E (Xt Xs ) E (Xt )E (Xs ) E [(x0 et +

0 t
e(tu) dBu )
(t+s) e(su) dBu )] x2 0e s
(x0 e = E(
2
s t
+
0
e
0
(tu)
dBu
0
e(su) dBu ).
La primera integral puede descomponerse en la suma de dos integrales, una sobre el intervalo [0, s] y otra sobre (s, t]. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo sumando desaparece. De modo que, por la isometr a de It o, Cov(Xt , Xs ) = = = 2 e(t+s) E ( 2 e(t+s)
0 s 0 s
eu dBu )2
e2u du
2 (ts) (e e(t+s) ). 2
lculo estoca stico Cap tulo 9. Ca Puente Browniano. El puente Browniano sobre el intervalo unitario [0, 1] es un movimiento Browniano con espacio parametral dicho intervalo y es tal que en los extremos de este intervalo el proceso se hace cero. Una trayectoria de tal proceso se muestra en la Figura 9.8. Existen varias formas equivalentes de denir a este proceso.
Xt ( )
265
Figura 9.8:
Denici on. El puente Browniano en el intervalo [0, 1] es aquel proceso {Xt } soluci on de la ecuaci on estoc astica dXt X0 = = 0. Xt dt + dBt , 1t t [0, 1), (9.16)
Proposici on. La soluci on a la ecuaci on (9.16) es

t
Xt = (1 t)
1 dBs . 1s
(9.17)
Demostraci on. Puede resolverse (9.16) proponiendo nuevamente una soluci on de la forma
t
Xt = a(t) [x0 +
0
b(s) dBs ],
(9.18)
en donde a(t) y b(t) son dos funciones diferenciables, y x0 = 0. Derivando se obtiene
266
nuevamente dXt
= =
a (t) [x0 +
0
b(s) dBs ] dt + a(t) b(t) dBt
a (t) Xt dt + a(t) b(t) dBt . a(t)
Igualando coecientes se obtienen las ecuaciones a (t)/a(t) = 1/(1t), y a(t)b(t) = 1. Suponiendo a(0) = 1 se obtiene a(t) = 1 t, y por lo tanto b(t) = 1/(1 t). Substituyendo en (9.18) se obtiene (9.17). Ejercicio. Sea Xt un puente Browniano en [0, 1]. Demuestre que efectivamente l m Xt = 0.
t1
Vamos a calcular a continuaci on la esperanza, varianza y covarianza de este proceso. Proposici on. Para el puente Browniano (9.17) se cumple 1. E (Xt ) = 0. 2. Var(Xt ) = t(1 t). 3. Cov(Xt , Xs ) = s(1 t), para 0 s t.
Demostraci on. 1. La integral es una martingala continua que inicia en cero, por lo tanto E (Xt ) = 0.
lculo estoca stico Cap tulo 9. Ca 2. Por la isometr a de It o, Var(Xt ) 1 dBs ) 1 s 0 t 1 dBs )2 = (1 t)2 E ( 1 s 0 t 1 2 = (1 t)2 E ( ) ds 0 1s = (1 t)2 Var( = (1 t)2 = t(1 t). 3. Para 0 s t, Cov(Xs , Xt ) = = E (Xs Xt )
s t
267
1 1s
(1 s)(1 t)E (
1 dBu 1u
t 0
1 dBu ). 1u
Nuevamente la segunda integral puede descomponerse en la suma de dos integrales, una sobre el intervalo [0, s] y otra sobre (s, t]. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo sumando desaparece. De modo que, por la isometr a de It o, Cov(Xs , Xt ) = = = = 1 dBu )2 1 u 0 s 1 2 (1 s)(1 t) ( ) du 0 1u s 1 (1 s)(1 t) 1u 0 s(1 t). (1 s)(1 t)E (
s
Como era de esperarse, la varianza se anula en los extremos del intervalo pues all el proceso es cero con probabilidad uno. Observe adem as que la varianza se hace m axima exactamente en la mitad de dicho intervalo. El puente Browniano en [0, 1] puede representarse de varias formas como se muestra en el siguiente resultado.
268
Ejercicio. Demuestre que los siguientes procesos son puentes Brownianos. a) Xt = Bt tB1 , para t [0, 1]. para t [0, 1].
b) Xt = B1t (1 t)B1 ,
Notas y referencias
Para el desarrollo de la denici on de integral estoc astica respecto del movimiento Browniano hemos seguido el lineamiento general presentado en el texto de Steele [35]. All pueden encontrarse las demostraciones completas de varios de los resultados que hemos solamente enunciado. Otros trabajos en donde pueden encontrarse exposiciones elementales sobre integraci on estoc astica son ksendal [26], Kuo [22], o Klebaner [20]. Para una exposici on m as completa y general puede consultarse por ejemplo Protter [27], o Revuz y Yor [29]. En los trabajos de D. J Higham como [15] pueden encontrarse algunas primeras lecturas sobre los m etodos para simular ecuaciones estoc asticas. En el texto de Kloeden y Platen [21] se expone la teor a general, varios m etodos num ericos, y diversas aplicaciones de ecuaciones estoc asticas.
269
Ejercicios
Integral de It o
183. A partir de la denici on de integral estoc astica demuestre que
t t
a)
0 t
s dBs = tBt
2 Bs dBs =
Bs ds.
0 t
b)
0
1 3 B 3 t
Bs ds.
0
Para el segundo inciso use la identidad x2 (y x) + x(y x)2 = 1 3 (y x3 (y x)3 ). 3
F ormula de It o
184. Use la f ormula de It o para demostrar que el proceso Xt es una soluci on de la ecuaci on estoc astica indicada.
2 a ) X t = Bt , dXt = dt + 2Bt dBt . 3 b ) X t = Bt , dXt = 3Xt dt + 3Xt Xt c ) Xt = tBt , dXt = dt + t dBt . t 1/3 2/3
dBt .
185. Use la f ormula de It o para demostrar que

t 0 2 Bs ds =
1 3 B 3 t
Bs ds.
0
Ap endice A
Conceptos y resultados varios
Igualdad de procesos. Se dice que dos procesos {Xt : t 0} y {Yt : t 0} son equivalentes, o tambi en se dice que uno es una versi on o modicaci on del otro, si para cada valor de t 0 jo se cumple que P (Xt = Yt ) = 1, es decir, si las variables Xt y Yt son iguales c.s. Un tipo de igualdad m as fuerte establece que los procesos son indistinguibles si P (Xt = Yt para cada t 0) = 1. Esto signica que con probabilidad uno las trayectorias de los dos procesos son id enticas. Claramente la indistinguibilidad es m as fuerte que la equivalencia. Sin embargo, puede demostrarse que cuando los procesos son continuos, es decir, cuando sus trayectorias son funciones continuas del par ametro, ambas nociones de igualdad coinciden. Cuando el par ametro es discreto, nuevamente los dos tipos de igualdad son equivalentes. Distribuciones nito dimensionales. Las distribuciones nito dimensionales de un proceso {Xt : t 0} es la colecci on de todas las funciones de distribuci on conjuntas FXt1 ,...,Xtn (x1 , . . . , xn ), para cualesquiera tiempos 0 t1 < < tn , y cualquier n natural. Independencia de procesos. Se dice que una variable aleatoria X es independiente de un proceso {Xt : t 0} si para cualesquiera tiempos 0 t1 < t2 < < tn , n N, la distribuci on conjunta de la variable X y el vector (Xt1 , . . . , Xtn ) es el producto de las distribuciones marginales, es decir, FX,Xt1 ,...,Xtn (x, x1 , . . . , xn ) = FX (x) FXt1 ,...,Xtn (x1 , . . . , xn ),
271
272
o en t erminos de conjuntos de Borel A, A1 , . . . , An , P (X A, Xt1 A1 , . . . , Xtn An ) = P (X A) P (Xt1 A1 , . . . , Xtn An ).
M as generalmente, dos procesos estoc asticos {Xt : t 0} y {Yt : t 0} son independientes si para cualesquiera dos enteros naturales n y m, y tiempos 0 t1 < t2 < < tn y 0 s1 < s2 < < sm , se cumple que FXt1 ,...,Xtn ,Ys1 ,...,Ysm (x1 , . . . , xn , y1 , . . . , ym ) = FXt1 ,...,Xtn (x1 , . . . , xn ) FYs1 ,...,Ysm (y1 , . . . , ym ). En palabras, esta condici on signica que las distribuciones nito dimensionales conjuntas son el producto de las distribuciones nito dimensionales marginales.
Lema de Abel a. Si la serie

k=0
ak es convergente, entonces l mt1

k=0
k=0
a k tk =
k=0
k=0
ak .
k=0
b. Inversamente, si ak 0 y l mt1
ak tk , entonces
ak = l mt1
a k tk .
En Karlin y Taylor [19] puede encontrarse una demostraci on de estos resultados.
Lema de Fatou a. Sea {anm : n, m N} una colecci on de n umeros reales. Entonces

m
l m inf anm l m inf

n m n
anm .
m
b. Adem as, si anm bm con l m sup

n
bm < , entonces anm l m sup anm .

m n
Teorema de convergencia mon otona. Sea X1 , X2 , . . . una sucesi on de variables aleatorias tales que 0 X1 X2 y l m Xn = X casi seguramente. Entonces
n n
l m E (Xn ) = E ( l m Xn ).
n
Ap endice A. Conceptos y resultados varios Teorema de convergencia dominada
273
a. Sea X1 , X2 , . . . una sucesi on de variables aleatorias tales que l m Xn = X casi seguramente, y para cada valor de n, |Xn | Y , para alguna variable Y con E |Y | < . Entonces l m E (Xn ) = E ( l m Xn ).
n n n
b. Sea {anm : n, m N} una colecci on de n umeros reales tales que l mn anm existe para cada m, |anm | bm , independiente de n, y b < . Entonces m m=0
n
l m
m=0
anm =
m=0
l m anm .
Ecuaci on de Wald. Sea X1 , X2 , . . . una sucesi on de variables aleatorias independientes con la misma distribuci on que X y con esperanza nita. Sea N una variable aleatoria con valores en el conjunto {1, 2, . . .}, con esperanza nita e independiente de la sucesi on. Entonces
N
E(
k=1
Xk ) = E (X ) E (N ).
Distribuci on tipo reticular. Se dice que una variable aleatoria discreta X , o su distribuci on de probabilidad, es de tipo reticular o que es de tipo lattice si P (X = c + nd) > 0, en donde c y d > 0 son constantes reales y n = 1, 2, . . . Notaci on o peque na. Sean f (t) y g (t) dos funciones que se encuentran denidas y son positivas para valores de t sucientemente grandes. Se dice que f (t) es de orden m as peque no que g (t) cuando t , y se escribe f (t) = o(g (t)) cuando t , si se cumple f (t) = 0. l m t g (t) En particular, se escribe f (t) = o(1) cuando f (t) converge a cero cuando t . Se usa la misma notaci on cuando t tiende a alg un valor nito particular y las funciones se encuentran denidas y son positivas en una vecindad no trivial alrededor de ese valor. En este texto se usa la notaci on o peque na para establecer el comportamiento de probabilidades dependientes del tiempo p(t), cuando t se aproxima a cero a trav es de valores positivos. F ormula de Stirling. n! 2 nn+1/2 en .
274
Esperanza condicional. Sea (, F , P ) un espacio de probabilidad. Sea X una variable aleatoria con esperanza nita, y sea G una sub - algebra de F . La esperanza condicional de X dado G , es una variable aleatoria denotada por E (X | G ), que cumple las siguientes tres propiedades: a) Es G -medible. b) Tiene esperanza nita. c) Para cualquier evento G en G , E ( X | G ) dP = X dP.
G
(A.1)
Es importante enfatizar que la esperanza condicional es una variable aleatoria. Usando el teorema de Radon-Nikodym (v ease por ejemplo [9]), puede demostrarse que esta variable aleatoria existe y es u nica casi seguramente. Esto signica que si existe otra variable aleatoria con las tres propiedades anteriores, entonces con probabilidad uno coincide con E (X | G ). Cuando la - algebra G es generada por una variable aleatoria Y , es decir, cuando G = (Y ), la esperanza condicional se escribe simplemente como E (X | Y ). Mencionaremos a continuaci on algunas propiedades de esta variable aleatoria, en estas expresiones se postula de manera impl cita que la variable aleatoria a la que se le aplica la esperanza condicional es integrable. 1. Si c es constante, entonces E ( c | G ) = c. 2. E (X | {, } ) = E (X ). 3. Si A es un evento, entonces E (1A | {, } ) = P (A). 4. Si A y B son eventos con 0 < P (B ) < 1, entonces E (1A | {, B, B c , } ) = P (A | B ) 1B + P (A | B c ) 1B c . 5. Si A es un evento y B1 , . . . , Bn es una partici on de tal que P (Bi ) > 0 para i = 1, . . . , n, entonces
n
E (1A | {B1 , . . . , Bn }) =
i=1
P (A | Bi ) 1Bi .
Ap endice A. Conceptos y resultados varios 6. Si Y es una variable aleatoria discreta con valores 0, 1, . . ., entonces E (X | Y ) = 7. E (E (X | G )) = E (X ).
n=0
275
E (X | Y = n) 1(Y =n) .
8. | E (X | G ) | E ( |X | | G ). Este es un caso particular de la desigualdad de Jensen que se enunciar a m as adelante. En particular, tomando esperanza se tiene el siguiente resultado. 9. E |E (X | G )| E (|X |). 10. Si c es constante, entonces E (c X + Y | G ) = c E (X | G ) + E (Y | G ). 11. Si X es G -medible, entonces E (X | G ) = X c.s. 12. Si X 0, entonces E (X | G ) 0. 13. Si X Y , entonces E (X | G ) E (Y | G ). 14. Si G1 G2 , entonces E (E (X | G1 ) | G2 ) = E (E (X | G2 ) | G1 ) = E (X | G1 ). 15. Si X es independiente de G , entonces E (X | G ) = E (X ). 16. Si G1 y G2 son independientes, entonces E (X | (G1 G2 )) = E (X | G1 ) + E (X | G2 ) E (X ). 17. Si X es independiente de G2 , entonces E (X | (G1 G2 )) = E (X | G1 ). 18. Si Xn X , entonces E (Xn | G ) E (X | G ). 19. Teorema de convergencia mon otona. Si Xn 0 y Xn X c.s., entonces E (Xn | G ) E (X | G ) c.s. 20. Si XY es integrable y X es G -medible, entonces E (XY | G ) = X E (Y | G ). 21. X es independiente de G si, y s olo si, E (f (X ) | G ) = E (f (X )) para cualquier funci on Lebesgue medible f tal que f (X ) es integrable.
m m
276
22. Desigualdad de Jensen. Si u es convexa y u(X ) es integrable, entonces u(E (X | G )) E (u(X ) | G ). Funciones directamente Riemann integrables. Sea H : [0, ) [0, ) una funci on Borel medible. Sea h > 0, y para cada n natural dena las funciones n (h) = nf { H (t) : (n 1)h t < nh }, n (h) = sup { H (t) : (n 1)h t < nh }. Suponga que las siguientes funciones son absolutamente convergentes (h) (h) = h = h
n=1 n=1
n (h), n (h),
y que adem as l mh0 (h) = l mh0 (h). Entonces se dice que la funci on H es directamente Riemann integrable. Esta condici on de integrabilidad es m as fuerte que la integrabilidad usual de Riemann, es decir, toda funci on directamente Riemann integrable es Riemann integrable. por ejemplo, a) H (t) = 1[0,a] (t) es d. R. integrable. b) H : [0, ) [0, ) no creciente y tal que
0
H (t) dt < , es d. R. integrable.
Bibliograf a
[1] Basu A. K. Introduction to stochastic processes. Alpha Science International Ltd., 2003. [2] Bingham N. H. Doob: a half century on. Journal of Applied Probability, Vol. 42, 257266, 2005. [3] Brown R. A brief account of Microscopical Observations made in the Months of June, July, and August, 1827, on the Particles contained in the Pollen of Plants; and on the general Existence of active Molecules in Organic and Inorganic Bodies, Philosophical Magazine N. S. 4, 161-173, 1828. [4] Brze zniak Z. y Zastawniak T. Basic stochastic processes. Springer, 1999. [5] Burkholder D. y Protter P. Joseph Leo Doob, 1910-2004. Stochastic Processes and their Applications, Vol. 115, 1061-1072, 2005. [6] Caballero M. E. et al. Cadenas de Markov: un enfoque elemental. Aportaciones Matem aticas, Serie Textos, 29. Sociedad Matem atica Mexicana, 2004. [7] Chung K. L. Markov chains with stationary transition probabilities (Die Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen Band 104). Springer, 1960. [8] Chung K. L. y Williams R. J. Introduction to stochastic integration. Birkh auser, 1983. [9] Cohn D. L. Measure theory. Birkh auser, 1980. [10] Einstein A. Investigations on the theory of the Brownian movement. Dover, 1956. 277
278
Bibliograf a
[11] Feller W. Introducci on a la teor a de probabilidades y sus aplicaciones. Limusa, 1973. [12] Gard T. C. Introduction to stochastic dierential equations. Marcel Dekker, 1988. [13] Grimmett G. R. y Stirzaker D. R. Probability and random processes. Clarendon Press, Oxford, 1982. [14] Gut A. Probability: a graduate course. Springer, 2005. [15] Higham D. J. An algorithmic introduction to numerical simulation of stochastic dierential equations. SIAM Review Vol. 43, No. 3, pp. 525-546, 2001. [16] Hoel P. G., Port S. C. y Stone C. J. Introduction to stochastic processes. Hougthon Miin Company, 1972. [17] Jones P. W. y Smith P. Stochastic processes: an introduction. Arnold, 2001. [18] Jordan D. W. y Smith P. Mathematical techniques. Oxford University Press, 1997. [19] Karlin S. y Taylor H. M. A rst course in stochastic processes. Academic Press, 1975. [20] Klebaner F. C. Introduction to stochastic calculus with applications. Imperial College Press, 1998. [21] Kloeden P. E. y Platen E. Numerical solution of stochastic dierential equations. SpringerVerlag, 1999. [22] Kuo H. Introduction to stochastic integration. Springer, 2006. [23] Lawler G. F. Introduction to stochastic processes. Chapman & Hall / CRC, 2006. [24] Nelson E. Dynamical theories of Brownian motion. Princeton University Press, 1967. [25] Norris J. Markov chains. Cambridge University Press, 1997. [26] ksendal B. Stochastic dierential equations: an introduction with applications. SpringerVerlag, 1992. [27] Protter P. H. Stochastic integration and dierential equations. Springer, 1990.
Bibliograf a [28] Resnick S. Adventures in stochastic processes. Birkh auser, 1992.
279
[29] Revuz D. y Yor M. Continuous martingales and Brownian motion. SpringerVerlag, 1991. [30] Rinc on L. Sobre el problema del mono que escribe caracteres al azar. Miscel anea Matem atica 42, Sociedad Matem atica Mexicana, 7990, 2006. [31] Ross S. A rst course in probability - 4th ed. Macmillan Publishing Company, 1994. [32] Snell J. L. A Conversation with Joe Doob. Statistical Science, Vol. 12, No. 4, 301311, 1997. [33] Snell J. L. Obituary: Joseph Leonard Doob. Journal of Applied Probability, Vol. 42, 247256, 2005. [34] Spitzer F. Principles of random walk. 2nd. ed. Springer, 2001. [35] Steele J. M. Stochastic calculus and nancial applications. SpringerVerlag, 2001. [36] Stirzaker D. Stochastic processes and models. Oxford University Press, 2005. [37] Taylor H. M. y Karlin S. An introduction to stochastic modeling. Academic Press, 1994. [38] Tudor C. Procesos estoc asticos. Aportaciones Matem aticas, Serie Textos 2, Sociedad Matem atica Mexicana, 1994.
Indice
Abel lema, 272 Cadena de Markov, 23 a tiempo continuo, 126 accesibilidad de edos., 38 comunicaci on de edos., 38 de dos estados, 27 de Ehrenfest, 31 de inventarios, 33 de la caminata aleatoria, 30 de la la de espera, 33 de rachas de exitos, 29 de ramicaci on, 32 de v.a.s independientes, 28 del jugador, 31 distribuci on inicial, 26 erg odica, 40 estacionaria, 24 existencia, 26 nita, 24 irreducible, 40 recurrente, 49 regular, 76 reversible, 79 transitoria, 49 Caminata aleatoria, 5 asim etrica, 7 del jugador, 14 sim etrica, 7
Chapman-Kolmogorov, 34, 209 Clase aperi odica, 41 cerrada, 52 de comunicaci on, 38 peri odica, 41 Coeciente de difusi on, 253 de tendencia, 253 Comunicaci on, 37 Conabilidad, 157 Correcci on de It o, 246 Coseno hiperb olico, 117 Cox proceso de, 111 Delta de Kronecker, 27 Deriva, 253 Desigualdad de Jensen, 276 Distribuci on estacionaria, 65 invariante, 65 reticulada, 273 tipo lattice, 273 Distribuciones nito dimensionales, 271 Doob, J. L., 196 Downcrossing, 187 Drift, 253 280
Indice Ecuaci on de balance detallado, 79 de calor, 210 de Chapman-Kolmogorov, 34, 209 de difusi on, 210 de renovaci on, 146, 147 de Wald, 273 estoc astica, 253 soluci on fuerte, 254 Ecuaciones de Kolmogorov, 132, 134 Ecuaciones de Kolmogorov hacia atr as, 130, 132 Espacio C 1 , 250 C 2 , 250 L2 (P ), 238 L2 (P dt), 238 H2 , 241 2 H0 , 239 2 Lloc , 244 de estados, 1 parametral, 1 Esperanza condicional, 274 Estado absorbente, 39 aperi odico, 40 peri odico, 40 recurrente, 45 recurrente nulo, 60 recurrente positivo, 60 transitorio, 45 Estrategia de juego, 176 Euler-Maruyama, 257 F ormula de Stirling, 273 Fatou
281
lema, 272 Filtraci on, 168 can onica, 168 continua por la derecha, 169 est andar, 169 natural, 168 Funci on coseno hiperb olico, 117 de conabilidad, 157 de intensidad, 111 de renovaci on, 146 de supervivencia, 158 de tasa de falla, 157 de valor medio, 111 delta de Kronecker, 27 dir. Riemann integrable, 276 hazard, 158 seno hiperb olico, 117 variaci on cuadr atica de una, 214 variaci on de una, 214 Igualdad de procesos, 271 Independencia de procesos, 271 Integrabilidad uniforme, 191 Integral estoc astica, 237 como un proceso, 244 de It o, 240, 242, 244, 245 de Stratonovich, 247 extensi on por aproximaci on, 241 extensi on por localizaci on, 244 para procesos simples, 240 propiedades, 249 It o correci on de, 246 f ormula de, 250, 255 integral de, 240, 242, 244, 245 isometr a de, 243 proceso de, 253
282
Kronecker, 27 L` evy, P. P., 231 Lema de Abel, 272 de Fatou, 272 M etodo de discretizaci on, 257 Markov, A. A., 83 Martingala, 4, 171 de de Moivre, 200 detenida, 176 estrategia de juego, 176, 177 exponencial, 234 producto, 200, 201 Martingalas teorema de convergencia, 190 teorema de representaci on, 195 Matriz de prob. de transici on, 24 doblemente estoc astica, 25 estoc astica, 25 regular, 76 McKean Tabla de multiplicaci on, 255 Movimiento Browniano, 205 est andar, 206208 exponencial, 259 geom etrico, 258 martingala, 211 multidimensional, 218 probabilidad de transici on, 209 radial, 219 recurrencia por vecindades, 228 puntual, 224 reejado en el origen, 233 unidimensional, 206, 207 variaci on, 215 variaci on cuadr atica, 214
Indice N umero de cruces, 186 Notaci on o peque na, 273 Par ametros innitesimales, 130 Periodo, 40 Probabilidades de transici on, 24, 27 de transici on en n pasos, 27 de transici on en un paso, 24 innitesimales, 106, 131 Problema de la ruina del jugador, 14 Proceso, 1 a tiempo continuo, 1 a tiempo discreto, 1 adaptado, 168 con incrementos estacionarios, 3 con incrementos indep, 3 de Bessel, 219 de Cox, 111 de ensayos independientes, 3 de It o, 253 de L` evy, 4 de Markov, 3 de muerte, 138 de nacimiento puro, 137 de nacimiento y muerte, 133 de Ornstein-Uhlenbeck, 261 de Poisson, 98, 106, 107 compuesto, 112 generalizado, 113 homog eneo, 98 no homog eneo, 109 simulaciones, 104 de renovaci on, 144 de saltos, 124 de Wiener, 206 de Yule, 138 detenido, 175
Indice distribuciones n. dim., 271 equivalencia de s, 271 espacio de estados, 1 espacio parametral, 1 estacionario, 3 ltraci on de un, 168 Gausiano, 4 historia de un , 168 igualdad de s, 271 independencia, 271 indistinguibilidad, 271 modicaci on de un , 271 predecible, 169 realizaci on de un , 2 simple, 239 trayectoria de un , 2 versi on de un , 271 Propiedad de Markov, 3 de p erdida de memoria, 99, 150 de semigrupo, 129 Puente Browniano, 234, 265 densidad, 234 Racha de exitos, 29 Recurrencia, 45 nula, 60 positiva, 60 Renovaci on ecuaci on de, 147 funci on de, 146 Seno hiperb olico, 117 Stirling, 273 Stratonovich, 247 Submartingala, 171 Supermartingala, 171 T ecnica de acople, 74 Tabla de multiplicaci on de McKean, 255
283
Teorema de conv. de mart. de Doob, 190 de conv. dominada, 273 de conv. mon otona, 272 de convergencia mon otona, 275 de paro opcional, 179 de representaci on de martingalas, 195 erg odico para cadenas, 58 Tiempo s de estancia, 98, 124 s de interarribo, 98 s de paro, 169 de primera visita, 43, 51, 59 de vida restante, 148 medio de recurrencia, 51, 60 Tiempo de paro, 171 Transitoriedad, 45 Variaci on, 214 cuadr atica, 214 Wald ecuaci on de, 273 Wiener, N., 230

Proceso S

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Proceso S

Cargado por

Copyright:

Formatos disponibles

Introducci on a los PROCESOS ESTOCASTICOS

n Cap tulo 1. Introduccio

2.1. Caminatas aleatorias

Demostraci on. Para la esperanza tenemos que E (Xn ) =

Cap tulo 2. Caminatas aleatorias

2.1. Caminatas aleatorias

1 (n + x)) 2 p 2 (n+x) q 2 (nx) .

Cap tulo 2. Caminatas aleatorias

2.1. Caminatas aleatorias

Cap tulo 2. Caminatas aleatorias f0 , f1 , f2 , . . . , es decir, encontraremos G(t) =

Multiplicando (2.4) por tn , sumando y cambiando el orden de las sumas se obtiene

k=0 n=k f k tk k=0

2.1. Caminatas aleatorias

n=0 n=0 n=0

1/2 (4pqt2 )n n (2.9)

fn = l m G(t) = 1 (1 4pq )1/2 = 1 |p q |.

Cap tulo 2. Caminatas aleatorias

2.2. El problema del jugador

El problema del jugador

= (q/p)2 (u1 1) . . . = (q/p)k1 (u1 1).

2.2. El problema del jugador

si p = 1/2, si p = 1/2. (2.14)

uk 1 p = 0.01 p = 0.2 p = 0.35 p = 0.5

p = 0.65 p = 0.8 p = 0.99 10 20 30 40 50

Cap tulo 2. Caminatas aleatorias

2.2. El problema del jugador

Ahora se hace uso de la condici on mN = 0, y se obtiene m1 = Substituyendo en (2.16), mk = Sk 1 1 SN 1 p

Substituyendo en (2.17) y simplicando, despu es de algunos c alculos se llega a la respuesta enunciada.

2.2. El problema del jugador

Cap tulo 2. Caminatas aleatorias

2.2. El problema del jugador

Andrey Markov (Rusia 1856-1922)

3.1. Propiedad de Markov

Cap tulo 3. Cadenas de Markov

3.1. Propiedad de Markov

Cap tulo 3. Cadenas de Markov

Cap tulo 3. Cadenas de Markov probabilidades de transici on es de la siguiente forma

c) El proceso Xn = 1 + + n es una cadena de Markov con matriz

Cap tulo 3. Cadenas de Markov

Cap tulo 3. Cadenas de Markov

n de Chapman-Kolmogorov 3.3. Ecuacio

pik (r) pkj (n r).

Cap tulo 3. Cadenas de Markov

P (Xn = j, Xr = k, X0 = i)/P (X0 = i) P (Xn = j | Xr = k ) P (Xr = k | X0 = i) pkj (n r) pik (r).

n de Chapman-Kolmogorov 3.3. Ecuacio

la matriz resultante de multiplicar P consigo misma n veces. pij (n) =

pi,i1 (1) pi1 ,j (n 1) pi,i1 (1) pi1 ,i2 (1) pi2 ,j (n 2)

pi,i1 (1) pi1 ,i2 (1) pin1 ,j (1)

p01 (n) p11 (n) . . .

Cap tulo 3. Cadenas de Markov

Q D n Q 1 1 1 1 a+b a b b b a a 1 0 0 (1 a b)n + (1 a b)n a+b b 1 a 1 . 1 a+b

Partici on de un espacio de estados en clases de comunicaci on

Cap tulo 3. Cadenas de Markov

C (0) 1 1/2 P = 0 1/2 0 0 1/2 0 0 1/2 1/2 1/2 0 0 0 0 0 1

Cap tulo 3. Cadenas de Markov

Cap tulo 3. Cadenas de Markov

pik (1) pkj (1). pik (1) P (kj = n),

Cap tulo 3. Cadenas de Markov

P (Xn = j, Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) P (Xn = j | Xk = j ) P (Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) pjj (n k ) fij (k ).

3.7. Recurrencia y transitoriedad

pii (n) = . pii (n) < .

Cap tulo 3. Cadenas de Markov

P (Ni k, Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k | Xm = i, Xm1 = i, . . . , X1 = i, X0 = i) P (Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k 1 | X0 = i) fii (m)