P. 1
procesos

procesos

|Views: 6.275|Likes:
Publicado porrubi_vm

More info:

Published by: rubi_vm on May 08, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

07/29/2013

pdf

text

original

Sections

  • Introducci´on
  • Caminatas aleatorias
  • 2.1. Caminatas aleatorias
  • 2.2. El problema del jugador
  • Ejercicios
  • Cadenas de Markov
  • 3.1. Propiedad de Markov
  • 3.2. Ejemplos
  • 3.3. Ecuaci´on de Chapman-Kolmogorov
  • 3.4. Comunicaci´on
  • 3.5. Periodo
  • 3.6. Primeras visitas
  • 3.7. Recurrencia y transitoriedad
  • 3.8. Tiempo medio de recurrencia
  • 3.9. Clases cerradas
  • 3.10. N´umero de visitas
  • 3.11. Recurrencia positiva y nula
  • 3.12. Evoluci´on de distribuciones
  • 3.13. Distribuciones estacionarias
  • 3.14. Distribuciones l´ımite
  • 3.15. Cadenas regulares
  • 3.16. Cadenas reversibles
  • El proceso de Poisson
  • 4.1. Proceso de Poisson
  • 4.2. Definiciones alternativas
  • 4.3. Proceso de Poisson no homog´eneo
  • 4.4. Proceso de Poisson compuesto
  • 5.1. Procesos de saltos
  • 5.2. Propiedades generales
  • 5.3. Procesos de nacimiento y muerte
  • 5.4. Proceso de nacimiento puro
  • Procesos de renovaci´on
  • 6.1. Procesos de renovaci´on
  • 6.2. Funci´on y ecuaci´on de renovaci´on
  • 6.3. Tiempos de vida
  • 6.4. Teoremas de renovaci´on
  • 6.5. Confiabilidad
  • Notas y referencias
  • Martingalas
  • 7.1. Filtraciones
  • 7.2. Tiempos de paro
  • 7.3. Martingalas
  • 7.4. Ejemplos
  • 7.5. Procesos detenidos
  • 7.6. Una aplicaci´on: Estrategias de juego
  • 7.7. Teorema de paro opcional y aplicaciones
  • 7.8. Algunas desigualdades
  • 7.9. Convergencia de martingalas
  • 7.10. Representaci´on de martingalas
  • Movimiento Browniano
  • 8.1. Definici´on
  • 8.2. Funci´on de probabilidad de transici´on
  • 8.3. Propiedades b´asicas
  • 8.4. Propiedades de las trayectorias
  • 8.5. Movimiento Browniano multidimensional
  • 8.6. El principio de reflexi´on
  • 8.7. Recurrencia y transitoriedad
  • C´alculo estoc´astico
  • 9.1. Integraci´on estoc´astica
  • 9.2. F´ormula de Itˆo
  • 9.3. Ecuaciones diferenciales estoc´asticas
  • 9.4. Simulaci´on
  • 9.5. Algunos modelos particulares
  • Conceptos y resultados varios

Introducci´n a los o ´ PROCESOS ESTOCASTICOS

Luis Rinc´n o Departamento de Matem´ticas a Facultad de Ciencias UNAM Circuito Exterior de CU 04510 M´xico DF e

ii

Contenido

1. Introducci´n o 2. Caminatas aleatorias 2.1. Caminatas aleatorias . . 2.2. El problema del jugador Notas y referencias . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1 5 . 5 . 14 . 20 . 21 . . . . . . . . . . . . . . . . . . . 23 23 27 34 37 40 43 45 51 52 53 59 63 65 71 76 78 81 82 84

3. Cadenas de Markov 3.1. Propiedad de Markov . . . . . . . 3.2. Ejemplos . . . . . . . . . . . . . . 3.3. Ecuaci´n de Chapman-Kolmogorov o 3.4. Comunicaci´n . . . . . . . . . . . . o 3.5. Periodo . . . . . . . . . . . . . . . 3.6. Primeras visitas . . . . . . . . . . . 3.7. Recurrencia y transitoriedad . . . . 3.8. Tiempo medio de recurrencia . . . 3.9. Clases cerradas . . . . . . . . . . . 3.10. N´ mero de visitas . . . . . . . . . u 3.11. Recurrencia positiva y nula . . . . 3.12. Evoluci´n de distribuciones . . . . o 3.13. Distribuciones estacionarias . . . . 3.14. Distribuciones l´ ımite . . . . . . . . 3.15. Cadenas regulares . . . . . . . . . 3.16. Cadenas reversibles . . . . . . . . . Resumen de la notaci´n . . . . . . . . . o Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . iii

4. El proceso de Poisson 4.1. Proceso de Poisson . . . . . . . . . 4.2. Definiciones alternativas . . . . . . 4.3. Proceso de Poisson no homog´neo e 4.4. Proceso de Poisson compuesto . . . Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

97 97 105 109 112 113 114 121 122 125 131 135 138 139 141 141 144 146 151 155 160 161 165 165 167 169 170 172 174 177 181 183 189 193 196

5. Cadenas de Markov a tiempo continuo 5.1. Procesos de saltos . . . . . . . . . . . . 5.2. Propiedades generales . . . . . . . . . . 5.3. Procesos de nacimiento y muerte . . . . 5.4. Proceso de nacimiento puro . . . . . . . Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . 6. Procesos de renovaci´n y confiabilidad o 6.1. Procesos de renovaci´n . . . . . . . . . o 6.2. Funci´n y ecuaci´n de renovaci´n . . . o o o 6.3. Tiempos de vida . . . . . . . . . . . . 6.4. Teoremas de renovaci´n . . . . . . . . o 6.5. Confiabilidad . . . . . . . . . . . . . . Notas y referencias . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . .

7. Martingalas 7.1. Filtraciones . . . . . . . . . . . . . . . . 7.2. Tiempos de paro . . . . . . . . . . . . . 7.3. Martingalas . . . . . . . . . . . . . . . . 7.4. Ejemplos . . . . . . . . . . . . . . . . . 7.5. Procesos detenidos . . . . . . . . . . . . 7.6. Una aplicaci´n: Estrategias de juego . . o 7.7. Teorema de paro opcional y aplicaciones 7.8. Algunas desigualdades . . . . . . . . . . 7.9. Convergencia de martingalas . . . . . . 7.10. Representaci´n de martingalas . . . . . o Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . .

iv

8. Movimiento Browniano 8.1. Definici´n . . . . . . . . . . . . . . . . . . o 8.2. Funci´n de probabilidad de transici´n . . o o 8.3. Propiedades b´sicas . . . . . . . . . . . . a 8.4. Propiedades de las trayectorias . . . . . . 8.5. Movimiento Browniano multidimensional 8.6. El principio de reflexi´n . . . . . . . . . . o 8.7. Recurrencia y transitoriedad . . . . . . . . Notas y referencias . . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . 9. C´lculo estoc´stico a a 9.1. Integraci´n estoc´stica . . . . . . . . o a 9.2. F´rmula de Itˆ . . . . . . . . . . . . o o 9.3. Ecuaciones diferenciales estoc´sticas a 9.4. Simulaci´n . . . . . . . . . . . . . . . o 9.5. Algunos modelos particulares . . . . Notas y referencias . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . A. Conceptos y resultados varios . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

203 204 207 208 212 216 219 220 227 230 235 235 248 250 255 256 265 267 269

v

vi .

En el segundo cap´ ıtulo se estudian cadenas de Markov a tiempo discreto y despu´s se estudia el e mismo tipo de modelo para tiempos continuos. Se presenta despu´s una introducci´n a la e ıa e o teor´ de martingalas a tiempo discreto. matem´ticas aplicadas y otras carreras afines. El texto inicia con una explicaci´n del concepto de proceso estoc´stico y con algunas definiciones y ejemplos o a generales de este tipo de modelos. y se han numerado de manera consecutiva a lo largo del libro. Al final de cada uno de ellos se proporcionan algunas referencias para que el lector pueda precisar o profundizar lo que aqu´ se presenta. A manera de un acercamiento inicial se presenta primero una introducci´n breve al tema de caminatas aleatorias en una dimensi´n. El texto finaliza con una exposici´n compacta y ligera del c´lculo o a estoc´stico de Itˆ. o o y particularmente se analiza el problema de la ruina del jugador. para ello se presenta primero el proceso de Poisson. y una selecci´n adecuada de temas ser´ necesaria. El material completo excede lo que regularmente es impartido a o en un curso semestral. los o a e cuales son particularmente utiles para el estudiante autodidacta.Pr´logo o El presente texto contiene material b´sico en temas de procesos estoc´sticos a nivel a a licenciatura. y las gr´ficas fueron elaboradas usando el exa vii . Este trabajo es una versi´n ampliada a o de las notas de clase del curso semestral de procesos estoc´stico que he impartido a en la Facultad de Ciencias de la UNAM a alumnos de las carreras de actuar´ y ıa matem´ticas. A Este material fue escrito en L TEX. Se estudian despu´s los procesos de renovaci´n. Est´ dirigido a estudiantes de las carreras de matem´ticas. actuar´ a a ıa. Se incluyen tambi´n sugerencias o soluciones de algunos de estos ejercicios. en donde se estudian unos pocos de sus ıa muchos resultados y aplicaciones. ı El texto contiene una colecci´n de ejercicios que se han colocado al final de cada o cap´ ıtulo. Se incluye adem´s una introducci´n al movimiena o to Browniano. o para presentar ´ en clase si se adopta alguna parte de este texto como material de estudio en alg´ n u curso. y brevemente e o tambi´n la teor´ de la confiabilidad. A lo largo de la e exposici´n el lector encontrar´ tambi´n algunos otros ejemplos y ejercicios. y a ciertas preguntas o problemas matem´ticos ıa a a que uno puede plantearse al estudiar tales modelos. a Los temas tratados en este texto corresponden a ciertos modelos cl´sicos de la a teor´ de los procesos estoc´sticos. Cada o a cap´ ıtulo contiene material que puede considerarse como introductorio al tema.

La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sab´tica en la universidad de Nottingham durante el a˜ o a n 2007. Luis Rinc´n o Ciudad Universitaria UNAM lars@fciencias. y a la DGAPA-UNAM por el generoso apoyo econ´mico o recibido durante esta agradable estancia. Belavkin su amable hospitalidad para llevar a cabo este proyecto.viii celente paquete Pstricks. y agradezco sinceramente al Prof.mx .unam.

Si se considera que la forma en la que el sistema evoluciona no es determinista. Esta colecci´n de variables aleatorias es la definici´n o o de proceso estoc´stico. . . sino provocada por alg´ n u mecanismo azaroso.Cap´ ıtulo 1 Introducci´n o Considere un sistema que puede caracterizarse por estar en cualquiera de un conjunto de estados previamente especificado. . M´s precisamente. P ) y puede a enunciarse de la siguiente forma. ∞). y sirve como modelo para representar la evoluci´n aleatoa o ria de un sistema a lo largo del tiempo. Definici´n. 2. . enton1 . a unas con otras de alguna manera particular. y sea Xt el estado del sistema al tiempo t. y con valores en un conjunto S llamado espacio de estados. En general. Un proceso estoc´stico es una colecci´n de variables aleatorias o a o {Xt : t ∈ T } parametrizada por un conjunto T . En el primer caso se dice que el proceso es a tiempo discreto. y estos n´ meu ros se interpretan como tiempos. y se denotar´ por a {Xt : t ≥ 0}. a mientras que en el segundo caso el proceso es a tiempo continuo. o T = [0. entonces puede considerarse que Xt es una variable aleatoria para cada valor del ´ ındice t. Es decir. Suponga que el sistema evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo a una cierta ley de movimiento. En los casos m´s sencillos. y que son los que consideraremos en este texto. las variables aleatorias que conforman un proceso no son independientes entre s´ sino que est´n relacionadas ı. la definici´n de a o proceso estoc´stico toma como base un espacio de probabilidad (Ω. se toma a como espacio parametral el conjunto T = {0. 1.}. F . llamado espacio parametral. .}. seguiremos la convenci´n de que si el sub´ o ındice es n. . y en general este tipo de procesos se denotar´ por {Xn : n = 0. 1.

2
ces los tiempos son discretos, y si el sub´ ındice es t, el tiempo se mide de manera continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco m´s generalmente tomaremos como espacio de estados el conjunto a de n´ meros reales R, aunque en algunos pocos casos tambi´n consideraremos a u e Zn o Rn . Naturalmente espacios m´s generales son posibles, tanto para el espacio a parametral como para el espacio de estados. En particular, para poder hablar de variables aleatorias con valores en el espacio de estados S, es necesario asociar a este conjunto una σ-´lgebra, considerando que S es un subconjunto de R, puede a tomarse la σ-´lgebra de Borel de S, es decir, S ∩ B(R). a Un proceso estoc´stico puede cona siderarse como una funci´n de dos o Xt (ω) variables X : T × Ω → S tal que a la pareja (t, ω) se le asocia el estado X(t, ω), lo cual tambi´n e puede escribirse como Xt (ω). Para cada valor de t en T , el mapeo ω → Xt (ω) es una variable aleatoria, mientras que para cada ω en Ω t fijo, la funci´n t → Xt (ω) es llamao Espacio parametral da una trayectoria o realizaci´n del o proceso. Es decir, a cada ω del esFigura 1.1: pacio muestral le corresponde una trayectoria del proceso. Es por ello que a veces se define un proceso estoc´stico como una funci´n aleatoria. Una de tales trayectorias t´ a o ıpicas que adem´s a cuenta con la propiedad de ser continua se muestra en la Figura 1.1, y corresponde a una trayectoria de un movimiento Browniano, proceso que definiremos y estudiaremos m´s adelante. a Si A es un conjunto de estados, el evento (Xt ∈ A) corresponde a la situaci´n en o donde al tiempo t el proceso toma alg´ n valor dentro del conjunto A. En particular, u (Xt = x) es el evento en donde al tiempo t el proceso se encuentra en el estado x. Los diferentes tipos de procesos estoc´sticos se obtienen al considerar las distintas a posibilidades para: el espacio parametral, el espacio de estados, las caracter´ ısticas de las trayectorias, y principalmente las relaciones de dependencia entre las variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de procesos estoc´sticos. Estos son procesos que cumplen una cierta a propiedad particular, no necesariamente excluyentes unas de otras. A lo largo del
Espacio de estados

´ Cap´ ıtulo 1. Introduccion

3

texto estudiaremos y especificaremos con mayor detalle algunos de estos tipos de procesos. Proceso de ensayos independientes. El proceso a tiempo discreto {Xn : n = 0, 1, . . .} puede estar constituido por variables aleatorias independientes. Este modelo corresponde al experimento de realizar una sucesi´n de ensayos independientes o de un mismo experimento aleatorio, por ejemplo, lanzar un dado o una moneda repetidas veces. El resultado u observaci´n del proceso en un momento cualquiera o es, por lo tanto, independiente de cualquier otra observaci´n pasada o futura del o proceso. Procesos de Markov. Estos tipos de procesos son importantes y son modelos en donde, suponiendo conocido el estado presente del sistema, los estados anteriores no tienen influencia en los estados futuros del sistema. Esta condici´n se llama propieo dad de Markov y puede expresarse de la siguiente forma: Para cualesquiera estados x0 , x1 , . . . , xn−1 (pasado), xn (presente), xn+1 (futuro), se cumple la igualdad P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). De esta forma la probabilidad del evento futuro (Xn = xn ) s´lo depende el evento o (Xn−1 = xn−1 ), mientras que la informaci´n dada por el evento (X0 = x0 , . . . , Xn−2 = o xn−2 ) es irrelevante. Los procesos de Markov han sido estudiados extensamente y existe un gran n´ mero de sistemas que surgen en muy diversas disciplinas del conou cimiento para los cuales el modelo de proceso estoc´stico y la propiedad de Markov a son razonables. En particular, los sistemas din´micos deterministas dados por una a ecuaci´n diferencial pueden considerarse procesos de Markov pues su evoluci´n fuo o tura queda determinada por la posici´n inicial del sistema y una ley de movimiento o especificada. Procesos con incrementos independientes. Se dice que un proceso {Xt : t ≥ 0} tiene incrementos independientes si para cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn , las variables Xt1 , Xt2 − Xt1 , . . . , Xtn − Xtn−1 son independientes. Procesos estacionarios. Se dice que un proceso {Xt : t ≥ 0} es estacionario (en el sentido estricto) si para cualesquiera tiempos t1 , . . . , tn , la distribuci´n del vector o (Xt1 , . . . , Xtn ) es la misma que la del vector (Xt1 +h , . . . , Xtn +h ) para cualquier valor de h > 0. En particular, la distribuci´n de Xt es la misma que la de Xt+h o para cualquier h > 0, y entonces esta distribuci´n es la misma para cualquier valor o de t. Procesos con incrementos estacionarios. Se dice que un proceso {Xt : t ≥ 0}

4
tiene incrementos estacionarios si para cualesquiera tiempos s < t, y para cualquier h > 0, las variables Xt+h − Xs+h y Xt − Xs tienen la misma distribuci´n de o probabilidad. Es decir, el incremento que sufre el proceso entre los tiempos s y t s´lo depende de estos tiempos a trav´s de la diferencia t − s, y no de los valores o e espec´ ıficos de s y t. Martingalas. Una martingala a tiempo discreto es, en t´rminos generales, un e proceso {Xn : n = 0, 1, . . .} que cumple la condici´n o E(Xn+1 | X0 = x0 , . . . , Xn = xn ) = xn . (1.1)

En palabras, esta igualdad significa que el estado promedio del proceso al tiempo futuro n + 1 es el valor del proceso en su ultimo momento observado, es decir, xn . ´ Esto es, se trata de una ley de movimiento aleatoria equilibrada pues en promedio el sistema no se mueve del ultimo momento observado. A estos procesos tambi´n se ´ e les conoce como procesos de juegos justos pues si se considera una sucesi´n infinita o de apuestas sucesivas y si Xn denota el capital de uno de los jugadores al tiempo n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues en promedio el jugador no pierde ni gana en cada apuesta. Procesos de L`vy. Se dice que un proceso a tiempo continuo {Xt : t ≥ 0} es e un proceso de L`vy si sus incrementos son independientes y estacionarios. M´s e a adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos. Procesos Gausianos. Se dice que un proceso a tiempo continuo {Xt : t ≥ 0} es un proceso Gausiano si para cualesquiera colecci´n finita de tiempos t1 , . . . , tn , el o vector (Xt1 , . . . , Xtn ) tiene distribuci´n normal o Gausiana. Nuevamente, el movio miento Browniano es un ejemplo de este tipo de procesos. El objetivo del presente texto es el de proporcionar una introducci´n a algunos o resultados elementales sobre algunos tipos de procesos estoc´sticos. a Ejercicio. Demuestre que todo proceso a tiempo discreto {Xn : n = 0, 1, . . .} con incrementos independientes es un proceso de Markov. Este resultado no es v´lido a para procesos a tiempo continuo.

Cap´ ıtulo 2

Caminatas aleatorias

En este cap´ ıtulo se presenta una introducci´n breve al tema de caminatas aleatorias o en una dimensi´n. Encontraremos la distribuci´n de probabilidad de la posici´n de o o o una part´ ıcula que efect´ a una caminata aleatoria en Z, y la probabilidad de retorno u a la posici´n de origen. Se plantea y resuelve despu´s el problema de la ruina del o e jugador, y se analizan algunos aspectos de la soluci´n. o

2.1.

Caminatas aleatorias

Una caminata aleatoria simple sobre el conjunto de n´ meros enteros Z es un proceso u estoc´stico a tiempo discreto {Xn : n = 0, 1, . . .} que evoluciona como se muestra a en la Figura 2.1. Es decir, iniciando en el estado 0, al siq p guiente tiempo el proceso puede pasar al estado +1 con probabilidad p, o al estado −2 −1 +1 +2 0 −1 con probabilidad q, en donde p+q = 1. Se usa la misma regla para los siguientes tiempos, es decir, pasa al estado de la deFigura 2.1: recha con probabilidad p, o al estado de la izquierda con probabilidad q. El valor de Xn es el estado del proceso al tiempo n. Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo a las probabilidades de transici´n que se muestran en la Figura 2.1, v´lidas para o a

5

6

2.1. Caminatas aleatorias

cualquier n ≥ 0, y para cualesquiera enteros i y j.   p si j = i + 1, = j | Xn = i) = q si j = i − 1,  0 otro caso.

P (Xn+1

Dado que estas probabilidades no dependen de n, se dice que son homog´neas en e el tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso cumple la propiedad de Markov, es decir, el estado futuro del proceso depende unicamente del estado pre´ sente y no de los estados previamente visitados. Una posible trayectoria de este proceso se muestra en la Figura 2.2. Una caminata aleatoria puede tambi´n dee finirse de la forma siguiente: Sea ξ1 , ξ2 , . . . una sucesi´n de variables aleatorias indeo pendientes e id´nticamente distribuidas. e Por la id´ntica distribuci´n denotaremos a e o cualquiera de ellas mediante la letra ξ sin sub´ ındice. Supondremos que P (ξ = +1) = p y P (ξ = −1) = q, en donde, como antes, p + q = 1. Entonces para n ≥ 1 se define Xn = X0 + ξ1 + · · · + ξn .
Xn (ω)

n

Figura 2.2:

Sin p´rdida de generalidad supondremos que X0 = 0. Nos interesa encontrar ale gunas propiedades de la variable Xn , y de su comportamiento como funci´n de n. o Por ejemplo, a partir de la expresi´n anterior, es inmediato encontrar su esperanza o y varianza. Proposici´n. Para cualquier entero n ≥ 0, o 1. E(Xn ) = n(p − q). 2. Var(Xn ) = 4npq.

Demostraci´n. Para la esperanza tenemos que E(Xn ) = i=1 E(ξi ) = n E(ξ) = o n(p − q). Por otro lado, como E(ξ 2 ) = p + q = 1 y E(ξ) = p − q, se tiene que

n

y es sencillo demostrar que ese valor es el m´ximo de la a expresi´n 4npq. a la izquierda o a la derecha. o Ejercicio. Si p > q. 1). para p ∈ (0. es intuitivamente claro que despu´s de efectuar un n´mero par de pasos la e u cadena s´lo puede terminar en una posici´n par. y si se efect´ an un n´ mero impar o o u u de pasos la posici´n final s´lo puede ser un n´ mero impar. e u es decir. es decir. Teniendo esto en mente. y en promedio el proceso e se queda en su estado inicial pues E(Xn ) = 0. mayor es la incertidumbre acerca de la u posici´n final del proceso. Suponga que se observa la posici´n de la caminata despu´s de efeco o e tuar n pasos. su comportamiento promedio es tender u hacia la derecha. Demuestre que la funci´n generadora de momentos de la variable Xn es o M (t) = E(etXn ) = (pet + qe−t )n . Como hemos supuesto que la caminata inicia en o cero.Cap´ ıtulo 2. Probabilidades de transici´n. A partir de esta expresi´n encuentre nuevamente o la esperanza y varianza de Xn . si p < q. en promedio la caminata tiende a moverse hacia la izquierda. entonces a el estado final promedio de la caminata despu´s de n pasos es un n´ mero negativo. Para cualesquiera n´ meros enteros x y n tales que −n ≤ x ≤ n. n i=1 7 Var(ξi ) = n Var(ξ) = Analicemos estas dos primeras f´rmulas. sin embargo para tal valor de p la varianza es Var(Xn ) = n. Caminatas aleatorias Var(ξ) = 1 − (p − q)2 = 4pq. eso indica que mientras u mayor es el n´ mero de pasos que se dan. Cuando p = q se dice que la caminata es asim´trica. lo cual es intuitivamente claro.1) Demostraci´n. en el siguiente resultado se presenta la distribuci´n de probabilidad de la variable Xn . Adem´s. An´logamente. es claro que o o u a despu´s de efectuar n pasos. o e Cuando p = q = 1/2 se dice que la caminata es sim´trica. P (Xn = x | X0 = 0) = 1 2 (n n 1 1 p 2 (n+x) q 2 (n−x) . Sean Rn y Ln el n´ mero de pasos realizados hacia la derecha y hacia u . Por lo tanto Var(Xn ) = 4npq. + x) (2. si la caminata toma o pasos a la derecha con mayor probabilidad. es decir. o Proposici´n. o u y para el caso cuando x y n son ambos pares o ambos impares. En ambos casos la varianza crece conforme el n´ mero de pasos n crece. entonces el estado promedio despu´s e de n pasos es un n´ mero positivo. la caminata s´lo puede llegar a una distancia m´xima e o a de n unidades.

2n Esta f´rmula puede tambi´n justificarse mediante argumentos de an´lisis combinao e a torio de la siguiente forma: En total hay 2n posibles trayectorias que la caminata puede seguir al efectuar n pasos. ¿Cu´ntas de estas trayectorias terminan en x ≥ 0.8 2. o Ejercicio.1. a n Sumando estas dos ecuaciones y substituyendo la expresi´n Xn = i=1 ξi se obo tiene n 1 1 (1 + ξi ). cuando la caminata es sim´trica. Por lo tanto. q). 1 1 n + x) En particular. La respuesta es entonces el cociente que aparece en la expresi´n anterior. cuando p = 1/2. para cualquier o valor de x que cumpla las condiciones enunciadas se tiene que P (Xn = x | X0 = 0) = = P (Rn = 1 2 (n 1 (n + x)) 2 p 2 (n+x) q 2 (n−x) . demuestre primero las igualdades que aparecen abajo. A partir de aqu´ obtenga el resultado. p). todas ellas con la misma probabilidad de ocurrir debido a la simetr´ Ahora. entonces las variables independientes 1 o 2 (1 + ξi ) toman los valores 1 y 0 con probabilidades p y q. es decir. y con las e mismas restricciones para n y x (−n ≤ x ≤ n. Rn = (n + Xn ) = 2 2 i=1 Esta ecuaci´n es la identidad clave para obtener el resultado buscado. ambos pares o ambos impares) se tiene la expresi´n o P (Xn = x | X0 = 0) = 1 2 (n n + x) 1 . Caminatas aleatorias la izquierda. Como las variables independientes ξi toman los valores +1 y −1 con probabilidades p y q respectivamente. Esto lleva a la conclusi´n de que la variable Rn tiene distribuci´n binomial(n. Observe o que esta f´rmula arroja un valor entero para Rn cuando n y Xn son ambos pares o o ambos impares. Demuestre nuevamente la identidad (2. es decir.1) analizando ahora la variable Ln . el n´ mero de pasos a la derecha debe u ser 1 (n + x). respectivamente. Concluya que Ln tiene distribuci´n binomial(n. y el n´ mero de trayectorias que cumplen la condici´n es el n´ mero u o u 2 de formas en que los 1 (n + x) pasos a la derecha pueden escogerse de los n pasos 2 totales. i=1 2 2 . y adem´s n = Rn + Ln . Ln = o ı 1 (n − Xn ) = n 1 (1 − ξi ). a ejemplo? Como se ha argumentado antes. Entonces Xn = Rn − Ln . por ıa.

Dado que este cap´ ıtulo es introductorio.Cap´ ıtulo 2. omitir los detalles de esta demostraci´n. La demostraci´n es un tanto t´cnica y hace uso de las o e funciones generadoras de probabilidad. se cumple que con e probabilidad uno la caminata regresa eventualmente al origen. p = 1/2. e no es seguro que ello ocurra. tal vez sea mejor recomendar al lector. Para el ultimo caso ´ demostraremos adem´s que el n´ mero de pasos promedio para regresar al origen a u es. Si los n´ meros n y x − y son ambos pares o ambos impares. p = 1/2. P (Xn = x | X0 = y) = 1 2 (n n + x − y) p 2 (n+x−y) q 2 (n−x+y) . o . Suponga que X0 = 0 y defina Zn = Xn − y. o e La f´rmula (2.2) Demostraci´n. Proposici´n. infinito. El resultado se obtiene de la identidad P (Xn = x | X0 = y) = P (Zn = x − y | Zn = 0). es decir. Caminatas aleatorias 9 Ejercicio. Nos plantearemos ahora el o problema de encontrar la probabilidad de que una caminata aleatoria que inicia en el origen. la probabilidad de tal evento es menor que uno. la caminata es sim´trica. sin embargo. Entonces Zn es ahora o una caminata aleatoria que inicia en cero como en el caso antes demostrado. Demuestre que la probabilidad (2. Probabilidad de regreso a la posici´n de origen. y o e s´lo si. Demostraremos que en el caso asim´trico. o u entonces para −n ≤ x − y ≤ n.1) puede extenderse f´cilmente al caso general de pasar de un estado o a cualquiera y a otro estado x en n pasos.1) es una funci´n sim´trica de x si. cuando se trate de una primera lectura. pero en el caso sim´trico. 1 1 (2. regrese eventualmente al punto de partida.

Caminatas aleatorias Proposici´n. o en el paso 2. Despu´s de efectuado el primer regreso se multiplica por la e probabilidad de regresar al origen en el n´ mero de pasos restantes. Observe que en t´rminos e e e de las probabilidades fk . o pn . o en el ultimo ´ momento. Recordemos nuevamente que los valores e de fk son estrictamente positivos s´lo para valores pares de k distintos de cero. u Este primero regreso puede darse en el paso 1. Es decir. (2.. v´ase la f´rmula (3. Esta probabilidad es distinta de cero s´lo cuando n es un n´ mero par. si p = q. Esta f´rmula ser´ demostrada m´s adelante en el contexto o a a de las cadenas de Markov.10 2. Por conveniencia se define f0 = 0. Esta serie es convergente pues se trata de la suma de probabilidades de eventos disjuntos.2) en la p´gina 44. el paso n. Naturalmente o u p0 = 1. Demostraci´n. Para una caminata aleatoria sobre Z. es decir.. Observe que el u primer sumando es cero. se tiene la certeza de un eventual o e retorno. Demostraremos que en el caso sim´trico la suma vale uno. pn = P (Xn = 0 | X0 = 0). la probabilidad de un o eventual regreso al punto de partida es 1 − |p − q| = 1 <1 si p = q.3) e o a para encontrar la funci´n generadora de probabilidad de la colecci´n de n´ meros o o u . .1.. El uso de la letra f proviene el t´rmino en Ingl´s first. en las distintas posibilidades en donde se efect´ a el primer regreso al origen. p = q. s´lo en el caso sim´trico.3) En esta expresi´n simplemente se descompone la probabilidad de regreso al origen. o b) No es dif´ comprobar que se cumple la siguiente igualdad ıcil n pn = k=0 fk pn−k . sin embargo el tiempo promedio de regreso en tal caso es infinito. Para demostrar estas afirmaciones utilizaremos los siguientes eleo mentos: a) Para cada n ≥ 0 denotaremos por pn a la probabilidad de que la caminata se encuentre en el estado 0 al tiempo n. la probabilidad de que la caminata regrese eventualmente ∞ al origen es k=0 fk . Usaremos (2. Denotaremos tambi´n por fk a la probabilidad de que la caminata visite e el estado 0 por primera vez en el paso k ≥ 0. y por lo tanto a lo sumo vale uno.

f1 . y que no es otra cosa sino el funci´n generadora de los ´ o o n´ meros p0 . . . a ∞ a n a (1 + t) = t .Cap´ ıtulo 2. es decir. . (2. Por lo tanto ( ∞ n=0 pn tn ) − 1 = G(t) ∞ n=0 p n tn . . . p2 . f2 . encontraremos G(t) = ∞ k=0 11 f k tk . se tiene el coeficiente binomial a n = a(a − 1) · · · (a − (n − 1)) . p1 . (2. . Haremos esto a continuaci´n.4) Para encontrar G(t) se necesita encontrar una expresi´n para la suma que aparece o en la ultima ecuaci´n. Este n´ mero es una generalizaci´n u o del coeficiente binomial usual y aparece en la siguiente expansi´n binomial infinita o v´lida para |t| < 1. Multiplicando (2. Caminatas aleatorias f0 .5) Observe que en el numerador hay n factores. . n! (2. sumando y cambiando el orden de las sumas se obtiene ∞ n=1 p n tn = = = = ∞ n ( fk pn−k ) tn fk pn−k tn ∞ n=k ∞ n=0 n=1 k=0 ∞ ∞ k=0 n=k ∞ f k tk k=0 pn−k tn−k G(t) p n tn .3) por tn .6) n n=0 . u o c) Para el an´lisis que sigue necesitamos recordar que para cualquier n´ mero real a u a y para cualquier entero n.

5) se tiene que o 2n n = = = = = 2n(2n − 1)(2n − 2) · · · 3 · 2 · 1 n! n! n 2 n! (2n − 1)(2n − 3) · · · 5 · 3 · 1 n! n! 2n 2n 2n − 1 2n − 3 5 3 1 ( )( ) · · · ( )( )( ) n! 2 2 2 2 2 2n 2n 1 3 5 3 1 n (−1) (−n + )(−n + ) · · · (− )(− )(− ) n! 2 2 2 2 2 −1/2 (−4)n . .4) se llega a la igualdad (1 − 4pqt2 )−1/2 − 1 = G(t) (1 − 4pqt2 )−1/2 . ım tր1 . (2.7) podemos ahora encontrar una expresi´n cerrada para la o funci´n generadora de la colecci´n de n´ meros p0 .9) Usando esta expresi´n podemos ahora calcular la probabilidad de un eventual reo greso al estado inicial. e) Substituyendo (2.6) y (2. por el lema de Abel. En efecto. o o u ∞ n=0 p n tn = = = ∞ n=0 ∞ n=0 ∞ n=0 2n n n 2n p q t n (−4)n −1/2 n n 2n p q t n −1/2 (−4pqt2 )n n (2. n (2. ∞ n=0 fn = l´ G(t) = 1 − (1 − 4pq)1/2 = 1 − |p − q|. .8) = (1 − 4pqt2 )−1/2 . .1. Caminatas aleatorias En particular y como una aplicaci´n de (2. De donde se obtiene finalmente G(t) = 1 − (1 − 4pqt2 )1/2 .7) d) Usando (2. p2 .12 2.8) en (2. p1 .

En cambio. p = 1/2. es decir.3: En el siguiente cap´ ıtulo se estudiar´n algunas otras propiedades de las caminatas a aleatorias en el contexto de las cadenas de Markov. el tiempo promedio de regreso se obtiene derivando la funci´n a o generadora G(t) = 1 − (1 − t)−1/2 . esta cantidad es estrictamente menor a uno y e por lo tanto no hay seguridad de que la caminata sea capaz de regresar al origen. en donde p. Caminatas aleatorias 13 En el caso asim´trico. q y r son probabilidades tales que p + q + r = 1. en donde p + q + r + s = 1. ∞ n=0 n fn = l´ G′ (t) = l´ √ ım ım tր1 tր1 t = ∞. 1 − t2 Puede considerarse tambi´n el caso de una caminata en donde sea posible permanee cer en el mismo estado despu´s de una unidad de tiempo. Esta situaci´n se ilustra e o en la Figura 2. . r q −1 0 p 1 −1 r q 1 p 1 s −1 (a) (b) Figura 2.3(b).3(a). con e probabilidad uno la cadena aleatoria sim´trica regresa eventualmente a su posici´n e o de origen. Tambi´n pueden considerarse caminatas aleatorias en Z2 como la que se muestra e en la Figura 2. esta cantidad vale uno. Adem´s. o m´s generalmente en Zn o a cualquier otro conjunto reticulado. en el caso sim´trico. es decir.Cap´ ıtulo 2. p = 1/2.

N }. y B tiene N − k unidades. ¿Cu´l es la probabilidad de que la caminata se absorba en el estado 0 y no a en el estado N . o bien puede terminar en el estado N que corresponde a la situaci´n en donde el jugador A ha ganado todo o el capital. a Sea Xn la fortuna del jugador A al tiempo n. τ = m´ ın{n ≥ 0 : Xn = 0 ´ Xn = o N }. y probabilidad de perder q = 1 − p. u oscile entre estos dos estados? Este problema se conoce como el problema de la ruina del jugador. o Soluci´n al problema. La . . se asume adem´s que no hay empates. pues una vez que la cadena llega a alguno de ellos. 1. El problema del jugador En esta secci´n consideraremos un ejemplo particular de una caminata aleatoria o puesta en el contexto de un juego de apuestas.14 2.2. . . . el capital conjunto entre los dos jugadores es de N unidades monetarias. En cada apuesta el jugador A tiene probabilidad de ganar p. o o Usando probabilidad condicional es posible transformar este problema en resolver una ecuaci´n en diferencias.} es una caminata aleatoria que inicia en el estado k y eventualmente puede terminar en el estado 0 cuando el jugador A ha perdido todo su capital. Entonces {Xn : n = 0. Puede demostrarse que esta variable aleatoria is finita casi seguramente. y encontraremos a continuaci´n su soluci´n. Este proceso es entonces una caminata aleatoria sobre el conjunto {0. Planteamiento del problema. Sea τ es el primer momento en el que la caminata visita o alguno de los dos estados absorbentes. .4. El problema del jugador 2. Una posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra en la Figura 2. Xn N k n τ Una de las preguntas que resolvereFigura 2.2. es decir. Inicialmente el jugador A tiene k unidades. 1. jam´s a lo abandona.4: mos para esta caminata es la siguiente: ¿Cu´l es la probabilidad de que evena tualmente el jugador A se arruine? Es decir. es decir. Suponga que un jugador A apuesta sucesivamente una unidad monetaria a un jugador B. . en donde los estados 0 y N son absorbentes. .

Substituyendo en (2.12) De manera an´loga pero ahora sumando todas las ecuaciones de (2. las primeras k − 1 ecuaciones se escriben de la forma siguiente u2 − u1 u3 − u2 uk − uk−1 = (q/p) (u1 − 1) = (q/p)2 (u1 − 1) . . N − 1. o bien el jugador pierde con probabilidad q y se busca la probabilidad de ruina ahora a partir del estado k − 1. El jugador gana con probabilidad p y ahora se busca la probabilidad de ruina a partir del estado k + 1. . (2. La interpretaci´n intuitiva de esta identidad es a o sencilla: A partir del estado k se busca la probabilidad de ruina analizando lo que sucede en la siguiente apuesta.11) se obtiene a uN = 1 + SN −1 (u1 − 1). 15 (2. Por el teorema de probabilidad total se obtiene la ecuaci´n en diferencias o uk = p uk+1 + q uk−1 . Usando la segunda condici´n de frontera uN = 0 se llega o a u1 − 1 = −1/SN −1 . de segundo orden y homog´nea. Las condiciones de frontera son u0 = 1 y uN = 0.12) y simplificando se llega a la soluci´n o uk = 1 − Sk−1 .10) v´lida para k = 1. . Caminatas aleatorias pregunta planteada se traduce en encontrar la probabilidad uk = P (Xτ = 0 | X0 = k). Se tienen dos casos. Esta ecuaci´n es o una ecuaci´n en diferencias. SN −1 . Puede encono e trarse su soluci´n de la siguiente forma: Multiplicando el lado izquierdo de (2. lineal. . = (q/p)k−1 (u1 − 1). O bien uk = 1 + Sk−1 (u1 − 1). . Hemos usado aqu´ la condici´n de frontera u0 = 1.Cap´ ıtulo 2.10) o por (p + q) y agrupando t´rminos se llega a la expresi´n equivalente e o uk+1 − uk = (q/p) (uk − uk−1 ). Conviene ahora definir Sk = ı o 1 + (q/p) + · · · + (q/p)k pues al sumar las k − 1 ecuaciones anteriores se obtiene uk − u1 = (Sk−1 − 1) (u1 − 1). 2. . (2.11) Resolviendo iterativamente.

En la secci´n o de ejercicios se sugiere otra forma de resolver la ecuaci´n en diferencias (2.13) en sus varios a o o aspectos. si p = 1/2. Esto sugiere que no conviene jugar esta serie de apuestas contra adversarios demasiado ricos.2 p = 0.16 2. si p = q.65 p = 0. cuando el juego e es justo.99 10 20 30 40 50 k Figura 2.35 p = 0. Es tambi´n un tanto u e inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 1/2. Esto puede apreciarse en la Figura 2. Es interesante analizar la f´rmula (2.01 p = 0. Cuando p es distante de 1/2 la probabilidad uk es casi constante. para el caso sim´trico p = 1/2. El problema del jugador Por lo tanto Es necesario ahora distinguir los siguientes dos casos:   k+1  k k+1 Sk = 1 + (q/p) + · · · + (q/p) =  1 − (q/p)  1 − (q/p)   (N − k)/N  k N uk =  (q/p) − (q/p)  1 − (q/p)N si p = q. pero para valores de p cercanos a 1/2 .5: An´lisis de la soluci´n. si p = 1/2.6.8 p = 0.13) En la Figura 2. Naturalmente la probabilidad de ruina decrece cuando el capital inicial k aumenta. En el caso sim´trico la soluci´n a e o es la linea recta que une la probabilidad uno con la probabilidad cero.5 p = 0.2.5 se muestra la gr´fica de la probabilidad uk como funci´n del a o par´metro k para varios valores de p y con N = 50. (2.10). la probabilidad de ruina es muy cercana a 1 cuando k es muy peque˜ o n comparado con N . Por ejemplo. o uk 1 p = 0. a´ n cuando el juego sea justo. es decir.

Cap´ ıtulo 2. Este n´ mero u de apuestas promedio antes de la ruina puede encontrarse expl´ ıcitamente. Substituya estos par´metros en la soluci´n (2. y el m´todo que usaremos para encontrarlo es nuevamente el planteamiento de una e ecuaci´n en diferencias que resolveremos del modo mostrado antes. Hemos comprobado que con u probabilidad uno ocurre que eventualmente alguno de los dos jugadores se arruina. Si el juego se considera desde el punto de vista del jugador B. en donde el u jugador A tiene un capital inicial de k unidades. es la que aparece abajo. denotada por vN −k . la probabilidad de que eventualmente el juego a termine con la ruina de alguno de los jugadores es uno.13) y compruebe que la probabilidad a o de ruina del jugador B.6: Ejercicio.  si q = 1/2. Estas gr´ficas fueron a a elaborados tomando N = 50. y B tiene N − k. entonces se trata de la misma caminata aleatoria s´lo o que ahora el capital inicial es N −k y la probabilidad de ganar en cada apuesta es q. Verifique adem´s que uk + vN −k = 1.5 1 p k = 45 0.  N −1 (q/p) N´ mero esperado de apuestas antes de la ruina. uk 1 1 uk 1 uk k=5 0.  k/N  k vN −k =  (q/p) − 1 si q = 1/2. Sea entonces o mk el n´ mero esperado de apuesta antes de que termine el juego.5 1 p k = 25 0. Caminatas aleatorias 17 la probabilidad cambia r´pidamente de un extremo a otro. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. .5 1 p Figura 2. (Probabilidad de ruina del otro jugador). es decir.

. Las condiciones de frontera son ahora m0 = 0 y e mN = 0. . y substituyendo iterativao mente. las primeras k − 1 ecuaciones son m2 − m1 m3 − m2 = = . Substituyendo (p + q)mk por mk y agrupando t´rminos convenientemente e la ecuaci´n anterior puede reescribirse del siguiente modo o mk+1 − mk = q 1 (mk − mk−1 ) − . 2. . . Condicionando sobre el resultado de la primera apuesta se obtiene o que mk satisface la ecuaci´n o mk = 1 + p mk+1 + q mk−1 . El problema del jugador Proposici´n. Esta es una ecuaci´n en diferencias. . de segundo a o orden. p 1 S0 . . v´lida para k = 1. mk − mk−1 = (q/p)k−1 m1 − 1 Sk−2 . Sumando todas estas ı o ecuaciones se obtiene mk − m1 = m1 (Sk−1 − 1) − Es decir. i=0 Si . N − 1.18 2.14) Recordando la notaci´n Sk = 1 + (q/p) + · · · + (q/p)k . p (q/p) m1 − Aqu´ se ha hecho uso de la condici´n de frontera m0 = 0.  k (N − k)  k mk =  1 ( k − N 1 − (q/p) ) si p = q. p 1 (q/p)2 m1 − S1 . mk = m1 Sk−1 − 1 p k−2 1 p k−2 Si . i=0 (2.15) .2. lineal y no homog´nea. p p (2. El n´ mero esperado de apuestas antes de la ruina es o u  si p = q.  N q−p 1 − (q/p) Demostraci´n.

mk 625 p = 0. mk = Sk−1 1 SN −1 p N −2 i=0 1 SN −1 1 p k−2 Si .16) Substituyendo en (2. despu´s de algunos c´lculos se llega a la e a respuesta enunciada.5 Nuevamente se deben distinguir los siguientes dos casos:   k+1  k+1 Sk = 1 + (q/p) + · · · + (q/p)k =  1 − (q/p)  1 − (q/p) si p = q.1 10 20 p = 0. si p = q. p = 1/2.Cap´ ıtulo 2. Esto arroja un promedio m´ximo de a (N/2)(N − N/2) = (N/2)2 apuestas antes del fin del juego. La duraci´n m´xima promedio del juego se o a obtiene cuando el juego es justo.16) y simplificando. Ahora se hace uso de la condici´n mN = 0. k = N/2. En el caso ilustrado.9 30 40 50 k Figura 2.7 cuando N = 50.15). la duraci´n m´xima promedio o a del juego es de (50/2)2 = 625 apuestas. i=0 (2. Caminatas aleatorias En particular. La forma en la que mk cambia al variar el par´metro k se muestra en la a Figura 2.14) se obtiene mN = m1 SN −1 − 1 p N −2 i=0 19 Si . p = 0.7: . y se obtiene o m1 = Substituyendo en (2. sumando todas las ecuaciones de (2. es decir. y ambos jugadores tienen el mismo capital inicial. i=0 Si − 1 p k−2 Si .

2. . se cumple que mk ≤ (N/2)2 . . Como lectura m´s avanzada v´ase el texto de Resnick [28]. . a e . tanto en el caso sim´trico como no sim´trico. En particular el libro de Jones y Smith [17]. para cada k = 1. N . ya sea de una manera expl´ ıa a ıcita o como un ejemplo importante de cadena de Markov. es decir. e e Notas y referencias.20 2. Demuestre que la duraci´n promedio del juego es siempre menor o igual o a (N/2)2 . y el de Spitzer [34]. . y el de Basu [1] contienen un cap´ ıtulo completo sobre el tema. El tema de caminatas aleatorias puede ser encontrado en la mayor´ de los textos sobre procesos estoc´sticos. El problema del jugador Ejercicio.

. . Caminatas aleatorias 21 Ejercicios Caminatas aleatorias 1. k − 1}. 1. . . Para una caminata aleatoria simple {Xn } sobre Z demuestre que P (Xn+1 = x) = p P (Xn = x − 1) + q P (Xn = x + 1). . ¿Cu´l es la probabilidad de que la part´ a ıcula regrese al estado cero por primera vez en el sexto paso? 5. . . Encuentre el n´ mero esperado de pasos en los que el u algoritmo alcanza el estado cero cuando inicia en el estado k. Usuando an´lisis del primer paso a (condicionando sobre si primer paso se efect´ a a la izquierda o a la derecha) u demuestre que (p/q)n si p < 1/2. . Considere una caminata aleatoria simple sobre Z que empieza en cero y tal que la probabilidad de pasar al estado de la derecha es p y la probabilidad de pasar al estado de la izquierda es q = 1 − p. . 4.Cap´ ıtulo 2. 3. 0. Un algoritmo aleatorio de b´ squeda del estado cero opera del siguiente mou do: si se encuentra en el estado k en alg´ n momento. xn+1 . Una part´ ıcula realiza una caminata aleatoria sim´trica sobre Z empezando en e cero. demuestre que para cualesquiera enteros x0 . la probabilidad de que la caminata se mantenga siempre en el conjunto {. . menor o mayor a n. En particular. x1 . P (Xn+1 = xn+1 | X0 = x0 . . 6. Una part´ ıcula realiza una caminata aleatoria sim´trica sobre Z empezando e en cero. Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). P (τn < ∞) = 1 si p ≥ 1/2. y con probabilidad uno llegar´ al estado n en el caso p ≥ 1/2. . . . entonces el estado del u algoritmo al siguiente paso es aleatorio con distribuci´n uniforme en el cono junto {0. 1. −1. es decir. Sea τn el primer momento en el que la caminata visita el estado n ≥ 1. . . . n − 1} es 1 − (p/q)n en el caso p < 1/2. . Generalice la f´rmula a o anterior en el caso cuando el estado inicial es m. . 2. . Encuentre la probabilidad de que la part´ ıcula se encuentre nuevamente en el origen en el sexto paso. Demuestre que una caminata aleatoria simple sobre Z cumple la propiedad de Markov.

respectivamente. El problema del jugador El problema de la ruina del jugador 7. m2 = k.13).22 2. o y que encontraremos a continuaci´n. Las probabilidades de ganar. Esta ecuaci´n se conoce o a o como la ecuaci´n caracter´ o ıstica de la ecuaci´n en diferencias. demuestre la igualdad mk = 1 + p mk+1 + q mk−1 . q y r. es decir. o b) Substituya la soluci´n propuesta en la ecuaci´n en diferencias y encueno o tre la ecuaci´n cuadr´tica pm2 − m + q = 0. Es decir. . . Siguiendo la notaci´n usada para encontrar el n´ mero esperado de apuestas o u antes de la ruina en el problema del jugador. demuestre o la validez de la ecuaci´n uk = p uk+1 + q uk−1 . con a y m constantes distintas de cero. con p+q+r = 1. 2 d ) Use las condiciones de frontera u0 = 1 y uN = 0 para encontrar los valores de las constantes a1 y a2 . Resuelva nuevamente esta ecuaci´n siguiendo o los siguientes pasos [18]: a) Proponga la soluci´n uk = a mk . Para resolver el problema del jugador se requiere resolver la ecuaci´n en difeo rencias uk = p uk+1 + q uk−1 . Proceda como en el inciso anterior para o encontrar (2. la soluci´n general puede escribirse como uk = a1 mk + o 1 a2 mk = a1 + a2 (q/p)k . Siguiendo la notaci´n usada en el problema de la ruina del jugador. perder o empatar para el jugador A son p. . Considere el problema de la ruina del jugador permitiendo ahora que existan empates en cada una de las apuestas. 2. . esta ecuaci´n cuadr´tica tiene dos soluciones o a distintas: m1 = 1 y m2 = q/p. . la posibilidad de empate en cada apuesta extiende o posiblemente la duraci´n del juego pero no modifica las probabilidades de o ruina. y obtener nuevamente la soluci´n (2. 9.13) en este caso.13). N − 1. . o e) Cuando p = q la ecuaci´n caracter´ o ıstica tiene una unica ra´ m1 = 1. o 8. . para k = 1. .2. 2. ´ ız: Como segundo valor para m se propone k veces el valor de la primera soluci´n. 10. . N − 1. para k = 1. Dada la linealidad de la ecuaci´n en o diferencias. Demuestre que la probabilidad de ruina para el jugador A sigue siendo la misma expresi´n (2. o c) Suponiendo el caso p = q.

Propiedad de Markov Vamos a considerar procesos estoc´sticos a tiempo discreto Xn que cumplen la a propiedad de Markov.Cap´ ıtulo 3 Cadenas de Markov Las cadenas de Markov fueron inventadas por el matem´tico ruso A. es decir. a la probabilidad P (Xn = xn ) se le escribe como p(xn ). El significado de la probabilidad condicional p(xn+1 | xn ) es an´logo. el sub´ ındice indica tambi´n la variable a la que se hace e referencia. y se cuenta con una teor´ matem´tica extensa al respecto. o a 3. El ´xito del modelo propuesto o e por Markov radica en que es lo suficientemente complejo como para describir ciertas caracter´ ısticas no triviales de algunos sistemas. A. Su intenci´n era crear un modelo probabil´ o ıstico para analizar la aparici´n de vocales en poemas y textos literarios.1. Para escribir esta propiedad y varias de sus condiciones equivalentes de una manera simple. pero al mismo tiempo es lo suficientemente sencillo para ser analizado matem´ticamente. Las cadenas de Markov a pueden aplicarse a una amplia gama de fen´menos cient´ o ıficos y sociales. En este cap´ ıa a ıtulo presentaremos una introducci´n a algunos aspectos b´sicos de este modelo. Markov a alrededor de 1905. a 23 .

. p02 p12 p22 .24 3. Una cadena de Markov es un proceso estoc´stico a tiempo discreto o a {Xn : n = 0. Por o ejemplo.1) establece que o la distribuci´n de probabilidad del estado del proceso al tiempo futuro n+1 depende o unicamente del estado del proceso al tiempo n. 1. . . . y que satisface la propiedad de Markov. . Existen otras formas equivalentes de expresar esta propiedad. Por e simplicidad se asume tal situaci´n de modo que las probabilidades de transici´n en o o un paso se escriben simplemente como pij . j) de esta matriz es la probabilidad de transici´n pij . La entrada (i. . se obtiene la matriz de probabilidades de transici´n en un o paso que aparece en la Figura 3. . Variando los ´ ındices i y j. xn ) = p(xn+1 | xn ). . . algunas de ellas se encuentran enunciadas en la secci´n de ejercicios. A la probabilidad P (Xn+1 = j | Xn = i) se le o denota por pij (n. xn+1 . . la probabilidad de pao sar del estado i al estado j en una unidad de 0 1  2  . P =  0 1 2 ··· p00 p10 p20 . . . . .}.}.1. 1. y representa la probabilidad de transici´n del estado i en o el tiempo n. y para cualesquiera estados x0 . al estado j en el tiempo n + 1. Cuando el espacio de estados de una cadena de Markov es un conjunto finito se dice que la cadena es finita.1: .1) Si el tiempo n+1 se considera como un tiempo futuro. 2. (3. el tiempo n como el presente y los tiempos 0. . se cumple p(xn+1 | x0 . por ejemplo sobre el conjunto de estados {0. n − 1. . Propiedad de Markov Definici´n. . . . . 1. . . ··· ··· ···      Figura 3. Cuando los n´ meros pij (n. esto es. . . entonces la condici´n (3. con espacio de estados discreto. x1 . y no depende de los estados en los ´ tiempos pasados 0. . . . Sin p´rdida de generalidad tomaremos como espacio de estados de una cadena de e Markov al conjunto discreto {0. . para cualquier entero n ≥ 0. . . n−1 como el pasado. Estas probabilidades se conocen como las probabilidades de transici´n en un paso.}. 1. es posible demostrar que la condici´n (3. xn ) = p(x0 ) p(x1 | x0 ) · · · p(xn | xn−1 ). p01 p11 p21 . n + 1). . . . . 2. n + 1) no o u dependen de n se dice que la cadena es estacionaria u homog´nea en el tiempo.1. . . . . Xn de la siguiente forma o p(x0 . Probabilidades de transici´n. . o cualquier subconjunto finito que conste de los primeros elementos de este conjunto. es decir. X1 . .1) es equivalente a poder calcular o la distribuci´n conjunta de las variables X0 . 1. .

Cap´ ıtulo 3. Proposici´n. esta matriz a captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. . Debido a la propiedad de Markov. . 1.}) = P (Xn+1 ∈ {0. a) pij ≥ 0. 1.1. entonces se dice que es e doblemente estoc´stica. . En general toda matriz cuadrada que cumpla estas dos propiedades se dice que es una matriz estoc´stica. . b) j pij = 1. cuando la suma por columnas tambi´n es uno. . Cadenas de Markov 25 tiempo. tal identificaci´n ser´ evidente a partir de conocer el o a espacio de estados.} | Xn = i) = P( j (Xn+1 = j) | Xn = i) = j P (Xn+1 = j | Xn = i) pij . a o es decir. La matriz de probabilidades de transici´n P = (pij ) cumple las o o siguientes dos propiedades. En general. Si adem´s la matriz satisface la condici´n i pij = 1. La primera condici´n es evidente a partir del hecho de que estos o o n´ meros son probabilidades. . El ´ ındice i se refiere al rengl´n de la matriz y el ´ o ındice j a la columna. al escribir estas matrices omitiremos escribir la identificaci´n de los estados en los renglones y columnas coo mo aparece en la Figura 3. a . 1 = P (Xn+1 ∈ {0. Demostraci´n. = j Esto ultimo significa que a partir de cualquier estado i con probabilidad uno la ´ cadena pasa necesariamente a alg´ n elemento del espacio de estados al siguiente u momento. Para la segunda propiedad se tiene que para cualquier u estado i y cualquier entero n ≥ 0.

Una distribuci´n inicial para una cadena de Markov con espacio de o estados {0.6 0. P = 0. P (X0 = 1) = 0. Ejercicio.8. X2 = 1 | X1 = 2). Sea {Xn } una cadena de Markov con tres estados: 0.} es simplemente una distribuci´n de probabilidad sobre este o conjunto. 2. existe a o un espacio de probabilidad y una cadena de Markov con matriz de probabilidades de transici´n y distribuci´n inicial las especificadas.2. Propiedad de Markov Distribuci´n de probabilidad inicial.1.5 0. X1 = 0. Es por ello que a la matriz o o misma se le llama a veces cadena de Markov. . P (X2 = 1) y P (X0 = 0.3 0. la distribuci´n inicial juega un papel secundario o en el estudio de las cadenas de Markov.5. es decir. . y con matriz de probabilidades de transici´n como aparece abajo. p1 . Esta identidad establece que las distribuciones conjuntas p(x0 .2 0 0. .1 . Calcule P (X2 = 0. 1. X2 . En el texto de Chung [7] puede encontrarse una demostraci´n del hecho de o que dada una matriz estoc´stica y una distribuci´n de probabilidad inicial. xn ) se encuentran completamente especificadas por la matriz de probabilidades de transici´n y una distribuci´n inio o cial. es una colecci´n de n´ meros p0 .26 3. X1 = 1. x1 . . que son no negativos o u y que suman uno.3 0.1. X1 = 0 | X0 = o 1) y P (X3 = 1. Existencia. x1 . Calcule P (X0 = 0. El n´ mero pi corresponde a la probabilidad de que la cadena u inicie en el estado i. . X2 = 1. P = 0.4 0. . X3 = 1). X2 = 0). . P (X0 = o 0 | X1 = 1). y con matriz de probabilidades de transici´n como aparece abajo. con distribuci´n o inicial P (X0 = 0) = 0.7 0. Sea {Xn } una cadena de Markov con dos estados 0 y 1. . Hemos mencionado que la propiedad de Markov es equivalente a la igualdad p(x0 . .1.2. En general. P (X0 = 1) = 0. Ejercicio. con distribuci´n o inicial P (X0 = 0) = 0. xn ) = p(x0 ) p(x1 | x0 ) · · · p(xn | xn−1 ). o m´s o a generalmente considerando una distribuci´n de probabilidad inicial sobre el espacio o de estados. . Sea {Xn } una cadena de Markov con dos estados: 0. o o . . Encuentre la distribuci´n de las variables X1 .5. y con matriz de probabilidades de transici´n como aparece abajo. En general puede considerarse que una o cadena de Markov inicia su evoluci´n partiendo de un estado i cualquiera.3 . Ejercicio. .9 0. P (X1 = 0). .3 0. p2 .4 0.

y 0 ≤ b ≤ 1. tener o no tener. La probabilidad P (Xn+m = j | Xm = o i) corresponde a la probabilidad de pasar del estado i al tiempo m. P = 1/2 2/3 1/2 1/3 27 . las variables X1 . estar o no estar. Retomaremos m´s adelante varios de estos ejemplos para ilustrar otros a conceptos y resultados generales de la teor´ general. Dado que hemos supuesto la condici´n de homogeneidad en el o tiempo. son independientes e id´nticamente distribuidas con P (Xn = 0) = 1 − a y P (Xn = 1) = a. . Es decir. Tambi´n cuando n = 0 es natural definir e e pij (0) = δij = 0 1 si i = j. Cuando n = 1 simplemente se omite su escritura. Esta es la funci´n delta de Kronecker. Probabilidades de transici´n en n pasos. y se le llama probabilidad de transici´n en u o n pasos. Cuando a = 1 − b. A esta probabilidad tambi´n se le e (n) denota como pij .Cap´ ıtulo 3. despu´s de realizar cero pasos la cadena no puede estar en otro estado e mas que en su lugar de origen. para cada e n ≥ 1. o 3. Xn depende de Xn−1 . por lo tanto coincide con P (Xn = j | X0 = i).2. Considere una cadena de Markov con espacio de estados {0. esta cadena es susceptible de muchas aplicaciones pues es com´ n encontrar situaciones en donde se presenta siempre la dualidad de ser o u no ser. . en donde el n´ mero de pasos n se escribe entre par´ntesis para u e distinguirlo de alg´ n posible exponente. Cuando a = 1 − b. 1}. a menos que se quiera hacer ´nfasis en ello. y se le denota por pij (n). Suponga que la distribuci´n inicial est´ dada por o a p0 = P (X0 = 0) y p1 = P (X0 = 1). Aunque de aspecto sencillo. X2 .2. ıa Cadena de dos estados. siempre en una constante alternancia entre un estado y el otro. en o donde 0 ≤ a ≤ 1. Ejemplos Revisaremos a continuaci´n algunos ejemplos particulares cl´sicos de cadenas de o a Markov. si i = j. Mas adelante demostraremos que . al estado j al tiempo m + n. esta probabilidad no depende realmente de m. con matriz y diagrama de transici´n como aparece en la Figura 3. Cadenas de Markov X1 y X2 conjuntamente. .

y con id´ntica distribuci´n dada por las probabilidades a0 . la matriz de o probabilidades de transici´n es de la siguiente forma o   a0 . . . 1. Definiremos varias cae o denas de Markov a partir de esta sucesi´n. . . Sea ξ1 . . o  P =  a0 a1 a1 . ··· ··· . .}.  . X1 = 1. Cadena de variables aleatorias independientes. . compruebe directamente que a) P (X0 = 0.2. a1 . b) P (X0 = 0. c) P (X2 = 0) = ((1 − a)2 + ab) p0 + ((1 − b)b + b(1 − a)) p1 . para a + b > 0. . o p00 (n) p01 (n) p10 (n) p11 (n) = 1 a+b b a b a + (1 − a − b)n a+b a −b −a b . . . X2 = 1) = (ab + (1 − a)a) p0 . Para la cadena de Markov de dos estados. . a2 a2 . una sucesi´n o de variables aleatorias independientes con valores en el conjunto {0. X2 = 0) = ab p0 . . Esta cadena tiene la cualidad de poder pasar a un estado cualquiera siempre con la misma probabilidad. Ejercicio. ξ2 . . . o a) La sucesi´n Xn = ξn es una cadena de Markov con probabilidades de trano sici´n pij = P (Xn = j | Xn−1 = i) = P (Xn = j) = aj . es decir. por ejemplo. Ejemplos 0 P = 0 1 1−a b 1 a 1−b 1−a 0 a 1 b 1−b Figura 3.28 3. Puede modelar.2: las probabilidades de transici´n en n pasos son. sin importar el estado de partida. una sucesi´n de lanzamientos de una moneda. .

Gr´ficamente esta situaci´n se ilustra en la Figura 3. Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden observar en la Figura 3. . a3 a3 a3 . Sea ξ1 . o Cadena de rachas de ´xitos. . .  Ejercicio.  c) El proceso Xn = ξ1 + · · · + ξn es una cadena de Markov con matriz   a0  0 P = 0  . . ξn } una cadena de Markov? En caso ın afirmativo encuentre la matriz de probabilidades de transici´n. Cadenas de Markov b) El proceso Xn = m´x {ξ1 . . . . ··· ···  ··· . . incluyendo el tiempo u e n. ξ2 . Las probabilidades de transici´n y la matriz o correspondiente se muestran en la Figura 3. a2 a2 a0 + a1 + a2 . . . .4. . 2. .} es una cadena de Markov o con espacio de estados {0. . una sucesi´n de ensayos indepene o dientes Bernoulli con probabilidad de ´xito p.}. . a1 a0 0 .5. . . y probabilidad de fracaso q = 1 − p. ··· ···  ··· . . . . ξn } es una cadena de Markov con matriz a   a0 29  0 P = 0  . . . . . . e a o r ´xitos e − 1 − 2 F n−r E n−r+1 E n Figura 3. ¿Es el proceso Xn = m´ {ξ1 .3. . . Se dice que una racha de ´xitos de longitud r ocurre al tiempo n si en el ensayo e n − r se obtiene un fracaso y los resultados de los ensayos n − r + 1 al n son todos ´xitos. a1 a0 + a1 0 . 1. a2 a1 a0 . . . .3: La colecci´n de variables aleatorias {Xn : n = 1. .Cap´ ıtulo 3. e Sea Xn el n´ mero de ´xitos consecutivos previos al tiempo n. .

. pij =   0 otro caso. otro caso.  q q q . . P = Figura 3. si j = 0. q 0 p 1 q q 2 q 3 q r p p p p Figura 3. . excepto cuando n = 0 e i = j. Una caminata aleatoria simple sobre el conjunto de n´ meros enteros constituye una cadena de Markov con espacio de estados u el conjunto Z. p 0 0 . M´s adelante usaremos este a modelo para ilustrar algunos conceptos generales de cadenas de Markov. . y con probabilidades de transici´n o   p si j = i + 1.  . .  q si j = i − 1. en donde p+q = 1. .5: Cadena de la caminata aleatoria. Hemos demostrado en el cap´ ıtulo anterior que las probabilidades de transici´n en n pasos son las siguientes: Si n + j − i es par con −n ≤ j − i ≤ n.2. o entonces n pij (n) = 1 p(n+j−i)/2 q (n−j+i)/2 .  0 0 ··· p 0 ···   0 p · · · . . .4: 0 1  2  .30 3. (n + j − i) 2 En otro caso pij (n) = 0. Ejemplos 0 1 2 3 ···   p  q pij =   0 si j = i + 1. .

Cap´ ıtulo 3. Cadenas de Markov

31

Cadena del jugador. El modelo usado para el problema del jugador estudiado en el primer cap´ ıtulo es una caminata aleatoria sobre el conjunto de n´ meros enteros u {0, 1, , . . . , N }, en donde los estados 0 y N son absorbentes. Las probabilidades de transici´n son como las de la caminata aleatoria simple s´lo que ahora p00 = o o 1 y pN N = 1. Este proceso es otro ejemplo de cadena de Markov con espacio de estados finito. Hemos demostrado antes que con probabilidad uno la cadena eventualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la probabilidad de que la absorci´n se observe o en el estado 0, y hemos adem´s encontrado el tiempo medio de absorci´n. a o Cadena de Ehrenfest. Sean A y B dos urnas dentro de las cuales se encuentran distribuidas N bolas de acuerdo a cierta configuraci´n inicial. En cada unidad de o tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto puede considerarse que las bolas se encuentran numeradas y que se escoge un n´ mero al u azar, se busca la bola con ese n´ mero y se cambia de urna. V´ase la Figura 3.6. u e Sea Xn el n´ mero de bolas en la urna u A despu´s de n extracciones. Entonces e la colecci´n {Xn : n = 0, 1, . . .} constio tuye una cadena de Markov con espa... ... cio de estados finito {0, 1, . . . , N }. Es claro que a partir del estado i la caN − i bolas i bolas dena s´lo puede pasar al estadio i − 1 o o al estado i + 1 al siguiente momenurna A urna B to, de modo que las probabilidades son pi,i+1 = i/N , y pi,i+1 = (N − i)/N , Figura 3.6: v´lidas para i = 1, 2, . . . , N − 1. Naa turalmente p01 = 1 y pN,N −1 = 1. En este caso se dice que los estados 0 y N son reflejantes. La matriz de probabilidades de transici´n aparece m´s abajo. Este modelo fue propuesto por Ehrenfest para o a describir el intercambio aleatorio de mol´culas (bolas) en dos regiones separadas e por una membrana porosa. La regi´n con mayor n´ mero de mol´culas tender´ a o u e a liberar mas mol´culas. e

32

3.2. Ejemplos

   P =   

0 1/N 0 . . . 0 0

1 0 2/N . . . 0 0

0 (N − 1)/N 0 . . . 0 0

0 0 (N − 2)/N . . . 0 0

··· ··· ··· ··· ···

0 0 0 . . . 0 1

0 0 0 . . . 1/N 0

   .   

Cadena de ramificaci´n. Considere una part´ o ıcula u objeto que es capaz de generar otras part´ ıculas del mismo tipo al final de un periodo establecido de tiempo. El conjunto de part´ ıculas iniciales constituye la generaci´n 0. Cada una de estas o part´ ıculas simult´neamente y de manera independiente genera un n´ mero de desa u cendientes dentro del conjunto {0, 1, . . .}, y el total de estos descendientes pertenece a la generaci´n 1, ´stos a su vez son los progenitores de la generaci´n 2, y as´ suo e o ı cesivamente. Una posible sucesi´n de generaciones se muestra en la Figura 3.7. El o posible evento cuando una part´ ıcula no genera ning´ n descendiente se interpreta u en el sentido de que la part´ ıcula se ha muerto o extinguido.
Generaci´n o 0 1 2 3 4

Figura 3.7: Sea ξk la variable aleatoria que modela el n´ mero de descendientes de la k-´sima u e part´ ıcula. Para cada n ≥ 0 defina Xn como el n´ mero de part´ u ıculas en la generaci´n o n. Entonces {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transici´n pij = P (ξ1 + · · · + ξi = j), para i ≥ 1. o Si en alg´ n momento Xn = 0, entonces se dice que la poblaci´n de part´ u o ıculas se ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha sido usado para determinar la probabilidad de extinci´n de la descendencia de una o persona.

Cap´ ıtulo 3. Cadenas de Markov

33

Cadena de la fila de espera. Considere una cola o l´ ınea de espera de “clientes” que solicitan alg´ n tipo de servicio de un “servidor”. Suponga que el sistema es u observado en los tiempos discretos n = 0, 1, . . ., y que la fila funciona del siguiente modo: Cuando hay alg´ n cliente esperando servicio al inicio de un periodo, el u cliente al frente de la fila es atendido terminando el servicio al final del periodo. Naturalmente si no existiera ning´ n cliente en la fila al inicio de alg´ n periodo, u u entonces ning´ n cliente es atendido. Para cada entero n ≥ 1 defina ξn como el u n´ mero de nuevos clientes que se incorporan a la fila durante el periodo n. Bajo u ciertas condiciones es natural suponer que estas variables aleatorias son independientes, id´nticamente distribuidas y con valores enteros no negativos. Suponga e P (ξn = k) = ak , con ak ≥ 0 y ∞ ak = 1. Sea X0 el n´ mero de clientes iniciales, u k=0 y para cada n ≥ 1 defina a Xn como el n´ mero de clientes en la fila al final del u periodo n. Las dos reglas de operaci´n se pueden escribir de la siguiente forma: o Xn+1 = ξn+1 Xn + ξn+1 − 1 si Xn = 0, si Xn ≥ 1.

Esto puede escribirse como Xn+1 = (Xn − 1)+ + ξn+1 , en donde x+ = m´x{x, 0}. a Por lo tanto el proceso {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transici´n o pij = P (ξ = j) si i = 0, P (ξ = j − i + 1) si i ≥ 1.  

Es decir,

  P =  

a0 a0 0 0 . . .

a1 a1 a0 0 . . .

a2 a2 a1 a0 . . .

··· ··· ··· ···

  .  

Cadena de inventarios. Suponga que se almacena un cierto n´ mero de bienes u en una bodega, y que se requiere una demanda aleatoria ξn del bien en el periodo n. Suponga que P (ξn = k) = ak , para k = 0, 1, . . . con ak ≥ 0 y k ak = 1, es decir, la distribuci´n de ξn es la misma para cualquier n. El n´ mero de bienes en o u el almac´n es revisado al final de cada periodo y se aplica la siguiente pol´ e ıtica de reabastecimiento: Si al final del periodo la cantidad del bien es menor o igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente hasta un nivel

34

´ 3.3. Ecuacion de Chapman-Kolmogorov

m´ximo S. Si al final del periodo el n´ mero de bienes es mayor a s, entonces no a u hay ning´ n reabastecimiento. Naturalmente s < S. Sea Xn el n´ mero de bienes al u u final del periodo n y justo antes de aplicar la pol´ ıtica de reabastecimiento. Entonces Xn es una cadena de Markov con espacio de estados {. . . , −2, −1, 0, 1, 2, . . . , S}. Se permiten valores negativos para Xn los cuales corresponden a demandas del bien no satisfechas en su momento pero que ser´n cubiertas en el siguiente reabastecimiento. a El valor de Xn+1 en t´rminos de Xn se escribe de la forma siguiente: e Xn+1 = Xn − ξn+1 S − ξn+1 si s ≤ Xn < S, si Xn ≤ s.

Las probabilidades de transici´n para esta cadena son o pij = P (Xn+1 = j | Xn = i) = P (ξn+1 = i − j) = ai−j si s < i ≤ S,

P (ξn+1 = S − j) = aS−j

si i ≤ s.

La primera expresi´n corresponde al caso cuando no hay reabastecimiento, la proo babilidad de pasar de i a j es la probabilidad de que la demanda al final de ese periodo sea de j − i pues el nuevo nivel del almac´n ser´ de i − (i − j) = j. La see a gunda expresi´n corresponde al caso cuando hay reabastecimiento y el nuevo nivel o ser´ de S − (S − j) = j, cuando la demanda sea S − j. a

3.3.

Ecuaci´n de Chapman-Kolmogorov o

Esta ecuaci´n es una f´rmula sencilla y muy util que permite descomponer la proo o ´ babilidad de pasar del estado i al estado j en n pasos, en la suma de probabilidades de las trayectorias que van de i a j, y que atraviesan por un estado k cualquiera en un tiempo intermedio r. Ecuaci´n de Chapman-Kolmogorov. Para cualesquiera n´ meros enteros r o u y n tales que 0 ≤ r ≤ n, y para cualesquiera estados i y j se cumple pij (n) =
k

pik (r) pkj (n − r).

Cap´ ıtulo 3. Cadenas de Markov

35

Demostraci´n. Por el teorema de probabilidad total y la propiedad de Markov, o pij (n) = P (Xn = j | X0 = i) =
k

P (Xn = j, Xr = k, X0 = i)/P (X0 = i) P (Xn = j | Xr = k) P (Xr = k | X0 = i) pkj (n − r) pik (r).

=
k

=
k

Gr´ficamente, las trayectorias que van del estado i al estado j en n pasos se desa componen como se muestra en la Figura 3.8. Para fines ilustrativos se dibujan las trayectorias de manera continua pero en realidad no lo son. Esta ecuaci´n es importante para hao cer ciertos c´lculos, y se usa con rea gularidad en el estudio de las cadenas de Markov. En particular, la siguiente desigualdad ser´ utilizada m´s a a adelante: Para cualquier estado k y para 0 ≤ r ≤ n, se tiene que pij (n) ≥ pik (r) pkj (n − r). Como una consecuencia importante de la ecuaci´n o de Chapman-Kolmogorov se tiene el siguiente resultado. k j

i r Figura 3.8: n

Proposici´n. La probabilidad de transici´n en n pasos, pij (n), est´ dada por o o a la entrada (i, j) de la n-´sima potencia de la matriz P , es decir, e pij (n) = (P n )ij .

Demostraci´n. Esta identidad es consecuencia de la ecuaci´n de Chapman-Kolmogorov o o aplicada n − 1 veces. La suma que aparece abajo corresponde a la entrada (i, j) de

i1 (1) pi1 . vamos a ilustrar el proceso de diagonalizaci´n de una matriz estoc´stio a ca de dimensi´n dos. . las potencias de P se calculan f´cilmente pues P n = QDn Q−1 . . Ecuacion de Chapman-Kolmogorov la matriz resultante de multiplicar P consigo misma n veces.3. es decir. ··· ···  . Dn es la matriz a con cada elemento de la diagonal elevado a la n-´sima potencia.. .  P = .36 ´ 3. pi. . = = i1 . entonces o la distribuci´n de Xn es P (Xn = j) = i pi pij (n). . . e Por ejemplo. Consideremos nuevamente la cadena general de dos estados o 1−a b a 1−b  p10 (n)  p01 (n) p11 (n) . es decir.i2 .i1 (1) pi1 .i2 (1) pi2 . Si se conoce esta matriz y si pi = P (X0 = i) es una distribuci´n inicial. .j (n − 2) = i1 . Los correspondientes eigenvectores escritos como vectores .in−1 (P n )ij . o    n p00 (n) .j (1) En palabras este resultado establece que el problema de calcular las probabilidades de transici´n en n pasos se transforma en obtener la n-´sima potencia de la matriz o e de probabilidades de transici´n en un paso. ··· p00 · · ·  =  p10   . Como D es diagonal.. y resultan a o ser λ1 = 1 y λ2 = 1−a−b.j (n − 1) pi. p01 p11 .i2 (1) · · · pin−1 .. . .i1 (1) pi1 . pij (n) = i1 pi. Los eigenvalores de esta matriz est´n dados por la ecuaci´n |P − λI| = 0. cuando puede ser a escrita en la forma QDQ−1 en donde D es una matriz diagonal. o Cuando una matriz estoc´stica P es diagonalizable. ..

Q−1 = . Por lo tanto. . entonces es invertible. Cadenas de Markov 37 rengl´n son (1. Puede entonces comprobarse la identidad P = QDQ−1 . para cualquier entero n ≥ 1. es dea e cir. y si se cumple que a + b > 0. se cumple que P n = P . 1) y (a. Este es el caso de la cadena de variables aleatorias independientes. −b).Cap´ ıtulo 3. 3.4. Toda matriz estoc´stica P con renglones id´nticos es idempotente. respectivamente. 1−a b a 1−b 1 1 a −b 1 0 0 1−a−b = 1 a+b b 1 a −1 . Comunicaci´n o Definiremos a continuaci´n a la comunicaci´n entre dos estados de una cadena de o o Markov como la posibilidad de pasar de un estado a otro en alg´n n´ mero finito u u de transiciones. es decir. La matriz D es la matriz diagonal que contiene a los dos eigenvalores. La matriz Q esta compuesta por los o eigenvectores como columnas. 1 a 1 −b 1 a+b b a 1 −1 Q= . 1 a+b a −a −b b Ejemplo. Pn = = = Q Dn Q−1 1 1 1 a+b a −b b b a a 1 0 0 (1 − a − b)n + (1 − a − b)n a+b b 1 a −1 . es decir.

Observe que siempre se cumple que i → i. dos estados pertenecen al mismo elemento de la partici´n si. o C(i) = C(j). i ↔ j si. esto se escribe simplemente como i → j. En consecuencia.9. C(1) = {1. Adem´s o a observe que si ocurre que i ↔ j. o o tales estados se comunican. 2} y C(3) = {3}. si se a cumple que i → j y j → i. es decir. 1. De este modo el espacio de estados de una cadena de Markov se subdivide en clases de comunicaci´n. pues por definici´n pii (0) = 1. b) Es sim´trica: si i ↔ j. e c) Es transitiva: si i ↔ j y j ↔ k. Gr´ficamente la accesibilidad y la a comunicaci´n se representan. 3} y matriz de probabilidades de transici´n que se muestra en la Figura 3.9: C(i) C(j) S Partici´n de un espacio de estados o en clases de comunicaci´n o Figura 3. y se escribe i ↔ j. la accesibilidad de i a j puede darse en un n´ mero u de pasos distinto que la accesibilidad de j a i. La cadena de Markov con espacio de estados {0. Se dice adem´s que los estados i y j son comunicantes. es decir. a) Es reflexiva: i ↔ i. entonces i ↔ k. Es evidente que el estado o 0 se comunica consigo mismo pues existe una flecha que parte de tal estado y llega . y s´lo si.10: Ejemplo. mediante o flechas entre nodos como se muestra en la Figura 3. como lo hemos hecho antes en los ejemplos.11 tiene tres clases de comunio caci´n que son C(0) = {0}. Se dice que el estado j es accesible desde el estado i si existe un o entero n ≥ 0 tal que pij (n) > 0. 2. cumple las siguientes propiedades. Por a lo tanto.38 ´ 3. la comunicaci´n induce una partici´n del o o espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes. Comunicacion Definici´n. y s´lo si. A la clase de o comunicaci´n de un estado i o se le denotar´ por C(i). entonces j ↔ i. Accesibilidad i j Comunicaci´n o i j Figura 3.4. Es sencillo verificar que la comunicaci´n es una relaci´n de o o equivalencia.

7 0 0. Dibuje un diagrama de transici´n e identifique las clases de comunicaci´n o o para las siguientes cadenas de Markov. Definici´n.5 0 0. una cadena de Markov es irreducible si existe s´lo una clase de o  0. y ello hace que o esta clase de unicamente un estado sea de comunicaci´n. En otras palabras. o El estado i de una cadena de Markov se llama absorbente si pii (1) = 1.8 0  0  0.4 0. Para la clase C(3) no existe una conexi´n f´ o o ısica del estado 3 consigo mismo. por definici´n p33 (0) = 1. Observe que estas clases ´ o de comunicaci´n conforman una partici´n del espacio de estados.4 0.5 0 0.6 0 0.2 Ejercicio.11: Ejercicio. ¿Cu´l es el n´ mero m´ximo y m´ a u a ınimo de clases de comunicaci´n que o puede existir para una cadena de Markov de n estados? Dibuje un diagrama de transici´n ilustrando cada una de estas dos situaciones.3 0. el estado 0 de la cadena de la Figura 3. Cadenas de Markov 39 a ´l mismo. Se dice que una cadena de Markov es irreducible si todos los estao dos se comunican entre s´ ı. sin embargo.7 . o o C(0) 1  1/2 P =  0 1/2  0 0 1/2 0 0 1/2 1/2 1/2  0 0   0  0 0 1 C(1) 3 C(3) 2 Figura 3.11 es absorbente.3 0.6 b) P =  0 0 0 0 0 0 1 0.   a) P = 0.Cap´ ıtulo 3. Visualmente tampoco hay duda de que la segunda colecci´n de estados e o es una clase de comunicaci´n. Por ejemplo.

c. Es f´cil comprobar que d(0) = 1. y definido como sigue: d(i) = m. Periodo El periodo es un n´ mero entero no negativo que se calcula para cada estado de u una cadena. Dibuje el diagrama de transici´n de una cadena de Markov que sea o a) finita e irreducible. d) infinita y reducible. es decir. significa m´ximo com´n divisor. cadena de la Figura 3. Por ejemplo. determine las clases de comunicaci´n o o y calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov. la cadena de racha de ´xitos o la cadena de la caminata e aleatoria son cadenas irreducibles pues todos los estados se comunican entre s´ La ı. considere una cadena de Markov con diagrama de transici´n como en o la Figura 3. Cuando d(i) = k ≥ 2 se dice que i es peri´dico de periodo k. si la partici´n generada por la relaci´n de comunicaci´n o o o o es trivial. Definici´n. se dice que un estado i es aperi´dico o si d(i) = 1.12.d. se define d(i) = 0. a Ejercicio. {n ≥ 1 : pii (n) > 0}.c. Periodo comunicaci´n. o Por ejemplo. b) finita y reducible. En particular. Una interpretaci´n de este n´ mero ser´ mencionada m´s adelante y o u a a aparecer´ tambi´n dentro de los enunciados generales sobre el comportamiento a e l´ ımite de cadenas de Markov.11 no es irreducible pues no se cumple que todos los estados se comuniquen.5. .40 3.d. c) infinita e irreducible. Cuando pii (n) = 0 para toda a u n ≥ 1. en donde m. d(2) = 2 y d(3) = 0. El periodo de un estado i es un n´ mero entero no negativo denoo u tado por d(i). d(1) = 2. 3. Ejercicio.5. Dibuje un diagrama de transici´n.

o o entonces tienen el mismo periodo. todo entero s ≥ 1 tal que pii (s) > 0 cumple d(j)|s. Se concluye entonces que d(i) = d(j). o clases o o aperi´dicas. es decir. a a escribiendo i por j. Suponga entonces que o a i y j son distintos. Entonces d(j) divide a la diferencia (n + m + 2s) − (n + m + s) = s. Pero d(i) divide a s de manera m´xima. Claramente el resultado es v´lido para i = j. a An´logamente. dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes.12:    0 0 0 0 1/5 0 0 0 0 1/5 0 1 0 1 1/5 0 0 1/2 0 1/5 1 0 1/2 0 1/5 a) 1/4  0 P =  0 0 1/4 1/2 0 0 1/4 1/2 0 1 1/4 0  1  0 Demostraremos a continuaci´n que el periodo es una propiedad de clase. con probabilidad positiva toda cadena u . se obtiene d(j) ≥ d(i). De manera an´loga. Si los estados i y j pertenecen a la misma clase de comunicaci´n. Adem´s pjj (n + m + s) ≥ pji (m) pii (s)pij (n) > 0. y j por i. por lo tanto d(i) ≥ d(j). Por lo tanto. o Proposici´n. Cadenas de Markov 41 0 1 2 3 Figura 3. o todos los estados de una misma clase de comunicaci´n tienen el mismo periodo. Esto quiere decir que d(i)|s. es decir. Tal entero existe pues pii (n + m) ≥ pij (n) pji (m) > 0. a o existen enteros n ≥ 1 y m ≥ 1 tales que pij (n) > 0 y pji (m) > 0. o De este modo uno puede hablar de clases de comunicaci´n peri´dicas. pjj (n + m + 2s) ≥ pji (m) pii (2s) pij (n) > 0. Como los estados i y j est´n en la misma clase de comunicaci´n. ¿Puede usted dar un ejemplo de tal situaci´n? El siguiente resultado establece que despu´s de un o e n´ mero suficientemente grande de pasos. Sea s ≥ 1 un entero cualquiera tal que pii (s) > 0. Por lo tanto d(j)|(n + a m + s) y d(j)|(n + m + 2s).   b) P =        Demostraci´n. El rec´ ıproco del resultado anterior es en general falso.Cap´ ıtulo 3.

d. y por lo tanto existe un entero q tal que qd(i) = d. Por lo tanto. . nk son enteros o tales que pii (n1 ) > 0. . pii (md) = pii (mqd(i)) > 0. Por el resultado anterior. . Entonces existe un entero M tal que para cada m ≥ M existen enteros no negativos c1 . . . . se tiene o que pij (m + nd(j)) ≥ pij (m) pjj (nd(j)) > 0. o se cumple pii (nd(i)) > 0. md = c1 n1 + · · · + ck nk . nk . entonces d(i) = 0 y por lo tanto la o afirmaci´n es v´lida pues pii (0) = 1. Sea d = m. Esta es la raz´n por la que a tal o n´ mero se le llama periodo. . . Si pii (n) = 0 para cada n ≥ 1. .c. Se puede entonces concluir que para toda n ≥ N . . Periodo puede regresar a cada estado i cada d(i) pasos. . se tiene que d(i)|d. Entonces existe un entero no negativo M tal que para cada m ≥ M . o Sean n1 ... . nk } ≥ d(i).{n1 . Para cada estado i. .{n1 . . . . Si pij (m) > 0 para alg´ n entero m.d. para algunos enteros c1 . y por lo tanto pii (md) = pii (c1 n1 + · · · + ck nk ) ≥ pii (c1 n1 ) · · · pii (ck nk ) > 0. . . . . Defina N = M q. pii (nk ) > 0. Suponga entonces que n1 . Proposici´n. Demostraci´n. . ck tales que md = c1 n1 + · · · + ck nk . u Proposici´n. . . entonces existe un entero N o u tal que para toda n ≥ N se cumple pij (m + nd(j)) > 0. para n suficientemente grande. Demostraci´n. para cada m ≥ M . Ahora se hace uso del siguiente resultado cuya demostraci´n puede encontrarse en [19]. Como d(i) es divisor de cada entero n1 . . . ck . . . . pii (nd(i)) > 0. . Como corolario de la proposici´n anterior se tiene el siguiente resultado: Si es o posible pasar de i a j en m pasos. sin embargo la interpretaci´n de recurrencia o a o peri´dica no se aplica en este caso.5. . suponiendo d(j) > 0. . existe un entero N tal que para toda n ≥ N . entonces tambi´n es posible tal transici´n en e o m + nd(j) pasos con n suficientemente grande. nk enteros no negativos y sea d = m.42 3. nk }.c.

El tiempo de primera visita al conjunto A es la variable aleatoria τA = m´ {n ≥ 1 : Xn ∈ A} ın ∞ si Xn ∈ A para alg´ n n ≥ 1. . .Cap´ ıtulo 3. b) P (τ00 = n) = pn−1 q para n = 1. o Definici´n. sin embargo. Estaremos interesados o principalmente en el caso cuando el conjunto A consta de un solo estado j. . a) P (τ01 = n) = (1 − a)n−1 a. . 3. . . Considere la cadena de Markov de dos estados. 2. Definiremos a continuaci´n o este tiempo aleatorio y despu´s demostraremos una f´rmula util que lo relaciona e o ´ con las probabilidades de transici´n. Cadenas de Markov 43 3. Es decir. Primeras visitas En ocasiones interesa estudiar el primer momento en el que una cadena de Markov visita un estado particular o un conjunto de estados. y si suponemos que la cadena inicia en i. .6. Para la cadena de racha de ´xitos se tiene que e a) P (τ01 = n) = q n−1 p para n = 1. 2. son casos particulares sencillos. a) P (τij = 1) = pij (1). . Demuestre las siguientes igualdades. En general no es f´cil a encontrar la distribuci´n de probabilidad de esta variable aleatoria. los siguientes o ejemplos. para n = 2. Ejercicio. 2. τA es el primer momento positivo en el cual la cadena toma un valor dentro de la colecci´n de estados A. para n = 1. Cuando i = j se escribe simplemente τi . . Es inmediato comprobar que b) P (τ00 = n) = a(1 − b)n−2 b. si ello eventualmente sucede. entonces el tiempo de primera visita al estado j se escribe τij . . . u otro caso. Ejemplo. . Sea A un subconjunto del espacio de estados de una cadena de o Markov Xn . Ejemplo. .

llegue al estado j por primera vez en exactamente n pasos. y que fii (1) es simplemente pii . El uso de la letra f para esta e probabilidad proviene el t´rmino en ingl´s first para indicar que es la probabilidad e e de primera visita. . Otra forma equivalente de escribir a la probabilidad de primera visita es a trav´s e de la expresi´n fij (n) = P (Xn = j. .44 b) P (τij = 2) = k=j 3. pik (1) P (τkj = n). o n pij (n) = k=1 fij (k) pjj (n − k). X1 = j | X0 = i). en n pasos. es decir. Para cada n ≥ 1. Definici´n. y as´ sucesivamente. La prueba se basa en la siguiente descomposici´n que involucra o o . Para cada n ≥ 1. El siguiente resultado establece que la probabilidad de visitar el estado j. o en el segundo paso. la cual puede efectuarse en el primer paso. a partir de i. el n´ mero fij (n) denota la probabilidad de que o u una cadena que inicia en el estado i. . puede descomponerse en las probabilidades de los eventos disjuntos en los que se presenta la primera visita.2) Demostraci´n. En particular. Primeras visitas pik (1) pkj (1). hasta el ultimo momento posible n. Xn−1 = j. Adicionalmente se define fij (0) = 0. o observe que fii (n) es la probabilidad de regresar por primera vez al mismo estado i en el n-´simo paso. . saber esto ayuda a recordar su significado. (3. incluyendo el caso i = j. ı ´ Proposici´n. k=j c) P (τij = n + 1) = para n ≥ 1. fij (n) = P (τij = n).6.

en una primera instancia. en dos tipos. En e . = k=1 n = k=1 Ejercicio. En cambio. Definici´n. se puede regresar a ´l una y otra vez con e probabilidad uno. . a pij (n) = = k=1 n 45 P (Xn = j | X0 = i) n P (Xn = j. Xk−1 = j. X1 = j | X0 = i) pjj (n − k) fij (k). por la propiedad de Markov. Debido a este comportamiento es que al estado en cuesti´n se le o llama recurrente. . dependiendo si la cadena es capaz de regresar con certeza al estado de partida. Recurrencia y transitoriedad Veremos a continuaci´n que los estados de una cadena de Markov pueden ser clasio ficados. y en tal caso la probabilidad anterior es estrictamente menor a uno.2) para demostrar que para cada n ≥ 1. 3. es decir. un estado es recurrente si con probabilidad uno la cadena es capaz de regresar eventualmente a ese estado.7. ya no regrese nunca a ese estado. el estado se llama transitorio si existe una probabilidad positiva de que la cadena. Use (3. . y cuando ello ocurre en alg´ n mou mento finito. Xk = j. iniciando en ´l. . .Cap´ ıtulo 3. X1 = j | X0 = i) P (Xn = j | Xk = j) P (Xk = j. Un estado que no es recurrente se llama transitorio. Xk−1 = j. se cumple la desigualdad pij (n) ≤ P (τij ≤ n). (I) Se dice que un estado i es recurrente si la probabilidad de o eventualmente regresar a i. De manera intuitiva. partiendo de i. si P (Xn = i para alguna n ≥ 1 | X0 = i) = 1. Cadenas de Markov eventos disjuntos. Se usa adem´s la propiedad de Markov. . . es uno. .

An´logamente. pii (n) < ∞. es decir. tenemos el siguiente criterio util para determinar si un a o ´ estado es recurrente o transitorio. Adem´s de la definici´n. a partir del estado i.46 3.7. Proposici´n. recurrente si. De este modo la definici´n de recurrencia y transitoriedad puede o enunciarse de manera equivalente de la siguiente forma. y s´lo si o ∞ n=1 ∞ n=1 pii (n) = ∞. y s´lo si o 2. es el n´ mero u fij = ∞ n=1 fij (n). (II) Un estado i es recurrente si fii = 1. Definici´n. a partir de i. Demostraci´n. Sea Ni la variable aleatoria que cuenta el n´ mero de veces que el o u ∞ proceso regresa al estado i. esta suma representa la probabilidad de una posible visita al estado j. Ni = n=1 1(Xn =i) . (Criterio para la recurrencia) El estado i es o 1. la probabilidad de una eventual e visita al estado j. Entonces . un estado i es e a transitorio si fii < 1. es decir. Recurrencia y transitoriedad t´rminos de las probabilidades de primera visita. Siendo estos eventos disjuntos u para valores distintos de n. cuando X0 = i. se efect´ e exactamente en el paso n. si la probabilidad o de regresar a ´l en un tiempo finito es uno. Recordemos que fij (n) es la probabilidad de que la primera visita al estado j. transitorio si.

=   Por otro lado. Xm = i. . puede calcularse de las siguientes dos formas. = P (Ni ≥ 1 | X0 = i) (fii )k−1 = (fii )k . . El resultado se sigue de igualar estas dos expresiones. . . Cadenas de Markov Ni tiene una distribuci´n geom´trica pues para k ≥ 1. X1 = i | X0 = i) P (Ni ≥ k − 1 | X0 = i) fii (m) = = P (Ni ≥ k − 1 | X0 = i) fii . o E(Ni | X0 = i) = = = ∞ n=1 ∞ n=1 ∞ n=1 fii 1 − fii  ∞ E(1(Xn =i) | X0 = i) P (Xn = i | X0 = i) pii (n). si fii = 1. . . . E(Ni | X0 = i) = = ∞ k=1 ∞ k=1 P (Ni ≥ k | X0 = i) (fii )k si 0 ≤ fii < 1. . X1 = i. La esperanza de Ni . . por el teorema de convergencia mon´tona. Xm−1 = i. . . . Xm−1 = i. X1 = i | X0 = i) P (Ni ≥ k | Xm = i. X0 = i) P (Xm = i. Xm−1 = i. posiblemente infinita. .Cap´ ıtulo 3. . . Primero. o e P (Ni ≥ k | X0 = i) = = ∞ m=1 ∞ m=1 ∞ m=1 47 P (Ni ≥ k.

de modo que un u estado i es recurrente si. e Demostraremos a continuaci´n que la recurrencia y la transitoriedad son propieo dades de clase. y s´lo si. Si i es transitorio e i ↔ j. confirmando nuevamente la recurrencia del estado 0 y de la cadena. Si i es recurrente. es decir. Estimando los factoriales mediante la f´rmula de o n 2 √ ∞ Stirling: n! ≈ 2π nn+1/2 e−n . Recurrencia y transitoriedad Siguiendo con la notaci´n de la demostraci´n anterior. el n´ mero promedio de o u retornos a ´l es finito.48 3. De aqu´ hemos concluido que el esı tado 0 es recurrente en el caso sim´trico. puede comprobarse que n=0 p00 (n) = ∞. si dos estados est´n en una misma clase de comunicaci´n. Alternativamente. es decir. Si i es recurrente e i ↔ j. e La cadena es transitoria cuando es asim´trica. un estado i es transitorio si. Siendo la cadena irreducible. la cadee na toda es recurrente. a o entonces ambos estados son recurrentes o ambos son transitorios. De modo que. Entonces pjj (m + n + r) ≥ pji (m) pii (r) pij (n). entonces j es transitorio. Como i ↔ j. hemos encontrado tambi´n la f´rmula e o pii (n) = 12n 21 . a o . o ∞ r=1 pjj (m + n + r) ≥ pji (m) ∞ r=1 pii (r) pij (n). es decir. Proposici´n. Demostraci´n. Considere una caminata aleatoria sobre Z. Se sigue entonces que la suma del lado izquierdo tambi´n lo es. La segunda afirmaci´n e o se demuestra f´cilmente por contradicci´n usando el primer resultado.7. En el primer cap´ ıtulo de∞ mostramos que n=0 f00 (n) = 1 − |p − q|. observe que la esperanza o o E(Ni | X0 = i) es el n´ mero promedio de retornos al estado i. por la ecuaci´n de Chapman-Kolmogorov. j es recurrente. y s´lo si. el n´ mero promedio de retornos a ´l es infinito. 2. La recurrencia es una propiedad de clase. o 1. o u e En contraparte. existen enteros n ≥ 1 y m ≥ 1 tales que pij (n) > 0 o y pji (m) > 0. en el caso sim´trico. la suma del lado derecho es infinita. e Ejemplo. para n par. entonces j es recurrente.

una o varias clases de comunicaci´n. En este caso es sencillo demostrar e que el estado 0 es recurrente pues f00 = ∞ n=1 f00 (n) = q(1 + p + p2 + · · · ) = q = 1. En contraparte.13: conste de varias clases de comunicaci´n recurrentes. y f00 (n) = a(1 − b)n−2 b para n ≥ 2. ya sea conformando una sola clase de comunicaci´n o de estados transitorios o varias de ellas. cualquier otro estado es recurrente. La cadena de dos estados es irreducible y recurrente cuando a. Tal partici´n se mueso tra en la Figura 3. y se dice que la cadena es recurrente. Tambi´n e puede presentarse la situaci´n o Descomposici´n del espacio de estados o en donde el espacio de estados Figura 3. aquellos que son transitorios y aquellos que son recurrentes. cuando una cadena es irreducible y alg´ n u estados estados estado es recurrente. e . una cadena es transie toria si todos los estados lo son. b ∈ (0. la cadena es recurrente. o Ejemplo. 1). Cada uno de estos subconjuntos puede constar de ninguna. f00 = ∞ n=1 f00 (n) = (1 − a) + ab ∞ n=2 (1 − b)n−2 = (1 − a) + ab = 1. b Ejemplo. Ejercicio. Considere la cadena de rachas de ´xitos. Por lo tanto. Cadenas de Markov 49 En consecuencia. Determine las clases de comunicaci´n de las siguientes cadenas de Maro kov y clasifique ´stas como recurrentes o transitorias. Por lo tanto. 1−p Dado que la cadena es irreducible y la recurrencia es una propiedad de clase.13. tenemos que f00 (1) = 1 − a. De este modo el espacio de estados de una cadena de Markov puede descomponerse en dos subconjuntos ajenos de estados.Cap´ ıtulo 3. en tal o caso la cadena tambi´n se llama recurrente. todos los recurrentes transitorios estados lo son. En efecto.

o o Proposici´n. Proposici´n.2).50 1/2 0 0 1/2 1/2 1/2 3. Sea j un estado transitorio.7. Sumando n=1 ∞ sobre el conjunto finito de todos los posibles estados j se obtiene j n=1 pij (n) < ∞. Demostraci´n. intercambiando el orden de las sumas se llega a la afirmaci´n o ∞ contraria. debe existir por lo menos uno que es recurrente. Recurrencia y transitoriedad 1/2  0 P = 0 1/4 a) P = 0 1/2 1/2 b)  1/2 1/2 1/2 1/4 0 1/2 1/2 1/4 Ejercicio. o o Entonces para cualesquiera estados i y j. Para cualquier estado inicial i. Por otro lado. o ∞ n=1 pij (n) = = ∞ n−1 n=1 k=0 ∞ ∞ k=0 m=1 fij (n − k) pjj (k) = fij (m) pjj (k) = fij ∞ ∞ k=0 n=k+1 ∞ k=0 fij (n − k) pjj (k) ∞ k=0 pjj (k) ≤ pjj (k) < ∞. Usando (3. se o ∞ cumple que n=1 pij (n) < ∞. Por contradicci´n. ım n→∞ 0 0  0  1/4  Demostraci´n. b) todos sus estados sean transitorios. u Veremos a continuaci´n algunos ejemplos de aplicaci´n del criterio anterior. se cumple ∞ pij (n) < ∞. En consecuencia. por el teorema de Fubini. ∞ o n=1 j pij (n) = n=1 1 = ∞. suponga que todos los estados son transitorios. Por lo tanto es err´neo suponer que todos los estados son transitorios. Toda cadena de Markov finita tiene por lo menos un estado o recurrente. . Dibuje un diagrama de transici´n de una cadena de Markov tal que: o a) todos sus estados sean recurrentes. c) tenga igual n´ mero de estados transitorios y recurrentes. l´ pij (n) = 0.

µij = E(τij ) = ∞ n=1 nfij (n). con la posibilidad ın de que tome el valor infinito. 3. Y hemos definido el e tiempo de primera visita a un estado j. a partir o del estado i. En este caso el tiempo medio de recurrencia se escribe simplemente como µj . toda cadena finita e irreducible es recurrente. entonces regresa a ´l una infinidad de veces con probabilidad uno. Recordemos que cuando el tiempo de primera visita se refiere al mismo estado de inicio y de llegada j. como la variable aleatoria discreta τij = m´ {n ≥ 1 : Xn = j | X0 = i}. con probabilidad uno la cadena visita cada uno de sus estados una infinidad de veces. Definici´n. Vamos a definir el tiempo medio de recurrencia como la esperanza de esta variable aleatoria en el caso cuando el estado a visitar es recurrente. Por lo . se escribe τj en lugar de τjj . Vamos a calcular los tiempos medios de recurrencia de estos dos estados. es decir. b ∈ (0. Esta esperanza puede ser finita o infinita. Cadenas de Markov 51 En consecuencia. 1).Cap´ ıtulo 3. Tiempo medio de recurrencia Hemos visto que si una cadena de Markov inicia en un estado recurrente. Tenemos que f00 (1) = 1 − a.8. La cadena de Markov de dos estados es irreducible y recurrente cuando a. y se denota por µij . Ejemplo. a partir de cualquier estado i. M´s adelante dea mostraremos que en tal caso. y f00 (n) = a(1 − b)n−2 b para n ≥ 2. y representa el n´ mero de pasos promedio que a la cadena le toma regresar u al estado recurrente j. El tiempo medio de recurrencia de un estado recurrente j. se define como la esperanza de τij .

Observe tambi´n que estos dos tiempos medios de recurrencia son. entonces necesariamente j → i pues hemos / supuesto que i es recurrente. Por lo tanto i ↔ j. µ0 = ∞ n=1 3.9. b b+1 ) b2 De manera an´loga. e distintos. Por lo tanto no es posible salir de una clase de comunicaci´n o / o recurrente. en general.9. Definici´n. si para u cualquier i ∈ C y j ∈ C . contrario a la hip´tesis j ∈ C . e i → j. Esa propiedad hace a este subconjunto de estados un subsistema propio de la cadena de Markov. Clases cerradas nf00 (n) = = = (1 − a) + ab ∞ n=2 n(1 − b)n−2 (1 − a) + ab ( a+b . se encuentra que a µ1 = (a+b)/a. Esto ejemplifica el hecho de que los tiempos medios de recurrencia no son necesariamente id´nticos para cada elemento de una misma clase de comunicaci´n e o recurrente. Clases cerradas Las clases cerradas son subconjuntos de estados de una cadena de Markov que cumplen la propiedad de que partiendo de cualquiera estado de este subconjunto. . m´s adelante explicaremos la raz´n de a o ello. no se puede pasar a cualquier otro estado fuera del subconjunto.52 tanto. si i ∈ C o y j ∈ C con C recurrente. Observe que 1/µ0 +1/µ1 = 1. o bien intercambiando los valores de a y b. es decir. y entonces j ∈ C . Es claro que esta clase es cerrada pues de lo contrario. / / Por ejemplo. El siguiente resultado es una especie de rec´ ıproco de lo que acabamos de mencionar. si i es un estado absorbente. i → j. entonces la colecci´n {i} es claramente o una clase cerrada. Como un ejemplo adicional considere cualquier clase de comunicaci´n recurrente. Una colecci´n de estados no vac´ C es cerrada si ning´ n estao o ıa u do fuera de C es accesible desde alg´ n estado dentro de C . 3.

todos sus estados se comunican y por lo tanto deben pertenecer a la misma clase de comunicaci´n. es decir. supuesto de que C es cerrada. Sea C una colecci´n no vac´ de estados que es irreducible y cerrada. de modo que la diferencia o C(i) − C es vac´ si existiera j ∈ C(i) − C . es decir. se trata de una sucesi´n mon´tona creciente o o de variables aleatorias no negativas que converge casi seguramente a la variable Nij = ∞ k=1 1(Xk =j) . no es posible salir de tal colecci´n. Entonces C ⊆ C(i) pues como C es irreducible. para cualquier tiempo finito n se define la variable aleatoria n Nij (n) = k=1 1(Xk =j) .10. cuando X0 = i. o Como C es cerrada. Por lo tanto C = C(i). Cuando los estados i y j coinciden. o Demostraci´n. entonces i → j. Observe que 0 ≤ Nij (1) ≤ Nij (2) ≤ · · · . N´ mero de visitas u En esta secci´n vamos a estudiar la variable aleatoria que registra el n´ mero de o u visitas que una cadena realiza sobre un estado j a partir del estado i.Cap´ ıtulo 3. Cadenas de Markov 53 Proposici´n. . 3. lo cual contradice el ıa. Toda colecci´n de estados que es cerrada e irreducible es una o o clase de comunicaci´n. Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios respecto de los recurrentes. cuando X0 = i. o o ıa y sea i ∈ C . se escribe Ni (n) en lugar de Nii (n).

si k ≥ 1. P (Nij = k) = 1 fij (fjj )k−1 si k = 0. Demostraci´n. 3. a P (Nij ≥ k) = = = ∞ n=1 fij (n) P (Njj ≥ k − 1) fij P (Njj ≥ k − 1) fij (fjj )k−1 . La primera parte de esta igualdad es evidente. 0 ≤ fjj < 1. P (Nij ≥ k) = 2. o 1. si k ≥ 1. si j es recurrente. Para demostrar el caso k ≥ 1 se usa an´lisis del primer paso. fij = 0 y fjj = 1. . 2. si k = 0. si j es transitorio. Numero de visitas Proposici´n. P (Nij = ∞) = 5. fij = 0. Para cualesquiera estados i y j. Este resultado se sigue de la primera f´rmula y de la igualdad P (Nij = k) = o P (Nij ≥ k) − P (Nij ≥ k + 1). si j es recurrente. P (Nij < ∞) = 1 − fij fij (fjj )k−1 (1 − fjj )  si  0    fij si pij (n) =  1 − fjj    ∞ si 0 fij 1 1 − fij si j es transitorio.10. o 1.54 ´ 3. E(Nij ) = ∞ n=1 4.

Cap´ ıtulo 3. Por otro lado. si 0 ≤ fjj < 1. o   0    fij   1 − fjj   ∞ k→∞ k→∞ P (Nij = ∞) = = = l´ P (Nij ≥ k) ım 0 fij si j es transitorio. = 4. . . . . si j es recurrente. Por la primera f´rmula. l´ fij (fjj )k−1 . 1. o E(Nij ) = = = E( ∞ n=1 ∞ n=1 ∞ n=1 55 1(Xn =j) | X0 = i) E(1(Xn =j) | X0 = i) pij (n). ∞}. Cadenas de Markov 3. La variable aleatoria discreta o Nij toma valores en el conjunto {0. ım 5. Por el teorema de convergencia mon´tona. Esta probabilidad es el complemento de la anterior. usando la primera f´rmula o E(Nij ) = = ∞ k=1 ∞ k=1 P (Nij ≥ k) fij (fjj )k−1 si fij = 0. Distribuci´n de probabilidad de la variable Nij . si fij = 0 y fjj = 1. La funci´n de probabilidad que o hemos encontrado para esta variable incluye los siguientes casos: .

Si la cadena inicia en cualquier u otro estado i. ım n→∞ b) Si j es recurrente. entonces para cualquier valor de k ≥ 1. entonces sin importar el estado inicial i. entonces existe la posibilidad de que la cadena nunca visite j (fij = 0).10. como indica la f´rmula 2. . y s´lo si. o y el n´ mero esperado de visitas al estado j es infinito. entonces con probabilidad uno la cadena regresa a j una infinidad de veces. Anteriormente hab´ ıamos demostrado un criterio para la transitoriedad y la recurrencia del estado i en t´rminos de la convergencia o divergencia de la serie e ∞ pii (n). es decir. y s´lo si. y si se inicia en j. E(Nij ) = ∞ pij (n) < ∞. Tambi´n en partio u e cular. Pero u o si la cadena visita j alguna vez (fij > 0). entonces regresar´ a j una infinidad de a veces. Por lo tanto. y el n´ mero esperado de visitas a tal estado es siempre finito o u por la f´rmula 3 con fjj < 1. es decir la probabilidad se concentra completamente en el valor 0. P (Nij ≥ k) = fij . o Recurrencia. es decir. si se puede pasar de i a j y j es transitorio. la f´rmula 4 demuestra que toda cadena de Markov irreducible y recurrente. y el n´ mero esperado de visitas al estado j es infinito por la f´rmula 3 con u o fij > 0 y fjj = 1. . o visita cada uno de sus estados una infinidad de veces con probabilidad uno. es decir. o n=1 encontramos nuevamente que l´ pij (n) = 0. entonces la probabilidad se distribuye sobre los valores finitos 0. Ejemplo. y el n´ mero esperado de visitas es naturalmente cero (f´rmula 3 con fij = 0). . Se trata entonces de una medida de probabilidad concentrada en los valores 0 e ∞. . con probabilidad uno la cadena realiza s´lo un n´ mero finito de visitas al estado j. y por lo tanto P (Nij = ∞) = fij . el n´ mero promedio de regresos es finito. Numero de visitas a) Si fij = 0.56 ´ 3. Mientras que P (Nij = 0) = 1−fij . La cadena de racha de ´xitos es irreducible y recurrente. b) Si fij > 0 y fjj = 1. y es o u e transitorio si. y por lo tanto P (Nij = 0) = 1. el n´ mero promedio de regresos a ´l es infinito. a) Si j es transitorio. c) Si fij > 0 y fjj < 1. esto es lo que dice la f´rmula 4 con fij = fjj = 1. transitoriedad y n´ mero esperado de visitas. A partir de u estas f´rmulas podemos ahora distinguir el comportamiento del n´ mero de visitas o u en los casos cuando el estado j es transitorio o recurrente. En vista de la f´rmula 3 ahora podemos corroborar que un estado o n=1 i es recurrente si. entonces no es posible visitar j a partir de i. Por lo tanto con e probabilidad uno visita cada uno de sus estados una infinidad de veces. esto es lo que o u dice la f´rmula 5. si se puede pasar de i a j y j es recurrente. 1.

. Cada uno o de los caracteres tiene la misma probabilidad de aparecer y se genera un caracter independientemente de otro. . . . . T´cnicamente e existen algunas otras posibles transiciones de algunos estados en otros. y dado que los caracteres se generan de manera independiente. ´ se trata efectivamente de una cadena de Markov. Sea m el total de caracteres disponibles que se pueden imprimir. p 0        1 2 3 N Figura 3. 0 p 0 p . 1. Imaginemos entonces que un mono escribe caracteres al azar en una m´quina de escribir. Entonces con probabilidad uno . se trata de una matriz finita e irreducible pues todos los estados se comunican. Por lo tanto es recurrente.Cap´ ıtulo 3. . y sin ning´ n error. Suponga que un mono escribe caracteres al azar en una m´quina de escribir. . N }. pero ello no modifica substancialmente el comportamiento cualitativo del modelo. las obras completas de Shakespeare? Puede u encontrarse la respuesta a esta pregunta de varias formas [30]. . . 0 0 ··· ··· ··· ··· 0 0 0 0 0 0 . . es decir. Cadenas de Markov 57 Ejemplo: El problema del mono. . Las posibles transiciones de un estado a otro a y las correspondientes probabilidades se muestran en la Figura 3. La segunda igualdad refleja la situaci´n de cometer un error en el o siguiente caracter generado cuando ya se hab´ obtenido x caracteres correctos. . y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. q q p 0 .14: Como puede observarse. El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n + 1. el valor de Xn+1 depende unicamente del valor de Xn y no de los anteriores. es decir. Considerando entonces un conjunto de s´ ımbolos de m caracteres se tiene que P (Xn+1 = x + 1 | Xn = x) = 1/m. y que a lo hace de manera continua generando una sucesi´n lineal de caracteres. y denotaremos a la probabilidad de tal evento por p. Es claro que las variables Xn toman valores en el conjunto e {0. 2. 0    P =    q q . Sea Xn el n´ mero de caracteres correctos obtenidos inmediatamenu te antes e incluyendo el ultimo momento observado n. Usaremos la teor´ ıa de cadenas de Markov para demostrar que esta probabilidad es uno.14. se trata de un mo´ delo de rachas de ´xitos. ıan tal probabilidad ser´ denotada por q. ¿Cu´l es la probabilidad de que eventualmente el mono a a escriba exactamente. y P (Xn+1 = 0 | Xn = x) = (m − 1)/m.

10. Njj (n) Njj (n) Njj (n) . y usando la propiedad fuerte de Markov puede demostrarse que las variables Y (1). P (τij < ∞) = 1. (3. . Demostraci´n. En particular.3) n→∞ siendo este l´ ımite cero cuando µj = ∞. Para cualesquiera estados i o y j de una cadena de Markov irreducible se cumple que l´ ım Nij (n) 1 = n µj c. para j = 1. . Sabemos que el tiempo medio de recurrencia es E(Y (k)) = µj . . Por lo tanto es suficiente demostrar la convergencia para Njj (n)/n pues Nij (n) n→∞ n l´ ım = = = = Nij (τij + n) n→∞ τij + n 1 + Njj (n) l´ ım n→∞ τij + n Njj (n) n l´ ım n→∞ n τij + n Njj (n) l´ ım .s. . a Teorema erg´dico para cadenas de Markov. son independientes. . Se tienen entonces las siguientes estimaciones Y (1) + · · · + Y (Njj (n)) n Y (1) + · · · + Y (Njj (n) + 1) ≤ ≤ . . entonces ambos lados de la igualdad se o anulan. cada vez que la cadena visita el estado N el mono concluye una sucesi´n exitosa o de caracteres. Dada la recurrencia e ın irreducibilidad. El tiempo de primera visita al estado j a partir de i es τij = m´ {n ≥ 1 : Xn = j | X0 = i}. n→∞ n l´ ım Sea Y (k) la variable que registra el n´ mero de pasos que transcurren entre la visita u k − 1 y la visita k que la cadena realiza al estado j.. y ello suceder´ una infinidad de veces con probabilidad uno. y entonces para cualquier n ≥ 1 se cumple la identidad Nij (τij + n) = 1 + Njj (n).58 ´ 3. Si la cadena es transitoria. Numero de visitas la cadena visita cada uno de sus estados una infinidad de veces. Suponga que la cadena es recurrente. 2. Y (2).

Cap´ ıtulo 3. Sin embargo. El tiempo de primera visita a este estado. se cumple que E( l´ ım Nij (n) ) n 1 E(Nij (n)) n n 1 = l´ ım pij (k) n→∞ n = n→∞ n→∞ l´ ım k=1 = 1 . por el teorema de convergencia dominada. Por lo tanto. y para una cadena irreducible.11.3). esta recue rrencia puede presentarse de dos formas: cuando el tiempo promedio de retorno es finito o cuando es infinito. Njj (n) → ∞. k=1 3. l´ ım Njj (n) 1 = n µj c. µj En particular. Consideremos entonces que j es un estado recurrente. cuando n → ∞. Tomando esperanza en (3. de modo que por la ley de los grandes n´ meros. cuando el tiempo medio de recurrencia µj es infinito. Esto lleva a la definici´n de recurrencia positiva y o recurrencia nula respectivamente.s. se tiene que l´ ım 1 n n n→∞ pij (k) = 0. el n´ mero πj = 1/µj o u es el tiempo promedio que la cadena permanece en el estado j a largo plazo. Cadenas de Markov 59 Por la recurrencia. n→∞ Interpretaci´n: Para una cadena de Markov irreducible. a partir de cualquier otro estado . Recurrencia positiva y nula Hemos visto que si una cadena de Markov inicia en un estado recurrente. entonces regresa a ´l una infinidad de veces con probabilidad uno. y a´ n m´s u a particularmente cuando el estado j es transitorio. los dos extremos de esta desigualdad convergen a µj casi u seguramente.

La esperanza de esta variable aleatoria es naturalmente el tiempo medio de recurrencia. Observe que es suficiente demostrar cualquiera de estas afirmacioo nes. Nuevamente cuando el tiempo medio de recurrencia se refiere al mismo estado recurrente de inicio y de llegada i. i es recurrente y es tal que µi < ∞. Como i ↔ j. entonces j es recurrente nulo. se tiene que j es tambi´n un e estado recurrente. Recordemos ın que cuando el tiempo de primera visita se refiere al mismo estado recurrente de inicio y de llegada i.11. Se dice que un estado recurrente i es o a) recurrente positivo si µi < ∞. Adem´s existen enteros no negativos n y m tales que pij (n) > 0 a . o Proposici´n. Demostraremos la primera. dos estados en una misma clase o de comunicaci´n recurrente. y ello lleva a la siguiente clasificaci´n de estados recurrentes. Entonces a) si i es recurrente positivo e i ↔ j. se define como la esperanza de τij . Definici´n. se escribe simplemente como µi . es decir. b) si i es recurrente nulo e i ↔ j. o Definici´n. Es decir.60 3. El tiempo medio de recurrencia de un estado recurrente j. a partir o del estado i. es decir. Recurrencia positiva y nula i. (La recurrencia positiva o nula es una propiedad de clase). Suponga que i es un estado recurrente positivo. y se denota por µij . b) recurrente nulo si µi = ∞. se escribe simplemente como τi en lugar de τii . Demostraremos a continuaci´n que la recurrencia positiva y la recurrencia nula son o propiedades de las clases de comunicaci´n. o Sea i un estado recurrente. Como hemos mencionado. es la variable aleatoria discreta τij = m´ {n ≥ 1 : Xn = j | X0 = i}. esta esperanza puede ser finita o infinita. entonces j es recurrente positivo. Demostraci´n. µij = E(τij ) = ∞ n=1 nfij (n). son ambos recurrentes positivos o recurrente nulos.

Cadenas de Markov y pji (m) > 0. una. el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos de estados: transitorios. 1 N N N 61 k=1 pjj (n + m + k) ≥ pji (m) 1 N pii (k) pij (n). . Sumando para k = 1. y por lo tanto la cadena entera es recurrente nula. N . en el caso en el que la cadena es recurrente. . el tiempo promedio de regreso al estado 0 es µ0 = 4pq . este e cociente se hace infinito. µj µi Por lo tanto tambi´n µj es finito. Esto demuestra que el estado 0 es recurrente nulo. es decir. Esto se muestra en la Figura 3. .Cap´ ıtulo 3. j es recurrente positivo. recurrentes positivos y recurrentes nulos. y dividiendo entre N . Entonces para cualquier entero natural k. n f00 (n) = √ 1 − 4pq n=0 ∞ En el caso sim´trico. .15. e De esta forma. Cada una de estas colecciones de estados puede estar constituida por ninguna. k=1 Haciendo N → ∞ se obtiene 1 1 ≥ pji (m) pij (n) > 0. o varias clase de comunicaci´n. es decir. o estados transitorios estados recurrentes nulos estados recurrentes positivos Descomposici´n del espacio de estados o Figura 3.15: Ejemplo. En el primer cap´ ıtulo demostramos que para la caminata aleatoria sobre Z. . pjj (n + m + k) ≥ pji (m) pii (k) pij (n).

Demostraremos ahora que la cadena de Markov de rachas de ´xitos es e recurrente positiva. µ0 = ∞ n=1 n f00 (n) = ∞ n=1 n (1 − p)pn−1 = (1 − p) ∞ n=1 n pn−1 = 1 < ∞. por el teorema erg´dico aplicado a la clase cerrada C se obtiene o j∈C 1 = 1. La o o clase C es cerrada y adem´s es finita pues la cadena completa lo es. y k natural. Comprobaremos que el tiempo medio de recurrencia del estado 0 es finito. En efecto. Recordemos que dicha cadena es irreducible y recurrente. Para cualquier i ∈ C. k=1 Haciendo n → ∞. pues de lo contrario cada sumando ser´ cero y la suma total no ıa . No existen estados recurrentes nulos en cadenas de Markov finio tas. Se ha demostrado antes que toda cadena finita tiene por lo menos un estado recurrente. Demostraremos a que µj < ∞. Proposici´n. µj Para que esta suma sea uno debe existir por lo menos un valor de j en C tal que µj < ∞. Recurrencia positiva y nula Ejemplo. Hemos aprovechado la facilidad del c´lculo de las probabilidades a de primer regreso al estado 0. Por lo tanto el tiempo medio de recurrencia de cada estado es finito. 1−p Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena irreducible. j∈C Entonces 1 n n pij (k) = k=1 j∈C j∈C 1 n n pij (k) = 1. Demostraci´n.62 3. es recurrente positiva. pij (k) = 1.11. Demostraremos ahora que para cadenas finitas s´lo puede haber dos tipos o de estados: transitorios o recurrentes positivos. Sea j un estado recurrente y sea C su clase de comunicaci´n.

Evoluci´n de distribuciones o Una matriz estoc´stica establece una din´mica en el conjunto de las distribucioa a nes de probabilidad definidas sobre el espacio de estados de la correspondiente cadena de Markov. N }. . . todos los elementos de C son recurrentes positivos. . en donde la j-´sima entrada de o e este vector es πj (1) = = i=0 P (X1 = j) N P (X1 = j | X0 = i)P (X0 = i) = = π0 (0) p0j + π1 (0) p1j + · · · + πN (0) pN j (π(0) P )j . π(1) se obtiene a partir de π(0) y de la matriz de probabilidades de transici´n P a trav´s de la f´rmula π(1) = π(0) P . Despu´s de transcurrida la primera unidad de e tiempo. . y una distribuci´n de probabilidad inicial o π(0) = (π0 (0). Es decir. . . . excepto la primera. y as´ sucesivamente. πN (0)). . . en donde cada una de ellas. la cadena se encuentre en cualquiera de sus posibles estados de acuerdo a la distribuci´n π(1) = (π0 (1). . πN (0))  p00 . 3. . . pNN . Por lo tanto existe un estado j que es recurrente positivo. todos los estados de una cadena finita e irreducible son recurrentes positivos. π(n + 1) = π(n) P = π(0) P n+1 . . . es obtenida de  (π0 (1).12. 1. Observe que en particular. . πN (1)). . . πN (1)) = (π0 (0). pN0 ··· ··· p0N . π1 (1). .Cap´ ıtulo 3. . En general. Dado ıa que la recurrencia positiva es una propiedad de clase. o e o   A su vez la distribuci´n π(1) se transforma en π(2) a trav´s de la ecuaci´n π(2) = o e o π(1) P = π(0) P 2 . . . . Para explicar la situaci´n de manera simple consideraremos un o espacio de estados finito {0. . . π1 (0). . .. . π(1).  . Cadenas de Markov 63 podr´ ser uno. π(2). ı De esta forma se obtiene una sucesi´n infinita de distribuciones de probabilidad o π(0).

0. .16: Es natural preguntarse si existe alg´ n l´ u ımite para esta sucesi´n de distribuciones. . o En las siguientes secciones estudiaremos tal problema y encontraremos condiciones bajo las cuales existe un unico l´ ´ ımite para esta sucesi´n. 0. 0) π(0) P 2 = (0.45. 0. π(0) P 1 = (0. Evolucion de distribuciones la anterior multiplicada por la derecha por la matriz de probabilidades de transici´n o en un paso. A tales distribuciones se les llama estacionarias o invariantes en el tiempo. 0.275.45.275) π(0) π(1) π(2) π(3) π(4) 1 1 1 1 1 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 Figura 3. 0.55.55) π(0) P 3 = (0. 0.275.5. 0.12.16. considere la matriz estoc´stica a P = 0 0 1/2 1 0 1/2 0 1 0 con distribuci´n inicial π(0) = (0. Estudiaremos a continuao ci´n el caso particular cuando la distribuci´n inicial no cambia al ser multiplicada o o por la derecha por P .225. . 0. 0. o a π(1) = π(2) = π(3) = π(4) = . Por ejemplo.45) π(0) P 4 = (0.64 ´ 3.9). Las subsecuentes distribuciones se calo culan a continuaci´n y las gr´ficas aparecen en la Figura 3.1.

Es inmediato comprobar que el vector π = (1 − α. Cadenas de Markov 65 3. Distribuciones estacionarias Definici´n. 0. es decir. e La condici´n π = πP tiene como consecuencia el hecho de que para cualquier o n´ mero natural n ≥ 1. se cumpla que π = π P n . Existen entonces una infinidad de distribuciones estacionarias para esta cadena. . 2} y con probabilidades de transici´n dada por la siguiente matriz o P = 1 1/3 0 0 1/3 0 0 1/3 1 . es decir. Una distribuci´n de probabilidad π = (π0 .13. 0. Observe que el vector (1 − α. α) satisface el sistema de ecuaciones π = πP para cada con α ∈ [0. Sumando estas ecuaciones puede encontrarse que para todo entero n ≥ 1. 0) + α(0. pero no correspono de a una distribuci´n de probabilidad. 1]. esta distribuci´n no cambia con el paso o del tiempo y por ello que se le llama estacionaria o invariante.Cap´ ıtulo 3. No existe ninguna distribuci´n estacionaria para la cao minata aleatoria sim´trica simple sobre Z pues la condici´n π = πP se trae o duce en el sistema de ecuaciones en diferencias πj = πj−1 /2 + πj+1 /2. Observe que el vector de ceros cumple la condici´n π = π P . Esto significa que si la variable aleatoria o inicial X0 tiene esa distribuci´n π. α) se puede escribir como la combinaci´n lineal (1 − α)(1. El lado izquierdo es acotado mientras el . i En t´rminos matriciales. O bien πj+1 − πj = πj − πj−1 . o Ejemplo: No existencia. π es estacionaria si π = πP . Considere una cadena de Markov sobre el conjunto u de estados {0. 1. πn+1 − π0 = n(π1 − π0 ). ´ Ejemplo: Existencia m´ltiple. π1 . π es tambi´n una u e distribuci´n estacionaria para la matriz P n . Los siguientes ejemplos muestran que las o distribuciones estacionarias pueden no ser unicas y pueden incluso no existir. . 1).) es estacionaria o o o invariante para una cadena de Markov con probabilidades de transici´n pij o si πj = πi pij . 0. . entonces la distribuci´n de Xn tambi´n es π pues o o e P (Xn = j) = i πi pij (n) = πj . 0.

Observaci´n 3: Con base en las observaciones anteriores y en los ejemplos moso trados.13. si existen dos distribuciones estacionarias distintas para una cadena. pero ello es incompatible con la restricci´n o πj = 1.66 3. Esto demuestra que todas estas diferencias son cero. M´s adelante expondremos una forma alternativa de buscar distribuciones a estacionarias para cadenas reversibles. para o α ∈ [0. y por lo tanto πj es constante para cualquier valor de j. Ejemplo: Existencia unica. a menos que π1 − π0 = 0. a+b ). tambi´n es una distribuci´n estacionaria pues e o (απ + (1 − α)π ′ ) P = απP + (1 − α)π ′ P = απ + (1 − α)π ′ . entonces existen una infinidad de ellas. La cadena de Markov de dos estados dada por la matriz ´ P = 1−a b a 1−b b a tiene una unica distribuci´n estacionaria dada por π = (π0 . 1}. Es decir. o b) Existe una distribuci´n estacionaria y es unica. es natural plantearse el problema de encontrar condiciones necesarias y suficientes para que una cadena tenga alguna distribuci´n o . Distribuciones estacionarias lado derecho crece sin l´ ımite cuando n es grande. Observaci´n 1: Para encontrar una posible distribuci´n estacionaria de una cadena o o con matriz P . Cuando a = b = 0. un primer m´todo consiste en resolver el sistema de ecuaciones e π = πP . Observaci´n 2: Suponga que π y π ′ son dos distribuciones estacionarias distintas o para una matriz P . Entonces la combinaci´n lineal convexa απ + (1 − α)π ′ . Por lo tanto no existe ninguna distribuci´n de probabilidad π que cumo j pla la igualdad π = πP para esta cadena. o ´ c) Existen una infinidad de distribuciones estacionarias. Dadas estas consideraciones. Por lo tanto. 1]. π1 ) = ( a+b . cuan´ o do a + b > 0. la matriz resultante es la matriz identidad que acepta como distribuci´n estacionaria a cualquier distribuci´n de probabilidad soo o bre {0. s´lo hay tres situaciones sobre la existencia de distribuciones estacionarias o para una cadena de Markov cualquiera: a) No existe ninguna distribuci´n estacionaria. el vector constante es la soluci´n al sistema o de ecuaciones en diferencias planteado.

Esto es una consecuencia inmediata del resultado y para ello puede usarse un argumento por contradicci´n. entonces para cualquier estado i. entonces o πj = 0. que una caminata aleatoria sim´trica e simple no tiene distribuci´n estacionaria pues se trata de una cadena cuyos estados o . la proposici´n reci´n demostrada tambi´n nos o o e e ayuda a corroborar nuevamente. Usaremos el hecho de que si j es un estado transitorio o recurrente o nulo. Demostraci´n. l´ ım 1 n n n→∞ pij (k) = 0. Sea π una distrio o buci´n estacionaria. n→∞ n i k=1 En particular. ´sta tiene como soporte el conjunto de estados recurrentes positivos. entonces j es un estado recurrente positivo. se obtiene n 1 πj = πi ( l´ ım pij (k) ) = 0. por el teorema de convergencia dominada. k=1 Como π es una distribuci´n estacionaria. e Proposici´n. (Soporte de una distribuci´n estacionaria). Por otro lado. si πj > 0.Cap´ ıtulo 3. por ejemplo. o πj = i πi pij πi pij (k) i = = = i 1 n n πi pij (k) k=1 i πi ( 1 n n pij (k) ) k=1 Tomando el l´ ımite cuando n → ∞. Cadenas de Markov 67 estacionaria. Si j es un estado transitorio o recurrente nulo. Primeramente demostraremos que cuando existe una distribuci´n eso tacionaria.

(2) j πj = 1.13. Distribuciones estacionarias son todos recurrentes nulos. Demostraci´n. µj < ∞ para cualquier estado j. Se presenta a continuaci´n una soluci´n al problema o o de encontrar condiciones suficientes que garanticen la existencia y unicidad de la distribuci´n estacionaria. Por lo tanto el cociente 1/µj es estrictamente positivo. Toda o o cadena de Markov que es irreducible y recurrente positiva tiene una unica ´ distribuci´n estacionaria dada por o πj = 1 > 0. n m=1 µj n n→∞ (1) Estacionariedad. . o Proposici´n. ´ Como la cadena es irreducible y recurrente positiva. Sea πj = 1/µj . Demostraremos que o (1) πj = i πi pij . µj En particular. toda cadena finita e irreducible tiene una unica distribuci´n ´ o estacionaria. (3) πj es unica. (Existencia y unicidad de la distribuci´n estacionaria). N N πi pij i=0 = i=0 ( l´ ım n→∞ 1 n n pki (m) ) pij m=1 N 1 = l´ ım n→∞ n ≤ n→∞ n pki (m) pij m=1 i=0 n l´ ım 1 n pkj (m + 1) m=1 = πj .68 3. Para cualquier natural N . Usaremos el hecho de que l´ ım 1 1 pij (m) = .

πj = i πi ( 1 pij (m) ).4) es una igualdad. Sumando u sobre todos los valores j. (3.4) Suponga que para alg´ n valor de j la desigualdad anterior es estricta. Para cualquier natural N . πj = i πi pij (m). Esto demuestra o que π es estacionaria. . (3. πj = ∞ i=0 πi ( l´ ım 1 pij (m) ) = n→∞ n m=1 n ∞ i=0 πi πj . n m=1 n Haciendo n → ∞.5) (2) Distribuci´n de probabilidad. y para cualquier m natural. i 69 πi pij ≤ πj .5). y usando el hecho de que j πj ≤ 1. por (3. o N N πj j=0 = j=0 ( l´ ım 1 n→∞ n n n pij (k) ) k=1 N 1 = l´ ım n→∞ n ≤ l´ ım 1 n pij (k) k=1 j=0 n n→∞ 1 k=1 = 1.Cap´ ıtulo 3. πj > j j i πi pij = i πi j pij = i πi . Cadenas de Markov Haciendo N → ∞. por el teorema de Fubini. Por lo tanto j πj ≤ 1. por el teorema de convergencia dominada de Lebesgue. Por otra parte. para cualquier n natural. Por lo tanto (3. Lo cual es una contradicci´n.

.13.70 3. los tiempos medios de recurrencia para esta o cadena son 1 2N µj = = N para j = 0. . N. ′ πj ≥ ′ πi πj . Resolviendo ´ o el sistema de ecuaciones π = πP se encuentra que el vector π tiene distribuci´n o bin(N. 1. Por lo tanto tiene una unica distribuci´n estacionaria.6) Si esta desigualdad fuera estricta para alg´ n valor de j. Lo cual es una contradicci´n. Dado que πj > 0. . n m=1 n Haciendo n → ∞. . Entonces ′ πj = i ′ πi pij (m) = i ′ πi ( 1 pij (m)) ≥ n m=1 N n N ′ πi ( i=0 1 pij (m)). y en consecuencia es recurrente positiva. i=0 Ahora hacemos N → ∞ para obtener ′ πj ≥ πj . Ejemplo. se obtiene i (3) Unicidad. πj j . Sean π y π ′ dos distribuciones estacionarias para la matriz P . . 1. y ello demuestra la unicidad. . N. En vista de la proposici´n demostrada. es decir. . Distribuciones estacionarias πi = 1. (3. La cadena de Ehrenfest es finita e irreducible. .6) es una igualdad para cada valor de o j. πj = N 1 j 2N para j = 0. Por lo tanto (3. 1/2). entonces sumando sobre u todos los valores de j se obtiene 1= j ′ πj > j πj = 1.

esto es. (3. Distribuciones l´ ımite Como hemos mencionado antes. entono e ces el j-´simo elemento de la distribuci´n l´ e o ımite es πj = l´ n→∞ pij (n). Primero. π = πP . ım el l´ ımite de las potencias de P es una matriz con todos sus renglones id´nticos. Tercero. es decir. la distribuci´n l´ o ımite est´ dada por el l´ a ımite de las potencias de P pues si se toma como distribuci´n inicial aquella concentrada en el i-´simo estado. . 1.14. Por lo tanto tiene una unica distribuci´n estacionaria dada por la ´ o distribuci´n geo(1 − p). En particular. µ0 = 1/(1 − p). o Segundo. e siendo este regl´n la distribuci´n l´ o o ımite. a partir de (3. . 1. o 3. 2 . la distribuci´n l´ ım ım o ımite . es decir. Cadenas de Markov 71 Ejemplo. la distribuci´n l´ o ımite no depende de la distribuci´n inicial pues el lado derecho de estas ecuaciones debe ser el mismo. . Como consecuencia de la proposici´n anterior. es irreducible y recue rrente positiva. 2 . Por ultimo.7) se obtiene ´ que l´ n→∞ π n+1 = l´ n→∞ π n P .7) Bajo ciertas condiciones tal sucesi´n es convergente a una distribuci´n l´ o o ımite π. toda matriz de probabilidades de transici´n P o determina una sucesi´n de distribuciones de probabilidad π 0 . La cadena de racha de ´xitos. ım ım ım n→∞ n→∞ n→∞ Estas igualdades revelan varias cosas. el sistema de ecuaciones π = πP tiene como unica o ´ soluci´n la distribuci´n o o πj = (1 − p) pj para j = 0. . . sobre el espacio o de estados en donde π n+1 = π n P = π 0 P n+1 . π 1 . aunque no es finita.7) se tiene que π = l´ π n = π 0 l´ P n+1 = π 1 l´ P n . . Imaginemos por ahora que tal es el caso y examinemos algunas propiedades de esta distribuci´n l´ o ımite. se obtiene que los tiempos medios o de recurrencia para cada uno de los estados de esta cadena son µj = 1 1 = πj (1 − p) pj para j = 0. Por (3. . Esto confirma los c´lculos realizados antes para µ0 a ∞ a partir de la f´rmula µ0 = n=1 n f00 (n).Cap´ ıtulo 3.

. ıan En el caso finito. Entonces 1. Suponga primero el caso cuando el espacio de estados es el conjunto o finito {0. j=0 . mientras 1 0 que P 2n = 1 0 . Entonces la primera afirmaci´n se cumple con igualdad pues o N N N n→∞ πj = j=0 j=0 l´ pij (n) = l´ ım ım n→∞ pij (n) = 1. existen y no dependen de i. πi pij (n). toda distribuci´n l´ o ımite es estacionaria pero el rec´ ıproco es en general falso como se ilustra en el siguiente ejemplo. . Es inmediato comprobar que la distribuci´n uniforme (1/2. j πj ≤ 1. y sin embargo las potencias P n 1 0 no convergen pues para cualquier entero natural n. suponiendo un espacio de estados finito. y no ım dependen del estado i. cuando n → ∞. Esto es solamente una posibilidad pues los l´ ımites podr´ ser todos cero. 1. .72 3. . e o Demostraci´n. 1/2) es estao cionaria para la cadena con matriz P = 0 1 . y esa tablece que si el l´ ımite de las probabilidades pij (n). P 2n+1 = 0 1 . i 2. demostraremos que tales l´ ımites conforman una distribuci´n de probabilidad verdadera. o Proposici´n. πj = Cuando el espacio de estados es finito se cumple la igualdad en el primer resultado obteni´ndose una distribuci´n de probabilidad verdadera. N }. 0 1 El siguiente resultado es v´lido para espacios de estados finitos o infinitos. sin embargo. o Como se ha visto. entonces la distribuci´n l´ o ımite podr´ ser una distribuci´n estacioıa o naria. En esta o secci´n se establecen condiciones para obtener rigurosamente estos resultados. Ejemplo. Distribuciones l´ ımite es una distribuci´n estacionaria.14. Considere una cadena de Markov con probabilidades de trano sici´n pij tales que los l´ o ımites πj = l´ n→∞ pij (n) existen para cada j.

l´ ım l´ pkj (m + n) ım Suponga ahora que el espacio de estados es infinito.j i j i Esto es una contradicci´n. o u N N N n→∞ πj = j=0 j=0 l´ pij (n) = l´ ım ım n→∞ j=0 pij (n) ≤ l´ 1 = 1. entonces estas desigualdades se convierten en identidades como dice el enunciado. En este caso no es posible garantizar la validez del intercambio de l´ ımite y suma efectuado antes.Cap´ ıtulo 3. o nuevamente para cualquier n´ mero natural N ≥ 1. Para la segunda afirmaci´n. i πi pij < πj . o a . j i. por lo tanto la igualdad en el p´rrafo anterior se cumple. u Entonces πj > πi pij = πi pij = πi . Suponga que j πj > 0. l´ ım l´ pkj (n + 1) ım Si πj = 0 para cualquier j. Cadenas de Markov Para la segunda afirmaci´n se tiene que para cualquier n ≥ 1. Demostraremos que las desigualdades estrictas no son posibles. o N N 73 πi pij (n) = i=0 i=0 m→∞ N l´ ım pki (m) pij (n) pki (m) pij (n) i=0 = = = m→∞ m→∞ πj . Suponga que para alg´ n estado j. ım n→∞ Haciendo N → ∞ se obtiene el resultado buscado. u N N πi pij i=0 = i=0 n→∞ N l´ pki (n) pij ım pki (n) pij i=0 = ≤ = n→∞ n→∞ πj . Para la primera afirmaci´n se tiene que para cualquier n´ mero natural N ≥ 1.

yn+1 . existe un n´ mero natural N tal o u que pij (n) pkl (n) > 0. j)}. Considere una cadena de Markov que es a) irreducible.14. y o c) con distribuci´n estacionaria π. o e o e Sea {Yn } una cadena de Markov independiente de la original {Xn }. para toda n > N . P (τ < ∞) = 1. Sea j un estado cualquiera de la cadena original. Defina el primer momento en el que la cadena {Zn } visita el estado (j. pero con la misma matriz de probabilidades de transici´n. n→∞ l´ pij (n) = πj . Yn ) es una cadena de Markov con probabilidades de transici´n o P (Zn+1 = (xn+1 . yn )) = pxn . El m´todo de esta demostraci´n se conoce como t´cnica de acople. b) aperi´dica.k)(j. j) como τj = m´ ın{n ≥ 1 : Zn = (j. Entonces el proceso {Zn } definido o por Zn = (Xn .74 3. Adem´s es irrea a ducible pues como {Xn } y {Yn } son aperi´dicas. Por lo tanto p(i. y puede f´cilmente comprobarse que tiene distribuci´n estacionaria πxn . Adem´s τ ≤ τj . o Entonces para cualesquiera estados i y j. Por la a . Como {Zn } es recurrente. Este resultado es una especie de rec´ o ıproco del resultado anterior pues supone la existencia de una distribuci´n estacionaria para concluir que o los l´ ımites de las probabilidades existen. yn+1 ) | Zn = (xn . Teorema de convergencia. ım Demostraci´n. a o Puede adem´s verificarse que la cadena {Zn } es recurrente positiva. Este es el primer momento de acople de las dos cadenas. Distribuciones l´ ımite Ahora se establecen condiciones suficientes para que el l´ ımite de las probabilidades de transici´n existan.xn+1 pyn .yn = πxn πyn .l) (n) > 0. Sea adem´s τ = m´ a ın{n ≥ 1 : Xn = Yn }.

τ = r) j r=1 n r=1 n r=1 n j P (Xn = x | Xr = j. las variables Xn y Yn tienen la misma distribuci´n o de probabilidad. y P (Yn = j) = i P (Yn = j | X0 = i) πi = i πi pij (n) = πj . o entonces P (Xn = j) = P (Xn = j | X0 = i)P (X0 = i) = pij (n) P (X0 = i) = pij (n). τ ≤ n) = = P (Xn = x. a |P (Xn = j) − P (Yn = j)| ≤ P (τ > n) → 0. Por otro lado P (Xn = j) = = ≤ P (Xn = j.8) establece que |pij (n) − πj | → 0. τ = r) P (Xr = j. sobre el evento (τ ≤ n). El siguiente resultado establece condiciones suficientes para la existencia del l´ ımite de las probabilidades de transici´n. τ ≤ n).8) cuando n → ∞. Por lo tanto. Xr = j. o . τ = r) P (Yn = x | Yr = j. τ > n) P (Yn = j. τ = r) P (Yn = x | Yr = j) P (Yr = j. De manera an´loga. Si ahora se toma X0 = i y Y0 con la distribuci´n estacionaria π. Por lo tanto (3. es decir. asegurando adem´s que se trata de una o a distribuci´n de probabilidad. τ = r) P (Yr = j.Cap´ ıtulo 3. τ = r) = j = j r=1 = P (Yn = x. τ ≤ n) + P (Xn = j. τ > n) P (Yn = j) + P (τ > n). τ ≤ n) + P (Xn = j. (3. P (Yn = j) ≤ P (Xn = j) + P (τ > n). Cadenas de Markov propiedad de Markov n 75 P (Xn = x.

b) recurrente positiva. y πj = 1. y constituyen µj la unica soluci´n al sistema de ecuaciones ´ o πj = ∞ j=0 ∞ i=0 πi pij . Como la cadena es irreducible y recurrente positiva. Definici´n. Se dice que una cadena finita o su matriz de probabilidades de o transici´n es regular si existe un entero natural n tal que pij (n) > 0.76 3. a o pij (n) → πj . y c) aperi´dica.15. con probabilidad positiva se puede pasar de un estado a otro cualquiera en un paso. Considere una cadena de Markov que es a) irreducible. o Otra forma de definir a una cadena regular es a trav´s del siguiente resultado. con πj ≥ 0 y j πj = 1. En palabras. o Entonces las probabilidades l´ ımite πj = l´ pij (n) = ım n→∞ 1 existen. Demostraremos que para este tipo de cadenas existe siempre la distribuci´n l´ o ımite. Cadenas regulares Teorema de convergencia. una cadena de Markov finita es regular si alguna potencia de su matriz de probabilidades de transici´n tiene todas sus entradas estrictamente positivas. tiene una unica o ´ distribuci´n estacionaria dada por πj = 1/µj . 3. e . Demostraci´n. (3. Es decir. por la aperi´dicidad. es la unica soluci´n al sisteo ´ o ma de ecuaciones π = πP . Cadenas regulares Las cadenas de Markov regulares son cadenas finitas que cumplen la propiedad de que a partir de un cierto momento. Adem´s. para o cualesquiera estados i y j.9) sujeto a las condiciones πj ≥ 0.15.

para cada n ≥ N . . Este resultado es id´ntico al anterior pues hemos demostrado que la regularie dad es equivalente a la finitud. regular y doblemente estoc´stica. Por la hip´tesis de doble o estocasticidad y suponiendo que el espacio de estados es {0. irreducible y recurrente positiva o por ser finita. y es recurrente positiva o por ser finita. por la irreducibilidad. Una matriz estoc´stica es regular si. 1. se N tiene que i=0 pij (n) = 1. o Demostraci´n. entonces claramente es finita. y s´lo si. Por lo tanto πj = 1/(N + 1). 2.Cap´ ıtulo 3. irreducibilidad y aperiodicidad conjuntamente. para cualesquiera dos estados i y j.9). irreducible y o aperi´dica. Proposici´n. . Para este tipo particular de cadenas finitas se conocen los siguientes resultados acerca de su comportamiento l´ ımite. es irreducible. tiene como distribuci´n l´ o ımite la unica soluci´n no negativa del ´ o sistema (3. 2. . N }. irreducible. Como d(j) = 1 y siendo la matriz finita. i=0 3. Cadenas de Markov 77 Proposici´n. es aperi´dica. Toda cadena finita que adem´s es o a 1. Rec´ o ıprocamente.9). aperi´dica y doblemente estoc´stica. Como la cadena es regular. existe un entero m tal que pij (m) > 0. Tomando el l´ ımite cuando n tiende a infinito se obtiene N πj = 1. o 1. tiene como distribuci´n l´ a o ımite la distribuci´n uniforme. Entonces existe un entero N tal que pij (m + n d(j)) > 0. Entonces la distribuci´n l´ o ımite existe. irreduo a o cible y aperi´dica. esto implica la regularidad. es finita. Como la cadena es regular. tiene como distribuci´n o a o l´ ımite la distribuci´n uniforme. regular. Si la matriz es regular. . aperi´dica. o 3. Por el teorema anterior la distribuci´n l´ o ımite existe y est´ dada a por el sistema de ecuaciones (3. o Demostraci´n. .

. Este nuevo proceso resulta tambi´n ser una cadena de Markov e pues cumple el criterio de independencia entre pasado y futuro cuando se conoce el presente. . .16. . 1. El problema se reduce a encontrar la distribuci´n l´ o ımite de P . m. ım u Defina el proceso Xn = Sn mod. 7 cuyo espacio de estados es {0. yr+1 . y entonces su distribuci´n o limite es la uniforme. yr−1 . .78 3. yn | yr ). . . . Encontraremos n→∞ l´ P (Sn es m´ ltiplo de 7). Cadenas reversibles Ejemplo. . 6}. ım n→∞        3. . . para 1 ≤ r < n ≤ m. ahora del tiempo m al tiempo 0. Pero esta matriz es regular. . Cadenas reversibles Sea {Xn } una cadena de Markov con probabilidades de transici´n pij . . de modo que la u e probabilidad de que Sn sea m´ ltiplo de 7 a largo plazo es el tiempo de estancia a u largo plazo que la cadena Xn pasa en el estado 0. Por lo tanto l´ P (Xn = 0) = 1/7. es decir. Sea m ≥ 1 o un entero fijo y defina un nuevo proceso Yn = Xm−n para n = 0. Yn es la cadena original pero vista en sentido inverso en el tiempo. . No es dif´ convencerse que Xn es una cadena de Markov con matriz de probabilidades ıcil de transici´n o      P =    0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 El evento (Sn es m´ ltiplo de 7) es id´ntico al evento (Xn = 0).16. . En efecto. considere la probabilidad condicional P ( y1 . . las nociones de pasado y futuro se intercambian debido al cambio en el sentido del tiempo. Sea Sn la suma de los resultados que se obtienen al lanzar un dado equilibrado n veces. .

Xm−n = yn | Xm−r = yr ). . . . . Xm−r+1 = yr−1 | Xm−r = yr ) P (Xm−r−1 = yr+1 . . que en t´rminos del proceso {Yn } es la propiedad de Markov para este proceso e Sin embargo las probabilidades de transici´n del nuevo proceso no son homog´neas o e pues para 0 ≤ n < m.Cap´ ıtulo 3. . esta probabilidad es e 79 P (Xm−1 = y1 . pues en tal caso la igualdad o anterior se reduce a πj P (Yn+1 = j | Yn = i) = pji . Xm−r−1 = yr+1 . . (3. . . . Xm−n = yn | Xm−r = yr ). Si adicionalmente se pide que las probabilidades de transici´n son o las mismas para ambas cadenas. Esto lleva a la o i siguiente definici´n de reversibilidad la cual a˜ ade la hip´tesis de irreducibilidad. . P (Yn = i) P (Xm−n−1 = j) P (Xm−n = i) es decir. πi Bajo tal hip´tesis las probabilidades de transici´n de la nueva cadena son ahora o o estacionarias. Xm−n−1 = j) P (Xm−n = i) = P (Xm−n = i | Xm−n−1 = j) = pji P (Yn+1 = j) . Por la propiedad de Markov del proceso {Xn }. πi pij = πj pji . yn | yr ). . Tal dependencia desaparece cuando se toma como hip´tesis la exiso tencia de una distribuci´n estacionaria π para {Xn }. Cadenas de Markov En t´rminos del proceso {Xn }. o n o Definici´n. es decir. . P (y1 . entonces de la ecuaci´n anterior se obtiene que o π debe satisfacerse la ecuaci´n pij = pji πj . yr−1 | yr ) P (yr+1 . P (Yn+1 = j | Yn = i) = P (Xm−n = i. . esta probabilidad es el producto P (Xm−1 = y1 . . estas probabilidades dependen de n a trav´s del cociente P (Yn+1 = e j)/P (Yn = i). . . . πi pij = πj pji . . . Se dice que una cadena de Markov irreducible con probabilidades o de transici´n pij y con distribuci´n estacionaria π es reversible en el tiempo si o o para cualesquiera estados i y j. . Xm−r+1 = yr−1 . . . .10) .

.10). . se puede buscar una posible soluci´n al sistema (3. . Adem´s la cadena es reversible por definici´n. Resolviendo iterativamente hacia abajo se encuentra que πi = N i π0 . . 1. . Considere una cadena irreducible para la cual existe una distrio buci´n π que cumple (3. Cadenas reversibles A la ecuaci´n (3. N }.N −1 = 1. para i = 1. . el cual ejemplificaremos a m´s adelante con un par de aplicaciones. . Si se desea encontrar esta distribuci´n estacionaria a trav´s de la ecuaci´n o e o π = π P . . . = ((N − i + 1)/N ) πi−1 + ((i + 1)/N ) πi+1 . A partir de estas ecuaciones puede demostrarse que π es la distribuci´n bin(N. Demostraci´n.10). con p01 = 1 y pN. N − 1. entonces es una distribuci´n estacionaria pues o o πi pij = i πj pji = πj . El espacio de estados es {0.10). . uno tendr´ que resolver el sistema ıa π0 πi πN = (1/N ) π1 .80 3. a Proposici´n. N − 1. para i = 1. Estas propiedades garantizan que la cadena tiene una unica distribuci´n estacio´ o naria. i+1 para i = 0. o Alternativamente. . irreducible y recurrente positiva.  0 otro caso. el cual o se escribe como sigue πi+1 = N −i πi . . o   (N − i)/N si j = i + 1. Entonces π es una distribuci´n estacionaria y la o o cadena es reversible.10) se llama ecuaci´n de balance detallado. . Considere nuevamente la cadena de Ehrenfest.16. para i = 1. y las probabilidades de transici´n son. . a o i Ejemplo. . . N − 1. . . N. . La utilidad de las o o cadenas reversibles est´ dada por el siguiente resultado. = (1/N ) πN −1 . . . Si π cumple (3. Esta cadena es finita. pij = i/N si j = i − 1. 1/2).

ser´ la distribuci´n estacionaria para esta caminata y la cadea a o na ser´ entonces reversible en el tiempo.10) se traduce en el sistema m´s simple πi pi = o a πi+1 qi+1 . y cero cuando i = j. que vale uno cuando i = j. . se define pij (0) = δij . Esta es la distrio buci´n bin(N. otro caso. . Una posible soluci´n de este sistema (su existencia depender´ de los o a par´metros pi y qi ). si j = i. Ejemplo. Esta es una cadena irreducible. Por lo tanto π0 = . . 1. con e si j = i + 1.}. pij (n) = P (Xn = j | X0 = i). . En particular. y πi = es la soluci´n al sistema. a Resumen de la notaci´n utilizada. es decir. N 81 1 = π0 i=0 1 2N N 1 i 2N N i = π0 2N . uno tendr´ que resolver el sistema e o ıa de ecuaciones π0 πi = = π0 (1 − p0 ) + q1 π1 . 1/2).Cap´ ıtulo 3. pij = P (X1 = j | X0 = i). para i ≥ 1. Sin embargo la condici´n (3. πi+1 qi+1 + πi (1 − pi − qi ) + πi−1 pi−1 . Cadenas de Markov Sumando todas estas cantidades. Si uno busca una distribuci´n o estacionaria a trav´s de la ecuaci´n π = π P . pij pij (n) Probabilidad de pasar del estado i al estado j en un paso. Probabilidad de pasar del estado i al estado j en exactamente n pasos. si j = i − 1. Considere una caminata aleatoria probabilidades de transici´n o   pi   qi pij =  1 − pi − qi   0 no homog´nea sobre {0. En algunos textos aparece tambi´n como e (n) pij . en donde q0 = 0. Como referencia se presenta a continuaci´n o o una lista de la notaci´n utilizada en este cap´ o ıtulo. es decir. Por lo demostrado antes esta distribuci´n es estacionaria y la o o cadena es reversible.

Probabilidad de una eventual visita el estado j a partir del estado i. Xn−1 = j. cuando X0 = i. es decir. En particular se define fij (0) = 0 e para cualesquiera estados i y j. cuando X0 = i. El tema es regularmente la parte inicial y obligada de un curso elemental de procesos estoc´sticos. cuando X0 = i. Las siguientes referencias son una muestra de a algunos textos que contienen cap´ ıtulos sobre el tema de cadenas de Markov a un nivel similar al presentado: Karlin y Taylor [19]. Brze´niak y Zastawniak [4]. incluyendo el caso i = j. fij (n) = P (Xn = j. µij = E(τij ). Jones z y Smith [17]. y Stirzaker [36].16. Port y Stone [16]. est´n dedicados enteramente al tema de cadenas de Markov. . X1 = j | X0 = (n) i). Cadenas reversibles Probabilidad de llegar por primera vez al estado j a partir del estado i exactamente en el paso n. Toma el valor infinito cuando nunca ocurre tal evento. es decir. Los textos de Caballero et al [6] y Norris [25]. Variable aleatoria que cuenta el n´ mero total de visitas realizadas al estado j u ∞ cuando la cadena inicia en el estado i. es decir. El tema de cadenas de Markov a tiempo discreto aparece en casi cualquier texto de procesos estoc´sticos en mayor o menor profundidad. Cuando i = j se escribe µi y se le llama tiempo medio de recurrencia del estado i. Hoel. Tiempo medio de primera visita al estado j a partir del estado i. Puede ser infinito. a . esta probabilidad es fij = e ∞ k=0 fij (n). fij Nij (n) Nij τij µij Notas y referencias. Nij (n) = k=1 1(Xk =j) . τij = m´ ın{n ≥ 1 : Xn = j}. cuando la cadena inicia en el estado i. es decir. A veces se escribe tambi´n como fij . En t´rminos de probabilidades de primeras visitas. Puede tomar el valor infinito. Nij = k=1 1(Xk =j) .82 fij (n) 3. Tiempo en el que se logra la primera visita el estado j a partir del estado i. Variable aleatoria que registra el n´ mero de visitas realizadas al estado j u durante las primeras n transiciones. Cuando i = j se escribe τi . y corresponde al tiempo del primer regreso al estado i. . a e incluso puede encontrarse tambi´n en los ultimos cap´ e ´ ıtulos de algunos textos de probabilidad. . . es n decir.

Cap´ ıtulo 3. Markov fue el mejor exponente y continuador de las ıa ideas de Chebyshev y de sus temas de investigaci´n en probabilidad. y demandaba mucho rigor e matem´tico en los argumentos de sus estudiantes. concluy´ en 1880. Trabaj´ como profesor en la universidad o o de San Petersburgo al mismo tiempo que estudiaba para su Markov doctorado. y continu´ con sus estudios de maestr´ los cuales o ıa. Markov fue un profesor muy estricto pero tambi´n muy claro en sus exposiciones. Universidad de St. fund´ una nueva rama de la probabilidad e inici´ la teor´ de o o ıa los procesos estoc´sticos. L. teniendo que caminar con muletas hasta la n edad de 10 a˜ os. y a e siguiendo los trabajos de P. Fuente: Archivo MacTutor. Despu´s de 1900. aunque tambi´n aplic´ su a e o modelo en el an´lisis de estilos de escritura en poemas. Chebyshev. aplic´ el m´todo de fracciones continuas o e en la teor´ de la probabilidad. y asisa ti´ a las clases de reconocidos matem´ticos de la ´poca. eno a e tre ellos P. Se gradu´ brillantemente o en 1878. Andrews. L. Cadenas de Markov 83 Andrei Andreyevich Markov (Rusia 1856–1922). Markov desarroll´ su teor´ de a o ıa cadenas de Markov desde un punto de vista matem´tico. Especialmente o sobresalientes son sus trabajos sobre la ley de los grandes n´ meros y el teorema u central del l´ ımite. as´ como otros resultados fundamentales de la teor´ de la proı ıa babilidad. quien tuvo una influencia decisiva en el quehacer futuro de Markov. Con sus trabajos sobre a cadenas de Markov. a . y sobre el m´todo de m´ e ınimos cuadrados. el cual concluy´ en 1884. Chebyshev. Markov tuvo una salud muy precaria durante sus primeros a˜ os de vida. En 1874 ingres´ a la facultad de f´ n o ısica y matem´ticas de la universidad de San Petersburgo. Continu´ trabajando o o en la misma universidad por pr´cticamente el resto de su vida.

xn . xk+1 . . xn ) = p(xn+1 | xn ) · · · p(xn+m | xn+m−1 ). p(xnm+1 | xn1 .84 3. el sub´ ındice indica tambi´n la variable a la e que se hace referencia. . . . . xk−1 | xk ) p(xk+1 . a la probabilidad P (Xn = xn ) o a se le ha escrito como p(xn ). xn ) = p(xn+m | xn ). xn+1 | x0 . depende s´lamente del ultimo momento observado: Para cuao ´ lesquiera enteros n. . . . xn ) = p(x0 ) p(x1 | x0 ) · · · p(xn | xn−1 ). . . p(x0 . es decir. xn | xk ) = p(x0 . b) Esta condici´n establece que el futuro. . sin importar lo distante que se o encuentre. . . . p(xn+m | x0 .1) es equivalente a cada una de las siguientes condiciones. . . . . .16. a 11. El significado de la probabilidad condicional p(xn+1 | xn ) es an´logo. . . . Demuestre que la propiedad de Markov (3. . . p(xn+m . . . xn | xk ). p(x0 . Cadenas reversibles Ejercicios Propiedad de Markov Recordemos que para hacer la notaci´n m´s corta. . . x1 . . m ≥ 1. d ) Esta condici´n expresa la independencia entre el pasado y el futuro o cuando se conoce el presente: Para cualesquiera enteros 0 < k < n. . m ≥ 1. . . a) Esta condici´n establece que la distribuci´n conjunta queda especificada o o a trav´s de la distribuci´n inicial y las probabilidades de transici´n en e o o un paso: Para cualesquiera estados x0 . . . e) En esta condici´n se consideran varios eventos en el futuro: Para cuao lesquiera enteros n. xk−1 . c) Esta es la condici´n de Markov para tiempos no necesariamente conseo cutivos: Para cualesquiera enteros 0 ≤ n1 < · · · < nm+1 . . . . . . . xnm ) = p(xnm+1 | xnm ). .

5 . P = 1/3 3/4 2/3 1/4 . Encuentre P (X1 = 0). e e 15.Cap´ ıtulo 3. P (X5 = 1 | X4 = 0). P (X100 = 0 | X98 = 0). 1/2). P (X1 = 1 | X2 = 1.8 0. la potencia P n tambi´n es estoc´stica (o doblemente e a estoc´stica). 18.4). a b) si P es estoc´stica (o doblemente estoc´stica). con distribuci´n o inicial (1/2. Demuestre que toda matriz estoc´stica sim´trica es doblemente estoc´stica. P (X1 = 1). 0.5 0.2 0. Demuestre que una matriz cuadrada P puede ser tal que la potencia P n sea estoc´stica para alg´ n entero n ≥ 2. P (X2 = 0) y P (X2 = 1). P (X3 = 0 | X1 = 0). la potencia P n tambi´n es sim´trica. P = 0. Demuestre que si una matriz estoc´stica P es sim´trica. entonces para cuala e quier n ≥ 1. Considere una cadena de Markov de dos estados: 0 y 1. o P (X1 = 1). entonces P Q tambi´n es estoc´stica (o doblemente o e a estoc´stica). Demuestre que 85 a) si P y Q dos matrices estoc´sticas (o doblemente estoc´sticas) de la a a misma dimensi´n. sin ser P misma estoc´stica. Cadenas de Markov Matrices estoc´sticas a 12. a e a 16. con matriz de probabilidades de transici´n como aparece abajo. Encuentre P (X1 = 0). Considere una cadena de Markov de dos estados: 0 y 1. Probabilidades de transici´n o 17. . a u a 14. a 13. P (X3 = 0. X3 = 1). y con matriz de probabilidades de transici´n dada como o aparece abajo. X2 = 0 | X1 = 0).6. Suponga que la cadena tiene o una distribuci´n inicial dada por el vector (0. P (X1 = 0 | X2 = 0). entonces para cualquier a a entero positivo n. Demuestre que toda matriz estoc´stica finita tiene siempre al n´ mero uno a u como valor propio.

fij fji > 0. o e) ∞ pij (n) = fij [ ∞ pjj (n) + 1 ]. Cadenas reversibles 19. Demuestre que e para cualquier tiempo u tal que n < u < m. para n ≤ m. A partir de cada posici´n s´lo se permite pasar a los estados como indica el laberinto. Ecuaci´n de Chapman-Kolmogorov para cadenas no homog´neas. Encuentre la matriz de probabilidades de transici´n de la cadena de Markov o de cuatro estados dada por el diagrama de la Figura 3. m). a+b a+b a a + (p1 − ) (1 − a − b)n . fij > 0.16. pij (n. n=1 n=1 Cadenas de Markov 22. Demuestre que a) pii (n) pii (m) ≤ pii (n + m) ≤ pii (n) pii (m) + (1 − pii (n)). Considere o e una cadena de Markov con probabilidades de transici´n no necesariamente o homog´neas pij (n. Para la cadena de Markov de dos estados con distribuci´n inicial (p0 . o d) i ↔ j si. Suponga que no se permite e permanecer en la misma posici´n al efectuarse un movimiento. o demuestre que para a + b > 0. a) pij (n) ≥ pij (1) pjj (n − 1). con o o id´ntica probabilidad para todas las posibilidades. m) = P (Xm = j | Xn = i). u) pkj (u. p1 ).17.86 3. b) pij (n) = 1 − pji (n). P (Xn = 0) = P (Xn = 1) = b b + (p0 − ) (1 − a − b)n . Demuestre o proporcione un contraejemplo. 20. a+b a+b 23. b) sup {pij (n)} ≤ fij ≤ n ∞ pij (n). n=1 c) i → j si. y s´lo si. m) = k pik (n. y s´lo si. o . 21.

Se lanza un dado equilibrado repetidas veces. Demuestre que para cualquier entero n ≥ 1. o 25. Sea ξ1 . o N E(Xn+1 | Xn = i) = j pij = i. y probabilidades de transici´n tales que para cualquier estado i. b) Xnm . . . o a) Xn+m . 26. Sea Xn el n´ mero de lanzamienu tos realizados al tiempo n desde la ultima vez que apareci´ el n´ mero “6”. Demuestre que los siguientes procesos son tambi´n cadenas e de Markov y encuentre las correspondientes probabilidades de transici´n. Sea Xn una cadena de Markov con probabilidades de transici´n pij . i b) P (Xn = j) = 27. Renovaciones discretas. ξ2 . . . una sucesi´n de variables aleatorias ino dependientes id´nticamente distribuidas. ´ o u Demuestre que Xn es una cadena de Markov y encuentre las probabilidades de transici´n.Cap´ ıtulo 3. 28. . . . N }. j=0 es decir. y con valores en el conjunto {1. y sea m ≥ o 1 un entero fijo. . el estado promedio despu´s de una transici´n es el estado inicial. a) P (Xn = j) = i P (Xn−1 = i) pij (1). e . e o Demuestre que esta cadena es una martingala y que los estados 0 y N son absorbentes. P (X0 = i) pij (n). 2. . Considere una cadena de Markov con espacio de estados {0. 1. . Cadenas de Markov 87 1 2 4 3 Figura 3.17: 24.}.

o 32. Se colocan N bolas negras en una primera urna. La ıo. 1. Justifique que Xn es una cadena e e de Markov y encuentre la matriz de probabilidades de transici´n. Este ensayo se repite varias veces. Determine si el proceso {Xn } definido a continuaci´n es una o o cadena de Markov. (m´d. Sea ξ0 .88 3. a Si el conjunto indicado es vac´ entonces el m´ximo se define como cero. 1. . 31. . o 30. a variable Nk cuenta el n´ mero de renovaciones efectuadas hasta el tiempo k. . b) Xn = Xn−1 + ξn . Xn ) es una cadena de Markov.0 = P (X = i + 1) . Considere la cadena de inventarios en donde ξn tiene distribuci´n uniforme o en el conjunto {0. c) Xn = Xn−1 + ξn . . . Para cada k = 1. 2). o a) Xn = ξn + ξn−1 . Determine el espacio de estados de este nuevo proceso y encuentre la matriz de probabilidades de transici´n. . o Generalize este resultado para cualquier cadena. Sea Xn la cadena de Markov de dos estados. 3}. 2. Ak es la edad del art´ ıculo que se encuentra en operaci´n al tiempo k.16. o bien el tiempo transcurrido desde la ultima renoo ´ vaci´n. Se selecciona al azar una bola de cada urna y se intercambian. Cadenas reversibles Interpretaremos estas variables discretas como los tiempos de vida de art´ ıculos puestos en operaci´n uno despu´s de otro en un proceso de renovaci´n a o e o tiempo discreto. En caso afirmativo determine el espacio de estados y encuentre la matriz de probabilidades de transici´n. 2. ξ1 . La notaci´n A proviene del t´rmino en ingl´s age. con s = 1 y S = 4. Encuentre la matriz de probabilidades de transici´n de esta cadena. . una sucesi´n de variables independientes con id´ntica distrio e buci´n Ber(p). Demuestre que el o o e e proceso Ak es una cadena de Markov con espacio de estados {0.}. . P (X ≥ i + 1) pi. Demuestre que el proceso Yn = (Xn−1 . y con probabilidades de transici´n o pi. u Sea Ak = k − XNk . Sea Xn el n´ mero de bolas blancas en la u primera urna despu´s del n-´simo ensayo. o . es decir. Sea X0 = 0 y para cada n ≥ 1 sea Xn = ξ1 + · · · + ξn . . defina Nk = m´x {n ≥ 1 : Xn ≤ k}. P (X ≥ i + 1) 29.i+1 = P (X ≥ i + 2) . y N bolas blancas en una segunda urna.

1. una sucesi´n de variables independientes con valores en el cono junto {0. demuestre que es una cadena de Markov y encuentre sus probabilidades de transici´n en t´rminos de las probabilidades de transici´n o e o de {Xn }. entonces es posible pasar de i a j en a lo sumo n − 1 pasos. .   a) P = 1/2 1/2 0 1/2 0 0 0 1/2 1 0 0  0 P = 0 1/2 c)  1 0 1 0 0 0 0 1/2 37. . Xn+1 ). pN . Demuestre que si i → j. p2 . ξ2 . Dibuje un diagrama de transici´n y encuentre las clases de comunicaci´n para o o cada una de las siguientes cadenas de Markov. para n ≥ 0. = Xn + ξn+1 (m´d. Sea ξ1 . e o Determine si el proceso {Xn } definido a continuaci´n es una cadena de Maro kov. . 2. Considere el esquema de dos urnas o como en la cadena de Ehrenfest con un total de N bolas. Sea Xn el n´ mero de bolas en una de las urnas despu´s del nu e ´simo ensayo. Suponga i = j. . Defina el proceso {Yn } de la siguiente forma: Yn = (Xn . Sea {Xn } una cadena de Markov con espacio de estados E. o 35. o X0 Xn+1 = 0. ¿Es esta una cadena de Markov? En caso afirmativo encuentre e la matriz de probabilidades de transici´n. 3. sin importar la posici´n o o de las bolas. Cadenas de Markov 89 33. o 34. 5). . Determine el espacio de estados del proceso {Yn }. Modificaci´n de la cadena de Ehrenfest. . . p1 .Cap´ ıtulo 3. 4} y con id´ntica distribuci´n dada por {p0 . En caso afirmativo determine el espacio de estados y encuentre la matriz de probabilidades de transici´n. p4 }. Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia de urna con una distribuci´n de probabilidad especificada p1 . 0 1  0  0   1 b) P =  1/2 1/3 0 0 1/2 1/3 1 0 0 1/3 0 0  0  0 . Considere una cadena de Markov con n estados. Comunicaci´n o 36. p3 .

determine las clases de comunicaci´n y o o calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov. Proporcione un ejemplo de tal situaci´n. El rec´ ıproco de tal afirmaci´n es en general falso. Demuestre que la colecci´n de estados C es cerrada si. Demuestre que toda cadena de Markov tiene por lo menos una clase de comunicaci´n cerrada. Hemos demostrado que el periodo es una propiedad de clase.90 Clases cerradas 3. dos estados que pertenecen a la misma clase de comunicaci´n tienen el mismo o periodo. 40. dos eso tados pueden tener el mismo periodo y sin embargo no ser comunicantes. o 39. es decir. Dibuje un diagrama de transici´n. / a) pij (n) = 0. o b) la uni´n de dos clases de comunicaci´n recurrentes es una clase cerrada. o o c) la uni´n de todas las clases de comunicaci´n recurrentes de una cadena de o o Markov es una clase cerrada. Periodo 41. alguna de o o las siguientes condiciones se cumple.16. y s´lo si. para cada n ≥ 1. b) pij (1) = 0. Demuestre que a) toda clase de comunicaci´n recurrente es cerrada. es decir. Cadenas reversibles 38.   a) P = 1/2 1/2 0 1/2 1/2 1/2 0 0 1/2 1/3 1/2  0 P = 1/2 1/4 c)  0 0 0 1/4 1/2 0 1/2 1/4 42. Para cualesquiera i ∈ C y j ∈ C . o 0 1  0  1/4   1 b) P =  1/2 1/3 1/3 0 1/2 1/3 1/3 0 0 1/3 0 0  0  0 .

Encuentre las clases de comunicaci´n de la siguiente cadena de Markov. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici´n de la Figura 3. Demuestre que i → j. Eno cuentre adem´s los periodos. Se efect´ a un sucesi´n de lanzamientos independientes de una moneda equiu o librada con resultados A y S.      P =   1/2 1/2 0 0 1/6 1/6 1/2 1/2 0 0 1/6 1/6 0 0 1/2 1/2 1/6 1/6 0 0 1/2 1/2 1/6 1/6 0 0 0 0 1/6 1/6 0 0 0 0 1/6 1/6 47. Demuestre que si i es un estado recurrente e i → j.       48. o 91 44.18(a) es transitorio. Concluya que todos los estados de esta cadena son recurrentes. .18(b) es recurrente. Tiempo medio de absorci´n o 45.Cap´ ıtulo 3. Cadenas de Markov Tiempo y probabilidad de primera visita 43. 50. o 49. si y s´lo si. fij > 0. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici´n de la Figura 3. Sea j un estado absorbente. Suponga que 0 < α < 1 y o 0 < β < 1. pij (n) = P (τij ≤ n). entonces j → i. y clasifique cada clase de comunicaci´n como a o transitoria o recurrente. Demuestre que todo estado absorbente es recurrente. Demuestre que para cada n ≥ 1. Encuentre el n´ mero esperado de lanzamientos u para que aparezca la secuencia particular a) “ S ” b) “ SA ” c) “ SAS ” Recurrencia y transitoriedad 46.

1. 2. . e 53. Cadenas reversibles 1 1/2 1−α 0 1 3 α 1 1 β (b) 2 1−β Figura 3. b) si P es infinita e irreducible. Sea {Xn } una cadena de Markov con espacio de estados {0. 2. 2. en donde a0 + a1 + · · · = 1.16. Demuestre directamente que a a) si P es finita. y con probabilidades P (A) = p y P (B) = q = 1 − p. 1. entonces todos los estados son transitorios o recurrentes nulos.i pi.92 1/2 0 1/2 2 1/2 1 (a) 3. . . b) recurrente. Calcule el n´ mero u promedio de ensayos para la primera ocurrencia de la secuencia “AB”. Recurrencia positiva y nula 52. entonces todos los estados son recurrentes positivos. . = 1 para i = 1. Considere una sucesi´n de ensayos independientes Bernoulli con resultados A o y B. .18: Tiempo medio de recurrencia 51. 3. . . Determine si la cadena de racha de ´xitos es recurrente positiva o nula. Encuentre condiciones suficientes sobre estas probabilidades para que la cadena sea a) irreducible.} y probabilidades de transici´n o p0.i−1 = ai para i = 0. c) recurrente positiva. . 54. . Sea P una matriz doblemente estoc´stica. .

) = (a0 . l´ pij (n) = πj . ´ o 60. .   a) P = 1/2 0 0 1/2 1/2 1/2 0 1/2 1/2 1/2 56. aperi´dica. Demuestre que la cadena del jugador tiene una infinidad de distribuciones estacionarias. Encuentre todas las distribuciones estacionarias. Demuestre que la cadena de variables aleatorias independientes tiene una unica distribuci´n estacionaria dada por (π0 . finita e irrea o ducible tiene una unica distribuci´n estacionaria dada por la distribuci´n ´ o o uniforme. . Determine si existe alguna distribuci´n estacionaria para la siguiente matriz o estoc´stica.   1−p p 0  0 b) P =  0 1/4 1/2 1/2 1/2 1/4 0 1/2 1/2 1/4 0 0  0  1/4 57. para cada una de las siguientes cadenas de Markov. Cadenas de Markov Distribuciones estacionarias 93 55. a1 . Considere una cadena de Markov a tiempo discreto con espacio de estados finito y tal que para cada estado j los siguientes l´ ımites existen y no dependen del estado i. entonces la correspondiente matriz de probabilidades de transici´n es doblemente estoc´stica. . En caso afirmativo encuentre todas las distribuciones estacionaa rias. Demuestre que la siguiente cadena de Markov tiene un n´ mero infinito de u distribuciones estacionarias. . 59. o a 62. . 61.). ım n→∞ .   1/2 0 1−p  0 P = 1−p p 0 0 1 0 0 p  0  0  0 P = 1/2 0 0 1/2 0 1/2 1/2 0 1/2 0 0 1/2  0  1/2 58. Demuestre que si la distribuci´n uniforme es una distribuci´n estacionaria o o para una cadena de Markov finita.Cap´ ıtulo 3. si existen. . Demuestre que toda matriz doblemente estoc´stica. π1 .

.i+1 = p y pi. .i−1 = q o para i = 1. Una persona se traslada todos los d´ de su casa a la oficina en la ma˜ ana. . . 1 0 1 q p 1 ··· i − 1 i i + 1 ··· N − 1 N Figura 3. ıas n y de la oficina a su casa por la tarde.94 3. pnn = p. cuando existe. o 63. es decir: p00 = q. . Justifique la existencia y unicidad. . pn. de las siguientes cadenas de Markov. Calcule el n´ mero promedio de e u visitas que la caminata realiza a cada uno de sus estados. . . . 1. 2. 2. .16. p01 = p. e en donde los estados 0 y n son reflejantes. . Esta persona tiene un coche que usa en cualquiera de estos dos viajes en caso de lluvia. . 64. y encuentre la distribuci´n estacionaria pao ra una caminata aleatoria simple no sim´trica sobre el conjunto {0. Calcule la distribuci´n l´ o ımite. N −1. N } en donde los estados 0 y N son reflejantes.19: Distribuciones l´ ımite 65. siempre y cuando tenga  0 P = 0  1/2 1 0 1 0 0 0 0 1/2 0 1  0  0  0 0  0  0 0  0 b) P =  0 1/3 1 0 1 0 0 0 0 2/3 0 1  0  0 .n−1 = q. El resto de las probabilidades de transici´n o son P (Xn+1 = i + 1 | Xn = i) = p y P (Xn+1 = i − 1 | Xn = i) = q. 1.19. P (Xn+1 = 1 | Xn = 0) = 1 y P (Xn+1 = N −1 | Xn = N ) = 1. . para i = 1. es decir.     0 a)  1 P = 1/2 1/3 0 0 0 1/2 1/3 1 0 0 1/3 c) 66. n − 1. Cadenas reversibles Demuestre que π = {πj } es una distribuci´n estacionaria. Considere una caminata aleatoria {Xn } sobre el conjunto {0. V´ase la Figura 3. n}. . . N − 1. Las otras probabilidades de transici´n son: pi. .

Cadenas regulares 67. Cadenas de Markov 95 el coche disponible. independiente un evento del otro. Demuestre que Zn = (Xn . Yn ) es una cadena de Markov regular y encuentre sus probabilidades de transici´n. . π1 ) = ( a+b . ¿Cu´ntas potencias de una matriz se necesitan calcular como m´ximo para a a verificar que es regular? 69. No siempre tiene el coche disponible pues ha decidido dejarlo en la casa o en la oficina e irse caminando cuando al salir de alguno de estos lugares no est´ lloviendo. b) Conteste la misma pregunta cuando la persona posee r coches. Determine si las siguientes matrices estoc´sticas son regulares. demuestre que la cadena o de dos estados es reversible y encuentre nuevamente la distribuci´n estacioo b a naria (π0 . cuando a + b > 0.10). a+b ). La probabilidad de lluvia por la ma˜ ana a n o por la tarde es p > 0.Cap´ ıtulo 3. o Cadenas reversibles 70. a a) P = 0 0 1 1 0 0 0 1 0 b) P = 0 0 1/2 1 1/2 1/2 0 1/2 0 68. Resolviendo la ecuaci´n de balance detallado (3. a) Calcule la proporci´n de viajes a largo plazo en los cuales la persona se o moja por la lluvia. Sean {Xn } y {Yn } dos cadenas de Markov independientes y regulares.

.

y estudiaremos algunas de sus propiedades y generalizaciones.Cap´ ıtulo 4 El proceso de Poisson Estudiaremos en ´ste y en el siguiente cap´ e ıtulo el modelo de cadena de Markov a tiempo continuo. T2 .1. El proceso de Poisson es un modelo relevante tanto en las aplicaciones como en la teor´ general de los procesos estoc´sticos. o la recepci´n de una nıa o llamada a un conmutador.1: pa˜´ aseguradora. . Suponga que estos tiempos son independientes uno del otro. ıa a 4. Suponga que las variables aleatorias T1 . y que cada uno de ellos tiene distribuci´n exp(λ).1. u o etc´tera. en el presente cap´ ıtulo estudiaremos uno de los ejemplos m´s importantes a de este tipo de modelos: el proceso de Poisson. Proceso de Poisson Suponga que un cierto evento ocurre repetidas veces de manera aleatoria a lo largo × × × × del tiempo como se muestra en la Figu0 ra 4. o los momentos en que una cierta maquinaria requiere reparaci´n. representan los tiempos e que transcurren entre una ocurrencia del evento y la siguiente ocurrencia. Definiremos este proceso de varias formas equivalentes. . o la llegada de un cliente a una ventanilla para solicitar alg´ n servicio. Tal evento puede ser por ejemplo la llegada de una reclamaci´n a una como Figura 4. Se define el proceso de Poisson al tiempo t como el n´ mero o u 97 . Como una introducci´n a la teor´ general que se expondr´ m´s o ıa a a adelante.

o tiempos de interarribo.98 4.2: tribuci´n exp(λ). es homog´neo en el tiempo. y ello equivale a contar el n´ mero de eventos ocurridos hasta el tiempo t. es decir. . Definici´n. Observe la igualdad de eventos (Xt ≥ n) = (Wn ≤ e t). u A este proceso se le llama proceso de Poisson homog´neo. a a En palabras. Proceso de Poisson de ocurrencias del evento que se han observado hasta ese instante t.2. esto equivale a decir que al tiempo t han ocurrido por lo menos n eventos si. A los 2 tiempos T1 . se les llama tiem. y s´lo si. . a Se postula adem´s que el proceso inicia en cero y para ello se define m´x ∅ = 0. una sucesi´n de variables aleatorias indepeno o dientes cada una con distribuci´n exp(λ). o e o Una de las caracter´ ısticas sobresalientes de este proceso es que puede encontrarse . la cual es no decreciente. .1. En consecuencia. El proceso de Poisson de par´metro o a λ es el proceso a tiempo continuo {Xt : t ≥ 0} definido de la siguiente manera: Xt = m´x {n ≥ 1 : T1 + · · · + Tn ≤ t}. tal adjetivo se refiere a e que el par´metro λ no cambia con el tiempo. a e Una trayectoria t´ ıpica de este proceXt (ω) so puede observarse en la Figura 4. la variable Xt es el entero n m´ximo tal que T1 + · · · + Tn es menor o a igual a t. T2 .1 pos de estancia. el n-´simo evento ocurri´ antes de t. T2 . Hemos T1 T2 T3 T4 supuesto que estos tiempos son independientes y que todos tienen disFigura 4. constante 3 por pedazos. . λ). y corresponden a los tiempos t W1 W2 W3 que transcurren entre un salto del 0 proceso y el siguiente salto. . continua por la derecha y con l´ ımite por la izquierda. (I) Sea T1 . M´s o o a adelante enunciaremos otras definiciones axiom´ticas equivalentes de este mismo a proceso. la o variable Wn = T1 + · · ·+ Tn tiene distribuci´n gama(n. Esta es una definici´n constructiva de este proceso y la formalizaremos a continuaci´n. . Esta variable representa el tiempo real en el que se observa la o ocurrencia del n-´simo evento.

dado que Xt tiene una distribuci´n Poisson(λt). t]. . n! Demostraci´n. Como Wn tiene distribuci´n gama(n. . y Var(Xt ) = λt. intervalo de observaci´n. λ). para o o cualquier t > 0. As´ mientras mayor es la longitud del e ı. n−1 (λt)k −λt P (Wn ≤ t) = 1 − e .Cap´ ıtulo 4. . k! Entonces. es decir. P (Xt = n) = P (Xt ≥ n) − P (Xt ≥ n + 1) = P (Wn ≤ t) − P (Wn+1 ≤ t) = e−λt (λt)k . si T tiene distribuci´n exp(λ). esto e es. . y es de all´ de donde el proceso o ı adquiere su nombre. Proposici´n. . y para n = 0. El proceso de Poisson 99 expl´ ıcitamente la distribuci´n de probabilidad de la variable Xt para cualquier o valor de t. para t > 0. La respuesta es la distribuci´n Poisson. Una de las propiedades que cae racterizan de manera unica a la distribuci´n exponencial dentro del conjunto de ´ o distribuciones continuas es que satisface la propiedad de p´rdida de memoria. 1. P (Xt = n) = e−λt (λt)n . su funci´n de distribuci´n o o o o es. La variable Xt tiene distribuci´n Poisson(λt). . y mayor o tambi´n la incertidumbre del n´ mero de observaciones. Por lo tanto λt es el promedio de observaciones o registros del evento de inter´s en el intervalo [0. entonces para cualesquiera tiempos s. e u P´rdida de memoria y sus consecuencias. se tiene que E(Xt ) = o λt. mayor es el promedio de observaciones realizadas. 1. k! k=0 Entonces para cualquier t > 0 y para cada n = 0. . t > 0 se o cumple la igualdad P (T > t + s | T > s) = P (T > t).

condicionada al evento (T > s). o a) Es un proceso de Markov. y enteros 0 ≤ i ≤ j. b) Tiene incrementos independientes. para cualesquiera n tiempos 0 ≤ t1 ≤ t2 ≤ · · · ≤ tn .100 4. e A partir de ese momento inicia un nuevo proceso de Poisson y para que al tiempo tn hayan xn ocurrencias es necesario que en el intervalo de tiempo (tn−1 .2) (j − i)! b) Considere cualesquiera n tiempos 0 ≤ t1 ≤ t2 ≤ · · · ≤ tn . . o Proposici´n. para cada n ≥ 1. . Xtn−1 = xn−1 ). para cualquier t > 0 y para n = 0. Esto significa que el proceso de Poisson puede estudiarse a o partir de cualquier tiempo s ≥ 0. (4. El proceso de Poisson satisface las siguientes propiedades. teniendo las mismas propiedades a partir de ese momento hacia adelante. e) Para cualesquiera s. . t > 0. las probabilidades de transici´n son o (λt)j−i P (Xt+s = j | Xs = i) = e−λt . . Entonces al tiempo tn−1 ha habido xn−1 ocurrencias del evento de inter´s. y cualesquiera estados x1 . . la variable T − s sigue teniendo distribuci´n exp(λ).1. . o a) Considere la probabilidad condicional P (Xtn = xn | Xt1 = x1 . la cual demostraremos a continuaci´n. P (Xt+s − Xs = n) = P (Xt = n) = e−λt (λt)n . Por comodidad llamaremos sn a la suma x1 + · · · + xn . si uno toma cualquier tiempo s ≥ 0 y empieza a contar desde cero las ocurrencias de eventos a partir de ese momento. . n! (4. tn ] hayan ocurrido xn − xn−1 eventos. . . Esto es exactamente P (Xtn = xn | Xtn−1 = xn−1 ). Proceso de Poisson En otras palabras. Demostraci´n. Esto es. ≤ xn . Entonces. 1. . t ≥ 0. . d) Para cualesquiera s.1) Esta propiedad caracteriza de manera unica a este proceso y de ella pueden derivar´ se todas las propiedades del Proceso de Poisson. Xt+s − Xs ∼ Poisson(λt). xn . . . lo que uno obtiene es nuevamente un proceso de Poisson. . y estados 0 ≤ x1 ≤ . c) Tiene incrementos estacionarios. incluida la propiedad de Markov.

es decir. Demostraremos que el proceso suma {Xt + Yt } es un proceso de Poisson de par´metro λ1 + λ2 . y se escriben a simplemente como pij (t). . Sean {Xt } y {Yt } dos procesos de Poisson independientes de par´metros a λ1 y λ2 respectivamente. La expresi´n (4.3. . dependen de los estados i y j unicamente a trav´s de la diferencia j − i. Xtn − Xtn−1 = xn ) = P (Xt1 = s1 . . . Tn > tn ) . Suponga que el tiempo es medido en minutos. Las propiedades c). es decir.2) establece de manera evidente que las probabilidades de transici´n o o son estacionarias en el tiempo. La forma en la que se obtienen estos tiempos se muestra en la Figura 4. . Xt2 − Xt1 = x2 . (Paradoja del autob´ s).j−i (t). . . El proceso de Poisson Por la propiedad de Markov y por (4.Cap´ ıtulo 4. Demostraremos que estas variables aleatorias son independientes con id´ntica distribuci´n exp(λ1 + λ2 ). a los tiempos a de interarribo del proceso suma.1). . pij (t) = p0.1). no dependen del par´metro s. el tiempo o a que transcurre entre la llegada de un autob´ s y el siguiente es una variable aleau toria con distribuci´n exp(λ). e o Para cualesquiera tiempos t1 . . . En s´ ´ e ımbolos. . es decir. T2 . Xtn = sn ) = P (Xt1 = s1 ) P (Xt2 = s2 | Xt1 = s1 ) · · · · · · P (Xtn = sn | Xtn−1 = sn−1 ) 101 = P (Xt1 = x1 ) P (Xt2 − Xt1 = x2 ) · · · P (Xtn − Xtn−1 = xn ). . P (Xt1 = x1 . el evento (T1 > t1 . d) y e) son consecuencia inmediata de (4. Suponga que la llegada de autobuses a una estau ci´n se modela mediante un proceso de Poisson de par´metro λ.2) dice que e estas probabilidades son estacionarias en el espacio. T2 > t2 . para j ≥ i. tn . . Xt2 = s2 . . Denotaremos por T1 . . Ejemplo. Pero tambi´n es interesante observar que (4. La o propiedad de p´rdida de memoria en este contexto puede interpretarse de la sie guiente forma: Un persona ha llegado a la estaci´n y ha esperado s minutos sin que o un autob´ s aparezca. . . La probabilidad de que tenga que esperar m´s de t minutos u a adicionales es la misma que la probabilidad de espera de m´s de t minutos para a una persona que ¡acaba de llegar a la estaci´n! o Ejemplo. . .

Adem´s de las distribuciones a exponencial y gama ya mencionadas. . Tn son independientes con id´ntica distribuci´n exp(λ1 + λ2 ).T1 +t2 ] = 0) ··· ∩(X[Tn−1 . (X[0. . Mencionaremos a continuaci´n algunas de ellas.Tn−1 +tn ] = 0) ∩ (Y[Tn−1 .t1 ] = 0) ∩ (Y[0.T1 +t2 ] = 0) ∩ (Y[T1 . Tn > tn ) = e−(λ1 +λ2 )t1 e−(λ1 +λ2 )t2 · · · e−(λ1 +λ2 )tn . T2 > t2 . . esto es. . e o Distribuciones asociadas al proceso de Poisson.102 × 4. .t1 ] = 0) P (X[T1 . Por la independencia de los procesos y la propiedad de incrementos independientes de cada uno de ellos.T1 +t2 ] = 0) ··· P (X[Tn−1 . . existen otras distribuciones de probabilidad que surgen al estudiar ciertas caracter´ ısticas del proceso de Poisson. .T1 +t2 ] = 0) P (Y[T1 . Proceso de Poisson × × × × × × × × × × × Figura 4. . la probabilidad de este evento es P (X[0. (X + Y )[T1 .T1 +t2 ] = 0.t1 ] = 0) P (Y[0. .Tn−1 +tn ] = 0). Por lo tanto.Tn−1 +tn ] = 0) P (Y[Tn−1 .t1 ] = 0) ∩(X[T1 . . Esta identidad demuestra que las variables T1 .Tn−1 +tn ] = 0). P (T1 > t1 . . .1.Tn−1 +tn ] = 0). o . T2 . (X + Y )[Tn−1 .t1 ] = 0.3: Xt Yt Xt + Yt puede expresarse como ((X + Y )[0.

yn ) = n! f (y1 ) · · · f (yn ). .Y(n) (y1 . Usaremos nuevamente la identidad e o de eventos (Xt ≥ n) = (Wn ≤ t). . Yn de la distribuci´n o uniforme en el intervalo [0. . . . . tn fW1 . .. . . . . t]. Demostraremos que la distribuci´n conjunta de las variables W1 . Y(n) de una muestra aleatoria Y1 . t]. es decir. El proceso de Poisson 103 Proposici´n.. Xw2 − Xw1 = 1. . esta funci´n o o de densidad conjunta es la que aparece en el enunciado. . . Y(n) ) de una muestra aleatoria Y1 . . . . . La f´rmula general para la funci´n de densidad conjunta de las o o o estad´ ısticas de orden Y(1) .Wn |Xt (w1 . ... . el vector de tiempos reales o (W1 . Yn de una distribuci´n con funci´n de densidad f (y) es.   n! si 0 < w1 < · · · < wn < t. . Xw1 = 1)/P (Xt = n) ∂n = e−λ(t−wn ) e−λ(wn −wn−1 ) λ(wn − wn−1 ) · · · ∂w1 · · · ∂wn · · · e−λ(w2 −w1 ) λ(w2 − w1 ) e−λw1 λw1 /[ e−λt (λt)n /n! ] ∂n = n! (wn − wn−1 ) · · · (w2 − w1 )w1 /tn ∂w1 · · · ∂wn = n!/tn . Xwn ≥ n | Xt = n) ∂w1 · · · ∂wn ∂n = P (Xt − Xwn = 0. Wn .. Wn ≤ wn | Xt = n) ∂w1 · · · ∂wn ∂n = P (Xw1 ≥ 1.. . Dado el evento (Xt = n). W2 ≤ w2 .. condicionada al evento (Xt = n) o tambi´n tiene esta misma funci´n de densidad. se tiene que fW1 . . . . . .. wn | n) =  0 otro caso. . . . ∂w1 · · · ∂wn . . . . . . . o o fY(1) . Demostraci´n.. . .. . . . Cuando la funci´n de densidad f (y) es la uniforme en el intervalo [0.Wn |Xt (w1 . Wn ) tiene la misma distribuci´n que el vector de las estad´ o ısticas de orden (Y(1) .Cap´ ıtulo 4. wn | n) ∂n = P (W1 ≤ w1 . . . . . . Xwn − Xwn−1 = 1. . Para tiempos 0 < w1 < · · · < wn < t... . . . Xw2 ≥ 2. . para y1 < · · · < yn .

La pregunta es ¿cu´ntos de estos eventos ocurrieron en el subintervalo a [0. P (Xu = k. Xw1 = 1). . Proceso de Poisson Observe que bajo el signo de derivada. . que aparece en la segunda igualdad. Suponga Xt = n. La f´rmula anterior nos provee de un mecanismo para obtener simulaciones por o computadora de las trayectorias del proceso Poisson. . Xwn ≥ n. o P (Xu = k | Xt = n) = = = = P (Xu = k. Suponga que durante el intervalo de tiempo [0. . . el evento (Xt = n) ha e ocurrido. Xt = n)/P (Xt = n) P (Xu = k)P (Xt − Xu = n − k)/P (Xt = n) P (Xu = k)P (Xt−u = n − k)/P (Xt = n). . Sean s y t tiempos tales que 0 < s < t. t] se han observado n ocurrencias del evento de inter´s. . . es decir. . A continuaci´n genere o o n valores u1 . la derivada se anula.2. Genere un valor al azar de la variable Xt con distribuci´n Poisson(λt). Proposici´n. Xt − Xu = n − k)/P (Xt = n) Substituyendo estas probabilidades y simplificando se obtiene el resultado. El procedimiento es el siguiente: Fije un valor t y asigne un valor para λ.1. Xw2 ≥ 2. pues si alguna de estas identidades (exceptuando la primera) fuera distinta de uno. . es id´ntica a la e probabilidad de (Xt − Xwn = 0. . y sean k y n enteros o tales que 0 ≤ k ≤ n. . y ordene estos valores de menor o a mayor: u(1) ≤ · · · ≤ u(n) . Estos son los tiempos en donde la trayectoria tiene saltos. Entonces P (Xs = k | Xt = n) = n s k s ( ) (1 − )n−k . El siguiente resultado establece una forma de obtener la distribuci´n binomial a o partir del proceso de Poisson. De esta forma pueden obtenerse trayectorias como la que se muestra en la Figura 4.104 4. s/t). t). un de la distribuci´n unif(0. Xt = n). Por la propiedad de incrementos independientes. Xw2 − Xw1 = 1. Xwn − Xwn−1 = 1. la probabilidad del evento (Xw1 ≥ 1. . k t t Demostraci´n. s]? Demostraremos a continuaci´n que esta variable aleatoria tiene distribuci´n o o binomial(n.

a Proposici´n. Revisaremos a y comentaremos a continuaci´n dos de ellas. ( λ1 + λ2 k λ1 + λ2 Demostraci´n. Existen otras formas equivalentes y un tanto axiom´ticas de definir a este proceso. Una de las ventajas de contar con o estas definiciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de las definiciones a conveniencia. El proceso de Poisson 105 Recordando que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson. se puede comprobar f´cilmente el siguiente resultado. Por la hip´tesis de independencia entre los procesos. a Entonces P (X1 (t) = k | X1 (t) + X2 (t) = n) = λ1 n λ1 )k (1 − )n−k . Definiciones alternativas La definici´n (I) de proceso de Poisson es constructiva pues a partir de los tiempos o de interarribo se construye el proceso de conteo correspondiente. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con o par´metros λ1 y λ2 respectivamente. y sean k y n enteros tales que 0 ≤ k ≤ n. X1 (t) + X2 (t) = n)/P (X1 (t) + X2 (t) = n) = = P (X1 (t) = k. 4. Substituyendo estas probabilidades se obtiene el resultado.Cap´ ıtulo 4. o o P (X1 (t) = k | X1 (t) + X2 (t) = n) = P (X1 (t) = k. X2 (t) = n − k)/P (X1 (t) + X2 (t) = n) P (X1 (t) = k) P (X2 (t) = n − k)/P (X1 (t) + X2 (t) = n). .2.

. Es decir. con condici´n inicial pn (0) = 0 para o ′ n ≥ 1. Se define pn (t) = P (Xt = n) o y se considera cualquier h > 0.106 4. El proceso empieza en cero y por el tercer postulado la probabilidad de que pase al estado uno al final de un intervalo de tiempo peque˜ o [0.2. (II) Un proceso de Poisson de par´metro λ > 0 es un proceso a o a tiempo continuo {Xt : t ≥ 0}. en un a intervalo cualquiera de longitud infinitesimal h s´lo pueden ocurrir dos situaciones: o que haya un incremento o que no lo haya. ii) P (Xt+h − Xt ≥ 2) = o(h). para t ≥ 0 y cuando h ց 0. h] es λh + o(h). t + h] a la probabilidad P (Xt+h − Xt = n). cuya soluci´n o o es p0 (t) = c e−λt . . t + h] p0 (t) (1 − λh + o(h)). Entonces pn (t) = −λ pn (t) + λ pn−1 (t).}. b) Tiene incrementos independientes y estacionarios. (Demostraci´n de que la variable Xt+s −Xs tiene distribuci´n Poisson(λt) o o a partir de los postulados de la definici´n (II)). y cuando h ց 0. la probabilidad de que el proceso no sufra n ning´ n cambio en dicho intervalo es 1 − λh + o(h). Ejemplo. ′ Haciendo h → 0 se obtiene la ecuaci´n diferencial p0 (t) = −λ p0 (t). Denotaremos por pn (t. o p0 (t + h) = = p0 (t) p0 (t. t + h] + pn−1 (t) p1 (t. Por la hip´tesis de independencia. . y que cumple las siguientes propiedades: a) X0 = 0. Esta definici´n hace uso de las probabilidades infinitesimales del proceso y ello tiene o algunas ventajas desde el punto de vista de la interpretaci´n de lo que sucede en o un intervalo infinitesimal de tiempo (t. t + h] + o(h) = pn (t) (1 − λh + o(h)) + pn−1 (t) (λh + o(h)) + o(h). o Ahora encontraremos pn (t) para n ≥ 1. t + h]. c) Para cualquier t ≥ 0. 1. y finalmente la probabilidad de u que el proceso tenga dos o m´s incrementos en tal intervalo es o(h). con espacio de estados {0. Definiciones alternativas Definici´n. en donde la constante c es uno por la condici´n inicial p0 (0) = 1. pn (t + h) ′ = pn (t) p0 (t. i) P (Xt+h − Xt ≥ 1) = λh + o(h). Definiendo qn (t) = eλt pn (t) la ecuaci´n diferencial se transforma en qn (t) = o . Nuevamente por independencia.

Debido al postulado de incrementos estacionarios. en general e ı qn (t) = (λt)n /n! Por lo tanto pn (t) = e−λt (λt)n /n! Esto significa que Xt tiene distribuci´n Poisson(λt). b) Tiene incrementos independientes. despu´s para q2 (t). Usando la definici´n (III). . la vao riable Xt+s − Xs tiene la misma distribuci´n que Xt . y para cualquier t ≥ 0 y h > 0. Para demostrar la equivalencia con la definici´n (I). o Definici´n. . t > 0. . El proceso de Poisson 107 λ qn−1 (t).Cap´ ıtulo 4. y as´ sucesivamente. c) Xt+s − Xs ∼ Poisson(λt). La indepeno dencia de los incrementos es expl´ ıcita. Proposici´n. Hemos demostrado que (II) ⇒ (III). para cualesquiera s ≥ 0. P (Xt+h − Xt ≥ 1) = = = = 1 − P (Xt+h − Xt = 0) 1 − e−λh 1 − (1 − λh + o(h)) λh + o(h). (II) y (III) son equivalentes. El rec´ o ıproco es inmediato pues la propiedad de incrementos independientes y estacionarios aparecen en ambas definiciones. . demuestre que la suma de dos procesos de o Poisson independientes es nuevamente un proceso Poisson. 1. o Demostraci´n. (III) Un proceso de Poisson de par´metro λ > 0 es un proceso a o a tiempo continuo {Xt : t ≥ 0} con espacio de estados {0. con trayectorias no decrecientes y que cumple las siguientes propiedades: a) X0 = 0. y la estacionariedad de los mismos aparece de manera impl´ ıcita en el tercer postulado. e o Ejercicio. Las definiciones (I). A partir de o ella inmediatamente sabemos que Xt tiene distribuci´n Poisson(λt). Esta es posiblemente la definici´n mas frecuente del proceso de Poisson. Esta ecuaci´n se resuelve iterao tivamente primero para q1 (t).}. el reto consiste en definir los tiempos de interarribo y demostrar que o ´stos son variables aleatorias independientes con distribuci´n exponencial(λ). con condiciones qn (0) = 0 y q0 (t) = 1.

. ... . .Tn (t1 .4. .108 An´logamente a 4. . . En conjunto esto demuestra que (I) ⇔ (III) ⇔ (II). .2. . tn > 0 tiempos cualesquiera y sean ∆t1 . etc´tera. . . o Presentaremos a continuaci´n algunas generalizaciones del proceso de Poisson. o Observe que la pregunta acerca de la existencia de un proceso estoc´stico que a cumpla los postulados de la definici´n (II) o (III) queda resuelta al verificar la o equivalencia de tales postulados con la definici´n constructiva (I). . . Definiciones alternativas P (Xt+h − Xt ≥ 2) = = = = o(h).Tn (t1 . . tn )∆t1 · · · ∆tn = = (e−λt1 · e−λ∆t1 λ∆t1 ) (e−λt2 · e−λ∆t2 λ∆t2 ) · · · (e−λtn · e−λ∆tn λ∆tn ) λ e−λt1 · λ e−λt2 · · · λ e−λtn · ∆t1 · · · ∆tn · e−λ(∆t1 +···+∆tn ) fT1 . T2 tome un valor en el intervalo ∆t2 . . T2 . ∆tn las longitudes que se muestran en la Figura 4.. ∆tn → 0 se obtiene . . .. Tambi´n antes a e hemos demostrado que (I) ⇒ (III). Daremos una demostraci´n no completamente rigurosa de este resultado. . . Una o de tales generalizaciones que estudiaremos con mayor detalle en un cap´ ıtulo m´s a Al hacer ∆t1 . .4: La probabilidad de que T1 tome un valor en el intervalo ∆t1 . . . Para demostrar el rec´ ıproco es necesario comprobar que los tiempos de interarribo T1 .. Tn son independientes y cada una de ellas tiene distribuci´n exp(λ). . Esto demuestra que las variables T1 .. ... . . es e fT1 . o Sean t1 . 1 − e−λh − e−λh λh 1 − (1 − λh + o(h)) − (λh + o(h)) 1 − P (Xt+h − Xt = 0) − P (Xt+h − Xt = 1) Estos c´lculos y lo desarrollado antes demuestran que (II) ⇔ (III). t1 0 ∆t1 t2 ∆t2 tn ∆tn Figura 4. son independientes con distribuci´n o exp(λ). tn ) = λ e−λt1 · λ e−λt2 · · · λ e−λtn . .

con par´metro la funci´n a o positiva y localmente integrable λ(t). i) P (Xt+h − Xt ≥ 1) = λ(t) h + o(h). ii) P (Xt+h − Xt ≥ 2) = o(h). Un proceso de Poisson no homog´neo es un proceso a tiempo cono e tinuo {Xt : t ≥ 0}. Sin o embargo. o 4. Es decir. generalmente de manera a ıa decreciente. Definici´n. . . . . c) Para cualquier t ≥ 0. Comparando esta definici´n con la definici´n (II) de proceso de Poisson se observa o o mucha similaridad excepto por dos aspectos: En lugar de la constante λ se escribe ahora la funci´n λ(t). con espacio de estados {0.3. la variable Xt contin´ a ıa e u teniendo distribuci´n Poisson como a continuaci´n demostraremos. y en completa analog´ con el caso homog´neo. . y cuando h ց 0.}.Cap´ ıtulo 4. en tal caso se pierde la propiedad de Markov del proceso. no son necesariamente exponenciales. . y la hip´tesis de incrementos estacionarios ya no aparece. Ello o o es consecuencia de que el par´metro var´ con el tiempo. b) Los incrementos son independientes. y que cumple las siguientes propiedades: a) X0 = 0. A este tipo de procesos se les llama procesos de renovaci´n. El proceso de Poisson 109 adelante es aquella en la que se considera que las variables T1 . A veces a este proceso se le llama o tambi´n proceso de Poisson con par´metro dependiente del tiempo. s + t]. o o . T2 . Este modelo e a puede ser naturalmente m´s adecuado para algunas situaciones reales aunque deja a de cumplir la propiedad de Markov. Proceso de Poisson no homog´neo e Se considera ahora que el par´metro λ del proceso de Poisson no es necesariamente a una constante sino una funci´n del tiempo. 1. la distribuci´n de probabilidad de la variable incremento o Xt+s − Xs depende de los valores de la funci´n λ en el intervalo (s.

t + h] + o(h) pn (t) (1 − λ(t)h + o(h)) + pn−1 (t) (λ(t)h + o(h)) + o(h). Esta ecuaci´n se reo suelve iterativamente primero para q1 (t). pn (t + h) = = ′ ′ pn (t) p0 (t. Nuevamente por o independencia. los a e incrementos de este proceso tambi´n tienen distribuci´n Poisson. e o Proposici´n. t + h] a la probabilidad P (Xt+h − Xt = n). despu´s para q2 (t). en donde la constante c es uno debido a la condio ci´n inicial p0 (0) = 1. Ahora encontraremos pn (t) para n ≥ 1. n! Demostraci´n.3. Definiendo qn (t) = eΛ(t) pn (t) la ecuaci´n diferencial se transforma en o ′ qn (t) = λ(t) qn−1 (t). Denotaremos por pn (t. P (Xt = n) = e−Λ(t) [Λ(t)]n . p0 (t + h) = p0 (t) p0 (t. Calculando la derivada se obtiene la ecuaci´n diferencial p0 (t) = −λ(t) p0 (t). La prueba es an´loga a una de las realizadas en el caso homog´neo. con condici´n inicial pn (0) = 0 pao ra n ≥ 1. Xt+s − Xs tiene distribuci´n Poisson(Λ(t + s) − Λ(s)). o a e Se define nuevamente pn (t) = P (Xt = n) y se considera cualquier h > 0. con condiciones qn (0) = 0 y q0 (t) = 1. t + h] + pn−1 (t) p1 (t. a o es decir. . . De manera an´loga al caso homog´neo. Entonces pn (t) = −λ(t) pn (t) + λ(t) pn−1 (t). La variable Xt en un proceso de Poisson no homog´neo de o e t par´metro λ(t) tiene distribuci´n Poisson(Λ(t)). o o . y as´ sucesivamente. Proceso de Poisson no homog´neo e Proposici´n. en donde Λ(t) = 0 λ(s) ds. son trayectorias no decrecientes y con saltos unitarios hacia arriba. t + h] = p0 (t) (1 − λ(t)h + o(h)). ı Las trayectorias de un proceso de Poisson no homog´neo son semejantes a las e trayectorias de un proceso de Poisson. .110 4. para n = 0. pero la frecuencia promedio con la que aparecen los saltos cambia a lo largo del tiempo. es decir. e ı en general qn (t) = (Λ(t))n /n! y de aqu´ se obtiene pn (t). cuya o soluci´n es p0 (t) = c e−Λ(t) . Por la hip´tesis de o independencia. 1. para t ≥ 0 y cuando h ց 0.

Usaremos la definici´n (III) de proceso de Poisson. la funci´n de intensidad Λ(t) es continua y no o o decreciente. Recordando que la funci´n generadora de momentos de o la distribuci´n Poisson(λ) es M (r) = exp [λ(er − 1)]. Antes de demostrar este resultado observemos que e a como la funci´n t → λ(t) es positiva. y se recupera el o proceso de Poisson homog´neo. o Proposici´n. y en general no es invertible. y que es una funci´n continua y creciente. en el lado derecho aparece la suma de dos variables aleatorias independientes. Λ(t) es diferenciable y e por lo tanto Λ′ (t) = λ(t). Un proceso de Poisson no homog´neo o e en donde {Λ(t) : t ≥ 0} es un proceso estoc´stico se le llama proceso de Cox. Cuando λ(t) es continua. Defina la funci´n o o Λ−1 (t) = ´nf{u ≥ 0 : Λ(u) = t}. a El siguiente resultado establece que bajo una transformaci´n del par´metro tiempo. bajo la funci´n creciente Λ−1 (t) estos o tiempos se transforman en una nueva colecci´n mon´tona de tiempos o o 0 ≤ Λ−1 (t1 ) < Λ−1 (t2 ) < · · · < Λ−1 (tn ). Por lo tanto MXt+s −Xs (r) = exp [(Λ(t + s) − Λ(s)) (er − 1)]. la inversa por la derecha Λ−1 (t) = ´ ınf{u ≥ 0 : Λ(u) = t}. Se escribe Xt+s = Xs + (Xt+s − Xs ). por el axioma de o incrementos independientes. Sea {Xt } un proceso de Poisson no homog´neo de par´metro o e a t λ(t).Cap´ ıtulo 4. A la funci´n Λ(t) se le llama funci´n de intensidad y a λ(t) o o se le conoce como funci´n de valor medio. Si la funci´n λ(t) es constante igual a λ. o a un proceso de Poisson no homog´neo puede ser llevado a un proceso de Poisson e homog´neo de par´metro uno. ı Entonces el proceso {XΛ−1 (t) } es un proceso de Poisson homog´neo de par´mee a tro λ = 1. en donde. . Puede definirse. al aplicar este resultado a la o ecuaci´n anterior se obtiene o exp [Λ(t + s) (er − 1)] = exp [Λ(s) (er − 1)] MXt+s −Xs (r). entonces Λ(t) = λt. que cumple la identidad Λ(Λ−1 (t)) = t. sin embargo. El proceso XΛ−1 (t) o o empieza en cero y tiene incrementos independientes pues si se consideran cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn . El proceso de Poisson 111 Demostraci´n. Demostraci´n. y funci´n de intensidad Λ(t) = 0 λ(s) ds.

. . una sucesi´n de o o variables aleatorias independientes. . XΛ−1 (tn ) − XΛ−1 (tn−1 ) son independientes. Sea {Nt } un proceso de Poisson y sea Y1 . . por ejemplo. . . e 4. . . Pueden definirse los tiempos de interarribo T1 . los tiempos a o de interarribo T1 . T2 depende de λ(t) para valores de t mayores a T1 . XΛ−1 (t2 ) − XΛ−1 (t1 ) . Finalmente. no son independientes pues. . . Tal tipo de modelos encuentra aplicaci´n natural en distino tos contextos. . la variable Xt puede interpretarse como el monto total de reclamaciones recibidas por una compa˜´ aseguradora al tiempo t. o Definici´n. El proceso nıa de Poisson determina el n´ mero de siniesu tros o reclamaciones efectuadas hasta un Xt (ω) Y3 Y2 Y1 t Figura 4.. T2 .5: . t ≥ 0 el incremento XΛ−1 (t+s) − XΛ−1 (s) tiene distribuci´n Poisson de par´metro Λ(Λ−1 (t + s)) − o a Λ(Λ−1 (s)) = (t + s) − s = t. El proceso de Poisson compuesto se define de la siguiente forma: Nt Xt = n=0 Yn .4. . Y por las mismas razones las distribuciones de estas variables no son id´nticas. . Y2 .112 4. debido a que el par´metro λ(t) es una funci´n del tiempo. .. La variable Xt es una suma de variables aleatorias en donde el n´ mero de suu mandos es aleatorio. por ejemplo. id´nticamente distribuidas e independientes e del proceso Poisson. Proceso de Poisson compuesto Esta es una de las generalizaciones del proceso de Poisson m´s conocidas y de a amplia aplicaci´n. para un proceso de Poisson no homog´neo de manera an´loga al caso e a homog´neo.. T2 . Sea Y0 = 0. Por hip´tesis los incrementos de este procesos son independientes. Proceso de Poisson compuesto Por lo tanto las variables XΛ−1 (t1 ) . sin e o embargo. W2 .4. para cualesquiera tiempos s. y los tiempos de saltos W1 .

Observe que si las variables Y1 . c) Var(Xt ) = λ t E(Y 2 ). . son todas id´nticamente uno. El proceso de Poisson 113 momento cualquiera. .5 se muestra una trayectoria de este proceso y en los siguientes ejercicios se presentan algunas de sus propiedades b´sicas. MXt (u) = o E(euXt ) es MXt (u) = exp [ λt (MY (u) − 1) ]. Xs ) = λ E(Y 2 ) m´ ın{s.} se dice que este proceso es un proceso de Poisson generalizado pues los saltos ya no son necesariamente unitarios. . . La mayor´ de los a ıa textos sobre procesos estoc´sticos que aparecen en la bibliograf´ cuentan por lo a ıa menos con una secci´n sobre este tema. Cuando las variables Y1 . Algunos textos espec´ o ıficos que dedican un cap´ ıtulo entero para el proceso de Poisson son: Basu [1].Cap´ ıtulo 4. a) La funci´n generadora de momentos de la variable Xt . . a toman valores en el conjunto {1. t}. b) E(Xt ) = λ t E(Y ). es decir. En la Fie o gura 4. Y2 . Taylor y Karlin [37]. d) Cov(Xt . . este proceso se reduce e al proceso de Poisson. y Jones y Smith [17]. . . . Y2 . Demuestre que el proceso de Poisson compuesto satisface las siguientes propiedades. Notas y referencias. . 2. El proceso de Poisson es otro de los temas cl´sicos que a se estudia en los cursos elementales de procesos estoc´sticos. La variable Yn representa el monto de la n-´sima reclamaci´n y es natural suponer Yn > 0. Ejercicio. e) Tiene incrementos independientes y estacionarios.

b) E(X5 | X2 = 1). Calcule a) E(Xτ | τ = t). X2 = 6). d ) Var(Xτ ). Sea Wn el instante en a el que ocurre el n-´simo evento. 72. 73. c) E(W7 ). Calcule e a) E(X5 ). Los clientes de una tienda entran al establecimiento de acuerdo a un proceso de Poisson de par´metro λ = 4. b) P (X1 = 3. e) E(W7 | W5 = 4). Sea Xt el n´ mero de clientes que han a u ingresado hasta el instante t. Sea τ el momento en el que llega el primer a autob´ s. Proceso de Poisson compuesto Ejercicios Proceso de Poisson 71. b) E(Xτ ). e) P (X2 ≤ 3). d ) E(W7 | X2 = 3). 2 c) E(Xτ | τ = t). f ) P (X1 ≥ 4 | X1 ≥ 2).4. c) P (X1 = 0 | X3 = 4).114 4. 1) u o e independiente del proceso de Poisson. d ) P (X2 = 4 | X1 = 2). . Los pasajeros llegan a una parada de autob´ s de acuerdo a un proceso de u Poisson {Xt } de par´metro λ = 2. Suponga que τ es una variable aleatoria con distribuci´n unif(0. Sea {Xt } un proceso de Poisson de par´metro λ = 2. Calcule a) P (X2 = 1).

El proceso de Poisson 115 74. λ) y que la correspondiente funci´n de distribuci´n puede escribirse o o de la siguiente forma: para cada t > 0. 1). . Yt+s = n + m) = t s ( 1+t+s )n+m+1 . si T1 + · · · + Tk ≤ 1 < T1 + · · · + Tk+1 . 1+t 1+t n+m n m 1 b) P (Yt = n. 1. . k! 77. entonces Y := − λ ln(1 − o X) tiene distribuci´n exp(λ). Demuestre que si X tiene distribuci´n unif(0.. 76. Demuestre que la suma Wn = T1 + · · · + Tn tiene distribuci´n o o gama(n. . n Concluya que las variables Yt y Yt+s − Yt no son independientes. 78. W2 > t2 ) = e−λt1 (1 + λ(t2 − t1 )) e−λ(t2 −t1 ) . b) P (W1 > t1 . Este resultado puede ser o usado para obtener valores al azar de la distribuci´n Poisson. . . Defina el proceso o Yt = Xθt . Sean T1 .Cap´ ıtulo 4. . Xt2 − Xt1 = 0 ´ 1). T2 . Sea {Xt } un proceso de Poisson de par´metro λ. para 0 < t1 < t2 . W2 > t2 ) = (Xt1 = 0.W2 (t1 . para n = 0. 1). . a) (W1 > t1 . Sea {Xt } un proceso de Poisson de par´metro λ = 1. . Defina la variable aleatoria N de o la siguiente forma N= 0 k si T1 > 1. Este resultado puede ser usado para generar o valores al azar de la distribuci´n exp(λ) a partir de valores de la distribuci´n o o unif(0. Demuestre que a) P (Yt = n) = 1 t n ( ) . o 1 75. P (Wn ≤ t) = ∞ k=n e−λt (λt)k . e independiente de a una variable aleatoria θ con distribuci´n exp(λ) con λ = 1. . . . Demuestre que N tiene distribuci´n Poisson(λ). Sean T1 . o c) fW1 . t2 ) = λ2 e−λt2 . Tn variables aleatorias independientes cada una con distribuci´n exp(λ). Demuestre los siguientes a resultados de manera sucesiva. una sucesi´n de variables aleatorias independientes id´nticao e mente distribuidas con distribuci´n exp(λ).

Xt = 1) = λ(t − s)e−λt . Para un proceso de Poisson de par´metro λ demuestre que a Cov(Xt . y sea s > 0 un tiempo fijo. Sea {Xt } proceso de Poisson de par´metro λ.6: 83. 82. y sean s y t dos tiempos tales a que 0 ≤ s < t. Proceso de Poisson compuesto d ) fW1 (t1 ) = λ e−λt1 . En la Figura 4. y cosh(x) = (ex + e−x )/2. Xt Yt 3 2 1 2 1 t t s Figura 4. b) P (Xs = Xt ) = e−λ(t−s) . 80. b) P (“Xt sea par”) = e−λt cosh(λt). Xs ) = λ m´ ın{s.116 4.6 se ilustra gr´ficamente la definici´n de este a a o nuevo proceso. Para un proceso de Poisson de par´metro λ demuestre que a a) P (“Xt sea impar”) = e−λt senh(λt).4. t}. 79. Demuestre que a . e) fW2 (t2 ) = λ2 t1 e−λt1 . Sea {Xt } un proceso de Poisson de par´metro λ. Las funciones seno y coseno hiperb´lico se definen de la siguiente forma: o senh(x) = (ex − e−x )/2. Demuestre que a) P (Xs = 0. 81. Sea {Xt } un proceso de Poisson de par´metro λ. a Demuestre que el proceso Yt = Xt+s − Xs tambi´n es un proceso de Poisson e de par´metro λ. f ) Las variables T1 = W1 y T2 = W2 − W1 son independientes.

Cap´ ıtulo 4. El proceso de Poisson λ2 e−λw2 0 1/w2 0 si 0 < w1 < w2 , otro caso. si w1 ∈ (0, w2 ), si w2 ∈ (w1 , ∞), otro caso.

117

a) fW1 ,W2 (w1 , w2 ) = b) fW1 | W2 (w1 | w2 ) = c) fW2 | W1 (w2 | w1 ) =

otro caso.

λe−λ(w2 −w1 ) 0

84. Sea {Xt } un proceso de Poisson de par´metro λ. Sea T una variable aleatoria a con distribuci´n exp(θ) e independiente del proceso de Poisson. Encuentre la o funci´n de densidad de la variable XT . o 85. Sea {Xt } un proceso de Poisson de par´metro λ. Sean r y n dos enteros tales a que 1 ≤ r ≤ n, y sea t > 0. Suponga que el evento (Xt = n) ocurre. Encuentre la densidad condicional de Wr . 86. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con par´metros a λ1 y λ2 respectivamente. Calcule la probabilidad de que a) X1 (t) = 1 antes que X2 (t) = 1. b) X1 (t) = 2 antes que X2 (t) = 2. 87. Suponga que un cierto aparato el´ctrico sufre desperfectos a lo largo del e tiempo de acuerdo a un proceso de Poisson de par´metro λ. Suponga que a cada vez que el aparato se descompone es enviado a reparaci´n y despu´s o e es puesto en funcionamiento nuevamente. Suponga adem´s que el aparato se a reemplaza completamente por uno nuevo cuando el tiempo que transcurre entre dos descomposturas sucesivas es menor o igual a una cierta constante a > 0, incluyendo el tiempo antes de la primera reparaci´n. Encuentre la o funci´n de densidad del o a) tiempo de vida util del equipo antes de ser reemplazado. ´ b) n´ mero de reparaciones antes de realizar el reemplazo. u 88. Suponga que un cierto circuito recibe impulsos el´ctricos de acuerdo a un e proceso de Poisson de par´metro λ. Suponga adem´s que el circuito se desa a compone al recibir el k-´simo impulso. Encuentre la funci´n de densidad del e o tiempo de vida del circuito.

118

4.4. Proceso de Poisson compuesto

89. Sean X1 (t), . . . , Xn (t) procesos de Poisson independientes, todos de par´mea tro λ. Encuentre la distribuci´n de probabilidad del primer momento en el o cual a) ha ocurrido en cada uno de los procesos al menos un evento. b) ocurre el primer evento en cualquiera de los procesos. 90. Sean {X1 (t)} y {X2 (t)} dos procesos de Poisson independientes con par´mea tros λ1 y λ2 , respectivamente. Sea n cualquier n´ mero natural, y defina el u tiempo aleatorio τ = ´ {t ≥ 0 : X1 (t) = n}. Demuestre que X2 (τ ) tiene ınf distribuci´n binomial negativa, es decir, para k = 0, 1, . . . o P (X2 (τ ) = k) = n+k−1 k λ1 λ1 + λ2
k

λ2 λ1 + λ2

n

.

91. Sea {Xt } un proceso de Poisson de par´metro λ, y sea a > 0 una constante. a Demuestre que {Xat } es un proceso de Poisson de par´metro λa. a 92. Sea {Xt } un proceso de Poisson de par´metro λ. Demuestre que, condicionado a a que el proceso tiene exactamente un salto en el intervalo [s, s+t], el momento en el que ese salto ocurre se distribuye de manera uniforme en dicho intervalo. 93. Sea {Xt } un proceso de Poisson de par´metro λ. Sunponga que cada evento a registrado es tipo 1 con probabilidad α, o de tipo 2 con probabilidad 1 − α. Sea X1 (t) el n´ mero de eventos del tipo 1 al tiempo t, y sea X2 (t) lo u correspondiente a eventos del tipo 2. a) Demuestre que {X1 (t)} y {X2 (t)} son procesos de Poisson de par´metro a λα y λ(1 − α) respectivamente.

b) Demuestre que {X1 (t)} y {X2 (t)} son independientes.

94. Suponga que los mensajes llegan a una cierta cuenta de correo electr´nico de o acuerdo a un proceso de Poisson de par´metro λ. Cada mensaje recibido es a de tipo “basura” con probabilidad α y “no basura” con probabilidad 1 − α. a) Dado que hasta el tiempo t ha llegado n mensajes, encuentre la distribuci´n del n´ mero de mensajes tipo “basura” que hasta ese momento o u han llegado. b) Suponiendo que se recibe un mensaje tipo “basura” en alg´n momento, u encuentre la distribuci´n del n´ mero total de mensajes recibidos hasta o u la llegada del siguiente mensaje tipo “basura”.

Cap´ ıtulo 4. El proceso de Poisson

119

c) Encuentre la probabilidad de que al tiempo t hayan llegado mas mensajes tipo “basura” que “no basura”. 95. Sean T1 , T2 , . . . los tiempos de interarribo de un proceso de Poisson de par´mea tro λ, y sea c una constante positiva. Defina N = m´ ın{n ≥ 1 : Tn > c}. Calcule E(WN −1 + c). Distribuciones asociadas al proceso de Poisson 96. Sea t0 un tiempo positivo fijo y suponga que hasta ese momento se ha observado un solo evento de un proceso de Poisson, es decir, Xt0 = 1. La pregunta es ¿cu´ndo ocurri´ tal evento? Demuestre que la distribuci´n condicional del a o o momento en el que se ha registrado el evento, es decir T1 , es uniforme en el intervalo [0, t0 ]. 97. Sea {Xt } un proceso Poisson de tasa λ y sean dos tiempos 0 < s < t. Defina la variable X(s,t] como el n´ mero de eventos del proceso de Poisson que ocurren u en el intervalo (s, t]. Demuestre que, condicionada a la ocurrencia del evento (Xt = n), la variable X(s,t] tiene distribuci´n binomial(n, 1 − s/t). o Proceso de Poisson no homog´neo e 98. Sea {Xt } un proceso Poisson no homog´neo de intensidad λ(t), sean T1 , T2 , . . . e los tiempos de interarribo, y sean W1 , W2 , . . . los tiempos reales de ocurrencia. Demuestre que para cualquier t > 0, a) fT1 (t) = e−Λ(t) λ(t). b)fT2 |T1 (t|s) = e−Λ(t+s)+Λ(s) λ(t + s). c) fT2 (t) =
0 ∞

e−Λ(t+s) λ(t + s) λ(s) ds. [Λ(t)]n−1 λ(t). (n − 1)!

d) fWn (t) = e−Λ(t)

e) FTk |Wk−1 (t|s) = 1 − e−Λ(t+s)+Λ(s) . f) FTk (t) = 1 −

e−Λ(t+s)

0

[Λ(s)]k−2 λ(s) ds, k ≥ 2. (k − 2)!

120

4.4. Proceso de Poisson compuesto

Proceso de Poisson compuesto 99. Suponga que los sumandos Y de un proceso de Poisson compuesto {Xt } de par´metro λ tienen distribuci´n exp(µ). Encuentre la distribuci´n de la a o o variable Xt . 100. Sea {Xt } un proceso de Poisson compuesto de par´metro λ. Suponga que a cada una de las variables Y de este proceso es constante igual a k ∈ N. Encuentre la distribuci´n de Xt . o 101. Suponga que los usuarios de cuentas de correo electr´nico solicitan acceso o al servidor de acuerdo a un proceso de Poisson homog´neo de par´metro e a λ. Suponga adem´s que cada usuario se mantiene conectado al servidor un a tiempo aleatorio con funci´n de distribuci´n F (x), e independiente uno del o o otro. Sea Ct el n´ mero de usuarios conectados al servidor tiempo t. Demuestre u que para k = 0, 1, . . . P (Ct = k) = en donde α(t) =
t 0 (1

[λα(t)]k −λα(t) e , k!

− F (x)) dx.

Cap´ ıtulo 5

Cadenas de Markov a tiempo continuo

Vamos a considerar ahora cadenas de Markov {Xt : t ≥ 0} en donde el tiempo es continuo y las variables toman valores enteros. Varios de los conceptos que mencionaremos para este tipo de procesos son an´logos al caso de tiempo discreto, a pero existen diferencias en el comportamiento y desarrollo matem´tico entre los a dos modelos, y no pretendemos presentar y justificar la teor´ completa. ıa Usando la misma notaci´n que en el caso de tiempos discretos, recordemos que el o t´rmino p(xt ) significa P (Xt = xt ). La propiedad de Markov que consideraremos e tiene la siguiente forma: Para cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn , p(xtn | xt1 , . . . , xtn−1 ) = p(xtn | xtn−1 ). Observe que no estamos suponiendo que se conoce la historia del proceso en todo el pasado a tiempo continuo, sino unicamente en una colecci´n arbitraria pero finita de ´ o tiempos pasados t1 , . . . , tn−1 . Supondremos nuevamente que estas probabilidades de transici´n son estacionarias en el tiempo, esto significa que para cada s ≥ 0 y o t ≥ 0, la probabilidad P (Xt+s = j | Xs = i) es id´ntica a P (Xt = j | X0 = i), es e decir, no hay dependencia del valor de s. Esta probabilidad se escribe de manera breve mediante la expresi´n pij (t), para i y j enteros no negativos. En particular o para t = 0 se define nuevamente pij (0) como la funci´n delta de Kronecker, es decir, o pij (0) = δij = 1 0 si i = j, si i = j.

121

1. .122 5. y se llaman tiempos de estancia (passage times). . Procesos de saltos Haciendo variar los ´ ındices i y j en el espacio de estados. El sistema permanece ahora en t el estado i2 un tiempo aleatoTi3 Ti1 Ti2 Ti4 rio Ti2 al cabo del cual brinca a otro estado i3 distinto del inFigura 5. Plantearemos a continuaci´n el modelo general de cadena de Markov a tiempo o continuo.1: mediato anterior. Los momentos en donde el proceso tiene saltos son los tiempos Wn = Ti1 + · · · + Tin . Esta sucesi´n de salo tos se muestra gr´ficamente en la Figura 5.1. se obtiene la matriz de probabilidades de transici´n al tiempo t: o   p00 (t) p01 (t) · · ·   Pt =  p10 (t) p11 (t) · · ·  .  .  . Xt =  i3 si W2 ≤ t < W3 . y despu´s salta a un nuevo e i3 estado i2 distinto del anterior. para n ≥ 1. . . . 5. Los tiempos aleatorios T son los a tiempos en los que el proceso permanece constante en alguno de sus estados.1. . y despu´s revisaremos algunos e modelos particulares. y as´ sucesiı vamente. .    i2 si W1 ≤ t < W2 . Procesos de saltos Considere un proceso a tiemXt (ω) po continuo {Xt : t ≥ 0} que i4 inicia en el estado i1 al tiempo i2 cero.  . estudiaremos algunas de sus propiedades. El proceso permanece en ese estado un tiempo aleatorio i1 Ti1 . El proceso puede entonces escribirse de la forma siguiente:   i1 si 0 ≤ t < W1 .

la cual supondremos positiva con funci´n de distribuci´n Fi (t). y o con ello se inhibe. Cadenas de Markov a tiempo continuo 123 Un proceso de estas caracter´ ısticas se llama proceso de saltos.Cap´ ıtulo 5. Probabilidades de transici´n. Adicionalmente impondremos la condici´n pii = 0. En tal situaci´n el proceso no estar´ bien definido para todo t ≥ 0. Puede suceder que los tiempos de estancia T sean cada vez m´s o a peque˜ os de tal forma que l´ n→∞ Wn < ∞. los procesos de saltos que consideraremos estar´n restringidos por las siguientes condiciones: a No explosi´n. y parece ser una buena versi´n continua de las cadenas de Markov a tiempo discreto. . Supondremos que el espacio de estados es {0. Supondremos que los tiempos de estancia Ti1 .} o y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti . es decir. se denotar´ por pij a la probabilidad de que la cadena a salte del estado i al estado j. y en el segundo caso que es absorbente. En el primer caso se dice que el estado i es no absorbente. Estados absorbentes o no absorbentes. b) pii = 0. y tampoco hay garant´ de que se cumpla la propiedad de ıa Markov. . Las probabilidades de transici´n cumplen entonces las siguientes condiciones: o a) pij ≥ 0. Supondremos que cada variable Ti es finita con probabilidad uno. Independencia. Estamos entonces suponiendo que s´lo hay dos tipos de estados: absorbentes o no o . o bien es infinita con probabilidad uno. c) j pij = 1. Como en el caso de o o cadenas a tiempos discreto. El hecho de que Ti = ∞ se interpreta en el sentido de que el proceso deja de saltar y permanece en el estado i el resto del tiempo. . son independientes entre s´ y tambi´n son independientes del mecanismo mediante el cual se ı. y se o ıa dice que el proceso explota en un tiempo finito. es decir. para cada t ≥ 0. e escoge el estado j al cual la cadena brinca despu´s de estar en cualquier otro estado e i. que la cadena salte al mismo estado de partida. existe la posibilidad de que n ım el proceso efect´ e un n´ mero infinito de saltos durante un intervalo de tiempo u u acotado. Sin embargo o puede comprobarse que un proceso con estas caracter´ ısticas pudiera no estar definido para todo t ≥ 0. A fin de evitar situaciones demasiado complicadas. por ahora. Para evitar tal comportamiento supondremos que l´ n→∞ Wn = ∞. Ti2 . es absorbente. el valor de Xt ım es finito. 1. y por lo tanto. . . .

Este proceso modela la situaci´n de espera para la primera ocurrencia de un evento de inter´s.2(a). Se postula e ı que los tiempos de estancia en cada estado son variables aleatorias independientes. y permanece all´ el resto del tiempo.1. es decir. con probabilidad uno el tiempo de estancia es finito o con probabilidad uno es infinito. A un proceso de saltos con las caracter´ o ısticas arriba se˜ aladas se n le llama cadena de Markov a tiempo continuo. Este es un resultado importante o cuya demostraci´n omitiremos y que simplifica el modelo general planteado. Propiedad de Markov. Puede demostrarse . Definici´n. (Cadena de primera ocurrencia). Procesos de saltos absorbentes. Sea Xt el estado de un sistema tal que en cualquier instante se encuentra en alguno de los dos posibles estados: 0 y 1. y s´lo si. Considere el proceso Xt con dos posibles estados: 0 y 1. definido por la siguiente din´mica: Cuando el proceso entra al estado 0 a permanece en ´l un tiempo exp(λ). con λi > 0. Suo pondremos entonces que el tiempo de estancia en un estado no absorbente i tiene distribuci´n exp(λi ). (Cadena de dos estados). los tiempos de estancia de estados o no absorbentes tienen distribuci´n exponencial. entonces permanece en e el estado 1 un tiempo exp(µ) y despu´s regresa a 0. o los par´metros λi . y luego va al estado 1.2(b). en otras palabras. a Ejemplo. Una posible o ı trayectoria de este proceso se muestra en la Figura 5. Las o e probabilidades de transici´n son o Pt = p00 (t) p10 (t) p01 (t) p11 (t) = e−λt 0 1 − e−λt 1 . para t ≥ 0. Ejemplo.124 5. y las probabilidades pij . Suponga que X0 = 0 y que el proceso cambia al estado 1 despu´s de un tiempo e aleatorio con distribuci´n exp(λ). Cuando o Ti = ∞ puede considerarse que λi = 0. Observe que un proceso de Markov a tiempo continuo queda completamente especificado por los siguientes tres elementos: una distribuci´n de probabilidad inicial. Puede demostrarse que el proceso de saltos descrito arriba satisface la propiedad de Markov si. y as´ sucesivamente. Una trayectoria de este proceso se muestra en la Figura 5. Fi (t) = 1 − e−λi t .

2. Toda cadena de Markov a tiempo continuo {Xt : t ≥ 0} tiene asociada una cadena a tiempo discreto que denotaremos por el mismo s´ ımbolo {Xn : n = 0. Inversamente. y que est´ dada por la primera pero observada a en los tiempos en donde se efect´ an los saltos. El proceso de Poisson es una cadena de Markov a tiempo continuo que empieza en cero. Cadenas de Markov a tiempo continuo 125 Xt (ω) 1 t (a) 1 Xt (ω) t (b) Figura 5. o 5. Cadena a tiempo discreto asociada. Propiedades generales Mencionaremos ahora algunos conceptos y propiedades generales de procesos de Markov a tiempo continuo. y las a probabilidades de transici´n de un estado a otro son pi.2: que las probabilidades de transici´n son o Pt = p00 (t) p10 (t) p01 (t) p11 (t) = 1 λ+µ µ µ λ λ + 1 λ+µ λ −µ −λ µ e−(λ+µ)t . .i+1 = 1. a partir de o una cadena a tiempo discreto puede construirse su versi´n continua en el tiempo o tomando tiempos exponenciales independientes entre salto y salto. . . los tiempos de estancia son exponenciales de par´metro λ.}. Ejemplo. Varios de estos resultados son similares a los desarrollados antes para el caso de tiempos discretos.Cap´ ıtulo 5. Algunas caracter´ u ısticas de la cadena a tiempo discreto se trasladan a su versi´n continua. . 1.

para o u cualesquiera estados i y j. i) fXu | Ti . Ti ≤ t | X0 = i) δij e−λi t + 0 t fXt .Ti | X0 (j. Cuando el espacio de estados es finito. Para cualquier t ≥ 0.X0 (j | k. k. u | i) du. λi e−λi u ( k=i fXt | Xu .Ti | X0 (j.Xu . y s´lo en algunos casos es posible encontrar expl´ o ıcitamente tales probabilidades. y para cada t ≥ 0. i) fTi | X0 (u | i) pik pkj (t − u) ) du. Si i es un estado no absorbente. u.e.2. Propiedades generales Probabilidades de transici´n. u | i) = = Por lo tanto. Si i es un estado absorbente. j pij (t) ≤ 1. en general.Xu . Esta es una diferencia inesperada respecto del modelo a tiempo discreto. δij e−λi t + 0 k=i en donde por la propiedad de Markov y la independencia.Ti . Intentar encontrar pij (t) para cada par de estados i y j. es decir. pij (t) = δij e−λi t + 0 t pkj (t − u) pik λi e−λi u . lo cual es correcto. entonces pij (t) = = = = P (Xt = j | X0 = i) t P (Xt = j. y para cualquier tiempo t ≥ 0. i. k. El siguiente resultado nos permitir´ obtener algunas a conclusiones generales acerca de pij (t). entonces la f´rmula se o o reduce a pij (t) = δij .1) Demostraci´n. pero o para espacios de estados infinito esta suma puede ser estrictamente menor a uno. u | i) du fXt . λi = 0. fXt . Sean i y j dos estados. (5.Ti | X0 (j. Ti > t | X0 = i) + P (Xt = j.126 5. . Proposici´n. los elementos de cada rengl´n de esta matriz suman uno.X0 (k | u. o pij (t) = δij e−λi t + λi e−λi t 0 t eλi s ( k=i pik pkj (s) ) ds. Para una cadena de Markov a tiempo continuo o las probabilidades de transici´n son los n´ meros pij (t) = P (Xt = j | X0 = i). es un problema demasiado general.

en t´rminos de probabilidades e . para cualesquiera t. En notaci´n matricial. Las probabilidades de transici´n satisfacen tambi´n una versi´n continua de la o e o ecuaci´n de Chapman-Kolmogorov. (Ecuaci´n de Chapman-Kolmogorov). a c) Pt+s = Pt Ps . esto o a quiere decir que cumple las siguientes propiedades: a) P0 = I. o Demostraci´n. y que en este caso se conoce como la propiedad o de semigrupo. o pij (t + s) = = k P (Xt+s = j | X0 = i) P (Xt+s = j. y para todo t ≥ 0 y s ≥ 0. Proposici´n. Por la propiedad de Markov. Pt+s = Pt Ps . b) Pt es una matriz estoc´stica. k = k = La colecci´n {Pt : t ≥ 0} constituye un semigrupo de matrices estoc´sticas. en donde I es la matriz identidad. s ≥ 0. Xt = k | X0 = i) P (Xt+s = j | Xt = k) P (Xt = k | X0 = i) pik (t) pkj (s). La ecuaci´n de Chapman-Kolmogorov es interesante pues permite expresar a la o probabilidad pij (t). para cualquier tiempo t > 0. Para cualquiera estados i o o y j. pij (t + s) = k pik (t) pkj (s). Cadenas de Markov a tiempo continuo 127 Haciendo el cambio de variable s(u) = t−u en la integral se obtiene el resultado.Cap´ ıtulo 5.

.. . estos par´metros a a son −λi si i = j. Esto quiere decir que es suficiente conocer el comportamiento de pij (t) en tiempos t peque˜ os para conocer su comportamiento para cualquier t > 0. o ij Tomando ahora el l´ ımite cuando t → 0.kn−1 pi. se tiene que p′ (0) = ij = = −λi δij + λi −λi λi pij pik δkj k=i −λi δij + λi pij si i = j. k=i (5. Es decir. n pij (t) = k1 . para cualquier n natural. Para cualquier t > 0.1) se obtiene el siguiente resultado e conocido como el sistema de ecuaciones hacia atr´s de Kolmogorov.2. y se les conoce con el o ij nombre de par´metros infinitesimales del proceso.1) es inmediato observar que las a o probabilidades pij (t) son funciones continuas en t. probabilidades de transici´n en intervalos de tiempo de o longitud muy peque˜ a. Propiedades generales infinitesimales.2) Observe que en particular la derivada p′ (t) es una funci´n continua del tiempo. a Proposici´n.k1 (∆t) pk1 . a Par´metros infinitesimales. gij = (5..3) λi pij si i = j. o p′ (t) = −λi pij (t) + λi ij pik pkj (t). De la f´rmula (5.j (∆t).128 5. Esto implica que la integral es diferenciable y por o lo tanto tambi´n pij (t).1) es una funci´n continua. y en particular el integrando en (5. Derivando entonces (5.. A las cantidades p′ (0) se les denota por gij . Por ejemplo. si i = j. Especificaremos n con detalle este resultado m´s adelante. es decir. tomando ∆t = t/n. Definici´n.k2 (∆t) · · · pkn−1 .

Este resultado es consecuencia de (5. . si i = j. .  (5. 0 −gij /gii si i = j. Un proceso de Markov a tiempo continuo puede ser tambi´n definido a partir del comportamiento de las probabilidades de trane sici´n pij (t) cuando t → 0.4) Esta matriz determina de manera unica el comportamiento de la cadena de Markov ´ a tiempo continuo. c) j gij = 0. . y es el concepto equivalente a la matriz de probabilidades de transici´n en un paso para cadenas a tiempo discreto. (5. si i = j. Observe que gii = 0 cuando el estado i es absorbente. . j j=i Proposici´n.5) Probabilidades infinitesimales. estos nuevos par´metros se escriben en notaci´n matricial a o de la forma siguiente:   G=   −λ0 λ1 p10 λ2 p20 . Cadenas de Markov a tiempo continuo 129 Variando los ´ ındices i y j. λ0 p01 −λ1 λ2 p21 .3) pues a partir de gij se obtiene λi pij = = −gii . . b) gij ≥ 0. Los par´metros infinitesimales determinan de manera unica a la o a ´ cadena de Markov a tiempo continuo. cuando λi = 0. . ··· ··· ···    . λ0 p02 λ1 p12 −λ2 .Cap´ ıtulo 5. Cuando λi > 0 la ultima propiedad se obtiene a partir del hecho de que pii = 0 ´ pues gij = −λi + λi pij = −λi + λi (1 − pii ) = 0. Tales probabilidades se llaman a veces probabilidades o . Se trata de una matriz con o las siguientes propiedades: a) gii ≤ 0. es decir.

Se dice que la cadena es irreducible o cuando todos los estados pertenecen a la misma clase de comunicaci´n.130 5. . . pii (t) = 1 + gii t + o(t). p01 (t) p11 (t) .2. . y en tal caso se escribe i ↔ j. . y µi = E(Ti ) respectivamente. 2. p01 (t) p11 (t) . . . y se escribe i → j. este sistema de ecuaciones se conoce como las ecuaciones hacia atr´s de Kolmogorov. ··· ··· . λ0 p01 −λ1 . ··· −λ0 · · ·  =  λ1 p10   . o Proposici´n. . (5. o 1. pij (t) = gij t + o(t). .  Como hemos mencionado antes.2) puede escribirse en la forma o p′ (t) = ij k gik pkj (t). . Ecuaciones de Kolmogorov. Para cualesquiera estados i y j. . la e a ecuaci´n (5. es decir. El tiempo medio de primera visita es entonces µij = E(Tij ). ··· p00 (t) · · ·   p10 (t)  . . para i = j. Se dice que los estados i y j se comunican u si i → j y j → i. o Tiempos de primera visita. Propiedades generales infinitesimales. y pueden expresarse en t´rminos de los par´metros infinitesimales e a como establece el siguiente resultado y del cual omitiremos su demostraci´n. ı cuando X0 = i. e      p00 (t)  p10 (t)  . Cuando los estados i y j coinciden se escribe Ti . . Se dice que el estado j es accesible desde el estado i si pij (t) > 0 o para alg´ n t ≥ 0. Cuando t → 0. . A µi se le llama tiempo medio de recurrencia.6) En t´rminos de matrices esta igualdad se escribe como P ′ (t) = G P (t). se define Tij = ´nf {t > W1 : Xt = j}. Nuevamente puede demostrarse que la comunicaci´n es una relaci´n de equivalencia. En t´rminos de los par´metros infinitesimales. y eso lleva a una partici´n del o o o espacio de estados en clases de comunicaci´n. a Comunicaci´n.

. y µ1 . Procesos de nacimiento y muerte Un proceso de nacimiento y muerte es una cadena de Markov a tiempo continuo con espacio de estados {0. .3. . . . . partiendo de i. Si X0 tiene como distribuci´n inicial una distribuci´n o o o estacionaria π. .  i i  µi pij =  λ + µ si j = i − 1. son constantes positivas conocidas como las tasas instant´neas de nacimiento y muerte. en donde λ0 . πPt = π. con probabilidad uno el conjunto {t ≥ 0 : Xt = i} es no acotado. es decir. con probabilidad uno el conjunto de tiempos {t ≥ 0 : Xt = i} es acotado. 0 λ1 −(λ2 + µ2 ) . De acuerdo a las ecuacioa nes (5. En cambio. .  . 1. partiendo de i. Distribuciones estacionarias. el tiempo de estancia en el estado i tiene distribuci´n exp(λi +µi ). . tenemos que la matriz de par´metros infinitesimales de a este proceso es de la siguiente forma   −λ0  µ1 G= 0  . Siguiendo la f´rmula general del generador infinitesimal (5. . la variable Xt tiene la misma distribuci´n de probabilidad π para cualquier valor de t. . . respectivamente. . y cuando E(Ti ) < ∞ se dice que es recurrente positivo. Se dice que el estado i es transitorio si. mientras que un salto hacia abajo representa una muerte.} tal que en cada salto la cadena unicamente puede ´ brincar una unidad hacia arriba o una unidad hacia abajo. se dice que es recurrente si.5). En notaci´n matricial. .Cap´ ıtulo 5. π1 . 0 0 λ2 ··· ···  ··· .} o sobre el espacio de estados {0. .  i  i   0 otro caso. λ1 . . Estas probabilidades de saltos de un estado a otro son  λi    λ + µ si j = i + 1. . 1. Una distribuci´n de probabilidad π = {π0 . . Cuando E(Ti ) = ∞ se dice que el estado i es recurrente nulo. Cadenas de Markov a tiempo continuo 131 Recurrencia y transitoriedad.4) o para un proceso de saltos. µ2 . o i πi pij (t) = πj . en dono de se define µ0 = 0. λ0 −(λ1 + µ1 ) µ2 . . Un salto hacia arriba se interpreta como un nacimiento. o 5. . . entonces P (Xt = j) = i πi pij (t) = πj .} es estacionaria para la cadena con matriz de probabilidades de transici´n Pt si para cualquier t ≥ 0.

t + h] visto n como [0. considerando [0. Haciendo un an´lisis sobre estos intervalos puede encona trarse nuevamente que las probabilidades pij (t) satisfacen el sistema de ecuaciones diferenciales hacia atr´s de Kolmogorov: a p′ (t) 0j p′ (t) ij = = −λ0 p0j (t) + λ0 p1j (t).j (t). b) P (Xt+h − Xt = −1 | Xt = k) = µk h + o(h).j (t) − (λi + µi ) pij (t) + λi pi+1. son cero. De manera an´loga. la poblaci´n puede crecer cuando se eno cuentre en el estado cero. µi pi−1.132 5.3.j−1 (t) − (λj + µj ) pij (t) + µj+1 pi. son todas ellas iguales a una constante λ > 0. Procesos de nacimiento y muerte Una posible trayectoria de este proceso se muestra en la Figura 5. pero nunca decrecer por abajo de ese nivel. es posible comprobar a que se cumple el sistema de ecuaciones diferenciales hacia adelante de Kolmogorov: p′ (t) = i0 p′ (t) = ij −λ0 pi0 (t) + µ1 pi1 (t). . Como λ0 > 0 y µ0 = 0. t + h]. . Para cualquier t ≥ 0 y h > 0 peque˜ o consideremos el intervalo [0. y las tasas instant´neas de a a nacimiento λ0 . Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instant´neas de muerte µ0 . t] + (t. c) P (Xt+h − Xt = 0 | Xt = k) = 1 − (λk + µk ) h + o(h).j+1 (t). . en donde pueden o presentarse nacimientos y muertes de individuos.3 con X0 = 0. . Para cualquier t ≥ 0. λj−1 pi. t + h].3: Se pueden tomar las siguientes probabilidades infinitesimales como postulados para definir a este proceso. . Xt (ω) 3 2 1 t Figura 5. hacia arriba o hacia abajo. La matriz de par´metros infinitesimales es entonces de la forma a . a) P (Xt+h − Xt = 1 | Xt = k) = λk h + o(h). La variable Xt puede interpretarse como el n´ mero de individuos en una poblau ci´n al tiempo t. λ1 . los saltos son unitarios. h] + (h. . µ1 . Ejemplo. t + h] = [0. y cuando h → 0.

. 1. en donde pn (t) = p0n (t). Esta nueva ecuaci´n se resuelve iterativamente. y usando las ecuaciones hacia adelante de . primero para q1 (t). Las ecuaciones hacia adelante de Kolmogorov del proceso de Poisson son p′ (t) = 0 p′ (t) n = −λ p0 (t). Definiendo qn (t) = eλt pn (t). 0 λ −λ . Esta es otra derivaci´n mas de la distribuci´n Poisson en el proceso de o o Poisson. e ı De aqu´ se obtiene pn (t) = e−λt (λt)n /n! ı Ejemplo. u). qn (t) = (λt)n /n! para n ≥ 0. ahora usando las ecuaciones hacia adelante de Kolmogorov y la funci´n geo neradora de probabilidad. . la o o primera ecuaci´n tiene soluci´n p0 (t) = e−λt . Usando la condici´n inicial p0 (0) = 1. para el a mismo radio de convergencia |u| < 1. La variable aleatoria Xt puede tomar los valores 0. para valores reales de u tales que |u| < 1. de modo que su funci´n generadora de probabilidad es o GXt (u) = E(uXt ) = ∞ n=0 pn (t) un . . la seo o ′ gunda ecuaci´n se transforma en qn (t) = λqn−1 (t). para n ≥ 1. .  λ −λ 0 . . y en donde pn (t) = P (Xt = n). .   Ejemplo. Cadenas de Markov a tiempo continuo 133 −λ  0 G= 0  . o despu´s para q2 (t). En general. . Consideraremos a esta funci´n tambi´n como funci´n del tiempo t y por comodidad o e o en los siguientes c´lculos la llamaremos G(t.Cap´ ıtulo 5. λ pn−1 (t) − λ pn (t). y as´ sucesivamente. Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene distribuci´n Poisson(λt). con condiciones qn (0) = δ0n o y q0 (t) = 1. . 0 0 λ ··· ···  ··· . Derivando respecto de t. .

3. u) = 1 se llega a o G(t. u) − λG(t. u) = = = = ∞ n=0 ∞ n=0 p′ (t) un n (λpn−1 (t) − λpn (t))un λuG(t. n! Esta es la funci´n generadora de probabilidad de la distribuci´n Poisson(λt). o . u) e(u−1)λt = e−λt eλtu = ∞ n=0 e−λt (λt)n n u . de donde se obtiene la ecuaci´n diferencial G′ /G = (u − 1)λ. u) (u − 1)λG(u). u) = G(0. Por la o o propiedad de unicidad se obtiene que la variable Xt tiene distribuci´n Poisson(λt). Procesos de nacimiento y muerte Kolmogorov para el proceso de Poisson se tiene que G′ (t. Integrando de 0 a t y o usando la condici´n G(0.134 5.

. En la Figura 5.4. a) P (Xt+h − Xt = 1 | Xt = k) = λk h + o(h). . . λ1 . el tiempo de estancia en o Figura 5. b) P (Xt+h − Xt = 0 | Xt = k) = 1 − λk h + o(h).4. . . . . a Las probabilidades de saltos son evidentemente pij = 1 cuando j = i + 1. . se obtiene un proceso de .Cap´ ıtulo 5. Por construcci´n. los par´mea 2 tros λ0 . . . Puede demostrarse que los incrementos de un proceso de nacimiento puro son independientes pero no son necesariamente estacionarios. En general no es f´cil encontrar una f´rmula para las probabilidades de transici´n a o o pij (t). Cadenas de Markov a tiempo continuo 135 5. µ1 . se conocen como las tasas instant´neas de a 1 nacimiento. y cero en caso contrario. . sin embargo cuando el estado inicial es el cero se conoce la siguiente f´rmula o recursiva. ro. como antes.4: el estado i tiene distribuci´n o exponencial con par´metro λi . Proceso de nacimiento puro   −λ0 λ0 0 0 ··· Cuando en un proceso de na 0 −λ1 λ1 0 ···    cimiento y muerte los par´mea G= 0 0 −λ2 λ2 · · ·    tros µ0 . La matriz de par´metros infinitesimales a Xt (ω) tiene la forma que se muestra en la Figura 5. . en don3 de. nacimiento puro. son todos ce. .4 se muestra una trayectoria de t este proceso cuando inicia en exp(λ0 ) exp(λ1 ) exp(λ2 ) exp(λ3 ) el estado cero. . Un proceso de nacimiento puro puede tambi´n definirse mediante las siguientes e probabilidades infinitesimales: Cuando h → 0.

Este es un tipo particular de proceso de nacimiento puro. El estado inicial es X0 = k ≥ 1.136 5. El proceso puede iniciar con una poblaci´n de tama˜ o k ≥ 1. Para cualquier t ≥ 0 y cualquier entero n ≥ 1. multiplicano o do por el factor integrante eλn t y resolviendo se obtiene la f´rmula enunciada. con las condiciones de frontera p00 (0) = 1 y p0n (0) = 0. mientras que para el caso n ≥ 1. Proceso de nacimiento puro Proposici´n. . para n ≥ 1. es decir. n ≥ 1. P (Xt+h − Xt = 1 | Xt = n) = = n [λ h + o(h)] [1 − λ h + o(h)]n−1 1 λnh + o(h). λ1 .n−1 (s) ds. o Este proceso puede definirse a trav´s de los siguientes postulados: e a. partiendo de cero.4. o t p0n (t) = λn−1 e−λn t 0 eλn s p0.n−1 (t) − λn p0n (t). p00 (t) = p0n (t) = ′ ′ −λ0 p00 (t). o o El proceso de Yule. y presentar o n fallecimientos sucesivos hasta una posible extinci´n completa de la poblaci´n. b. Si Xt = n. o De manera an´loga puede definirse un proceso de muerte como un proceso de a nacimiento y muerte en donde los par´metros de nacimiento λ0 . y para el cual es posible encontrar expl´ ıcitamente las probabilidades de transici´n. (5. El sistema de ecuaciones diferenciales hacia adelante de Kolmogoo rov para este proceso es p′ (t) = λj−1 pi. son todos a cero. . . en donde λ > 0. entonces cada uno de estos elementos puede dar nacimiento a un nuevo elemento durante un periodo de longitud infinitesimal h > 0 con probabilidad λh + o(h). La primera ecuaci´n tiene soluci´n p00 (t) = e−λ0 t . .7) Demostraci´n.j−1 (t) − λj pij (t). ij En particular. λn−1 p0.

a n − 1 −λkt e (1 − e−λt )n−k . λ(n − 1) pk. que es de la forma enunciada. El sistema de ecuaciones hacia adelante para pkn (t). Para valores de n ≥ k + 1 o . El tiempo de estancia en el estado n tiene o distribuci´n exp(λn). con r = k y p = e−λt .7) es.n−1 (s) ds. para n ≥ k. se reduce a p′ (t) = kk p′ (t) kn = −λk pkk (t). Usaremos inducci´n sobre n. con n ≥ k. o pkn (t) = λ(n − 1) e−λnt eλns pk. con condici´n inicial pkk (0) = 1.8) Demostraremos a continuaci´n que el incremento Xt − X0 tiene distribuci´n binoo o mial negativa de par´metros (r. que crecen de manera a lineal conforme la poblaci´n crece.n−1 (t) − λn pkn (t). Esto produce la o kk soluci´n pkk (t) = e−λkt . Cadenas de Markov a tiempo continuo 137 Es decir. 0 (5. t n ≥ k + 1. n−k Proposici´n. Para n = k se tiene la ecuaci´n dio o o ferencial p′ (t) = −λk pkk (t). las tasas instant´neas de nacimiento son λn = λn. en consecuencia el tiempo medio de estancia en ese estado es o 1/(λn). para n ≥ k + 1. cada vez menor conforme n crece. o pkn (t) = Demostraci´n. La f´rmula recursiva (5.Cap´ ıtulo 5. p).

8).4. . o pkn (t) = = = = = = = λ(n − 1) e−λnt t 0 eλns n−2 λ(n − 1) e−λnt n−1−k λ(n − 1) λ(n − 1) n−2 e−λks (1 − e−λs )n−1−k ds n−1−k t 0 t 0 t 0 (eλs )(n−k) (1 − e−λs )n−1−k ds (1 − e−λs )−1 (eλs − 1)n−k ds eλs (eλs − 1)n−1−k ds n−2 e−λnt n−1−k t n−2 1 d λs λ(n − 1) e−λnt (e − 1)n−k ds n−1−k λ(n − k) ds 0 n−1 n−2 e−λnt (eλt − 1)n−k n−k n−1−k n − 1 −λkt e (1 − e−λt )n−k . Karlin y Taylor [19]. k−1 n−2 e−λnt n−1−k Notas y referencias. Una exposici´n m´s completa del tema de cadenas de Maro a kov a tiempo continuo puede encontrarse en Basu [1]. Proceso de nacimiento puro usaremos la f´rmula recursiva (5.138 5. o Stirzaker [36].

.i.Cap´ ıtulo 5. a con distribuci´n com´ n Bernoulli(p).i. ( λ − λ e−(λ+µ)t ). 104. Encuentre las ecuaciones de Kolmogorov o u hacia atr´s y hacia adelante del proceso a Nt Xt = j=1 Yj .d. Y2 . Sea {Nt } un proceso de Poisson de par´metro λ y sean Y1 . demuestre que a) p00 (t) = b) p01 (t) = c) p10 (t) = d) p11 (t) = 1 λ+µ 1 λ+µ 1 λ+µ 1 λ+µ ( µ + λ e−(λ+µ)t ). Considere una cadena de Markov a tiempo continuo de dos estados en donde el tiempo de estancia en cada uno de ellos tiene distribuci´n exp(λ). a . . y la estancia en el estado 1 o es exp(µ). (j − i)! Procesos de nacimiento y muerte 103. (λpt)j−i pij (t) = e−λpt . ( µ − µ e−(λ+µ)t ). Resuelva cualquiera de estos sistemas de ecuaciones y demuestre que para j ≥ i. . Demuestre que {Nt } es un proceso de Poisson de par´metro λ. Para la cadena de Markov a tiempo continuo de dos estados en donde la estancia en el estado 0 tiene distribuci´n exp(λ). v. ( λ + µ e−(λ+µ)t ). Defina o Nt como el n´ mero de veces que la cadena de Markov ha efectuado saltos u hasta un tiempo t ≥ 0 cualquiera.a. Cadenas de Markov a tiempo continuo 139 Ejercicios Ecuaciones de Kolmogorov 102.

Demuestre que a) E(Xt ) = k eλt . b) Var(Xt ) = k e2λt (1 − e−λt ). Proceso de nacimiento puro Procesos de nacimiento puro 105.140 5.4. . Sea {Xt } un proceso de Yule con estado inicial X0 = k ≥ 1.

T2 . y en o general dejan de cumplir la propiedad de Markov. . estudiaremos tambi´n el concepto o e de confiabilidad para sistemas conformados por varios componentes los cuales son susceptibles de sufrir fallas en tiempos aleatorios. . A tales procesos de saltos unitarios se les conoce como procesos de renovaci´n. 6. Se consio dera ahora que los tiempos de interarribo no son necesariamente exponenciales. representa la sucesi´n o o de tiempos de vida de componentes puestos en operaci´n uno tras otro. Una 0 vez que el componente falla. Esto se o ilustra en la Figura 6.1: plaza o renueva con otro componente cuyo tiempo de vida es T2 . .1. Adem´s de estudiar algunas proa piedades generales de los procesos de renovaci´n. 141 .Cap´ ıtulo 6 Procesos de renovaci´n o y confiabilidad En este cap´ ıtulo se presenta otra generalizaci´n del proceso de Poisson. Procesos de renovaci´n o Suponga que se pone en operaci´n o T1 T2 T3 T4 un cierto componente o art´ ıculo cuya duraci´n de vida util se modela meo ´ × × × diante una variable aleatoria T1 . y as´ suı cesivamente. se reemFigura 6.1. La colecci´n de variables aleatorias T1 .

}. . {Wn : n = 0. es decir. Procesos de renovacion En este contexto es natural suponer que las variables que modelan los tiempos de vida son no negativas. El proceso o de conteo de renovaciones es Nt = m´x {n ≥ 0 : Wn ≤ t}. si t ≥ 0. la funci´n de distribuci´n de Wn es la convoluci´n de F (t) consigo misma o o o n veces. . . FWn (t) = P (T1 + · · · + Tn ≤ t) = F ∗n (t) = (F ∗ · · · ∗ F )(t). . Un proceso de renovaci´n es una sucesi´n infinita de variables o o o aleatorias T1 . . T2 .1. independientes y con la misma distribuci´n de probabio lidad. . mientras que Nt indica el n´ mero de renovaciones realizadas hasta el o u tiempo t. Estos puntos de vista alternativos se definen a continuaci´n. cuando n = 0 se define F ∗0 (t) = 0 1 si t < 0. o bien a trav´s del cone teo de renovaciones observadas hasta un tiempo cualquiera. .}. . . Denotaremos por F (t) a la funci´n de distribuci´n de los tiempos de vida. pues por construcci´n existe una correspondencia biun´ o ıvoca entre cualesquiera dos de estos tres procesos. En la literatura se le denomina proceso de renovaci´n a cualquiera de o los procesos {Tn : n = 1. o o e Definici´n. o {Nt : t ≥ 0}. Empezaremos por dar un primera definici´n formal de un proceso de renovaci´n basada en lo reci´n mencionado. a para cada t ≥ 0. el proceso reinicia probabil´ ısticamente. 2. Dado un proceso de renovaci´n {T1 . Otra forma equivalente de definir a este proceso es a trav´s del registro de los e tiempos reales en los que se observan las renovaciones. La variable aleatoria Wn representa el tiempo real en el que se realiza la n-´sima e renovaci´n. o Definici´n. Por lo o o tanto. T2 . . Un proceso de estas caracter´ ısticas se conoce con el nombre de proceso de renovaci´n.}. 1. . se definen los tiempos o o reales de renovaci´n como W0 = 0 y Wn = T1 + · · ·+ Tn . . para n ≥ 1. que son no negativas. independientes e id´nticamente dise tribuidas. . En particular.142 ´ 6. Observe que exactamente en los tiempos en los que se efect´ an las renoo u vaciones.

k! La segunda igualdad puede obtenerse despu´s de aplicar integraci´n por partes e o varias veces. un proceso de Poisson homog´neo de tasa λ es un proceso de renovae ci´n en donde los tiempos de vida tienen distribuci´n exp(λ).´ Cap´ ıtulo 6. En consecuencia. para t > 0. Wn + Tn+1 > t) ∞ P (t − Tn+1 < Wn ≤ t) FWn (t) − FWn (t − Tn+1 ) F ∗n (t) − F ∗n (t) − 0 ∞ FWn | Tn+1 (t − u | u) dF (u) F ∗n (t − u) dF (u) (t). o Proposici´n. λ). Para cualquier n ≥ 0. Procesos de renovacion y confiabilidad 143 Una de las primeras preguntas que uno puede hacerse acerca de un proceso de renovaci´n es la de conocer la distribuci´n de la variable Nt . o t FWn (t) = 0 (λx)n−1 λ e−λx dx = Γ(n) ∞ k=n e−λt (λt)k . Wn+1 > t) P (Wn ≤ t. A partir de esta expresi´n puede recuperarse la distribuci´n Poisson o o . tenemos que P (Nt = n) = = = = = = = P (Wn ≤ t. cuya funci´n de o o o distribuci´n es. La respuesta no es o o f´cil de encontrar pues la distribuci´n de esta variable depende de la distribuci´n a o o de los tiempos de vida como indica la siguiente f´rmula. Tomando en consideraci´n que las variables Wn y Tn+1 son indeo o pendientes. Demostraci´n. o P (Nt = n) = F ∗n (t) − F ∗(n+1) (t). los o o tiempos reales de renovaci´n Wn tienen distribuci´n gama(n. F ∗n (t) − F 0 ∗(n+1) Por ejemplo.

a a 6. u A tal funci´n se le llama funci´n de renovaci´n. o o o Λ(t) = E(Nt ). n! Observe la igualdad de eventos (Nt ≥ n) = (Wn ≤ t). La funci´n de renovaci´n Λ(t) satisface la ecuaci´n o o o o t Λ(t) = F (t) + 0 Λ(t − s) dF (s). Esta identidad nos ser´ de utilidad m´s adelante. o P (Nt = n) = F ∗n (t) − F ∗(n+1) (t) = e−λt (λt)n . Condicionando sobre el valor del primer tiempo de vida T1 se obo ∞ tiene Λ(t) = 0 E(Nt | T1 = s) dF (s).1) puede escribirse como Λ(t) = F (t) + (Λ ∗ F )(t). y se le denota por Λ(t).2. (6. o Debido a que se condiciona sobre el valor del primer tiempo de renovaci´n. En general no es f´cil encontrar una forma expl´ a ıcita para esta funci´n. a la o . es decir.144 ´ ´ ´ 6. Λ(t) = 0 (1 + Λ(t − s)) dF (s) = F (t) + 0 Λ(t − s) dF (s). Funci´n y ecuaci´n de renovaci´n o o o Otra de las funciones que es natural desear conocer en un proceso de renovaci´n o es el n´ mero promedio de renovaciones efectuadas hasta un tiempo t cualquiera.1) Demostraci´n. Funcion y ecuacion de renovacion pues por la proposici´n anterior. la cual es v´lida para t ≥ 0 y a para cada valor entero de n ≥ 0. Observe que la ecuaci´n (6. si s ≤ t. en donde E(Nt | T1 = s) = Por lo tanto t t 0 1 + Λ(t − s) si s > t.2. o o Proposici´n. Sin embargo. se cuenta con la siguiente ecuaci´n integral general.

Para el proceso de Poisson. Procesos de renovacion y confiabilidad 145 t´cnica de la demostraci´n de este resultado se le llama a veces an´lisis del primer e o a paso. Acerca de la funci´n de o renovaci´n tenemos la siguiente expresi´n general. Ejemplo. o Definici´n. Λ(t) = o F ∗n (t). o o ∞ n=1 Proposici´n.1) o con F (t) = 1 − e−λt . La definici´n e ıa o o general aparece a continuaci´n. g(t) y h(t) funciones definidas para t ≥ 0.2) que cumple con la condici´n de ser o o o o acotada sobre intervalos finitos y est´ dada expl´ a ıcitamente por t g(t) = h(t) + 0 h(t − s) dΛ(s). para cualquier t > 0.1) se le llama ecuaci´n de renovaci´n.3) en donde Λ(s) es la funci´n de renovaci´n. (6. Se dice que g(t) satisface una ecuaci´n de renovaci´n si cumple la ecuaci´n integral o o o t g(t) = h(t) + 0 g(t − s) dF (s). entonces existe una unica o ´ soluci´n g(t) a la ecuaci´n de renovaci´n (6. el promedio de renovaciones o saltos al tiempo t es Λ(t) = λt.2) Puede demostrarse que si h(t) es una funci´n acotada. pues o o o algunas funciones de inter´s en la teor´ de la renovaci´n la cumplen. y g(t) es desconocida.´ Cap´ ıtulo 6. Suponga que o F (t) y h(t) son conocidas. La demostraci´n de este resultado general o o o puede ser encontrado en el texto de Karlin y Taylor [19]. Sean F (t). A una ecuaci´n integral del tipo (6. Puede comprobarse directamente que esta funci´n satisface (6. . (6.

γt . Tiempos de vida n P (Nt = n) = P (Nt = 1) + 2 P (Nt = 2) + · · · = [ F ∗1 (t) − F ∗2 (t) ] + 2 [ F ∗2 (t) − F ∗3 (t) ] + · · · = F ∗1 (t) + F ∗2 (t) + · · · = ∞ F ∗n (t). o Λ(t) = ∞ n=0 6. Es posible demostrar que para un proceso de renovaci´n la variable Nt tiene moo mentos finitos de cualquier orden. cuyo significado geom´trico se e muestra en la Figura 6. y que definiremos con mayor precisi´n a continuaci´n. pueden considerarse o tres variables aleatorias no negativas. Se puede tambi´n demostrar que existe una correspondencia e biun´ ıvoca entre las funciones Λ(t) y F (t). 6. y entonces en particular la suma anterior es siempre convergente.2. y adem´s el proceso de renovaci´n {Nt } a o queda completamente especificado por la funci´n promedio Λ(t). δt y βt . o o Tiempo de vida restante.146 Demostraci´n. Este es el tiempo de vida util que le resta al elemento ´ que se encuentra en operaci´n al tiempo t. . Γ(n) k! 0 k=n Usando esta expresi´n y la f´rmula reci´n demostrada puede corroborarse que en o o e este caso Λ(t) = λt. cuando los tiempos de interarribo tienen distribuci´n exp(λ) se tiene o que ∞ t (λt)k (λx)n−1 e−λt F ∗n (t) = λ e−λx dx = .3. La demostraci´n o o de estos resultados pueden consultarse en [1]. y est´ dado por la variable o a γt = WNt +1 − t. Tiempos de vida Junto a todo proceso de renovaci´n y para cada tiempo fijo. n=1 Por ejemplo.3.

o o Proposici´n.2. Se condiciona sobre el valor de T1 .2: Esta longitud aleatoria se muestra en la Figura 6. Demostraci´n. Procesos de renovacion y confiabilidad 147 Nt + 1 Nt Nt − 1 δt γt βt WNt t WNt +1 Figura 6. Usando un argumento de renovaci´n demostraremos que para cada x > 0 la funci´n t → g(t) = P (γt > x) o o satisface una ecuaci´n de renovaci´n. La funci´n g(t) = P (γt > x) satisface la ecuaci´n de renovaci´n o o o o t g(t) = 1 − F (t + x) + 0 g(t − s) dF (s). Se tienen los tres posibles casos o que se muestran en la Figura 6.´ Cap´ ıtulo 6. T1 × 0 t T1 × t+x T1 × Figura 6.3.3: Puesto que un proceso de renovaci´n puede considerarse que inicia nuevamente a o .

e o Tiempo de vida transcurrido.148 6.  1 0 si t < s ≤ t + x. cuando los tiempos de vida son exponenciales de par´metro λ. Este es el tiempo que ha estado en uso el elemento que se encuentra en operaci´n al tiempo t. la a unica soluci´n de esta ecuaci´n es la funci´n constante g(t) = e−λx . la funci´n g(t) = P (δt > x) satisface la ecuaci´n o o o de renovaci´n o t−x g(t) = 1 − F (t) + 0 g(t − s) dF (s). P (γt > x | T1 = s) =  P (γt−s > x) si 0 < s ≤ t. Es claro que esta variable est´ acotada superiore a mente por el valor t. y est´ dado por la variable o a δt = t − WNt . Para t ∈ (x. Sea nuevamente x > 0 y defina la funci´n o t → g(t) = P (δt > x). tenemos que g(t) = 0 para t ∈ (0. Usando un argumento de renovaci´n demostraremos que la funci´n o o g(t) satisface una ecuaci´n de renovaci´n. Tiempos de vida Por lo tanto partir del momento en que se observa una renovaci´n. ∞). que equivale a ´ o o o decir que la variable γt tiene distribuci´n exp(λ). V´ase nuevamente la Figura 6. o o Proposici´n.2. En particular. x]. Por las consideraciones anteriores. . Esta es nuevamente la propiedad o de p´rdida de memoria de la distribuci´n exponencial. g(t) = 0 ∞ ∞ t+x P (γt > x | T1 = s) dF (s) t = dF (s) + 0 P (γt−s > x) dF (s) t = 1 − F (t + x) + 0 g(t − s) dF (s). pues el elemento en uso al tiempo t no puede tener hasta ese momento un tiempo de uso mayor a t.3. se tiene que o  si s > t + x.

4: Por lo tanto. g(t) =   0 dF (s) + 0 t−x 0 P (δt−s > x) dF (s) g(t − s) dF (s). Los tres posibles o casos se muestran en la Figura 6. Considerando otra vez el caso de tiempos de vida exponencial de par´metro λ. si 0 < t − x ≤ s < t. si 0 < s < t − x. Nuevamente se condiciona sobre el valor de T1 . Entonces P (δt > x | T1 = s) dF (s) t−x = = En resumen.4. . 1 − F (t) + t−x 0  1 − F (t) + g(t − s) dF (s) si t > x. Este es el tiempo completo de vida util que tiene el ´ elemento que se encuentra en operaci´n al tiempo t. Procesos de renovacion y confiabilidad 149 Demostraci´n.   1 0 P (δt > x | T1 = s) =  P (δt−s > x) g(t) = 0 ∞ ∞ t si s ≥ t. T1 × 0 t−x T1 × t T1 × Figura 6.´ Cap´ ıtulo 6. si x ≥ t. a puede demostrarse que el tiempo de vida transcurrido tiene funci´n de distribuci´n o o P (δt ≤ x) = 1 − e−λx 1 si 0 < x < t. Tiempo de vida total. si 0 < t ≤ x. y est´ dado por la variable o a βt = γt + δt = WNt +1 − WNt = TNt +1 .

Demostraci´n. Por lo tanto. 0 < s ≤ t. para x > 0 se define la funci´n t → g(t) = P (βt > x). Nuevamente condicionaremos sobre un posible valor de T1 . que significa m´x{x.150 6.5: El caso s ∈ (t. y s ≤ x. Tiempos de vida Nuevamente. o o g(t) = 0 P (δt > x | T1 = s) dF (s) t = dF (s) + 0 P (βt−s > x) dF (s) t = 1 − F (t ∨ x) + 0 g(t − s) dF (s).5. y s > x. t < s < t + x. La funci´n g(t) = P (βt > x) satisface la ecuaci´n de renovaci´n o o o o t g(t) = 1 − F (t ∨ x) + 0 g(t − s) dF (s). lo cual se reduce a la condici´n t ∨ x < s < ∞. e a Proposici´n. y}. t + x) se debe subdividir en dos casos: s ≤ x ´ s > x. Demostrareo mos que esta funci´n satisface una ecuaci´n de renovaci´n. Los poo sibles casos se muestran en la Figura 6. . s ≥ t + x. De este modo o se obtienen los siguientes resultados   0   1 P (βt > x | T1 = s) =  1   P (βt−s > x) ∞ ∞ t∨x si si si si t < s < t + x. en la cual aparecer´ el o o o a t´rmino x ∨ y.3. T1 × 0 t T1 × t+x T1 × Figura 6. El segundo y tercer rengl´n se conjuntan en las condiciones t ∨ x < s < t + x o ´ s ≥ t + x.

Teoremas de renovaci´n o En esta secci´n se estudian algunos resultados sobre del comportamiento l´ o ımite de un proceso de renovaci´n.´ Cap´ ıtulo 6. l´ Nt = ∞ c. El siguiente resultado establece que a largo plazo e habr´ una renovaci´n cada µ = E(T ) unidades de tiempo. cuando t tiende a infinito el nmero de renovaciones Nt tambi´n crece e a infinito. a o . Para todo proceso de renovaci´n. otro caso. el tiempo que le toma al proceso llegar al valor Nt es WNt y tambi´n crece a infinito. Como el resultado demostrado vale para cualquier valor o de n natural. 6. Proposici´n. Primeramente se demuestra que todo proceso de o renovaci´n de conteo crece a infinito con probabilidad uno cuando el tiempo crece o a infinito. Recordemos la igualdad de eventos (Nt ≥ n) = (Wn ≤ t). 1 = = = = t→∞ t→∞ l´ FWn (t) ım l´ P (Wn ≤ t) ım l´ P (Nt ≥ n) ım t→∞ t→∞ P ( l´ Nt ≥ n). o o ım t→∞ Demostraci´n. ım t→∞ Por lo tanto. Entonces o para cualquier n natural. Procesos de renovacion y confiabilidad 151 En el caso de tiempos de interarribo exponenciales de par´metro λ.s. Por otro lado. ım Para la ultima igualdad se ha utilizado el hecho de que la funci´n t → Nt es ´ o mon´tona no decreciente. se tiene que P ( l´ Nt = ∞) = 1.4. puede demosa trarse que el tiempo de vida total tiene funci´n de distribuci´n o o P (βt ≤ x) = 1 − (1 + λ(t ∧ x)) e−λx 0 si x > 0.

El siguiente resultado establece la forma en la que Nt crece a infinito.s. Ahora observe la contenci´n de o eventos WNt Wn ( → µ) ∩ (Nt → ∞) ⊆ ( → µ). por la ley fuerte de los grandes n´ meros. con o o 0 < µ < ∞. Teorema elemental de renovaci´n (J. 1948). se cumple WNt = µ. n Nt Los dos eventos del lado izquierdo tienen probabilidad uno. Observe que el cociente Nt /t es una variable aleatoria que cuenta el n´ mero de renovaciones por u unidad de tiempo efectuadas hasta el tiempo t. y ello implica que el lado derecho tambi´n tiene probabilidad o e e uno. Demostraremos a continuaci´n que o cuando t → ∞ la aleatoriedad desaparece y el cociente se vuelve constante. Para un proceso o de renovaci´n en donde E(T ) = µ. l´ ım t→∞ Nt Demostraci´n.s. c. se cumple o t→∞ l´ ım Nt 1 = . Para cualquier t > 0 se cumple WNt ≤ t < WNt +1 . o u Wn /n → µ casi seguramente cuando n → ∞.152 ´ 6. Ahora veremos que la esperanza de Nt /t tiene el mismo comportamiento. Teoremas de renovacion Proposici´n.s. Por lo tanto o WNt t WNt +1 Nt + 1 ≤ < . con 0 < µ < ∞. t µ Demostraci´n.s. Por lo tanto Nt /t → 1/µ c. c. por lo tanto la intersecci´n tambi´n. .4. Para un proceso de renovaci´n Nt en donde E(T ) = µ. Para valores enteros de n. L. Doob. Nt Nt Nt + 1 Nt Cuando t tiende a infinito ambos extremos de estas desigualdades convergen a µ c.

t µ Ahora estimaremos el l´ ımite superior del mismo cociente.´ Cap´ ıtulo 6. t µ Esto concluye la demostraci´n en el caso particular mencionado. es decir. t µ µt Consideremos primero el caso particular cuando las variables T son uniformemente acotadas. P (Tn ≤ k) = 1. dividiendo entre t y arreglando t´rminos adecuadamente se obe tiene Λ(t) 1 1 1 = E(WNt +1 − t) + − . Como WNt +1 − t ≤ WNt +1 − WNt = TNt +1 . 1941). Entonces o t→∞ l´ ım Λ(t) 1 = . Considere un proo ceso de renovaci´n en donde E(T ) = µ. t µ Demostraci´n. se tiene que E(WNt +1 − t) ≥ 0. se tiene que E(WNt +1 − t) ≤ E(TNt +1 ) y por lo tanto Λ(t) 1 1 ≤ + E(TNt +1 ). si Tn > k. . Por la identidad de Wald. En este caso se definen los tiempos recortados k Tn = Tn k si Tn ≤ k. Ahora considereo mos que las variables T no son necesariamente acotadas de la forma anterior. supongamos que existe un entero k > 0 tal que para cada n ≥ 1. con 0 < µ < ∞. Entonces E(TNt +1 ) ≤ k y por lo tanto l´ sup ım t→∞ Λ(t) 1 ≤ . Despejando Λ(t). Procesos de renovacion y confiabilidad 153 Teorema elemental de renovaci´n (W. t µt µ t Como WNt +1 > t. o E(WNt +1 ) = E(Nt + 1) E(T ) = (Λ(t) + 1)µ. Feller. Por lo tanto l´ inf ım t→∞ 1 Λ(t) ≥ .

4. Por ejemplo. e l´ Λ(t + nd) − Λ(t) = ım nd . E(T ) = 1/λ y Λ(t) = λt. t→∞ l´ Λ(t + h) − Λ(t) = ım h . Teoremas de renovacion k Observe que Tn ր Tn cuando k → ∞. Blackwell. (D. A partir de estos tiempos se considera un nuevo proceso de renovaci´n Ntk con funci´n de renovaci´n Λk . Por el teorema de convergencia mon´tona. Por lo tanto Λ(t)/t = λ. Si F (t) es no aritm´tica. para el proceso Poisson. µ t→∞ Por ejemplo. Se cumple que o o o t Λ(t) ≤ Λk y por lo tanto t Λ(t) 1 l´ sup ım ≤ . o Teorema de renovaci´n. para el proceso de Poisson se tiene que Λ(t+h)−Λ(t) = λ(t+h)−λt = λh = h/(1/λ) = h/E(T ). entonces para cualquier natural n. Los siguientes dos resultados se enuncian sin demostraci´n. u El resultado reci´n demostrado establece que a largo plazo habr´ en promedio e a 1/E(T ) renovaciones por unidad de tiempo. o E(T k ) ր E(T ). y ello prueba la desigualdad faltante. . 1948). t E(T k ) t→∞ Ahora se hace k tender a infinito. µ Si F (t) es aritm´tica con base d. El cociente Λ(t)/t es el n´ mero de renovaciones promedio por unidad de tiempo. o e entonces para cualquier h > 0.154 ´ 6.

entonces e l´ A(t + nd) = ım d µ ∞ k=0 t→∞ H(t + kd). o o mientras que la funci´n de tasa de falla es r(t) = f (t)/(1 − F (t)). Definici´n. 1953). La funci´n de confiabilidad se define como R(t) = P (T > t). dado que el componente ha funcionado bien hasta un cierto momento. en donde H : [0. En la teor´ de la confiabilidad interesa conocer la probabilidad ıa de que el componente funcione correctamente por lo menos hasta un tiempo t cualquiera. Si F (t) es aritm´tica con base d. Es por ello que se definen las siguientes dos funciones. o .´ Cap´ ıtulo 6. Sea A(t) la soluci´n o o a la ecuaci´n de renovaci´n o o t A(t) = H(t) + 0 A(t − s) dF (s). Confiabilidad Suponga que T > 0 es una variable aleatoria continua que registra el tiempo de falla de un cierto componente que se encuentra en operaci´n al tiempo cero. Smith. y que cualquiera de ellos implica el teorema elemental de Feller. Si o F (t) es no aritm´tica.5. ∞) → R es una funci´n directamente Riemann integrable. Nuevamente o denotaremos por F (t) y f (t) a la funci´n de distribuci´n y de densidad de esta o o variable aleatoria. Puede demostrarse que los teoremas de Smith y Blackwell son equivalentes. L. e l´ A(t) = ım 1 µ ∞ 0 t→∞ H(t) dt. 6. o la probabilidad de que deje de funcionar en el siguiente instante de tiempo. (W. Procesos de renovacion y confiabilidad 155 Teorema clave de renovaci´n.

es n aproximadamente λ∆t. Demuestre que la funci´n R(t) es decreciente. Esta es otra manifestaci´n de o la propiedad de p´rdida de memoria de la distribuci´n exponencial. si t1 ≤ t2 . el tiempo promedio de falla E(T ) puede escribirse en t´rminos de la a e funci´n R(t) como o E(T ) = 0 ∞ R(t) dt. t + ∆t] con probabilidad condicional r(t) ∆t + o(∆t). y o a o la funci´n de tasa de falla es constante r(t) = λ. en efecto.5. y es la unica e o ´ distribuci´n continua con tasa de falla constante. Por otro lado. = Despu´s de algunos c´lculos sencillos es inmediato comprobar que estas dos fune a ciones est´n relacionadas de la siguiente forma. dado que el componente se encuentra operando al tiempo t. y se le llama o e o as´ pues un componente que ha sobrevivido al tiempo t. fallar´ en el intervalo ı a (t. independiente del valor de t.156 6. El hecho de que la funci´n de o o tasa de falla sea constante significa que la probabilidad de falla en un intervalo de tiempo peque˜ o ∆t. Adem´s. ¿Puede decirse algo sobre la monoton´ de r(t)? ıa . a r(t) = f (t) d = − ln R(t). el tiempo medio o de falla es E(T ) = 1/λ. y a la o e o funci´n de tasa de falla se le conoce tambi´n como funci´n hazard. Ejemplo. P (t < T ≤ t + ∆t | T > t) P (t < T ≤ t + ∆t) P (t > t) f (t) = ∆t + o(∆t) 1 − F (t) = r(t) ∆t + o(∆t). entonces o R(t1 ) ≥ R(t2 ). Confiabilidad A la funci´n de confiabilidad se le llama tambi´n funci´n de supervivencia. es decir. Suponga que el tiempo de falla T de un componente tiene una distribuci´n exponencial de par´metro λ. R(t) dt t R(t) = exp (− 0 r(s) ds). Ejercicio. La funci´n de confiabilidad es R(t) = e−λt .

.´ Cap´ ıtulo 6. . Rn (t) las funciones de confiabilidad de cada componente en el sistema. 157 Considere un sistema de n componentes puestos en serie como se muestra C1 C2 Cn en la Figura 6. . . Proposici´n. Demostraci´n. .6 son id´nticamente distribuidos con funci´n de e o distribuci´n F (t).6 son 1. es decir. y las funciones de tasa de falla ser´n a r1 (t). Nos interesa encontrar las funciones de confiabilidad y de tasa de falla de este tipo de sistemas. T = m´ n ın{T1 . . . . . . Calcularemos a continuaci´n las funciones de confiabilidad y de tasa de falla pao ra sistemas en serie. Tn }. . rn (t). b) fT (t) = n(1 − F (t))n−1 f (t). Observe que el tiempo de falla T de un sistema de este tipo es el tiempo de falla m´s a peque˜ o de cada uno de los componentes. Figura 6. . Ejercicio. r(t) = r1 (t) + · · · + rn (t). Supondremos que cada uno de estos componentes funciona de manera independiente uno del otro. . . o . Tn de los componentes del sistema en serie de la Figura 6. Demuestre que el tiempo de falla o o T del sistema tiene funci´n de distribuci´n y densidad dada por las siguientes o o expresiones: a) FT (t) = 1 − (1 − F (t))n . Las funciones de confiabilidad y de tasa de falla del sistema en o serie de la Figura 6.6. Esquemas f´ ısicos de este tipo ayudan a justificar el plantearse la pregunta de encontrar la distribuci´n de probabilidad del m´ o ınimo de n variables aleatorias independientes. R(t) = R1 (t) · · · Rn (t). Procesos de renovacion y confiabilidad Confiabilidad para sistemas en serie. Suponga que los tiempos de falla T1 . 2.6: Es intuitivamente claro que tal sistema en su conjunto funciona si todos y cada uno de los componentes se encuentra en buen estado. Denotaremos por R1 (t). . . y funci´n de densidad f (t).

En el contexto de sistemas de n componentes en serie. Confiabilidad 1. R(t) = e−λnt . a La distribuci´n del tiempo de falla T es exponencial de par´metro λn. . es decir. Sistemas de este tipo se utilizan cuando se desea mantener un nivel alto de confiabilidad de funcionamiento. . r(t) = − dt ln R(t) = − dt n k=1 ln Rk (t) = n k=1 rk (t). y o o en consecuencia el tiempo medio de falla tambi´n es una funci´n decreciente de n.5. . Tn > t) = P (T1 > t) · · · P (Tn > t) = R1 (t) · · · Rn (t). Considere ahora sistemas de n componentes puestos en paralelo como se muestra en la Figura 6. . como por ejemplo los sistemas de vuelo de los aviones. respectivamente. naturalmente decreciente conforme mayor es el n´ mero de componentes en el sistema.7. T = m´x {T1 . y r(t) = λnt.158 6. R(t) = P (T1 > t. Ejercicio. o los sistemas de manejo de reactores nucleares. La funci´n de confiabilidad y la funci´n de tasa de falla de un sistema o o de n componentes puestos en serie en donde cada uno de ellos tiene un tiempo de falla exponencial de par´metro λ son. mientras mas componentes haya u en el sistema en serie. . es decir. Tales tipos de sistemas funcionan en su conjunto si por lo menos uno de los componentes se encuentra en buen estado. . y que el evento (T ≤ t) es a equivalente a que todos los componentes fallen antes del tiempo t. d d 2. en donde cada uno de estos componentes funciona de manera independiente uno del otro. . demuestre que la funci´n de confiabilidad R(t) = R1 (t) · · · Rn (t) es una funci´n decreciente de n. Ejemplo. El tiempo o a medio de falla es E(T ) = 1/(λn). . e o Confiabilidad para sistemas en paralelo. . C1 C2 Cn Figura 6. menor es el tiempo de vida operacional del sistema en su conjunto pues una falla de cualesquiera de los componentes provoca que el sistema completo deje de funcionar.7: El tiempo de falla T de un sistema de este tipo es el tiempo de falla m´s grande a de los componentes. Tn }.

Demuestre que las funciones de distribuci´n y de densidad del tiempo de o falla T del sistema en paralelo de la Figura 6. . b) fT (t) = n F n−1 (t) f (t). o Ejercicio. Pueden tambi´n considee rarse sistemas que son una combinaci´n de sistemas en serie y en paralelo como el o que se muestra en la parte izquierda de la Figura 6. demuestre que el a e tiempo medio de falla es una funci´n creciente de n. Demostraci´n. Es decir. Sistemas de este tipo pueden ser representados de manera equivalente como se muestra en la parte derecha de la misma figura.7 es R(t) = 1 − (1 − R1 (t)) · · · (1 − Rn (t)). mientras mas compoe o nentes haya en el sistema m´s seguro es ´ste. Puede calcularse la funci´n de tasa de falla del sistema r(t) en t´rminos de las o e funciones r1 (t).8. . La funci´n de confiabilidad del sistema en paralelo de la Figuo o ra 6. Primeramente se tiene que o F (t) = P (T ≤ t) = P (T1 ≤ t. . En consecuencia. Confiabilidad para sistemas mezcla serie/paralelo. o Ejemplo. Para un sistema de n componentes puestos en paralelo en donde cada uno de ellos tiene un tiempo de falla exponencial de par´metro λ se tiene que a −λt n R(t) = 1 − (1 − e ) . rn (t) pero la expresi´n no resulta ser simple. . Tn ≤ t) = F1 (t) · · · Fn (t). . Por lo tanto R(t) = 1 − F (t) = 1 − F1 (t) · · · Fn (t) = 1 − (1 − R1 (t)) · · · (1 − Rn (t)). r(t) = λn(1 − e−λt )n−1 e−λt /(1 − (1 − e−λt )n ). . Demuestre que la funci´n de confiabilidad R(t) para sistemas en paralelo o reci´n encontrada es una funci´n creciente de n.7 son a) FT (t) = F n (t). Procesos de renovacion y confiabilidad 159 Proposici´n.´ Cap´ ıtulo 6. . Ejercicio. . .

5.160 6. Ejercicio.9: Notas y referencias En los textos de Karlin y Taylor [19].8: Ejercicio. o .8 o es R(t) = R1 (t)(1 − (1 − R2 (t))(1 − R3 (t)). Encuentre la funci´n de confiabilidad para cada uno de los sistemas de o componentes que aparecen en la Figura 6.9. Demuestre que la funci´n de confiabilidad del sistema de la Figura 6. C1 C2 C1 C3 C3 C2 C4 Figura 6. Confiabilidad C2 C1 C3 C1 C2 C1 C3 Figura 6. Basu [1]. y Lawler [23] el lector puede encontrar algunos otros resultados y aplicaciones de los procesos de renovaci´n.

Demuestre que para cada k ≥ 1. en general. c) Mediante un contraejemplo demuestre que. 108. b) Demuestre que si la suma de dos procesos de renovaci´n independientes o y con la misma funci´n de distribuci´n de interarribo es un proceso de o o renovaci´n. para n ≤ m. demuestre que los procesos o o {Tn : n = 1. {Wn : n = 0. . Procesos de renovacion y confiabilidad 161 Ejercicios Procesos de renovaci´n o 106.}. o a) Demuestre que si la suma de dos procesos de renovaci´n independieno tes resulta ser un proceso de Poisson. . e 109. . Diga falso o verdadero para cada una de las siguientes igualdades de eventos. Explique en cada caso.} y {Nt : t ≥ 0} pueden escribirse cada uno en t´rminos de cualquier otro.´ Cap´ ıtulo 6. 2. 1. Respecto de la definici´n de proceso de renovaci´n. a) (Nt > n) = (Wn < t) b) (Nt ≥ n) = (Wn < t) d ) (Nt ≤ n) = (Wn ≥ t) e) (Nt < n) = (Wn ≥ t) 107. o E(Ntk ) = ∞ n=0 c) (Nt = n) = (Wn ≤ t) [(n + 1)k − nk ] F ∗(n+1) (t). entonces ambos sumandos son procesos de Poisson. Demuestre que F ∗n (t) ≥ F ∗m (t). . ¿Es la suma de dos procesos de renovaci´n independientes nuevamente un o proceso de renovaci´n? Los siguientes ejercicios dan respuesta a esta pregunta. . o o 110. . la suma de dos procesos de renovaci´n independientes y con la misma funci´n de distrio o buci´n de interarribo no es necesariamente un proceso de renovaci´n. . entonces la suma y cada uno de los sumandos es un proceso o de Poisson. Sea {Nt } un proceso de renovaci´n.

Demuestre que la funci´n A(t) = E(WNt +1 ) o o satisface la ecuaci´n de renovaci´n o o t A(t) = E(T ) + 0 A(t − s) dF (s). Sea {Nt } un proceso de renovaci´n con funci´n de renovaci´n Λ(t) = E(Nt ). . 114. Demuestre que el tiempo a de vida total δt tiene funci´n de distribuci´n la que aparece abajo. para un proceso de renovaci´n. 116. y Λ2 (t) = E(Nt2 ). Confiabilidad 111. Demuestre que a) Λ2 (t) = ∞ n=1 (2n − 1)F ∗n (t). 0 ≤ Λ(t) ≤ 1 . o t P (γt > x.162 6. 1 − F (t) 112. Sea {Nt } un proceso de renovaci´n. a P (δt ≤ x) = 1 − (1 + λ(t ∧ x)) e−λx 0 si x > 0. o o o Demuestre que para cualquier t ≥ 0. Demuestre que el tiempo de vida restante γt y el tiempo de vida transcurrido δt . Sea {Nt } el proceso de conteo de un proceso de renovaci´n. δt ≤ y) = t−y (1 − F (t + x − u)) dΛ(u). Sea {Nt } un proceso de Poisson de par´metro λ > 0. Demuestre o o 1 adem´s que E(δt ) = λ (2 − e−λt ). Defina Λ(t) = o E(Nt ). otro caso. tienen distribuci´n conjunta dada por la o o siguiente expresi´n: Para 0 < y < t. 113. es o decir. Considere el proceso de Poisson visto como un proceso de renovaci´n. los tiempos de vida tienen distribuci´n exponencial con par´metro λ.5. t 0 b) Λ2 (t) = Λ(t) + 2 Λ(t − s) dΛ(s). o a Demuestre que la funci´n de renovaci´n Λ(t) = λt satisface la ecuaci´n de o o o renovaci´n o t Λ(t) = 1 − e−λt + 0 Λ(t − s)λe−λs ds. 115.

´ Cap´ ıtulo 6. . . Demuestre directamente que para cada o n fijo. 120. Suponga que las correspondientes funciones de distribuci´n y de densidad son F1 (t). Tn } son a a) F (t) = F1 (t) · · · Fn (t). . . . . . . a 163 117. . . . . . fn (t). . . . Encuentre adem´s la esperanza de estas variables aleatorias. Sean T1 . . y f1 (t). l´ P (Nt = n) = 0. Fn (t). . Fn (t). y f1 (t). . . Demuestre que las funciones de distribuci´n y de densidad del tiempo o de falla del sistema dado por T = m´ {T1 . . . . Demuestre que las funciones de distribuci´n y de densidad del o tiempo de falla del sistema dado por T = m´x {T1 . . . respeco tivamente. . Encuentre la distribuci´n de probabilidad del tiempo de vida restante. Tn } son ın a) F (t) = 1 − (1 − F1 (t)) · · · (1 − Fn (t)). . . a 118. n b) f (t) = k=1 fk (t) (1 − F1 (t) 1(k=1) ) · · · (1 − Fn (t) 1(k=n) ). Sean T1 . respectivao mente. fn (t). n b) f (t) = k=1 fk (t) (1 − (1 − F1 (t)) 1(k=1) ) · · · (1 − (1 − Fn (t)) 1(k=n) ). Sea {Nt } un proceso de renovaci´n. . del o tiempo de vida transcurrido y del tiempo de vida total para un proceso de Poisson. .7. Procesos de renovacion y confiabilidad Encuentre adem´s Λ2 (t) cuando {Nt } es un proceso de Poisson. Tn los tiempos de falla de cada uno de los n componentes puestos en paralelo como en la Figura 6. ım t→∞ Confiabilidad 119. Tn los tiempos de falla de cada uno de los n componentes puestos en serie como en la Figura 6. . .6. . Suponga que las correspondientes funciones de distribuci´n y de densidad son F1 (t).

.

7.1. Entonces F2 contiene a m´s informaci´n que F1 en el sentido de que. F . El concepto de martingala fue incorporado a la teor´ de ıa la probabilidad por Paul L`vy. La σ-´lgebra F es la estructura que agrupa a los eventos del experimento a aleatorio a los cuales se les puede calcular su probabilidad. aunque tambi´n se mencionan algunas definiciones generales a tiempo e continuo. . Hemos mencionado antes que este tipo de modelo corresponde a un proceso que representa la evoluci´n del capital de un jugador que realiza o una sucesi´n de apuestas justas. un mayor n´ mero de a o u conjuntos son considerados como eventos. En este cap´ ıtulo se presenta una introducci´n a la teor´ de martingalas a tiempo o ıa discreto. . M´s generalmente. y buena parte de su desarrollo inicial fue realizado e por Joseph Doob. . Una de ellas hace referencia a e un tipo de proceso estoc´stico que b´sicamente cumple la identidad E(Xn+1 | X0 = a a x0 . Filtraciones Sea (Ω. Suponga ahora que se consideran dos sub σ-´lgebras F1 y F2 tales que F1 ⊆ F2 . en general. Xn = xn ) = xn . . P ) un espacio de probabilidad para modelar un cierto experimento aleatorio. puede considerarse a 165 . Parte de la motivaci´n para el estudio de este tipo o o de procesos fue el buscar demostrar la inexistencia de estrategias ventajosas en este juego de apuestas.Cap´ ıtulo 7 Martingalas Existen varias acepciones para el t´rmino martingala.

. Si las variables {Xn } representan los resultados de lanzar sucesivamente un dado. A la σ-´lgebra Ft se le denomina a la historia del proceso al tiempo t. para cada n ≥ 1. Una filtraci´n es una colecci´n de σ-´lgebras {Fn }n≥1 tal que o o o a Fn ⊆ Fm . la filtraci´n natural o can´nica o o de un proceso {Xn } es aquella sucesi´n de σ-´lgebras definidas por Fn = o a σ{X1 . Definici´n. entonces sabemos que el evento A ocurre. Xn }. para a valores de s en el intervalo [0. Se dice que un proceso {Xn } es adaptado a una filtraci´n {Fn } si o o la variable Xn es Fn -medible. Por supuesto. Xn }.166 7. La condici´n de o adaptabilidad requiere que Xn sea tambi´n una variable aleatoria respecto de la e . por ejemplo. s´lo con la informaci´n del proceso disponible hasta el tiempo n. y si se define el evento A como “La suma de los dos primeros resultados es mayor a 3”. En particular. . cuando n ≤ m. Sabemos que cada Xn es F -medible por ser variable aleatoria. . en donde efectivamente se cumple que F1 ⊆ F2 ⊆ · · · En este caso la σ-´lgebra a Fn contiene los eventos para los cuales puede determinarse su ocurrencia o no ocurrencia. Filtraciones una sucesi´n no decreciente de sub σ-´lgebras F1 ⊆ F2 ⊆ · · · Este tipo de estruco a turas surgen de manera natural. o o Ejemplo. t]. .1. / si sucede por ejemplo que X1 = 4. para un proceso estoc´stico a tiempo a discreto {Xn }. pero sin esta informaci´n adicional la ocurrencia o no ocurrencia del evento A no puede o determinarse sino hasta el segundo lanzamiento del dado. Regresemos al caso de tiempo discreto. sean medibles. cuando o a 0 ≤ s ≤ t. Ft es la m´ ınima σ-´lgebra que hace que cada una de las variables Xs . o o Definici´n. . pues puede construirse la sucesi´n {Fn } de la siguiente forma o Fn = σ{X1 . n ≥ 1. o a esto es. sin embargo A ∈ F2 . . . entonces es claro que A ∈ F1 . La filtraci´n natural o can´nica de un proceso a tiempo continuo {Xt : o o t ≥ 0} es la colecci´n de σ-´lgebras {Ft }t≥0 dadas por Ft = σ{Xs : 0 ≤ s ≤ t}. . Estas consideraciones sobre sucesiones no decrecientes de σ-´lgebras llevan a la a definici´n de filtraci´n. A tiempo continuo las definiciones de estos conceptos son an´logas: Una filtraci´n a o es una colecci´n no numerable de sub σ-´lgebras {Ft }t≥0 tal que Fs ⊆ Ft .

Fs . 2. Si Ft o es una filtraci´n continua por la derecha y la σ-´lgebra inicial F0 contiene a todos o a los subconjuntos insignificantes de F . Esta variable aleatoria puede tomar el valor infinito o a cuando el evento de inter´s nunca ocurre. Martingalas 167 sub σ-´lgebra Fn .Cap´ ıtulo 7. e Definici´n. Se dice entonces que una filtraci´n es continua por la derecha si Ft+ = Ft .2. que registra el tiempo en el que ocurre un cierto evento del proceso de tal forma que puede determinarse si ha ocurrido o no ha ocurrido tal evento al tiempo n con la informaci´n de la σ-´lgebra Fn . Naturalmente todo proceso es adaptado a su filtraci´n natural. Una variable aleatoria τ con valores en {1. La definici´n de adaptabilidad o es la misma en el caso de procesos a tiempo continuo. . . o o a bien que satisface las condiciones usuales. a o y puede demostrarse que la filtraci´n natural es la filtraci´n m´s peque˜ a respecto o o a n de la cual el proceso es adaptado. El siguiente caso particular es necesario de considerar. o 7. entonces la filtraci´n se llama est´ndar. o Evidentemente todo proceso predecible es adaptado. Un tiempo de paro es una o variable aleatoria con valores en el espacio parametral de este proceso. y se pueden definir adem´s a las siguientes dos σ-´lgebras: a F∞ Ft+ = = s>t σ( t≥0 Ft ). la variable Xn es Fn−1 -medible. Definici´n. Algunos c´lculos requieren suponer estas a hip´tesis. Se dice que el proceso {Xn : n ≥ 1} es predecible respecto de la o filtraci´n {Fn }n≥0 si para cada n ≥ 1. . . Tiempos de paro Sea {Xn } un proceso adaptado a una filtraci´n {Fn }.} ∪ {∞} es un o tiempo de paro respecto de una filtraci´n {Fn } si para cada n ≥ 1 se cumple o que (τ ≤ n) ∈ Fn .

Naturalmente se cumple τ1 ≤ τ2 . el primer momento en el que la variable Xn = ξ1 + · · · + ξn toma uno de los dos valores del conjunto A es un tiempo de paro. n−1 (τ2 = n) = k=1 (τ1 = k) ∩ (Xk+1 ∈ A) ∩ · · · ∩ (Xn−1 ∈ A) ∩ (Xn ∈ A). ya sea porque el jugador se arruina o porque gana todo el capital. (τ = n) = (X1 ∈ A) ∩ · · · ∩ (Xn−1 ∈ A) ∩ (Xn ∈ A) ∈ Fn . Tiempos de paro Bajo la interpretaci´n de que τ es un tiempo aleatorio en el cual ocurre un cierto o evento de inter´s. debe e poder ser respondida con la informaci´n dada por la filtraci´n al tiempo n. Es decir. N }. para cada n ≥ 1. Demuestre que la variable aleatoria constante τ = n es un tiempo de paro. a e . . si o acaso ello sucede. X2 . Sea nuevamente X1 . Sea n un entero positivo. y sea A un conjunto de Borel de o R. Dado un tiempo de paro cualquiera τ1 . / / En particular.2. / / Ejercicio. y defina o τ = m´ {n ≥ 1 : Xn ∈ A}. una sucesi´n de o variables aleatorias adaptada a la filtraci´n Fn . . Este es un tiempo de paro determinista. una sucesi´n de variables aleao torias adaptada a la filtraci´n Fn . despu´s de τ1 . Ejemplo: Tiempo de segundo arribo. y recordando el problema de la ruina del jugador. o Ejemplo: Tiempo de primer arribo. τ es ın ın el primer momento en el que la sucesi´n toma un valor dentro del conjunto A. La variable aleatoria τ es un tiempo de paro pues para cualquier valor entero de n. . en donde conviene definir m´ ∅ = ∞. . defina ahora un segundo tiempo de paro de la siguiente forma τ2 = m´ {n > τ1 : Xn ∈ A}. . . X2 . Compruebe adem´s que τ = ∞ es tambi´n un tiempo de paro. la condici´n (τ ≤ n) ∈ Fn puede interpretarse del siguiente e o modo: la pregunta de si el evento de inter´s ha ocurrido al tiempo n o antes. Es decir τ2 es el primer ın momento. tomando A como el conjunto {0. Sea A un conjunto de Borel de R. en el que el proceso toma un valor dentro del conjunto e A. y es el tiempo aleatorio en el cual el juego finaliza.168 7. Esta nueva variable resulta tambi´n ser un e tiempo de paro pues el siguiente conjunto es un elemento de Fn . No es o o dif´ comprobar que la condici´n que aparece en la definici´n es equivalente a la ıcil o o condici´n (τ = n) ∈ Fn . Sea X1 .

2. En el caso de tiempos continuos. c. En este sentido.1) Cuando en lugar de (7. entonces la igualdad (7. Sea τ un tiempo de paro con valores en {1. ∞) ∪ {∞} es un tiempo de paro respecto de una filtraci´n {Ft } si se cumple que (τ ≤ t) ∈ Ft . Puede comprobarse que la condici´n (7. e a) τ ∧ n. . es su capital al tiempo n. La desigualdad contraria. Martingalas Definici´n. b) Es adaptado a la filtraci´n. . y sea n un entero positivo. Las martingalas tienen una interpretaci´n sencilla en t´rminos de juegos justos que o e ya hemos mencionado antes: Si Xn denota el capital de un jugador al tiempo n.1) es equivalente a la igualdad aparenteo .3. Se dice que un proceso {Xn } es una martingala respecto de una o filtraci´n {Fn } si cumple las siguiente tres condiciones: o a) Es integrable. dado que se conoce la historia del juego hasta el tiempo n. el caso de submartingala. entonces es una supermartingala.s. b) τ ∨ n. entonces el proceso es una submartingala. Martingalas 169 Ejercicio.}∪{∞}. E(Xm | Fn ) = Xn . el juego es justo pues en promedio el jugador no pierde ni gana. la definici´n de tiempo de paro es la siguiente.1) se cumple la desigualdad E(Xm | Fn ) ≥ Xn . c) τ + n. o 7. para cada t ≥ 0. es decir. la desigualdad E(Xm | Fn ) ≥ Xn . Demuestre que las siguientes variables tambi´n son tiempos de paro. o Una variable aleatoria τ : Ω → [0.Cap´ ıtulo 7. corresponde a un juego desfavorable al jugador. correspondiente a la definici´n de o submartingala. .1) establece que la fortuna promedio al tiempo futuro m. o c) Para cualesquiera n ≤ m. y si E(Xm | Fn ) ≤ Xn . equivale a un juego favorable al jugador. (7.

para cualesquiera tiempos s y t tales que 0 ≤ s ≤ t. . tomando e esperanza en (7. . Ejemplos Veremos a continuaci´n algunos ejemplos de martingalas. o Observe que toda martingala es al mismo tiempo una submartingala y una supermartingala. la condici´n de martingala se escribe E(Xt | Fs ) = o Xs . ξ2 . entonces {−Xn } es una supermartingala. . para cada m ≥ 1. . tomando esperanza ahora en la a condici´n de submartingala se obtiene que para cualesquiera tiempos 1 ≤ n ≤ m. . esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. y que si {Xn } es una submartingala. Adem´s a E(Xn+1 | Fn ) = = = E(Xn + ξn+1 | Fn ) Xn + E(ξn+1 | Fn ) Xn + E(ξn+1 ). Por otro lado. Este interesante resultado es el an´logo estoc´stico al hecho de que toda sucesi´n de n´ meros a a o u reales creciente y acotada es convergente. Esta ultima condici´n es la que a menudo a e ´ o usaremos para verificar la propiedad de martingala de un proceso a tiempo discreto. y considere la filtraci´n Fn = σ{ξ1 . . Defina e Xn = ξ1 + · · · + ξn . o E(Xm ) ≥ E(Xn ). en promedio. Xn ) = Xn . la a o condici´n de martingala puede escribirse en la forma E(Xn+1 | X1 . An´logamente. Adem´s. cuando la filtraci´n es la natural. Por lo tanto. .4. . . . esto puede interpretarse en el sentido de que. Xn }. . .170 7. La variable o aleatoria Xn puede interpretarse como la fortuna de un jugador despu´s de n e apuestas sucesivas en donde la ganancia o p´rdida en la k-´sima apuesta es ξk . Sea ξ1 . cuando Fn = σ{X1 . sin olvidar la condiciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una martingala. ξn }. o Martingala del juego de apuestas. Para procesos a tiempos continuos.4. . una sucesi´n de variables o aleatorias independientes id´nticamente distribuidas y con esperanza finita. e e Claramente el proceso Xn es integrable y es adaptado. es convergente. . las submartingalas son procesos que tienden a crecer. es decir. M´s adelante demostraremos que a cuando la submartingala es acotada superiormente.1) con n = 1 se obtiene la igualdad E(Xm ) = E(X1 ). . 7. toda propiedad para submartingalas puede ser escrita tambi´n para supermartingalas bajo este cambio de signo. Ejemplos mente m´s d´bil E(Xn+1 | Fn ) = Xn . .

Es claro que cada una de estas variables es integrable y por definici´n o de esperanza condicional el proceso es adaptado a la filtraci´n. Si el resultado e promedio de las apuestas es mayor o igual a cero. para cada 0 ≤ s ≤ t. un juego favorable al jugador. a este nuevo proceso es integrable y adaptado. Sea Fn una filtraci´n dada. o Martingala del proceso de Poisson centrado. una caminata aleatoria sim´trica es una martingala. y sean F1 y F2 dos sub σ-´lgebras tales que F1 ⊆ F2 . Entonces el proceso centrado Xt − λt es una martingala. Usando la identidad anterior demostrao remos que la sucesi´n de variables aleatorias dada por Xn = E(X | Fn ) es una o martingala. Este ejemplo es un caso particular del siguiente resultado que el lector puede f´cila mente verificar siguiendo el c´lculo anterior: Si un proceso integrable {Xt } tiene a incrementos independientes. En particular. correspondiente a un juego desfavorable al jugador. Finalmente cuando el resultado promedio de cualquier apuesta es menor o igual a cero. el segundo sumando se anula y se tiene un ejemplo de martingala. Sea X una variable aleatoria integrable. Sea Xt un proceso de Poisson de par´metro λ.Cap´ ıtulo 7. Para la martingala del juego de apuestas justas Xn = ξ1 + · · · + ξn . Adem´s o a E(Xn+1 | Fn ) = E(E(X | Fn+1 ) | Fn ) = E(X | Fn ) = Xn . . Ejercicio. Adem´s. 2 demuestre que el proceso Xn − n es una martingala si. Var(ξ) = 1. y s´lo si. un juego justo. entonces E(Xn+1 |Fn ) ≥ Xn . a E(Xt − λt | Fs ) = = = = = = E(Xt | Fs ) − λt E(Xt − Xs + Xs | Fs ) − λt E(Xt − Xs | Fs ) + Xs − λt E(Xt − Xs ) + Xs − λt λ(t − s) + Xs − λt Xs − λs. Martingalas 171 Cuando el resultado promedio de cualquiera de las apuestas es cero. No es dif´ coma ıcil probar la siguiente propiedad de la esperanza condicional: E( E(X | F2 ) | F1 ) = E(X | F1 ). entonces el proceso centrado {Xt − E(Xt )} es una martingala. En efecto. el proceso es una supermartingala pues E(Xn+1 |Fn ) ≤ Xn . Martingala de la esperanza condicional. es decir. y por lo tanto el proceso es una submartingala.

a y por lo tanto E|Xn | < ∞. por lo tanto E(Xn+1 | Xn ) = Xn + (0) n + 2 − Xn Xn n+3 + (1) = Xn . Las probabilidades de transici´n son las siguientes o P (Xn+1 = k + 1 | Xn = k) = P (Xn+1 k . Procesos detenidos Martingala de la urna de Polya. y que despu´s del n-´simo e e ensayo hay n+2 bolas en la urna. entonces se tiene que e e o E(Mn+1 | Fn ) = E( Xn+1 Xn | Fn ) = = Mn .1: ensayo.5. Este experimento se repite varias veces. Un experimento consiste en escoger una bola al azar y regresarla a la urna junto con otra bola del mismo color. n+2 n+2−k = k | Xn = k) = . Sin embargo. En ocasiones es necesario considerar un o . Suponga que una urna contiene inicialmente una bola blanca y una bola negra. hemos comprobado que el proceso {Mn } es una martingala. y el valor 0 cuando la bola escogida es negra. Adem´s 1 ≤ Xn ≤ n+1. Procesos detenidos Sea Xn un proceso estoc´stico adaptado a una filtraci´n Fn . n+2 n+2 n+2 Este c´lculo demuestra que el proceso {Xn } no es una martingala.172 7. Sea Xn el n´ mero de bolas blancas en la urna despu´s del n-´simo u e e Figura 7. si a se define Mn = Xn /(n + 2). n+2 Observe que se puede escribir Xn+1 = Xn + Yn+1 . lo cual representa la fracci´n de bolas blancas en la o urna despu´s de la n-´sima extracci´n. ¿Se modifica el resultado si la configuraci´n inicial de la urna es distinta a la considerada? ¿Se o modifica el resultado si en lugar de agregar una bola adicional se agregan r bolas del mismo color? 7. en donde Yn+1 es una variable aleatoria que toma el valor +1 cuando se escoge una bola blanca en la extracci´n o n + 1.5. n+3 n+2 Es decir. Es claro que X0 = 1. y sea τ un tiempo a o de paro respecto de la misma filtraci´n.

Cap´ ıtulo 7. Martingalas

173

proceso de la forma Xτ ∧n , en donde τ ∧ n = m´ ın{τ, n}. A este tipo de procesos se les llama procesos detenidos, por ejemplo, suponga que τ = k, entonces Xτ ∧n = Xn Xk si n ≤ k, si n > k.

Es decir, como funci´n del par´metro n el proceso se vuelve constante a partir del o a tiempo aleatorio τ . Medibilidad y adaptabilidad de {Xτ ∧n}. Las variables del proceso detenido son efectivamente variables aleatorias y el proceso mismo es adaptado a la misma filtraci´n pues para cualquier n´ mero real x, y para cada n´ mero natural n, o u u
n

(Xτ ∧n ≤ x) = [

k=1

(τ = k) ∩ (Xk ≤ x)] ∪ [(τ > n) ∩ (Xn ≤ x)].

La expresi´n del lado derecho es claramente un elemento de Fn . Si el proceso o original es integrable, entonces el proceso detenido es tambi´n integrable pues e E|Xτ ∧n | = E( |Xτ | 1(τ ≤n) ) + E( |Xn | 1(τ >n) )
n

≤ ≤

k=1 n

E( |Xk | 1(τ =k) ) + E( |Xn | 1(τ >n) ) E|Xk | + E|Xn | < ∞.

k=1

Por ejemplo, considere que {Xn } es la martingala del juego de apuestas. Suponga que el jugador decide dejar de jugar cuando pierda todo su capital o cuando consigue ganar el doble de su capital inicial. El momento aleatorio en el que ocurre alguno de estos dos eventos es un tiempo de paro τ . El capital del jugador en cualquier tiempo n puede expresarse como Xτ ∧n . Ejercicio. Sea {Xn } un proceso adaptado a la filtraci´n {Fn }, y sea τ un tiempo o de paro a tiempo discreto que adem´s es finito, es decir, P (τ < ∞) = 1. Demuestre a que Xτ es una variable aleatoria. Demostraremos a continuaci´n que una martingala detenida sigue siendo martino gala. Proposici´n. Si {Xn } es una martingala, submartingala o supermartingala, o y τ es un tiempo de paro respecto de la misma filtraci´n, entonces el proceso o detenido {Xτ ∧n} tambi´n lo es. e

174

´ 7.6. Una aplicacion: Estrategias de juego

Demostraci´n. Hemos demostrado antes que el proceso detenido es adaptado e o integrable. Resta demostrar la propiedad de martingala. El caso submartingala y supermartingala se obtienen modificando adecuadamente la pen´ ltima igualdad en u el siguiente an´lisis. a
n

E(Xτ ∧(n+1) | Fn ) = =

k=1 n

E(Xk 1(τ =k) | Fn ) + E(Xn+1 1(τ >n) | Fn ) Xk 1(τ =k) + E(Xn+1 | Fn ) 1(τ >n) Xk 1(τ =k) + Xn 1(τ >n)

k=1 n

=
k=1

=

Xτ ∧n

7.6.

Una aplicaci´n: Estrategias de juego o

Considere nuevamente la sucesi´n de variables aleatorias independientes id´nticao e mente distribuidas {ξn } tal que P (ξ = +1) = 1/2 y P (ξ = −1) = 1/2, y con filtraci´n natural {Fn }. Considere la suma Xn = ξ1 + · · · + ξn , es decir, Xn es una o martingala que representa el total de ganancias en una serie de n apuestas justas de una unidad monetaria. Suponga ahora que el monto de cada apuesta no es uno, sino una cantidad an para la n-´sima apuesta. Supondremos que an es una variable e aleatoria que el jugador determina a partir de la informaci´n de las n − 1 apuestas o previas, y por lo tanto es una variable Fn−1 -medible, es decir, se trata de un proceso predecible. A la colecci´n de variables aleatorias {an } con esta caracter´ o ıstica se le llama una estrategia de juego. Bajo una de estas estrategias, el capital del jugador despu´s de la n-´sima apuesta es ahora An = a1 ξ1 + · · · + an ξn , que es e e Fn -medible. Bajo la hip´tesis de que la estrategia de juego consta de variables o aleatorias acotadas, se cumple que el proceso {An } es integrable y cumple adem´s a

Cap´ ıtulo 7. Martingalas la propiedad de martingala pues E(An+1 | Fn ) = = = = = E(An + an+1 ξn+1 | Fn ) An + an+1 E(ξn+1 | Fn )

175

An + an+1 E(Xn+1 − Xn | Fn ) An + an+1 (E(Xn+1 | Fn ) − Xn ) An .

Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganancias {An } es una martingala siempre y cuando el proceso original {Xn } lo sea. Este resultado es importante saber para los apostadores pues quiere decir que no existe una estrategia de juego que convierta un juego justo en un juego favorable o desfavorable al jugador. El mismo an´lisis demuestra que si el proceso original {Xn } a es una submartingala o supermartingala y la estrategia de juego consta de variables aleatorias no negativas y acotadas, entonces el proceso {An } sigue siendo una submartingala o supermartingala. Uno de los varios significados del t´mino martingala, y que parece ser el original, e establece que una martingala es una estrategia de juego en la cual un jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta del siguiente modo: Inicialmente apuesta una unidad monetaria. En caso de perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo esta estrategia de juego.
Monto de la apuesta Resultado del lanzamiento Ganancia

1 x -1

2 x -3

4 x -7

8 1

1 2

1 x 1

2 3

1 x 2

Figura 7.2: Bajo esta estrategia de juego resulta que, cada vez que el jugador acierta, se recupera de las p´rdidas anteriores e incluso incrementa su fortuna en una unidad e monetaria. En efecto, si el jugador pierde las primeras n apuestas y gana la apuesta

176

´ 7.6. Una aplicacion: Estrategias de juego

n + 1, entonces su capital al tiempo n + 1 es
n−1

−1 − 21 − 22 − · · · − 2n−1 +
n apuestas perdidas

2n
apuesta n + 1 ganada

=

− −

2k + 2n
k=0

= = =

1 − 2n + 2n 1−2 (1 − 2n ) + 2n 1.

De esta manera si el jugador pudiera mantener esta estrategia de juego tendr´ una ıa unidad ganada por cada acierto que haya conseguido. Parece ser una estrategia segura de ganar, sin embargo, veamos cu´nto, en promedio, podr´ ser su d´ficit a ıa e justo antes de recuperarse, es decir, calcularemos E(Xτ −1 ), en donde τ es el tiempo de paro en el que el jugador acierta por primera vez. Puede comprobarse que este tiempo de paro es finito casi seguramente, es decir, P (τ < ∞) = 1. De hecho, con probabilidad uno, el jugador tendr´ eventualmente un ´xito a´ n cuando sus proıa e u babilidades de acertar fueran peque˜ as. Como hemos visto, despu´s de n apuestas n e consecutivas perdidas el capital empe˜ ado es −1 − 21 − 22 − · · · − 2n−1 = 1 − 2n , y n la probabilidad de perder n apuestas sucesivas y ganar la apuesta n + 1 es 1/2n+1 . Por lo tanto E(Xτ −1 ) = = = =
∞ n=1 ∞ n=1 ∞ n=1

E(Xτ −1 | τ = n) P (τ = n) E(Xn−1 ) P (τ = n) 1 2n

(1 − 2n−1 )

−∞.

Es decir, se requerir´ de un capital promedio infinito y poder apostar una infinidad ıa de veces para llevar a cabo con ´xito esta estrategia, algo no muy factible en e t´rminos de dinero y tiempo. e

Cap´ ıtulo 7. Martingalas

177

7.7.

Teorema de paro opcional y aplicaciones

Hemos observado antes que para una martingala Xn se cumple que E(Xn ) = E(X1 ), para cualquier valor de n. Si adem´s se tiene un tiempo de paro finito τ , no a necesariamente es cierto que E(Xτ ) = E(X1 ), e incluso el n´ mero E(Xτ ) podr´ no u ıa ser finito como en la estrategia de juego llamada martingala analizada en la secci´n o anterior. El siguiente resultado establece condiciones bajo las cuales la variable Xτ tiene la misma esperanza que la martingala. Teorema de paro opcional. Sea {Xn } una martingala y sea τ un tiempo de paro finito, ambos respecto de una filtraci´n {Fn }, tales que o a) Xτ es integrable. b) l´ E(Xn 1(τ >n) ) = 0. ım
n→∞

Entonces E(Xτ ) = E(Xn ), para cualquier n ≥ 1. Demostraci´n. La observaci´n importante es que para cualquier n ≥ 1, o o Xτ = Xτ ∧n + (Xτ − Xn ) 1(τ >n) . Tomando esperanza y usando el hecho de que Xτ ∧n es una martingala, E(Xτ ) = = E(Xτ ∧n ) + E((Xτ − Xn ) 1(τ >n) ) E(X1 ) + E(Xτ 1(τ >n) ) − E(Xn 1(τ >n) ).

Como el proceso original es una martingala, el primer sumando es E(Xn ). Haciendo n → ∞, el tercer sumando se anula por hip´tesis. Usando la hip´tesis de o o integrabilidad de Xτ y el teorema de convergencia dominada, el segundo sumando converge tambi´n a cero pues es la cola de la serie convergente e E(Xτ ) = E(

Xk 1(τ =k) ) =

∞ k=1

E(Xk 1(τ =k) ).

k=1

Como una aplicaci´n del teorema de paro opcional calcularemos algunos tiempos o medios de arribo en caminatas aleatorias.

En ´ palabras.3. 2 Ahora no es tan sencillo calcular esta esperanza pues Xτ puede tomar dos valores. en valor absoluto. en valor absoluto. ın o 2 en donde a.3: llegar al nivel ±b. Suponiendo de manera preliminar que las condiciones del teorema de paro 2 2 opcional se cumplen. de donde se obtiene E(τ ) = E(Xτ ). el nivel b. Defina uk = P (Xτ = b | X0 = k). en promedio. Usando an´lisis del primer paso puede comproa barse que uk cumple la ecuaci´n en diferencias 2uk = uk+1 + uk−1 . Sabemos que tanto el 2 proceso {Xn } como {Xn − n} son martingalas. La e idea es aplicar nuevamente el teorema de paro opcional aunque los c´lculos no a son tan inmediatos. barrera sim´trica e e Sea {Xn } una caminata aleatoria sim´trie ca simple sobre Z que inicia en cero. La ultima igualdad se obtiene al observar que |Xτ | = b. b2 o a2 . n Caso caminata sim´trica. v´ase la Figura 7. barrera asim´trica e e Generalizaremos ahora el c´lculo anterior para el caso en el que se tiene una barrera a inferior −a y una barrera superior b. y cuya soluci´n es uk = (a + k)/(a + b).178 7. Por lo tanto. Teorema de paro opcional y aplicaciones Caso caminata sim´trica. 2 2 E(τ ) = E(Xτ ) = b . con condiciones o de frontera ub = 1 y u−a = 0. Nos interesa e encontrar E(τ ). el n´ mero promeu dio de pasos que le toma a la caminata Figura 7. Entonces 2 E(τ ) = E(Xτ ) = b2 P (Xτ = b) + a2 P (Xτ = −a). ın Xn (ω) b τ es decir. con a. el −b nivel b.7. no necesariamente id´nticos. Nuevamente el proceso centrado {Xn − n} es una martingala 2 2 2 y por lo tanto E(Xτ − τ ) = E(X1 − 1) = 0. esto es. se tiene que E(Xτ − τ ) = E(X1 − 1) = 0. este resultado dice que la caminata aleatoria sim´trica simple que inicia e en cero necesita. τ es el primer momento en el que la caminata alcanza. b ∈ N. Defina el tiempo de paro τ = m´ {n ≥ 1 : |Xn | = b}. Supongamos entonces que {Xn } es una caminata aleatoria sim´trica simple que inicia en cero y defina el tiempo de paro e τ = m´ {n ≥ 0 : Xn = b ´ Xn = −a}. b ∈ N. o . y sea b ≥ 1 un entero cualquiera. b2 pasos para alcanzar.

E(τ ) 2 = E(Xτ ) = b2 P (Xτ = b) + a2 P (Xτ = −a) = b2 u0 + a2 v0 a b = b2 + a2 a+b a+b = ab. o Por lo tanto. Caso caminata asim´trica. se encuentra que vk cumple a la ecuaci´n en diferencias 2vk = vk+1 + vk−1 . y cuya soluci´n es vk = (b − k)/(a + b). 1 − (p/q)a+b An´logamente. con condiciones de frontera vb = 0 o y v−a = 1. definiendo vk = P (Xτ = −a | X0 = k). o con condiciones de frontera ub = 1 y u−a = 0. Suponiendo nuevamente que las condiciones del teorema de paro opcional se cumplen. El problema es nuevamente encontrar E(Xτ ). definiendo vk = P (Xτ = −a | X0 = k). De donde se obtiene E(τ ) = E(Xτ )/(p − q). el proceso centrado {Xn − n(p − q)} lo es. con condiciones de frontera vb = 0 y o v−a = 1. barrera asim´trica e e En este caso {Xn } no es una martingala pero debido a la propiedad de incrementos independientes. y cuya soluci´n es o vk = (q/p)a+k − (q/p)a+b . 1 − (q/p)a+b . Martingalas 179 An´logamente. se tiene que E(Xτ − τ (p − q)) = E(X1 − (p − q)) = 0.Cap´ ıtulo 7. Tenemos que E(Xτ ) = b P (Xτ = b) − a P (Xτ = −a). Usando an´lisis del primer paso a puede comprobarse que uk cumple la ecuaci´n en diferencias uk = p uk+1 + q uk−1 . se encuentra que vk cumple a la ecuaci´n en diferencias vk = p vk+1 + q vk−1 . Defina nuevamente uk = P (Xτ = b | X0 = k). y cuya soluci´n es o uk = (p/q)b−k − (p/q)a+b .

1 − (p/q)a+b Entonces E(τ ) = a + b 1 − (p/q)b b − · . La utilidad de este evento mayor radica en que ´ es f´cil calcular su probabilidad como veremos a conitnuaci´n. o e a) Demostraremos que τ < ∞ c. p − q p − q 1 − (p/q)2b Verificaremos a continuaci´n la validez de las tres condiciones del teorema de paro o opcional para esta aplicaci´n cuando la caminata y las barreras son sim´tricas. y que el o evento (τ > 2bk) est´ contenido en el evento “Ninguno de los primeros k bloques a contiene unicamente valores +1”. 2. Teorema de paro opcional y aplicaciones E(Xτ ) = b u0 − a v0 (p/q)b − (p/q)a+b (q/p)a − (q/p)a+b = b −a a+b 1 − (p/q) 1 − (q/p)a+b = b − (a + b) 1 − (p/q)b . La estrategia consiste en considerar bloques sucesivos de 2b pasos en la caminata aleatoria. . . para k = 1. 7. .180 Por lo tanto. . Observe que el evento (τ = ∞) es el l´ ımite de la sucesi´n decreciente de eventos (τ > 2bk).7.s.. Tenemos que a o P (τ = ∞) = ≤ = = k→∞ k→∞ l´ P (τ > 2bk) ım l´ P (“Ninguno de los primeros k bloques ım contiene unicamente valores +1”) ´ l´ (1 − (1/2)2b )k ım k→∞ 0.

(Desigualdad maximal de Doob. Entonces para cualquier a λ > 0. La sucesi´n de eventos (τ > n) es mon´tona decreciente y por lo tanto convergente. o o su l´ ımite es el evento (τ = ∞) que tiene probabilidad cero. Como Xτ = b2 .) Sea Xn una submartino ∗ gala no negativa y defina Xn = m´x{X1 . El primer sumando por lo tanto se hace peque˜ o cuando n crece. Algunas desigualdades Proposici´n. 2 E(|Xn − n|1(τ >n)) 2 ≤ E(Xn 1(τ >n) ) + E(n1(τ >n) ) ≤ N 2 P (τ > n) + E(τ 1(τ >n) ). cuando → ∞. . . Martingalas 2 2 b) Demostraremos ahora que E(|Xτ − τ |) < ∞.Cap´ ıtulo 7.8. k=0 j=1 ∞ 2 k=0 2 c) Finalmente verificaremos que E((Xn − n)1(τ >n) ) → 0. ∗ ∗ λ P (Xn ≥ λ) ≤ E(Xn 1(Xn ≥λ) ). se tiene que 2 E(|Xτ − τ |) 181 ≤ = b2 + E(τ ) b2 + 2 ∞ k=0 k P (τ = k) 2b = b + b2 + ∞ (2bk + j) P (τ = 2bk + j) 2b k=0 j=1 ≤ ≤ < ∞ (2b(k + 1)) P (τ > 2bk) (k + 1) (1 − (1/2)2b )k b2 + (2b) ∞. . Xn }. la sucesi´n de variables n o τ 1(τ >n) es tambi´n decreciente y consta de variables aleatorias integrables cuyo e l´ ımite es cero c. .s. . El segundo sumando por tanto tambi´n converge a cero. Como E(τ ) < ∞. e 7.

entonces τ = n. Es decir. y si ocurre (Xn < λ). la primera desigualdad maximal. Por lo tanto E(Xn ) ≥ E(Xτ ) ∗ ∗ = E(Xτ 1(Xn ≥λ) ) + E(Xτ 1(Xn <λ) ) ∗ ∗ ≥ λ P (Xn ≥ λ) + E(Xn 1(Xn <λ) ). Demostraci´n. . Observe que si ocurre el evento ∗ ∗ (Xn ≥ λ). entonces τ = n.) Sea Xn una subo ∗ martingala no negativa y cuadrado integrable. Como Xn es una submartingala y 1 ≤ τ ≤ n. . Es decir. el teorema de Fubini y o .8. Proposici´n. de la siguiente forma E(X 2 ) = 2 0 ∞ x P (X > x) dx. Usando esta expresi´n. cuando existe. τ es el primer momento hasta n en el que el proceso alcanza o rebasa el valor λ. El segundo momento de una variable aleatoria no negativa X puede o expresarse. ∗ λ P (Xn ≥ λ) ∗ ≤ E(Xn ) − E(Xn 1(Xn <λ) ) ∗ = E(Xn 1(Xn ≥λ) ). . Para Xn = m´x{X1 . Algunas desigualdades Demostraci´n. (Desigualdad maximal de Doob en L2 .182 7. se tiene que E(Xn ) ≥ E(Xτ ). Xn } se a tiene que ∗ 2 E(|Xn |2 ) ≤ 4 E(Xn ). . entonces Xτ ≥ λ. Para cada n natural defina el tiempo de paro o τ = n ∧ m´ ın{1 ≤ k ≤ n : Xk ≥ λ}. Si tal evento nunca ocurre.

. Convergencia de martingalas Proposici´n. Elevando al cuadrado se obtiene el resultado. ∗ E(|Xn |2 ) ≤2 ∗ E|Xn |2 E|Xn |2 . con N ∈ N fijo. Demostraci´n. Martingalas despu´s la desigualdad de Cauchy-Schwarz se tiene que e ∗ E(|Xn |2 ) 183 = 2 0 ∞ ∞ 0 ∞ ∗ x P (Xn > x) dx ∗ E(Xn 1(Xn ≥x) ) dx. 7. E|Xn |2 ∗ E|Xn |2 .Cap´ ıtulo 7. Entonces o E(Xn+1 1(τ1 =k) 1(τ2 >n) ) = = ≥ E(E(Xn+1 1(τ1 =k) 1(τ2 >n) | Fn )) E(E(Xn+1 | Fn ) 1(τ1 =k) 1(τ2 >n) ) E(Xn 1(τ1 =k) 1(τ2 >n) ). ≤ 2 = 2 ( ∗ (Xn ≥x) ∗ Xn Xn dP ) dx dx dP 0 0 = 2 Ω Xn = 2 Ω ∗ Xn Xn dP ∗ = 2E(Xn Xn ) ≤ 2 Por lo tanto. Sea k fijo tal que k ≤ n ≤ N .9. Sea {Xn } una submartingala y sean τ1 y τ2 dos tiempos de paro o acotados tales que 0 ≤ τ1 ≤ τ2 ≤ N . Entonces E(Xτ1 ) ≤ E(Xτ2 ).

Consideraremos que n es un n´ mero natural cualquiera.9. o o Evaluando esta funci´n en n = k y despu´s en n = N se obtiene la desigualdad o e E(Xk 1(τ1 =k) ) ≤ E(Xτ2 1(τ1 =k) ). Sea {Xk } un proceso adaptado a una filtraci´n {Fk }. . ın = m´ {k > τ2 : Xk > b}. . . Defina la sucesi´n u o creciente de tiempos de paro τ1 τ2 τ3 τ4 = m´ {k ≥ 1 : Xk > b}. Esto quiere decir que la funci´n n → E(Xτ2 ∧n 1(τ1 =k) ) es mon´tona creciente. Entonces N E(Xτ1 ) = k=0 N E(Xτ1 1(τ1 =k) ) E(Xk 1(τ1 =k) ) k=0 N = ≤ = E(Xτ2 1(τ1 =k) ) k=0 E(Xτ2 ). y sean a < b dos n´ meros o u reales. ın .184 Por lo tanto 7. ın = m´ {k > τ1 : Xk < a}. ın = m´ {k > τ3 : Xk < a}. Convergencia de martingalas E(Xτ2 ∧n 1(τ1 =k) ) = ≤ = E(Xτ2 1(τ1 =k) 1(τ2 ≤n) ) + E(Xn 1(τ1 =k) 1(τ2 >n) ) E(Xτ2 1(τ1 =k) 1(τ2 ≤n) ) + E(Xn+1 1(τ1 =k) 1(τ2 >n) ) E(Xτ2 ∧(n+1) 1(τ1 =k) ).

Una de tales suk cesiones se muestra en la τ1 τ2 τ3 τ4 τ5 τ6 Figura 7. En la gr´fica se muestran tres cruces de este tipo. . la funci´n Dn [a. es decir. b]. de arriba hacia abajo. es decir. los cuales a se encuentran remarcados en la trayectoria. para alguna k. el proceso se encuentra arriba de b en ese momento. mientras que para valores pares del sub´ ındice. que las trayectorias del proceso realizan u sobre el intervalo [a. De esta manera se tiene la sucesi´n mon´tona de variables aleatorias D1 [a. Nos interesa contar o el n´ mero de cruces de arriba hacia abajo.Cap´ ıtulo 7. b] antes del tiempo n es el m´ximo entero k tal que τ2k < n. b] ≤ D2 [a. b] ≤ · · · que o o es convergente al n´ mero total de cruces u D[a. La letra D usada para ıo. Observe que antes del valor n y para valores impares en el sub´ ındice de τ . Observe que u e e para cada n.4. . . En la demostraci´n que se presenta a continuaci´n sobre la convergencia de subo o martingalas se hace uso de este n´ mero de cruces. b] = sup {k ≥ 1 : τ2k < ∞}. b] ≥ k) = (τ2k < n) es medible. a Si el conjunto de cruces es vac´ se define Dn [a. Estimaremos a continuaci´n la u o esperanza de Dn [a.4: presenta una trayectoria del proceso con sus valores unidos por una l´ ınea continua para una mejor visualizaci´n. en donde se Figura 7. b]. Dn [a. Martingalas Xk (ω) 185 Si alguno de los conjuntos se˜ alados es vac´ o n ıo b bien cuando τk ≥ n. el proceso se encuentra por abajo del nivel a. De esta forma se tiene la sucesi´n τ1 ≤ τ2 ≤ o · · · ≤ n. y se a denota por Dn [a. b] = m´x {k ≥ 1 : τ2k < n}. se define τk = a n. que el proceso realiza sobre u el intervalo [a. el conjunto (Dn [a. denotar este n´ mero proviene del t´rmino en ingl´s Downcrossing. 1. b]. b] = 0.} es una variable aleatoria pues para o cada entero k. b] : Ω → {0. El n´ mero de cruces completos. . entre los tiempos τ2k−1 y τ2k el proceso realiza un cruce de arriba hacia abajo.

Ω Xτ2k−1 dP ≤ Xτ2k dP. el proceso al tiempo τ2k se encuentra por abajo de a. . Sea {Xn } una submartingala. Tenemos entonces que E(Xτ2k−1 ) ≤ E(Xτ2k ). mientras que cuando ocurre A2k . se llega al siguiente resultado n 0≤ Entonces A2k−1 (Xτ2k−1 − b) dP ≤ A2k−1 (Xτ2k − b) dP. la segunda y cuarta integral coinciden y podemos omitirlas de esta desigualdad. es decir.186 7. Convergencia de martingalas Proposici´n. .9. Entonces o E(Dn [a. b]) ≤ 1 1 E(Xn − b)+ ≤ ( sup E|Xn | + |b| ). . Ahora observe que sobre el conjunto Ac 2k−1 . A continuaci´n usaremos la propiedad de submartingala aplicada a los tiempos o de paro acotados τ2k−1 ≤ τ2k ≤ n. Defina la sucesi´n de eventos Ak = (τk < n) para k = 1. se cumple que τ2k−1 = τ2k = n. Por o o la monoton´ de los tiempos de paro definidos antes se tiene que A1 ⊇ A2 ⊇ · · · ıa Eventualmente los elementos de esta sucesi´n son el conjunto vac´ pues no pueden o ıo efectuarse demasiados cruces en un tiempo limitado n. Observe adem´s que cuando a ocurre el evento A2k−1 el proceso al tiempo τ2k−1 se encuentra por arriba de b. Por lo tanto. se tiene que Xτ2k−1 dP + A2k−1 Ac 2k−1 Xτ2k−1 dP ≤ Xτ2k dP + A2k−1 Ac 2k−1 Xτ2k dP. . 2. A˜ adiendo la constante b. Ω Separando ambas regiones de integraci´n como Ω = A2k−1 ∪ Ac o 2k−1 . b−a b−a n Demostraci´n.

. Esto concluye la demostraci´n de la primera estimaci´n. b]) = k=1 n P (Dn [a. Ahora estamos en condiciones de probar que toda submartingala acotada en media es convergente. Martingalas 187 0 ≤ = A2k−1 (Xτ2k − b) dP A2k−1 \A2k A2k (Xτ2k − b) dP + (Xτ2k − b) dP ≤ Por lo tanto (a − b)P (A2k ) + A2k−1 \A2k (Xn − b) dP.Cap´ ıtulo 7. P (A2k ) ≤ ≤ 1 b−a 1 b−a A2k−1 \A2k A2k−1 \A2k (Xn − b) dP (Xn − b)+ dP. Como P (A2k ) = P (τ2k < n) = P (Dn [a. b] ≥ k) P (A2k ) = k=1 ≤ ≤ 1 b−a n A2k−1 \A2k k=1 (Xn − b)+ dP 1 E(Xn − b)+ . b] ≥ k). n E(Dn [a. b−a Para la ultima desigualdad se hace uso del hecho de que las diferencias A2k−1 \A2k ´ son conjuntos ajenos. La o o segunda desigualdad del enunciado se sigue de las siguientes estimaciones (Xn − b)+ ≤ |Xn − b| ≤ |Xn | + |b|.

cuyo n´ mero de cruces es D[a. . para cualesquiera o o a < b. . X2 (ω). ım ım n→∞ n→∞ Esto contradice la hip´tesis de que la sucesi´n es convergente. ım ım n→∞ n→∞ Entonces. Demostraremos que la u sucesi´n {Xn (ω)} es convergente si. D[a. b]) < ∞.9. b](ω). D[a. (⇒) Suponga que la sucesi´n es convergente pero que D[a. y s´lo si. Sea {Xn } una submartingala tal que supn E|Xn | < ∞. Entonces existe una variable aleatoria integrable X tal que l´ Xn = X c. b](ω) = ∞ para alg´ n o u par de n´ meros a y b tales que a < b. pero ello es consecueno cia del teorema de convergencia mon´tona y la ultima proposici´n pues o ´ o E(D[a. b](ω) < ∞ para cualesquiera a < b. lo cual contradice la hip´tesis inicial. ım ım . en particular. Para llegar a esta conclusi´n demostraremos que E(D[a. b]) ım La integrabilidad del l´ ımite X se sigue del lema de Fatou pues n n n 1 (sup E|Xn | + |b|) < ∞. ım n→∞ Demostraci´n. o Por lo tanto es suficiente demostrar que con probabilidad uno. b−a n E|X| = E(l´ inf |Xn |) ≤ l´ inf E|Xn | ≤ sup E|Xn | < ∞.188 7. b] < ∞. Suponga que la sucesi´n no es convergente.s. b](ω) < ∞. o para cualesquiera n´ meros a < b. Sea ω en Ω y considere la sucesi´n num´riu o e ca X1 (ω). o o (⇐) Suponga ahora que D[a. Convergencia de martingalas Teorema de convergencia de submartingalas de Doob. b] < ∞ casi seguramente. Entonces u l´ inf Xn (ω) ≤ a < b ≤ l´ sup Xn (ω). para este par de n´ meros reales se tiene que D[a1 . b1 ](ω) = u ∞. . Entonces existen a1 < b1 tales que o l´ inf Xn (ω) ≤ a1 < b1 ≤ l´ sup Xn (ω). Verificaremos primero que la convergencia de tal sucesi´n de vao o riables aleatorias es equivalente a la condici´n: D[a. b]) = ≤ n→∞ l´ E(Dn [a.

Como hemos mencionado antes. y s´lo si. Puede comprobarse que una variable aleatoria X es integrable si. . y toda supermartingala se convierte en una submartingala a trav´s de un cambio de signo. En [14] pueden encontrarse algunos otros m´todos alternativos de demostraci´n.Cap´ ıtulo 7. se tiene que el teorema e anterior es v´lido en cualquiera de los tres casos. suba martingala o supermartingala acotada en la forma en la que indica el enunciado del teorema. para cada ǫ > 0 puede encontrarse un n´ mero M > 0 tal o u que (|X|>M) |X| dP < ǫ.10. X2 . Integrabilidad uniforme. . es decir. toda martingala. procesos que. en promedio. y su l´ ımite es una variable aleatoria integrable. tienden a decrecer. Es decir. Cuando la sucesi´n Mn no depende de n. . Antes de enunciar el resultado explicaremos la condici´n de integrabilidad o uniforme para un proceso. de modo que en este caso hemos encontrado una cota superior para el n´ mero promedio de cruces hacia u abajo. La demostraci´n que se ha presentado aqui sobre la convergencia de submartino galas es la prueba original de Doob de 1940. se enuncia y prueba el mismo resultado para supermartingalas. 7. Representaci´n de martingalas o En esta secci´n demostraremos que toda martingala que cumple la condici´n de o o ser uniformemente integrable puede escribirse en t´rminos de una esperanza condie cional. es convergente casi seguramente. Considere ahora una sucesi´n infinita de variables aleatorias integrables X1 . Es o . En algunos textos. Martingalas 189 Como toda martingala es una submartingala. o Para cada ǫ > 0 puede encontrarse entonces una sucesi´n de n´ meros reales Mn > 0 o u tales que (|Xn |>Mn ) |Xn | dP < ǫ. cuando sea una sucesi´n constano o te. se dice que la sucesi´n de variables aleatorias es uniformemente integrable. por ejemplo [4]. las e o submartingalas son procesos que en promedio tienden a crecer.

190 ´ 7. (|Xn |>M) |Xn | dP < ǫ. |Xn | dP = 1 0 si n > M. y como medida de probabilidad la medida de Lebesgue sobre dicho intervalo. entonces P (|Xn | > . la cual o ilustraremos despu´s con un par de ejemplos. 1) con la σ-´lgebra los subconjuntos a de Borel de (0. Sea X una variable aleatoria integrable y sea Fn un filtraci´n. como |Xn | ≤ E(|X| | Fn ). X2 . es uniformemente integrable si para cada ǫ > 0 existe un n´ meu ro M > 0 tal que para toda n ≥ 1. 1). Representacion de martingalas evidente que la integrabilidad uniforme es m´s fuerte que la simple integrabilidad a de las variables de un proceso. Demoso traremos que la martingala Xn = E(X | Fn ) es uniformemente integrable. Adem´s. La sucesi´n de variables aleatorias dada por Xn = n 1(0. con δ > 0 arbitrario. . si n ≤ M. entonces A |X| dP < ǫ. . Se dice que una sucesi´n de variables aleatorias integrables o o X1 . De modo que si se toma M > E(|X|)/δ. .1/n) no es o uniformemente integrable pues para cualquier M > 0. Ejemplo. tenemos que para cada ǫ > 0 existe δ > 0 tal que si P (A) < δ. tomando esperanzas y a para cualquier M > 0 se tiene que E|X| ≥ ≥ ≥ E|Xn | (|Xn |>M) |Xn | dP M P (|Xn | > M ). Tenemos entonces la siguiente definici´n. (|Xn |>M) Ejemplo. e Definici´n. Como |X| es integrable.10. Considere el espacio muestral Ω = (0.

Todo proceso que consta de variables aleatorias integrables y o que es convergente en media. para cualquier n ≥ 1. Martingalas M ) ≤ E(|X|)/M < δ. Demostraci´n. para cada ǫ > 0 existe δ > 0 tal que si P (A) < δ. Por otro lado. es acotada en media. 1 Es decir. E(|Xn |) ≥ (|Xn |>M) |Xn | dP ≥ M P (|Xn | > M ). P (|Xn | > M ) ≤ M E(|Xn |) ≤ δ si se toma M = 1 supn E((|Xn |).Cap´ ıtulo 7. Esto es. . E|Xn − X| < ǫ/2. . E|Xn − X| → 0. o En particular y con el valor de M mencionado. es uniformemente integrable. Para el caso n > N se tiene que (|Xn |>M) |Xn | dP ≤ ≤ ≤ (|Xn |>M) (|Xn |>M) |X| dP + (|Xn |>M) |Xn − X| dP |X| dP + E(|Xn − X|) ǫ ǫ + = ǫ. N . cuando P (A) < δ. Suponga que X1 . para cada a n a n = 1. . Tomando un valor de δ > 0 m´s peque˜ o si es necesario se tiene adem´s que A |Xn | dP < ǫ. Por lo tanto (|Xn |>M) 191 |Xn | dP ≤ = (|Xn |>M) (|Xn |>M) E(|X| | Fn ) dP |X| dP < ǫ. . Dado que el l´ ımite X es integrable. para cada ǫ > 0 existe un natural N tal que para cualquier n > N . . 2 2 . lo anterior demuestra la integrabilidad uniforme de las variables Xn para valores de n menores o iguales a N . La siguiente proposici´n establece que la convergencia en media es una condici´n o o suficiente para que se cumpla la propiedad de integrabilidad uniforme en un proceso. es una sucesi´n de variables aleatorias o o integrables convergente en media a la variable aleatoria integrable X. . Proposici´n. entonces A |X| dP < ǫ/2. Tal δ valor de M es finito pues como la sucesi´n converge en media. X2 . . es decir.

es decir.192 ´ 7. es decir. ǫ P (|Xn − X| > ǫ/3) < . . Proposici´n. Entonces o E(|Xn − X|) = (|Xn −X|>M) |Xn − X| dP |Xn − X| dP + (ǫ/3<|Xn −X|≤M) + (|Xn −X|≤ǫ/3) |Xn − X| dP < < ǫ ǫ + M P (|Xn − X| > ǫ/3) + P (|Xn − X| ≤ ǫ/3) 3 3 ǫ. Toda submartingala uniformemente integrable es convergente en o media. 3M en donde M > 0 es la constante de la estimaci´n anterior. existe un entero N tal que para n > N . Heo mos demostrado antes que en tales condiciones la submartingala es necesariamente acotada en L1 . existe M > 0 o tal que para toda n ≥ 1. como la convergencia casi segura implica la convergencia en probabilidad se tiene que P (|Xn − X| > ǫ/3) → 0. en particular. Sea ǫ > 0 arbitrario.s.10. (|Xn −X|>M) |Xn − X| dP < ǫ . Demostraci´n. una n o martingala. 3 Por otro lado. cuando n → ∞. que E|Xn − X| → 0. s´lo que hay que o o a˜ adir la condici´n de que el proceso sea una submartingala. Debido a la hip´tesis de integrabilidad uniforme. y por lo tanto satisface las condiciones del teorema de convergencia de martingalas de Doob. Representacion de martingalas El siguiente resultado es un rec´ ıproco de la proposici´n anterior. Demostraremos que Xn → X en media. Existe entonces una variable aleatoria integrable X tal que Xn → X c. Sea {Xn : n ≥ 1} una submartingala uniformemente integrable.

o e o y en el l´ ımite se obtiene o reconstruye X. Es ´ e decir. Ω Por lo demostrado antes. Entonces Xn = E(X | Fn ). a . El lector puede encontrar otras exposiciones introductorias al tema de martingalas a tiempo discreto en Karlin y Taylor [19]. Xm dP = A A Xn dP. Para lecturas m´s avanzadas pueden consultarse Revuz y Yor [29] y Tudor [38].s. Entonces | Xn − X dP | = | ≤ ≤ Xm − X dP | A A A |Xm − X| dP |Xm − X| dP. para cualquier A en Fn . La variable Xn = E(X | Fn ) puede interpretarse como una aproximaci´n de la o variable desconocida X cuando se cuenta con la informaci´n dada por la σ-´lgebra o a Fn . Conforme n crece. Esto significa que Xn = E(X | Fn ) c. Martingalas 193 Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional. con filtraci´n natural Fn . la informaci´n acerca de X aumenta a trav´s de la filtraci´n. Demostraci´n. y teniendo a la variable X o como su l´ ımite en media. Sea Xn una martingala unio formemente integrable.Cap´ ıtulo 7. y Lawler [23]. Notas y referencias. E(Xm | Fn ) = Xn . Teorema de representaci´n de martingalas. Esto quiere decir que o para cualquier evento A en Fn . Para cualquier m > n. A Xn dP = A X dP . el ultimo t´rmino converge a cero cuando m → ∞.

En 1953 public´ su libro cl´sico Stochastic Processes. de la universidad de Illinois. Hotelling en la universidad de Columbia de 1934 a 1935. y en 1931 obtuvo el grado de maestr´ bajo la supervisi´n ıa o de J. Paul Halmos o (1938). y profundizando parte del trabajo de Paul L`vy. L. En 1994. En Junio de ese mismo a˜o se cas´ con n o Elsie Field con quien tuvo tres ni˜ os. Este inter´s suyo por la electr´nie o ca y las comunicaciones se increment´ durante la prepao ratoria obteniendo incluso una licencia para llevar a cabo transmisiones por radio. se convenci´ que el curso que verdan o deramente disfrut´ fue el de c´lculo y sus aplicaciones. En 1930 obtuvo el grado de licenciatura de la o a universidad de Harvard.10. Al a˜ o siguiente. colegas y amigos. Doob fue miembro de las Academias de Ciencias de los Estados Unidos y de Francia. a la edad de 84 a˜ os. presidi´ el Instituto de Estad´ o ıstica Matem´tica a (IMS) en 1950. las cenizas de los restos mortales de Doob fueron esparcidas por o . Estuvo muy interesado en el funcionamiento del radio e incluso construy´ ´l oe mismo su propio equipo. Laurie Snell (1951) y John Walsh (1966). David Blackwell (1941). Dado este inter´s en la electr´nie o ca. Tiempo despu´s obtuvo un beca para trabajar en la teor´ de la probabie ıa lidad con H. entre otros. Doob pens´ que la f´ o ısica era el ´rea que deb´ estudiar a ıa al ingresar a la universidad. en 1932. a Recibi´ varios premios prestigiosos de su pa´ por la trascendencia y profundidad o ıs de sus trabajos. El trabajo de Doob se centra principalmente en la teor´ de la medida. el cual fue reo a editado en 1990. y la Sociedad Matem´tica Norteamericana (AMS) de 1963 a 1964.194 ´ 7. Doob empez´ a tener inter´s por la ciencia desde peque˜ o o e n cuando cursaba la escuela secundaria. public´ su ultimo n o ´ texto titulado Measure Theory. all´ fue donde desarroll´ su carrera como profesor hasta el a˜ o de 1978 cuando ı o n se jubil´. Walsh en la misma universidad. la teor´ de la ıa ıa probabilidad y las relaciones de ´sta ultima con la teor´ del potencial. despu´s de e Doob un a˜ o de estudios. Durante muchos a˜ os de su vida Doob mantuvo la costumbre y el n gusto por organizar y realizar las famosas caminatas de los s´bados por la tarde a junto a profesores universitarios. durante los a˜ os cuarentas e n y cincuentas Doob desarroll´ la teor´ b´sica de las martingalas y algunas de sus o ıa a aplicaciones. J. reimpreso en 2001. Dentro de sus estudiantes de doctorado figuran. Doob (Estados Unidos 1910–2004). En partie ´ ıa cular. obtuvo el grado n n de doctorado con un trabajo de tesis sobre las funciones anal´ ıticas y sus valores de frontera. En 1984 public´ Classical Potential Theory and its Probabilistic o Counterparts. Representacion de martingalas Joseph L. A petici´n propia. Sin embargo. Y as´ lo hizo al ingresar a la ı universidad de Harvard en 1926. Al final de ese periodo fue contratado como profesor asociado en la universidad de Illinois en 1935. Para el segundo a˜ o se o a n registr´ en cursos de matem´ticas.

y Snell [32]. [33]. Fuente: Archivo MacTutor.Cap´ ıtulo 7. Para una informaci´n o m´s amplia sobre la vida y el trabajo de Doob v´anse los trabajos de Bingham [2]. Martingalas 195 sus compa˜ eros en uno de sus sitios favoritos donde acostumbraba caminar junto n a sus amigos. Universidad de St. a e Burkholder y Protter [5]. Andrews. .

Sean τ1 y τ2 dos tiempos de paro respecto de la misma filtraci´n. Demuestre que la variable aleatoria constante τ = n es un tiempo de paro. τ2 como el segundo momento en el que el proceso toma el valor x. . Sea {Xt } un proceso adaptado a la filtraci´n {Ft }. Compruebe adem´s que τ = ∞ es tambi´n un tiempo a e de paro. Representacion de martingalas Ejercicios Filtraciones 121. Sea n un entero positivo. Tiempos de paro 122. o 126. Defina las variables aleatorias: τ1 como el primer momento en el que el proceso toma el valor x. y sea x un n´ mero real cualquiera u dentro del espacio de estados del proceso. o 123. 127. y sea {Gt } la filtraci´n o o natural del proceso. Determine si τ es un tiempo de paro respecto de la filtraci´n dada. Sea {Fn } la filtraci´n natural de este proceso y defina o la variable τ como el primer tiempo n tal que X1 + · · · + Xn ≥ 10. Demuestre o que τ1 + τ2 es tambi´n un tiempo de paro. Demuestre que la condici´n en la definici´n de tiempo de paro a tiempo o o discreto “(τ ≤ n) ∈ Fn ” es equivalente a la condici´n “(τ = n) ∈ Fn ”. Sea {Xn } la sucesi´n de resultados que se obtienen al lanzar sucesivamente o un dado equilibrado. Sea τ un tiempo de paro con valores en {1. etc. Demuestre que τ1 ≤ τ2 ≤ · · · son tiempos de paro. e a) τ1 ∧ τ2 b) τ1 ∨ τ2 . . 2. 125. Demuestre que para cada t ≥ 0 se cumple Gt ⊆ Ft . .10. Demuestre o que las siguientes variables aleatorias tambi´n son tiempos de paro. Esto significa que la filtraci´n natural es la filtraci´n m´s peque˜ a respecto de la o o a n cual un proceso es adaptado. . Demuestre que tanto τ ∧ n como τ ∨ n son tambi´n tiempos de paro e respecto de la misma filtraci´n. Sean τ1 y τ2 dos tiempos de paro respecto de la misma filtraci´n. . e 128. Sea Xn un proceso a tiempo discreto. ∞} y sea n un n´ mero u natural.196 ´ 7. o 124.

a) E(Xt ) = E(Xs ) cuando {Xt } es una martingala. Sea M una constante. ınf Martingalas 131. entonces {Xn ∨ M } es una submartingala. a 132. y sea {Ft }t≥0 una filtraci´n a tiempo o continuo. e . submartingala o supermartingala. Martingalas 197 129. Sean {Xt } and {Yt } dos martingalas. entonces {Xn ∧ M } es una supermartingala. 133. Demuestre que c τ es tiempo de paro. ∞) y sea c ≥ 1 una constante. b) todo proceso que es al mismo tiempo una submartingala y una supermartingala es una martingala. Demuestre que el proceso {aXt + bYt + c} es o tambi´n una martingala. para cada n ≥ 1”. entonces el proceso {Xn 1A } es una martingala. Demuestre que a) si {Xn } es una submartingala. . Demuestre que a) toda martingala es una submartingala y una supermartingala. una sucesi´n infinita de tiempos de paro. Sea τ1 . b) si {Xn } es una supermartingala. 136. Sea {Xn : n ≥ 1} un proceso adaptado a la filtraci´n {Fn }n≥1 . Demueso tre que si A es un evento F1 -medible. 137. . submartingalas o supermartingalas respecto de la misma filtraci´n. es equivalente a la condici´n “E(Xn+1 | Fn ) = Xn . Sea X una variable aleatoria integrable. Demuestre que Xt = E(X | Ft ) es una martingala. Demuestre que para cualquier t > s ≥ 0. Demuestre que tanto o supn τn como ´ n τn son tiempos de paro. Sea τ un tiempo de paro con valores en [0.Cap´ ıtulo 7. 130. Sea {Xn } una martingala a tiempo discreto. Enuncie y demuestre la o equivalencia an´loga al caso submartingala y supermartingala. para cualquier m ≥ n”. 134. τ2 . submartingala o supermartingala cuando {Xn } lo es. respectivamente. b) E(Xt ) ≥ E(Xs ) cuando {Xt } es una submartingala. 135. . c) E(Xt ) ≤ E(Xs ) cuando {Xt } es una supermartingala. Demuestre que la propiedad de martingala “E(Xm | Fn ) = Xn .

Demues2 tre que el proceso Xn − n es tambi´n una martingala respecto de la misma e filtraci´n si. o Suponga ahora que las variables ξ tienen segundo momento finito. Sean ξ1 . . una sucesi´n de variables aleatorias o independientes cada una de ellas con la misma distribuci´n dada por P (ξ = o +1) = p y P (ξ = −1) = q = 1 − p. Sean {Xt } y {Yt } dos martingalas o supermartingalas respecto de la misma filtraci´n. o o 144. o 145. 0}. . Martingala de de Moivre. y s´lo si. Demuestre que o el proceso tambi´n es una martingala respecto de su filtraci´n natural. ξn }. En particular a esto demuestra que la suma de dos martingalas es una martingala. Sea {Xt } una martingala respecto de una filtraci´n {Ft }. ξ2 . Xn } es una submartingala. . para n ≥ 1. en este caso. . . Demuestre que el proceso {Xt ∨ Yt } es una submartingala. Defina X0 = 0 y Xn = ξ1 +· · ·+ξn . . las variables ξ tienen varianza uno. ∗ 138. Sean {Xt } y {Yt } dos martingalas o submartingalas respecto de la misma filtraci´n. que Xn es una martingala. Sea {Xn } una submartingala. ξ2 . Demuestre que el proceso Xn = ξ1 · · · ξn es una martingala respecto de su filtraci´n natural. Sea Xn = ξ1 + · · · + ξn . . . Representacion de martingalas en donde a. Para el caso submartingala y supermartingala se necesita suponer adem´s que a y b son no negativos. ın c) |Xn |. Suponga. . . 143. Demuestre que el proceso {Xt ∧ Yt } es una supermartingala. o 141. En e o general el rec´ ıproco es falso. a 139. Demuestre que el proceso dado por Xn = m´x{X1 . Se ha demostrado que el proceso Xn es una martingala respecto de la filtraci´n Fn = σ{ξ1 . . Sea {Xn } un proceso integrable.198 ´ 7. . . variables aleatorias independientes con esperanza unitaria. Demuestre que los siguientes procesos tambi´n e son submartingalas. Martingala producto. 0}. Demuestre que Yn = (q/p)Xn es una martingala respecto de la filtraci´n generada por el o proceso Xn . y que el conjunto de martingalas respecto de la misma filtraci´n y definidas en un o mismo espacio de probabilidad es un espacio vectorial. . o 140. a − b) Xn = − m´ {Xn . Sea ξ1 . . . . b y c son constantes. una sucesi´n de variables aleatorias independientes con esperano za cero. 142.10. Sea ξ1 . ξ2 . + a) Xn = m´x {Xn . .

. o 148. Defina Xn = ξ1 + e · · · + ξn . . Vea el siguiente ejercicio para o una generalizaci´n de este resultado. Martingalas 199 146. b) Yt = exp( −θXt + λt (1 − e−θ ) ). Demuestre que el o siguiente proceso es una martingala respecto de esta filtraci´n. o 150. Sea {Xt } una martingala cuadrado integrable. Sugerencia: Use la e desigualdad de Jensen. Var(ξ) = σk < ∞. ξ2 . . . En el siguiente ejercicio se generaliza este resultado.Cap´ ıtulo 7. k=1 151. 2 147. en donde θ ∈ R. . 149. Sea {Xt } un proceso de Poisson de par´metro λ > 0. Sea ξ1 . Sea {ξn : n ≥ 0} un proceso integrable y adaptado a la filtraci´n {Fn }. . una sucesi´n de variables o aleatorias independientes e id´nticamente distribuidas. ξ2 . n Xn = k=1 ( ξk − E(ξk | Fk−1 ) ). Demuestre que {|Xt |p } es tambi´n una submartingala. con p ≥ 1. Demuestre que bajo cualquiera de las siguientes condiciones se cumple que el proceso g(Xt ) es una submartingala. Demuestre que {Xt } es una submartingala respecto de la misma filtraci´n. Martingala del juego de apuestas. Demuestre que los a siguientes procesos son martingalas. suponiendo E(ξ 2 ) < ∞. o n 2 Xn n =( k=1 (ξk − µk ) ) − 2 2 σk . Sea {Xt } una martingala tal que E|Xt |p < ∞ para cada t ≥ 0. a) cuando {Xt } es una martingala. Demuestre que el proceso a) {Xn − nE(ξ)} es una martingala. y con filtraci´n natural Fn . b) cuando {Xt } es una submartingala y g es una funci´n no decreciente. Sea {Xt } un proceso integrable. a) Yt = (Xt − λt)2 − λt. o Demuestre que el siguiente proceso es una martingala. 152. suponiendo E(ξ) < ∞. Sea ξ1 . una sucesi´n de variables aleatorias independientes tales que o 2 E(ξ) = µk . 2 b) {Xn − nE(ξ 2 )} es una martingala. y sea g una funci´n convexa tal que g(Xt ) o es integrable. .

Sean a y b dos enteros positivos fijos. 1. Defina Mn = Xn /(2 + nk). Sea ξ1 . o Demuestre que E(τ ) =   ab si p = q.200 ´ 7. Sea Xn = ξ1 + · · · + ξn una caminata aleatoria simple sobre Z y que inicia en el origen. Demuestre que el proceso {Xn } de la estrategia de juego llamada martingala. . Sean a y b 157. . Demuestre que el proceso centrado {Xt − E(Xt )} es una martingala. . . una sucesi´n de variables aleatorias tal que el proceso Xn = o ξ1 + · · · + ξn es una martingala. Suponga ahora que cuando se extrae una bola de un color se regresa a la urna junto con k bolas del mismo color. . Demuestre que para n1 ≤ n2 < n3 . . 159. Defina el tiempo de paro τ = m´ ın{n ≥ 1 : Xn = −a ´ Xn = b}. Sea {Xn } una martingala. ξ2 . Teorema de paro opcional 160. Sea {Xt } un proceso integrable con incrementos independientes. Sea Xn = ξ1 + · · · + ξn una caminata aleatoria simple sobre Z y que inicia en el origen. ¿Es {Mn } una martingala? 155. . b a + b 1 − (p/q)b  − · p−q p − q 1 − (p/q)a+b E((Xn3 − Xn2 )Xn1 ) = 0. Sea {Xn } una cadena de Markov con espacio de estados {0. 156. Considere la martingala de la urna de Polya con una configuraci´n inicial de o una bola blanca y una negra. Suponga que las probabilidades de transici´n son p00 = 1 y pij = e−i ij /j! en los otros o casos. Demuestre que {Xn } es una martingala. si p = q. Demuestre que E(ξi ξj ) = 0 para i = j.10. Suponga P (ξ = +1) = p y P (ξ = −1) = q = 1 − p. 154. cuando las apuestas son justas. Suponga P (ξ = +1) = p y P (ξ = −1) = q = 1 − p. es una martingala.}. Representacion de martingalas 153. 158.

Martingalas 201 dos enteros positivos fijos.  ab b a + b 1 − (p/q)b E(τ ) = − · si p = q. Demuestre que una variable aleatoria X es integrable si. para cada o ǫ > 0 existe M > 0 tal que |X| dP < ǫ. y s´lo si. Demuestre que o  si p = q. (|X|>M) .  p−q p − q 1 − (p/q)a+b Integrabilidad uniforme 161.Cap´ ıtulo 7. Defina el tiempo de paro τ = m´ ın{n ≥ 1 : Xn = −a ´ Xn = b}.

.

se llevaron a cabo n o diverso experimentos y se formularon muy diversas hip´tesis [10]. y el seminal trabajo de Einstein de 1905 sobre e este fen´meno contribuy´ decididamente a tal tarea [10]. 203 . Hoy en d´ este movimiento es entendido y explicado a trav´s de o ıa e las m´ ltiples colisiones aleatorias de las mol´culas del l´ u e ıquido con los granos de polen. data de 1828 cuando el bot´nico Robert o e a Brown report´ en una revista cient´ o ıfica que granos de polen suspendidos en una cierta substancia y vistos a trav´s de un microscopio. Llegar a tal aseveraci´n tom´ muchos a˜ os pues debi´ aceptarse la teor´ o o n o ıa cin´tico molecular de la materia. o o En este cap´ ıtulo se presenta una introducci´n al modelo matem´tico para el movio a miento Browniano. Este extra˜ o mon vimiento fue objeto de mucha discusi´n y muy divero sas controversias se suscitaron a partir de su divulgaci´n en la comunidad cient´ o ıfica de aquella ´poca. e Con la intenci´n de dar una explicaci´n satisfactoria o o Robert Brown del extra˜ o fen´meno observado. El primer registro. Se trata del ejemplo m´s importante de un proceso de Markov a a tiempo continuo y con espacio de estados continuo. realizaban un movie miento irregular e inexplicable [3]. aunque no as´ la primera obserı vaci´n de ´l.Cap´ ıtulo 8 Movimiento Browniano El fen´meno natural que ahora se conoce como moo vimiento Browniano tiene una interesante historia.

en el caso unidio a mensional. La definici´n matem´tica. Las trayectorias t → Bt son continuas. B0 = 0 c. b) Parece tener desplazamientos independientes en intervalos de tiempo disjuntos. La variable Bt − Bs tiene distribuci´n N (0.s. En 1923 el matem´tico norteamericano Norbert Wiener demostr´ la existena o cia y unicidad de un proceso con tales condiciones.1: des de tiempo no peque˜ os. pero eso no garantiza que tal objeto matem´tico a exista. 2. y teniendo en cuenta el Figura n teorema central del l´ ımite. Las condiciones que aparecen en esta definici´n son consecuencia directa de las o observaciones del fen´meno f´ o ısico. Movimiento La estructura matem´tica de un proceso estoc´stico a a a tiempo continuo {Bt : t ≥ 0}. para cualesquiera o tiempos 0 ≤ s < t.204 ´ 8.1. 4. c) Debido al gran n´ mero de colisiones del grano u de polen con las mol´culas circundantes en longitue 8. Definicion 8. σ 2 (t − s)). es la siguiente. 3.1. 1. ha resultado adecuada para modelar este tipo de fen´menos. El proceso tiene incrementos independientes. Definici´n o Las observaciones reales del movimiento de granos de polen a trav´s del microscopio sugieren que el e fen´meno satisface las siguientes propiedades: o a) Es continuo. La variable Bt puede representar la o posici´n de la part´ o ıcula al tiempo t. Es por esta raz´n que a menudo o . (I) Un movimiento Browniano unidimensional de par´metro σ 2 es o a un proceso estoc´stico {Bt : t ≥ 0} con valores en R que cumple las siguientes a propiedades. Definici´n. los incrementos pueden Browniano modelarse como variables aleatorias Gausianas.

y) = √ e−(y−x) /2σ t . x1 )p(t2 − t1 .Cap´ ıtulo 8. . (II) Un movimiento Browniano unidimensional de par´metro σ 2 o a es un proceso estoc´stico {Bt : t ≥ 0} con valores en R que cumple las siguientes a propiedades. . En sentido estricto. .1) Observe que la tercera propiedad de la ultima definici´n establece que la funci´n ´ o o de densidad del vector (Bt1 . 0. En particular. . x2 ) · · · p(tn − tn−1 . Demostraremos a contio nuaci´n que las dos definiciones anteriores son equivalentes. xn−1 . Btn ) evaluada en el punto (x1 . . . Movimiento Browniano 205 a este proceso tambi´n se le llama proceso de Wiener y se le denota tambi´n por e e {Wt : t ≥ 0}. y para cualesquiera conjuntos de Borel A1 . o (I) ⇒ (II). aunque es com´ n a u llamar a ambas cosas por el mismo nombre: movimiento Browniano. .s. An de R. . x1 ) · A1 An p(t2 − t1 . se cumple que P (Bt1 ∈ A1 . x1 . . 2. x2 ) · · · p(tn − tn−1 . σ 2 t). x1 . xn ) dxn · · · dx1 . B0 = 0 c. mientras que su modelo matem´tico es el proceso de Wiener. Se hace uso de la independencia de los incrementos y de la hip´tesis o . Btn ∈ An ) = ··· p(t1 . Para cualesquiera tiempos 0 < t1 < · · · < tn . x. la variable Bt tiene distribuci´n N(0. 3. . xn ) es p(t1 . . xn−1 . el movimiento Browniano es el fen´meno f´ o ısico. Las trayectorias t → Bt son continuas. . . xn ). Demostraremos a continuaci´n que las condiciones (3) y (4) de la definici´n anterior o o son equivalentes a solicitar que las distribuciones finito dimensionales del proceso sean las siguientes. en donde 2 2 1 p(t. 2t 2πσ (8. . . Definici´n. 1. 0. .

Bt − Bs tiene distribuci´n N(0. xn ).. 0..Bt2 −Bt1 . Bt2 − Bt1 .1.. Aplicando la f´rmula o general para la funci´n de densidad de la diferencia de dos variables aleatorias.Bt2 . . la funci´n de densidad o del vector (Bs . x2 . x1 . xn − xn−1 ) (II) ⇒ (I). . . u + x) dx.. u + x) dx 2 2 2 1 1 √ e−u /2σ (t−s) dx e−x /2s 2 (t − s) 2s 2πσ 2πσ −∞ 2 2 1 = e−u /2σ (t−s) 2πσ 2 (t − s) = p(t − s.. x1 + · · · + xn−1 . 0.Bt2 −Bt1 . u)..Bt2 . . 0. x1 ) p(t2 − t1 . o fY −X (u) = fX...Bt (x. A trav´s del a e cambio de variable τ = σ 2 t un movimiento Browniano no est´ndar puede convertira se en uno est´ndar. . x2 + x1 . . y). ..Btn −Btn−1 (x1 .. 0.. . 0. x1 )p(t2 − t1 . . x2 − x1 .Y (x. para 0 ≤ s < t. x1 ) p(t2 − t1 . a menos que se especifique lo contrario y sin p´rdida a e . .. 0. x) p(t − s. x2 + x1 ) · · · = fBt1 (x1 )fBt2 −Bt1 (x2 ) · · · fBtn −Btn−1 (xn ).Btn −Btn−1 (x1 . x2 ) · · · p(tn − tn−1 . De acuerdo al tercer postulado. x) p(t − s. x1 . xn + xn−1 + · · · + x1 ) = p(t1 . = p(t1 . x2 − x1 ) · · · p(tn − tn−1 . . x. . Definicion de que ´stos tienen distribuci´n normal. . . p(tn − tn−1 . 0. es decir. . 0. . . . x2 ) · · · p(tn − tn−1 .. . Entonces o fBt1 .Btn (x1 . xn ) Esto demuestre que las variables Bt1 . . . . Bt ) es fBs . x1 )p(t2 − t1 . t − s).. x2 ... xn−1 .Btn (x1 . Btn − Btn−1 son independientes cada una de ellas con distribuci´n normal con los par´metros mencionados. 0.206 ´ 8. xn − xn−1 ) = fBt1 (x1 ) fBt2 −Bt1 (x2 − x1 ) · · · fBtn −Btn−1 (xn − xn−1 ) = p(t1 . o a Se dice que un movimiento Browniano es est´ndar cuando σ 2 = 1. . Entonces. se obtiene fBt −Bs (u) = = ∞ −∞ ∞ p(s. e o fBt1 . xn ) = fBt1 . xn ) = fBt1 . x1 + · · · + xn ) = p(t1 . y) = p(s. 0. x. 0.

y) dy. d) Wt = Bt+t0 − Bt0 . o Integrando directamente puede comprobarse que la probabilidad de transici´n o p(t. la probabilidad o a de que un movimiento Browniano que inicia en x se encuentre en el conjunto A despu´s de t unidades de tiempo es e p(t. x. y) definida por (8. Bt − Bs tiene distribuci´n N (0. c c) Wt = t B1/t . u. Movimiento Browniano 207 de generalidad. el cual se denota a veces por Bt e para recordar la posici´n de origen. Funci´n de probabilidad de transici´n o o A la funci´n p(t. 8. y) cumple la ecuaci´n de Chapman-Kolmogorov. x. etc´tera. estar en el conjunto A2 al tiempo posterior t2 . u) p(s. con c constante positiva. Pueden considerarse trayectorias Brownianas que inicien en un x punto x cualquiera a trav´s del proceso x + Bt . En particular.1) se le llama funci´n de probabilidad de trano o sici´n del movimiento Browniano de par´metro σ 2 . t − s). . con W0 = 0. x. A) = A p(t. y) du. Demuestre que los siguientes procesos tambi´n son movimientos Brownianos. Sea {Bt } un movimiento Browniano. es decir. x. x. y) = ∞ −∞ p(t. con t0 ≥ 0 fijo.Cap´ ıtulo 8. o p(t + s. a o Ejercicio. a partir de ahora supondremos que el movimiento Browniano es est´ndar. e La condici´n de que el movimiento Browniano inicie en el origen no es absolutao mente necesaria. Hemos hecho ´nfasis en la propiedad (5) pues ´sta tiene la ventaja de que proe e porciona una expresi´n expl´ o ıcita para la probabilidad del conjunto de trayectorias Brownianas que cumplen las condiciones de encontrarse en el conjunto A1 al tiempo t1 . e a) Wt = −Bt . x. b) Wt = 1 Bc2 t .2.

o ecuaci´n de calor. y para o .2: Usando esta probabilidad de transici´n o demostraremos a continuaci´n que el o movimiento Browniano cumple la propiedad de Markov en el sentido d´bil. a En la Figura 8. e Proposici´n. e o o o ∂p 1 ∂2p = . En la o a gr´fica pueden apreciarse algunas pea que˜ as partes en donde aparentemenn te el comportamiento es lineal y suave. ∂t 2 ∂x2 Ejercicio. para 0 ≤ s < t. Para cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn < tn+1 . P (Bt > Bs ) = 1/2.208 ´ 8. t) y por lo tanto E(Bt ) = 0 y Var(Bt ) = E(Bt ) = t.3. o Demostraci´n.2 puede apreciarse una posible trayectoria Browniana cuando ´sta se proyecta sobre una de sus coore denadas. Propiedades b´sicas a Tenemos entonces que para el movimiento Browniano est´ndar cada variable aleaa 2 toria Bt tiene distribuci´n N (0. o Bt (ω) t Figura 8. Esta gr´fica fue generada en a computadora y es s´lo una aproximao ci´n del modelo matem´tico. ello no sucede en el modelo te´rico.3. Propiedades basicas y tambi´n cumple la ecuaci´n de difusi´n. o 2 En particular E(Bt − Bs ) = t − s. El movimiento Browniano es un proceso de Markov. El movimiento Browniano f´ ısico real se presenta en tres dimensiones y es completamente err´tico. Demuestre que para cualquier t = s. 8.

Claramente cada variable aleatoria Bt es integrable y el proceso es o adaptado a su filtraci´n natural. 0. El movimiento Browniano es una martingala continua. x1 ) p(t2 − t1 . Movimiento Browniano cualquier evento A en R. x1 . xn−1 . o Demostraci´n. E(Bt − Bs + Bs | Fs ) El siguiente resultado no trivial se debe a Paul L`vy y establece condiciones que e caracterizan de manera unica al movimiento Browniano en t´rminos de la propiedad ´ e de martingala. xn . x1 ) p(t2 − t1 . . 209 P (Btn+1 ∈ A | Bt1 = x1 . xn ) = p(tn+1 − tn . . 0. En particular. el proceso Bt+t0 − Bt0 es un movimiento Browniano. Como una consecuencia del hecho de que los incrementos de este proceso son independientes. o E(Bt | Fs ) = = = = E(Bt − Bs | Fs ) + E(Bs | Fs ) E(Bt − Bs ) + Bs Bs . x2 ) · · · p(tn − tn−1 . A) p(tn . xn ) p(tn+1 − tn . . o Proposici´n. t ≥ 0 tales que s < t. A) p(tn . A) = p(t1 . xn ) = p(tn+1 − tn . Puede demostrarse que cumple adem´s la propiedad fuerte de Markov: Si τ es un a tiempo de paro respecto de la filtraci´n del movimiento Browniano. demostraremos a continuaci´n la propiedad de martingala. xn . entonces el o proceso Bt+τ − Bτ es tambi´n un movimiento Browniano y es independiente de la e σ-´lgebra Fτ = {A ∈ F∞ : A ∩ (τ ≤ t) ∈ Ft para cada t ≥ 0}. xn . x2 ) · · · p(tn − tn−1 . x1 . 0. . . Para cualesquiera tiempos s. xn ) = P (Btn+1 ∈ A | Btn = xn ). 0. xn−1 . Btn = xn ) p(t1 .Cap´ ıtulo 8. a tomando τ = t0 constante.

Propiedades basicas Teorema de caracterizaci´n de Paul L`vy. a) Wt = −Bt . con W0 = 0. m´s adelante explicaremos las razones de a a esta elecci´n.3. La parte fuerıcil te de esta caracterizaci´n radica en que estas condiciones definen a un movimiento o Browniano. e Es decir. Ejercicio. ahora e en n no ser´n unitarios sino de longitud ∆t. d) Wt = Bt+t0 − Bt0 . aunque posiblemente no sea tan evidente que el proceso Bt −t sea tambi´n e una martingala. Considere una caminata aleatoria sim´trica simple sobre Z que inicia en el origen. sea Xn = ξ1 + · · · + ξn . . con c > 0 constante. con N entero. y tanto Xt como Xt − t son martingalas. . ello no es dif´ de verificar y se deja como ejercicio.210 ´ 8. ξ2 . El objetivo es hacer ∆t cada vez m´s peque˜ o. Suponga que la unidad en la variable tiempo es ahora de longitud ∆t = 1/N . Use la caracterizaci´n de Paul L`vy para demostrar nuevamente que los o e siguientes procesos son movimientos Brownianos. E(ξ) = 0 y Var(ξ) = E(ξ 2 ) = 1. El movimiento Browniano Bt cumple claramente cada una de las condiciones men2 cionadas. Un proceso {Xt : t ≥ 0} es un o e movimiento Browniano si. en donde ξ1 . es e decir. empieza en o 2 cero. Para lograr una versi´n discreta del movimiento Browniano es a n o necesario hacer tambi´n un cambio√ la escala en el tama˜ o de los saltos. El movimiento Browniano como l´ ımite de una caminata aleatoria. tiene trayectorias continuas. son variables aleatorias independientes e id´nticamente distribuidas tales que P (ξ = +1) = P (ξ = −1) = 1/2. .3. c c) Wt = t B1/t . La raz´n ıa e o por la que se ha tomado esa nueva escala en el tama˜ o de los saltos es que con ello n se logra similitud con el movimiento Browniano est´ndar al cumplirse tambi´n que a e . sigue cumpli´ndose que E(Wn∆t ) = 0. Dada la simetr´ de la caminata. b) Wt = 1 Bc2 t . y s´lo si. con t0 ≥ 0 fijo. Para cada n´ mero natural n defina ahora la caminata aleatoria o u √ √ Wn∆t = ∆t ξ1 + · · · + ∆t ξn . una de cuyas trayectorias aparece en la Figura 8.

para o Figura 8. Var(Wn∆t ) = n∆t Var(ξ) = n∆t. x. En la pr´ctica suelen a generarse valores continuos para Y con distribuci´n normal est´ndar. . x) = E(f (Bt )). y. Suponga ahora que esta part´ ıcula se mueve siguiendo un movimiento Browniano est´ndar unidimensional. . x) dada por o f (t. y). Entonces la densidad a de probabilidad de la posici´n de la part´ o ıcula despu´s de t unidades de tiempo es e la funci´n f (t. a Esta aproximaci´n del movimiento o Browniano como l´ ımite de una cami√ 3 ∆t nata aleatoria sugiere un mecanismo √ para simular trayectorias Brownianas 2 ∆t por computadora: Se escoge ∆t pe√ ∆t que˜ o y N el n´ mero de puntos que n u se deseen graficar. x) = p(t. A esta funci´n tambi´n se le o e x denota por E (f (Bt )). Wk∆t ). y. Se generan enton∆t 2∆t 3∆t 4∆t 5∆t 6∆t 7∆t 8∆t √ ces N valores independientes de la va− ∆t riable ξ con distribuci´n uniforme en o √ el conjunto {−1.3: k = 0. 1. y) dx. Difusi´n. Este es el mecanismo seguido para generar la gr´fica o a a de la Figura 8. pero ahora esta ultima expresi´n adquiere una interpretaci´n interesante ´ o o pues corresponde a la esperanza de la variable f (Bt ) para un movimiento Browx niano que inicia en x. y se grafica la −2 ∆t sucesi´n de puntos (k∆t. El proceso l´ ımite resultante es el movimiento Browniano est´ndar. Suponga que se coloca una part´ o ıcula al azar en la recta real de acuerdo a una densidad de probabilidad f (y). x) dx = ∞ −∞ f (y) p(t. es decir. x. . Puede demostrarse que cuando ∆t → 0 esta caminata tiende a un proceso a tiempo continuo con trayectorias continuas. y puede demostrarse que satisface la ecuaci´n o ∂ 1 ∂2 f (t. N . x) = f (t.Cap´ ıtulo 8. Movimiento Browniano 211 para cualquier valor de n. ∂t 2 ∂x2 . f (t. en donde para la segunda igualdad se ha hecho uso de la identidad p(t. +1}. x).2 y las otras trayectorias Brownianas que aparecen en este cap´ ıtulo. . x) = ∞ −∞ f (y) p(t.

b] → R es el n´ mero u n−1 l´ sup ım ∆t→0 i=0 |g(ti+1 ) − g(ti )|. Propiedades de las trayectorias Antes de establecer las siguientes propiedades. . n−1 l´ sup ım ∆t→0 i=1 |Bti+1 − Bti | = ∞. esto o es. Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como funciones integradoras en el sentido de Riemann-Stieltjes. . n − 1}. en el sentido L2 (P ).212 8. es la longitud del intervalo en cuesti´n. Demostraremos a continuaci´n que sobre un intervalo de tiempo acotado [a. n−1 l´ sup ım ∆t→0 i=1 |Bti+1 − Bti |2 = b − a. recordemos la definici´n de variaci´n o o de una funci´n. Propiedades de las trayectorias 8. Sea a = t0 < t1 < · · · < tn = b una partici´n del intervalo [a. de hecho. . es decir. La variaci´n de una funci´n a o o g : [a.4. El hecho de que se desee definir alg´ n tipo de integral respecto del movimiento Browniano ser´ claro en el siguiente u a cap´ ıtulo cuando se estudian ecuaciones diferenciales estoc´sticas. b] es la longitud del intervalo. La variaci´n cuadr´tica de una trayectoria del movimiento Browo o a niano sobre el intervalo [a. b] es finita.s. la variaci´n cuadr´tica es a o a n−1 l´ sup ım ∆t→0 i=0 |g(ti+1 ) − g(ti )|2 . casi o todas las trayectorias del movimiento Browniano tienen variaci´n no acotada. Cuando este n´ mero es finito se dice que la funci´n tiene variaci´n finita en dicho u o o intervalo. Por otro lado dea mostraremos tambi´n que la variaci´n cuadr´tica del movimiento Browniano sobre e o a [a. . An´logamente. c.4. o Proposici´n. . o o y defina ∆t = m´x {|ti+1 − ti | : i = 0. b]. b].

n−1 l´ sup ım ∆t→0 i=1 |Bti+1 − Bti | = ∞. es decir. casi seguramente. a 0≤i<n Recordemos ahora el resultado que establece que toda toda sucesi´n convergente o en el sentido L2 (P ) tiene una subsucesi´n convergente casi seguramente. Sea {Pn } una sucesi´n de particiones finitas del intervalo [a. b] tal que o n−1 l´ sup ım ∆t→0 i=1 |Bti+1 − Bti |2 = b − a. (Variaci´n del movimiento Browniano). b]. c. . Proposici´n. o o Denote por ∆ti el incremento ti+1 −ti . Movimiento Browniano 213 Demostraci´n. y sea ∆Bi la diferencia Bti+1 −Bti . b] es infinita.j =E = i (∆Bi )2 (∆Bj )2 − 2(b − a)E i (∆Bi )2 + (b − a)2 (∆ti ) + (b − a)2 E(∆Bi )4 + i=j E(∆Bi )2 E(∆Bj )2 − 2(b − a) 2 i = i 3(∆ti ) + i=j 2 ∆ti ∆tj − (b − a) ∆ti )2 − (b − a)2 = i 2(∆ti )2 + ( i = i 2(∆ti ) 2 ≤ 2(b − a) m´x ∆ti → 0. Entonces E| i (∆Bi )2 − (b − a)|2 i. La variaci´n de una trao o o yectoria del movimiento Browniano sobre el intervalo [a. c. Por lo o tanto existe una subsucesi´n de particiones {Pnk } del intervalo [a.s.Cap´ ıtulo 8.s.

Por otro lado. M´s adelante se enuncia sin demostraci´n un resultado m´s fuerte acerca de esta a o a no diferenciabilidad.s.4. Sea t0 ≥ 0 fijo. o l´ ım nk −1 i=0 k→∞ |∆Bi | = ∞. Proposici´n. 1/n2] u . el movimiento Browniano o Bt no es diferenciable en t0 . con probabilidad uno la trayectoria t → Bt no es diferenciable en t0 . o e es suficiente demostrar la no diferenciabilidad de Bt en t = 0. ım a 0≤i<nk c. para cada n´ mero natural n existe t en el intervalo [0. No diferenciabilidad. Demostraremos a continuaci´n que para cualquier tiempo o t0 ≥ 0 fijo. se tiene que k→∞ l´ ( m´x |∆Bi | ) = 0. Con probabilidad uno. c. b] o o en n subintervalos.s.2) Sea {Pnk } subsucesi´n de particiones uniformes tal que o k→∞ l´ ım nk −1 i=0 |∆Bi |2 = b − a. respecto de la ´ subsucesi´n de particiones.s. Demostraci´n. es decir cada incremento ∆ti = ti+1 −ti tiene longitud (b−a)/n. De donde se sigue que el l´ ımite superior es infinito casi seguramente.214 8. Propiedades de las trayectorias Demostraci´n. c. como las trayectorias del movimiento Browniano son continuas casi seguramente.2) se obtiene que. Debido a que Bt+t0 − Bt0 es tambi´n un movimiento Browniano. Demostraremos que con probabilidad uno. (8. Substituyendo los ultimos dos resultados en (8. Para cada n natural sea Pn la partici´n uniforme del intervalo [a. Entonces se tiene la estimaci´n o n−1 i=0 n−1 |∆Bi |2 ≤ ( m´x |∆Bi | ) a 0≤i<n i=0 |∆Bi |.

t para alg´ n t ∈ [0.2 muestra una de tales trayectorias. m´s fuerte y que se enuncia sin demostraci´n. Por lo tanto P (A1 ) ≥ P (A2 ) ≥ · · · ≥ 1. el conjunto de trayectorias t → Bt que no son diferenciables en t0 tiene probabilidad uno.Cap´ ıtulo 8. el movimiento Browniano Bt no es difeo renciable en ning´ n t ≥ 0. otrora consideradas extra˜ as. asegura que con probaa o bilidad uno no hay diferenciabilidad en ning´ n punto. 1/n2] }. a . Este tipo de resultados son los que dan la pauta para buscar desarrollar una teor´ de la diferenciabilidad de funciones un poco m´s amplia que la proporcionada ıa a por el c´lculo diferencial tradicional. el zigzagueo incesante del movimiento de la part´ ıcula no permite la diferenciabilidad de su trayectoria en ning´ n u punto. P (An ) = 1 para cualquier n ≥ 1. aunque cada una de ellas tenga probabilidad uno. Es decir. Es decir. Este conjunto de trayectorias puede cambiar para cada valor de t0 . n P( | Hemos usado el hecho de que 1 Bc2 t es tambi´n un movimiento Browniano para e c cualquier c > 0 constante. Observe que el conjunto de u tiempos t0 ≥ 0 no es numerable y por lo tanto la afirmaci´n no se sigue de manera o obvia del resultado anterior. u y observe que A1 ⊇ A2 ⊇ · · · Entonces P (An ) ≥ = = = 1 B1/n4 | > n ) 1/n4 1 P ( |B1/n4 | > 3 ) n 1 2 P ( |n B(1/n4 )(1) | > ) n 1 P ( |B1 | > ) → 1 cuando n → ∞. Esta propiedad implica que Bt no es diferenciable en t = 0. u Las trayectorias Brownianas son entonces ejemplos de funciones. Con probabilidad uno. El siguiente resultado. Movimiento Browniano 215 tal que | 1 Bt | > n. para cada t0 ≥ 0. Proposici´n. Para t cada n´ mero natural n defina el evento u 1 An = { | Bt | > n. La gr´fica n u a de la Figura 8. que son continuas pero no diferenciables en ning´ n punto.

Bn (t) movimientos Brownianos independientes o unidimensionales. .. Bn (t)).4: 0 .5. 4. Sean B1 (t). Definici´n. El proceso tiene incrementos independientes. . Para cualesquiera tiempos 0 ≤ s < t. Este o proceso puede definirse de manera alternativa mediante los siguientes postulados: 1.4 puede apreciarse una simulaci´n de una trayectoria Browniana en R2 . el vector B(t) − B(s) tiene distribuci´n noro mal con media cero y matriz de covarianzas la matriz diagonal  2 (t − s)σ1  Var(B(t) − B(s)) =  0 1 2π(t − 2 s)σ1 2 B2 (t) B1 (t) Figura 8. 2. . En la Figura 8. xn ) = e−x1 /2(t−s)σ1 · · · ··· 1 2 2π(t − s)σn 2  . .216 8. . . . . 3. . . . . 2 (t − s)σn  Es decir. la funci´n de densidad del vector B(t) − B(s) es o f (x1 .5. Movimiento Browniano multidimensional 8. Las trayectorias t → B(t) son continuas. El movimiento Browniano en Rn es el proceso B(t) = (B1 (t). 2 2 . . e−xn /2(t−s)σn . B(0) = 0 casi seguramente. Movimiento Browniano multidimensional El movimiento Browniano en R puede extenderse a Rn de la siguiente forma.

x) representa la temperatura en el punto x ∈ D al tiempo t ≥ 0. Vamos a enunciar sin demostraci´n o o un resultado que nos llevar´ a una aplicaci´n del movimiento Browniano. . x. El proceso 2 2 de Bessel es el proceso dado por R(t) = ||B(t)|| = (B1 (t) + · · · + Bn (t))1/2 . x) = △ u(t. ∂t 2 en donde △ es el operador Laplaciano. y) = Rn p(t. Sea x un punto cualquiera en o x x D y defina el tiempo τ = ´ {t > 0 : Bt ∈ ∂D}. Movimiento Browniano 217 Cuando los valores de los par´metros σ son todos uno. se dice nuevamente que a el movimiento Browniano es est´ndar. x. R(t) es la distancia Euclideana que guarda un movimiento Browniano ndimensional respecto al origen al tiempo t. El proceso de Bessel. e Ecuaci´n de calor en dominios acotados. x). u. en donde Bt es un movimiento ınf . Se le llama a veces movimiento Browniano radial. ∞).Cap´ ıtulo 8. Se trata de un proceso con valores en [0. y la funci´n de densidad de B(t) − B(s) a o adquiere la expresi´n compacta o f (x1 . x) = f (x) para x ∈ D. Sea B(t) un movimiento Browniano en Rn . y entonces para cualquier t > 0 la probabilidad de transici´n o densidad de B(t) es o p(t. . Considere a o una regi´n abierta y acotada D de Rn con frontera ∂D. y la a condici´n de frontera u(t. Puede demostrarse (v´ase [1]) que el proceso de e Bessel es un proceso de Markov y que la funci´n de probabilidades de transici´n o o p(t. y) puede escribirse en t´rminos de las funciones de Bessel. y que evidentemente tiene trayectorias continuas. . y d es una constante positiva. La evoluci´n o en el tiempo de esta funci´n est´ dada por la ecuaci´n de calor o a o ∂ d u(t. y suponga que la funci´n o o u(t. x) = g(x) para x ∈ ∂D. y) du. u) p(s. x. . Como en el caso unidimensional. xn ) = 2 1 e−||x|| /2(t−s) . y) = 2 1 e−||y−x|| /2t . Suponga adem´s que se tiene una temperatura inicial u(0. puede considen 1 rarse un movimiento Browniano que inicie en x ∈ Rn . Es decir. n/2 (2πt) que nuevamente cumple al ecuaci´n de Chapman-Kolmogorov o p(t + s. x. n/2 (2π(t − s)) en donde ||x|| = x2 + · · · + x2 .

Por lo anterior. Este es el problema de la ruina del jugador estudiado antes s´lo que ahora el capital del jugador cambia continuamente siguiendo o un movimiento Browniano. a . y el juego es justo pues los saltos del movimiento Browniano tienen esperanza nula. Suo ponga que un movimiento Browniano unidimensional inicia en el punto x dentro del intervalo (a. la soluci´n estacionaria de la ecuaci´n de calor. La soluci´n a esta ecuaci´n de a o o x calor con las condiciones mencionadas se puede expresar en t´rminos de Bt de la e siguiente forma x x u(t. Nos ınf o x interesa encontrar x x u(x) = P (Bτ = a) = E(1{a} (Bτ )). es o decir. Llegar primero al valor a se interpreta como ruina. x) = E( f (Bt )1(τ >t) + g(Bτ )1(τ ≤t) ).5(b). u(x) = l´ u(t.3) Conforme t → ∞ la estructura de la ecuaci´n de calor hace que la soluci´n u(t. con 0 ≤ a < b < ∞. x) o o se aproxime a una funci´n u(x).5(a). (8.5. esta funci´n cumple la ecuaci´n u′′ (x) = 0.218 8. con o o condiciones de frontera u(a) = 1 y u(b) = 0. Aplicaci´n: El problema de la ruina del jugador con trayectorias Brownianas. Movimiento Browniano multidimensional Browniano de par´metro σ 2 = d. para x ∈ D. para a < x < b. y conservando la condici´n de frontera u(x) = g(x) para x ∈ ∂D. b). o o o que satisface △ u(x) = 0. x) = ım t→∞ g(x) si x ∈ ∂D. o cuya gr´fica se muestra en la Figura 8. ¿Cu´l es la probabilidad de que el proceso a tome el valor a antes que b? Una trayectoria Browniana que cumple tal condici´n o se muestra en la Figura 8. y que inicia en x. x E( g(Bτ ) ) si x ∈ D. La soluci´n es u(x) = (b − x)/(b − a). x Defina nuevamente el tiempo de paro τ = ´ {t > 0 : Bt = a ´ Bt = b}.

6: aquel conjunto de trayectorias que finalizan en alg´ n punto u arriba de b. .5: 8. Considere un movimiento Browniano que inicia en a.6 se ilustra esta situaci´n. Movimiento Browniano 219 Bt b x a t (a) 1 u(x) a (b) b x Figura 8.Cap´ ıtulo 8. lo usaremos para demostrar la propiedad de recurrencia puntual del movimiento Browniano unidimensional. El conjunto de trab yectorias que tocan la l´ ınea hoa rizontal y = b en alg´ n tiemu po s ∈ [0. es o igualmente probable que finalice al tiempo t arriba de b o abajo de b. en particular. En la Figura 8. Una vez que una trayectoria toca el punto b. t]. y sea b otro n´ mero tal u que b > a. Este resultado adquiere su nombre debido a esta propiedad de reflexi´n y facilita el c´lculo de o a algunas probabilidades. se descompone en dos conjuntos ajenos que son sim´tricos uno del otro y e τ t tienen id´ntica probabilidad: e Figura 8. El principio de reflexi´n o Este resultado tiene una interXt (ω) pretaci´n geom´trica f´cil de o e a entender. y el conjunto de trayectorias que terminan por abajo de b.6.

7. por ser Bt una ´ variable aleatoria continua. Empezaremos estudiando una propiedad general en el o caso unidimensional. Para cualquier t > 0. Recurrencia y transitoriedad En esta secci´n encontraremos la probabilidad de que el movimiento Browniano o eventualmente regrese a su posici´n de origen. (t − τ )σ 2 ). . (Principio de reflexi´n). Substituyendo en (8. Sea τ el primer momento en el que el movimiento Browniano es o a igual a b. es decir. por la propiedad de Markov. y sea b > a.7. Por lo o a tanto P (Bt − b ≥ 0 | τ < t) = 1/2. Recurrencia y transitoriedad a Proposici´n. Esta variable aleatoria puede ınf tomar el valor infinito si el evento mencionado nunca ocurre. la variable Bt − b = Bt − Bτ tiene distribuci´n N(0. u (8. Sea Bt un movimiento Browniano que o o empieza en a. a a P ( Bs ≥ b para alg´ n s ∈ [0. Por otro lado. y condicionada a la ocurrencia del evento a a a (τ < t).5) se obtiene a P (τ < t) = 2 P (Bt ≥ b). Entonces a P ( Bs ≥ b para alg´ n s ∈ [0. t] ) = 2 P (Bt ≥ b).5) en donde. a P (Bt ≥ b) = a P (Bt ≥ b | τ ≤ t) P (τ ≤ t) = a P (Bt − b ≥ 0 | τ < t) P (τ < t). 8. (8. Veremos que la respuesta depende o de la dimensi´n del proceso. a a La ultima igualdad se debe a que P (τ = t) ≤ P (Bt = b) = 0. t] ) = u = = P (τ ≤ t) P (τ < t) + P (τ = t) P (τ < t).220 8.4) Demostraci´n. sea τ = ´ {t ≥ 0 : Bt = b}.

t2 ] | Bt1 = u ) p(t1 . 2π Ahora se resuelve esta integral usando coordenadas polares. t2 ] ) = 1 − arctan √ u π t2 − t1 Demostraci´n. Sea Bt un movimiento Browniano unidimensional que inicia en o cero y considere dos tiempos t1 y t2 tales que 0 < t1 < t2 . P ( Bt = 0 para alg´ n t ∈ [t1 . Entonces ıa P ( Bt = 0 para alg´ n t ∈ [t1 . u) du u 2 P ( Bt2 −t1 ≥ u ) p(t1 . v/ t2 − t1 ) se obtiene la expresi´n o equivalente 4 0 ∞ ∞ x t1 / t2 −t1 √ √ 1 −(x2 +y2 )/2 e dy dx. t2 − t1 ] ) u = P ( Bt ≥ u para alg´ n t ∈ [0. y) = (u/ t1 . 0. v) dv) p(t1 . 2πt1 √ √ Haciendo el cambio de variable (x. Por simetr´ se tiene la misma probabilidad para el caso u < 0. La regi´n de inteo √ √ graci´n {(x. u) du P ( Bt2 −t1 ≥ u ) p(t1 . 0. 0. o . Movimiento Browniano 221 Proposici´n. 0. u) du ( ∞ u ∞ u −∞ ∞ 0 ∞ ∞ 0 p(t2 − t1 . mediante argumentos de traslaci´n y por el o o principio de reflexi´n se tiene que o P ( Bt = 0 para alg´ n t ∈ [t1 . Para cualquier u > 0. t2 ] ) u = = =4 =4 0 ∞ −∞ ∞ P ( Bt = 0 para alg´ n t ∈ [t1 .7. t2 − t1 ] ) u = 2 P (Bt2 −t1 ≥ u).Cap´ ıtulo 8. t2 ] | Bt1 = u ) u = P ( Bt ≤ −u para alg´ n t ∈ [0. u) du 1 2π(t2 − t1 ) e−v 2 =4 /2(t2 −t1 ) 2 1 √ e−u /2t1 dv du. 0. Entonces √ 2 t1 . y) : x ≥ 0 y y ≥ x t1 / t2 − t1 } que se muestra en la Figura 8.

Recurrencia y transitoriedad √ corresponde a la regi´n polar {(r. Con o probabilidad uno el movimiento Browniano unidimensional es recurrente puntual. π t2 − t1 ∞ ∞ 0 e−r 2 /2 r dr y= √ √ t1 x t2 −t1 θ = arctan √ √ t1 t2 −t1 x Figura 8. Haciendo t2 tender a infinito en la f´rmula reci´n demostrada e o o e intercambiando el l´ ımite con la probabilidad.7. lo cual es v´lido pues la sucesi´n de a o . Browniano unidimensional). Por lo o −t tanto la probabilidad buscada es π/2 4 √ t arctan √ 1 1 −r2 /2 e r dr dθ 2π 0 t2 −t1 √ π t1 1 = 4 ( − arctan √ ) 2 2π t2 − t1 √ 2 t1 = 1 − arctan √ . θ) : r > 0 y θ ∈ (arctan √t2t1 1 .222 8. π/2)}. Proposici´n.7: Con ayuda de este resultado demostramos ahora la recurrencia puntual del movimiento Browniano unidimensional. es decir. Demostraci´n. (Recurrencia puntual del mov. regresa a su posici´n de origen una infinidad de veces casi seguo ramente.

t2 →∞ π t2 − t1 223 Esto es.2 cruzar´ una infinidad de veces el eje horizontal. inicia en ese momento otro movimiento Browniano que eventualmente regresar´ nuevamente a cero con probabilidad uno. ∞) es uno. con W0 = 0. las trayectorias del movimiento Browniano cruzan el eje horizontal una infinidad de veces. De esta manera regresar´ a a a cero una infinidad de veces con probabilidad uno. la probabilidad de que el movimiento Browniano unidimensional regrese al cero para alg´ n tiempo t dentro del intervalo [t1 . Movimiento Browniano eventos es creciente. dado que Bt es cero para una infie nidad de valores de t en cualquier intervalo de la forma [t1 . o . Esta misma conclusi´n o puede obtenerse directamente de la f´rmula reci´n demostrada tomando t2 > 0 fijo o e y haciendo t1 → 0. Es decir. √ 2 t1 P ( Bt = 0 para alg´ n t ∈ [t1 . por la propiedad fuerte de Markov. sin importar la u magnitud de t1 . se tiene entonces que Wt es cero una infinidad de veces dentro del intervalo (0. Esta propiedad de recurrencia significa que una trayectoria como la de la Figura 8. casi seguramente. en cualquier vecindad de t = 0. es decir. t2 ] ) = l´ (1 − arctan u ım ) = 1. una vez que regresa a cero. Puede uno tama bi´n considerar que el movimiento inicia en un punto cualquiera x obteni´ndose e e la misma propiedad de recurrencia al punto x. 1/t1 ). Ahora. t1 →0 π t2 − t1 En el caso de dimensiones mayores la situaci´n es distinta.Cap´ ıtulo 8. casi seguramente. La siguiente conclusi´n es tambi´n o e muy interesante: Hemos mencionado antes que el proceso Wt = tB1/t . ∞) ) = l´ (1 − arctan √ u ım ) = 1. Ahora. se obtiene que para cualquier valor positivo de t1 . √ 2 t1 √ P ( Bt = 0 para alg´ n t ∈ (0. es tambi´n un movimiento Browniano. ∞).

Es decir. Esto es. Demostraci´n. Defina la funci´n f (x) o o como la probabilidad de que el movimiento Browniano que parte de x llegue a la circunferencia exterior {x ∈ Rn : ||x|| = r2 } antes que a la circunferencia interior {x ∈ Rn : ||x|| = r1 }. el proceso es transitorio por vecindades. con probabilidad uno el movimiento Browniano visita la vecindad D en una infinidad de tiempos no acotados. Sea B(t) un movimiento Browniano n-dimensional que inicia en o el origen. Sin embargo no es recurrente puntual pues la probabilidad de que regrese exactamente al punto de partida es cero. ınf . u 1. para alg´ n r > 0.7.8: Suponga que el movimiento Browniano inicia en el origen y que en alg´ n tiempo u posterior se encuentra en un punto x dentro de la regi´n A. y sea el disco D = {x ∈ Rn : ||x|| < r}. Cuando n ≥ 3. es decir.224 8. existe una probabilidad positiva de que el proceso nunca regrese a la vecindad del punto de partida. si se define el tiempo de paro τ = ´ {t > 0 : B(t) ∈ ∂D}. y ||x|| = x2 + x2 . 2. ´ 1 2 x r1 r2 A Figura 8. y defina la regi´n o o A = {x ∈ Rn : r1 < ||x|| < r2 } como se muestra en la Figura 8. el proceso es recurrente por vecindades. Cuando n = 2.8. Sean r1 y r2 dos radios tales que 0 < r1 < r2 . La frontera de A es ∂A = {x ∈ Rn : ||x|| = r1 o ||x|| = r2 }. Recurrencia y transitoriedad Proposici´n.

Esta funci´n puede tambi´n escribirse o e como f (x) = E( g(B(τ )) | B(0) = x ). (8. y las nuevas condiciones de frontera son φ(r2 ) = 1 y φ(r1 ) = 0. r2 ). la ecuaci´n (8.6) se escribe o φ′′ (r) + n−1 ′ φ (r) = 0. si n ≥ 3. con c1 y c2 constantes.6) 1 0 si ||x|| = r2 . (8. Sea entonces f (x) = φ(||x||) para alguna funci´n φ(r) e o con r = ||x||. La soluci´n general o de esta ecuaci´n es o φ(r) = c1 ln r + c2 c1 r2−n + c2 si n = 2. conviene escribir al operador de Laplace en coordenadas esf´ricas adquiriendo la expresi´n e o ∆φ = = d n−1 d (r φ) dr dr n−1 d d2 φ+ φ. Dada la simetr´ del movimiento Browniano. r para r ∈ (r1 . En este caso particular.8) . Movimiento Browniano 225 entonces f (x) = P ( ||B(τ )|| = r2 | B(0) = x ).Cap´ ıtulo 8. la funci´n f (x) depende de x s´lo a ıa o o trav´s de la magnitud ||x||. Usando ahora las condiciones de frontera se obtiene φ(||x||) φ(||x||) = = ln ||x|| − ln r1 ln r2 − ln r1 2−n r1 − ||x||2−n 2−n 2−n r1 − r2 si n = 2. dr2 r dr rn−1 1 Por lo tanto. si n ≥ 3. si ||x|| = r1 . con condiciones de frontera f (y) = g(y) = 1 0 si ||y|| = r2 . si ||y|| = r1 . en donde g(x) : ∂A → R es la funci´n indicadora o g(y) = La funci´n f (x) satisface o ∆f (x) = 0.7) (8.

Expl´ ıcitamente. cuando inicia en x. Es decir. r2 →∞ ln ||x|| − ln r1 ln r2 − ln r1 Es decir. Para el caso n = 2. La probabilidad de que el proceso que inicia en x nunca visite el disco de radio r1 alrededor del cero es. la probabilidad de que el movimiento Browniano en R2 regrese exactamente al punto de origen es cero.7). 0) antes de que toque el c´ ırculo de radio r2 es r1 →0 l´ P ( ||B(τ )|| = r1 antes que ||B(τ )|| = r2 | B(0) = x ) ım = l´ ( 1 − ım = 0.8).7.8). Este es el comportamiento transitorio del movimiento Browniano para dimensiones n ≥ 3. por (8.226 8. Recurrencia y transitoriedad Estos resultados nos permitir´n encontrar las probabilidades buscadas tomando a algunos l´ ımites sobre los radios r1 y r2 . r2 →∞ l´ ım P ( ||B(τ )|| = r2 antes que ||B(τ )|| = r1 | B(0) = x ) = l´ ım 2−n r1 − ||x||2−n 2−n 2−n r2 →∞ r1 − r2 r1 n−2 =1−( ) ||x|| > 0.7) al tomar el l´ ımite cuando r1 → 0. Y regresar´ a dicho disco en una infinidad de a tiempos no acotados. es decir. Este comportamiento se conoce con el nombre de recurrencia por vecindades. Sin embargo. esta . Esto es consecuencia nuevamente de (8. por (8. la probabilidad de un retorno exacto al origen es cero pues por (8. r2 →∞ l´ ım P ( ||B(τ )|| = r2 antes que ||B(τ )|| = r1 | B(0) = x ) = l´ ım = 0. no se presenta la recurrencia puntual. Es decir. la probabilidad de que el proceso tome el valor (0. la probabilidad de que el movimiento Browniano que inicia en x nunca visite la bola de radio r1 alrededor del cero es. la probabilidad de que el movimiento Browniano en R2 visite el disco de radio r1 alrededor del origen es uno. existe una probabilidad estrictamente positiva de que el proceso nunca visite el disco de radio r1 alrededor del origen. r1 →0 ln ||x|| − ln r1 ) ln r2 − ln r1 Ahora consideremos el caso n ≥ 3.

los textos de Karlin y Taylor [19]. Movimiento Browniano probabilidad es r1 →0 227 l´ P ( ||B(τ )|| = r1 antes que ||B(τ )|| = r2 | B(0) = x ) ım = l´ (1 − ım r1 →0 2−n r1 − ||x||2−n 2−n 2−n ) r1 − r2 = 0. Lawler [23]. por ejemplo. Notas y referencias El lector puede encontrar una muy interesante y motivadora exposici´n hist´rica o o sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward Nelson [24]. . Para otras primeras lecturas y mas resultados sobre el movimiento Browniano pueden consultarse. Este libro se encuentra disponible en formato electr´nico en la p´gina o a web del autor.Cap´ ıtulo 8. y Tudor [38]. Nelson [24].

n ı torio y su padre lo regres´ a Harvard para continuar sus o Wiener estudios de filosof´ Se gradu´ en Harvard a la edad de ıa. Norbert Wiener fue ante todo un ni˜ o prodigio. En 1903 a n la edad de 9 a˜ os ingres´ a la preparatoria Ayer en Massan o chusetts. En 1914 o viaj´ a Gottingen para estudiar ecuaciones diferenciales con David Hilbert. o 18 a˜ os con una tesis sobre l´gica matem´tica bajo la direcci´n de Karl Schmidt. H. Reo gres´ a los Estados Unidos dos d´ antes del inicio de la primera guerra mundial. o u Fuente: Archivo MacTutor.228 8. n o a o Despu´s de Harvard viaj´ a Cambridge. En 1909 se gradu´ del colegio Tufts ıa o a la edad 14 a˜ os e ingres´ a la universidad de Harvard n o para realizar estudios de posgrado en Zoolog´ Con ayuda ıa. Inglaterra. Recurrencia y transitoriedad Norbert Wiener (USA 1894–1964). Andrews. o ıas Muri´ en Estocolmo a la edad de 69 a˜ os despu´s de sufrir un segundo ataque al o n e coraz´n. Universidad de St. para estudiar junto a Bertrand e o Russell y en donde asisti´ a algunos cursos dictados por G. Una universidad en el Per´ lleva ahora su nombre. la cual concluy´ en 1906 para ingresar despu´s al o e colegio Tufts en donde estudi´ matem´ticas con el apoyo y o a asesor´ de su padre. de una beca ingres´ despu´s a la universidad de Cornell en o e 1910 en donde tom´ cursos de posgrado en matem´ticas y o a filosof´ pero su desempe˜ o all´ no fue del todo satisfacıa.7. . Hardy.

y otras veces descubr´ resultados importantes nuevos sin darles mucha ıa publicidad pues los cre´ ya conocidos. a˜ o en el que se jubil´. Dentro de a sus textos publicados se encuentran Le¸ons d’analyse funtionelle (1922). No participaba mayormente en los congresos internacionales excepto posiblemente hacia el final de su vida. y Procese e sus stochastiques et mouvement Brownien (1948). y asisti´ a cursos de o o ´ matem´ticas en la Sorbonne. Su abuelo fue profesor de matem´ticas y su padre a a ´ estudi´ geometr´ y trabaj´ en la Ecole Polytechnique. Poincar´ y J. indiferente a las escuelas y m´todos establee cidos. Calcul des c probabilit´s (1925). Theorie de l’addition des variables al´atoires (1937).Cap´ ıtulo 8. a o y realiz´ a partir de entonces trabajos de investigaci´n en an´lisis funcional que o o a le llevaron a obtener el grado de Docteur ´s Sciences en 1912 bajo el escrutinio e ´ de E. Tambi´n imparti´ clases en la Ecole Polytechnique de e o 1920 a 1959. e Paul L`vy naci´ dentro de una familia con tradici´n mae o o tem´tica. Despu´s de un a˜ o de servicio militar. Universidad de St. Paul L`vy fue un ejemplo de un hombre de ıa e pensamiento de originalidad profunda. y en la Ecole Nationale Sup´rieure e ´ de Mines de 1914 a 1951. . L`vy asisti´ al Lyc´e Saint Louis en Paris. era un investigador solitario que s´lo se preocupaba por plantearse o problemas matem´ticos de su inter´s y buscaba su soluci´n a trav´s de la reflexi´n a e o e o interior. Paul L`vy realiz´ contribuciones importantes en la teor´ de la proe o ıa babilidad. el an´lisis funcional y las ecuaciones diferenciales parciales. Picard. Paul L`vy fue uno de los m´s e a grandes matem´ticos de su tiempo. Movimiento Browniano 229 Paul Pierre L`vy (Francia 1886–1971). H. Ingres´ despu´s a la Ecole Polyo e technique y siendo all´ a´ n estudiante public´ su primer ı u o art´ ıculo en matem´ticas en 1905. Andrews. Como cient´ a ıfico fue un ejemplo de individualismo absoluto. Hadamard. De o ıa o peque˜ o. y en 1964 fue elegido miembro de la Acad´mie e des Sciences. Trabaj´ como profesor en la Ecole des e o ´ Mines de Saint-Etienne en Paris de 1910 a 1913. f´ ısica y qu´ ımica. En 1963 fue nombrado miembro honorario n o de la London Mathematical Society. y quien no dudaba en lanzarse sobre nuevos caminos de pensamiento pues no tem´ de ninguna manera a la soledad intelectual. A menudo encontraba por si mismo resultados ya conocidos. el cual tocaba temas de a series convergentes. En 1910 concluy´ sus estudios en la Ecole des Mines. ıa Fuente: Archivo MacTutor. e n L`vy e ´ ingres´ en 1907 a la Ecole des Mines. en n e o e donde mostr´ ser un excelente estudiante. sobresaliendo y o ganando premios no s´lo en matem´ticas sino tambi´n en o a e ´ Griego.

Recurrencia y transitoriedad Ejercicios Movimiento Browniano unidimensional 162. t0 ]. Demuestre que la funci´n de covarianza del movimiento Browniano est´ndar o a es Cov(Bs .230 8. Demuestre que Wt = a Bt/σ2 es un movimiento Browniano est´ndar. 166.7. Sea Bt un movimiento Browniano de par´metro σ 2 . es un movimiento o Browniano de par´metro σ 2 . x. a a) Wt = σ Bt . P (Bt > Bs ) = 1/2. Demuestre que la probabilidad de transici´n p(t. a 165. x. u. Demuestre a que el proceso {Bt0 − Bt0 −t : 0 ≤ t ≤ t0 } es un movimiento Browniano en el intervalo [0. A partir de la definia ci´n. 167. Sea t0 > 0 fijo y sea Bt es un movimiento Browniano est´ndar. ∂t 2 ∂y 2 169. Demuestre que la probabilidad de transici´n p(t. −∞ . x. Sea {Bt } un movimiento Browniano de par´metro σ 2 . y) = ∞ p(t. Bt ) = s ∧ t. Demuestre que si {Bt } es un movimiento Browniano est´ndar. Este es un movimiento Browniano con tiempo invertido. Sea σ = 0 una constante. a 163. y) del movimiento Browo niano unidimensional de par´metro σ 2 satisface la ecuaci´n de difusi´n (tama o o bi´n llamada ecuaci´n de calor): e o ∂p σ ∂2p = . u) p(s. demuestre que el proceso Wt = tB1/t . 168. 164.Kola o mogorov p(t + s. con W0 = 0. Demuestre que para a cualesquiera tiempos t = s. b) Wt = Bσ2 t . y) du. y) del movimiento Browo niano unidimensional de par´metro σ 2 cumple la ecuaci´n de Chapman. entonces los siguientes procesos son movimientos Brownianos de a par´metro σ 2 . Sea Bt un movimiento Browniano de par´metro σ 2 . x.

x. Demuestre que Bt − t es tambi´n una martingala respecto de la misma filtraci´n. t}. El proceso Xt = |Bt | corresponde a un movimiento Browa niano que s´lo toma valores positivos pues las trayectorias son reflejadas o respecto del origen hacia la parte positiva del eje. si t > τ. s/t. Movimiento Browniano 170. 231 d ) ρ(Bt . Movimiento Browniano reflejado en el origen. c) E(Bs Bt ) = m´ ın{s. Demuestre que a a) E|Bt − Bs | = 2|t − s| . Sea Bt un movimiento o Browniano est´ndar que inicia en x > 0. el cual representa un movimiento Browniano que inicia en x con la caracter´ ıstica de que una vez que llega al cero permanece en ese estado el resto del tiempo. Sea Bt un movimiento Browniano de par´metro σ 2 que inicia en cero. x. para 0 ≤ s ≤ t. −y). Bs ) = 171. Sea {Bt } un movimiento Browniano est´ndar. Movimiento Browniano con absorci´n en el origen. x 175. x. Defina el tiempo τ = ´ a ınf{t ≥ 0 : x Bt = 0} y el proceso Xt = x Bt 0 si 0 ≤ t ≤ τ. x. x. y) dada por o q(t. Compruebe o o adem´s que a a) E(Xt ) = 2t/π. b) Var(Xt ) = (1 − 2/π)t. y ≥ 0. o 173. Sea a a una constante y defina el tiempo τ = ´ {t ≥ 0 : Bt = a}. Demuestre que el movimiento Browniano es una martingala respecto de su filtraci´n natural. en donde p(t. o 2 e 172. Demuestre que Xt es un proceso de Markov con trayectorias continuas y que tiene funci´n de probao bilidad de transici´n q(t. Sea Bt un movimiento Browniano est´ndar. o 174. y) = p(t. Encuentre la ınf funci´n de densidad de τ . Sea Bt un movimiento Browniano. para cualesquiera valores x. π b) E(Bt − Bs )2 = |t − s|. y) + p(t.Cap´ ıtulo 8. y) es la correspondiente funci´n de probabilidad de transici´n del movimiento Browniano. .

en general. 1]. y + x). Sea {Bt } un movimiento Browniano unidimensional est´ndar. q(t. no es discreta ni continua. y) es la correspondiente funci´n para Bt . y > 0. dado que B0 = 0 y B1 = 0. sin embargo. Demuestre que la funci´n de probabilidad de transici´n del proceso Xt o o es. para −∞ < x < ∞.7. La martingala exponencial. 177. es decir. 1). t2 − t1 (t2 − t)(t − t1 ) . Sea {Bt } un movimiento Browniano unidimensional est´ndar. y sean t1 y t2 dos tiempos fijos tales que 0 ≤ t1 < t2 . o A este proceso condicionado se le conoce con el nombre de puente Browniano en el intervalo unitario (0. y − x) − p(t. Demuestre adem´s que. una martingala. para x. Demuestre que la distribuci´n condicional de la variable a o Bt . q(t. t(1 − t)). en donde p(t. 1). t2 ). sea Bt un movimiento Browniano est´ndar y sea c una constante. x. con t ∈ (t1 . y) = p(t. Compruebe que Xt es efectivamente una martingala respecto de la filtraci´n natural del movimiento Browniano y verifique adem´s o a 2 que E(Xt ) = 1 y Var(Xt ) = ec t − 1. b) Observe que la variable Xt es mixta. es decir. t2 − t1 . un o movimiento Browniano que inicia en cero. σ 2 ) con µ = σ2 = a+ t − t1 (b − a). x. El proceso que se obtiene al tomar la exponencial de un movimiento Browniano no es. a˜ adiendo un t´rmino extra este nuevo proceso puede convertirse en una n e martingala y se le llama martingala exponencial. Defina el proceso a Xt = exp ( cBt − c2 t/2 ). es N(µ. a Demuestre que la distribuci´n condicional de la variable Bt . El puente Browniano en [t1 . 0. en donde F (x) es la funci´n o de distribuci´n de Bt . El puente Browniano en [0. Bt tiene distribuci´n condicional N(0. con t ∈ (0. El siguiente ejercicio generaliza este resultado. en su parte continua. o dado que Bt1 = a y Bt2 = b. 0. 0) = 2(1 − F (x)). t2 ]. para a la parte discreta. 176. o c) Calcule E(Xt ) y Var(Xt ). Recurrencia y transitoriedad a) Demuestre que Xt es un proceso de Markov con trayectorias continuas.232 8. 178. es f (x) = 1 2π t(1 − t) e−x 2 /2t(1−t) . M´s espec´ a ıficamente. x.

2 dr r dr Este resultado fue usado en la demostraci´n de la propiedad de recurrencia o por vecindades del movimiento Browniano en R2 . para x > 0. Sea ||x|| = (x2 +· · ·+x2 )1/2 la norma Euclideana en Rn . y a sea r > 0. y.Cap´ ıtulo 8. demuestre que para n = 2. Demuestre 1 n que la funci´n de densidad de ||B(t)|| es. φ) = 1 ∂ ∂ 1 ∂2 1 ∂ 2 ∂ (r )f + 2 (sen θ )f + 2 f. z) = ∂ 2 f /∂x2 +∂ 2 f /∂y 2 + ∂ 2 f /∂z 2 adquiere la siguiente expresi´n en coordenadas esf´ricas o e △f (r. 181. . Movimiento Browniano 233 Movimiento Browniano multidimensional 179. Sea B(t) = (B1 (t). △f (x. △f (x. . Bn (t)) un movimiento Browniano est´ndar en Rn . . 2 dr r dr Este resultado fue usado en la demostraci´n de la propiedad de transitoriedad o del movimiento Browniano en R3 . el Laplaciano se reduce a la expresi´n o △f (r. t En particular. Demuestre que el operator Laplaciano en R3 . el Laplaciano se reduce a la expresi´n o △f (r. r2 ∂r ∂r r sen θ ∂θ ∂θ r sen2 θ ∂φ2 Compruebe que cuando f depende de x. P ( ||B(t)|| ≤ x ) = 1 − e−x 2 /2t . y) = ∂ 2 f /∂x2 + ∂ 2 f /∂y 2 adquiere la siguiente expresi´n en coordenadas polares o △f (r. . y y z unicamente a trav´s de r = ´ e x2 + y 2 + z 2 . . o f (x) = 1 Γ(n/2) 1 2 n/2 x2 t n/2−1 2x −x2 /2t e . Demuestre que el operator Laplaciano en R2 . θ. 180. 2 ∂r r ∂r r ∂θ Compruebe que cuando f depende de x y de y unicamente a trav´s de r = ´ e x2 + y 2 . θ) = ∂2 1 ∂ 1 ∂2 f+ f + 2 2 f. θ) = d2 1 d f+ f. θ) = d2 2 d f+ f.

.

Definir la integral a de Itˆ a un nivel elemental nos conducir´ necesariamente a dejar sin demostraci´n o a o algunos resultados t´cnicos. pues en este caso la funci´n integradora es una trayectoria del movimiento o o Browniano que. es decir. 0 (9.1. por aproximaci´n. para procesos e o m´s generales. primero para procesos simples y despu´s. La justificaci´n o o para desear definir este tipo de integrales ser´ evidente m´s adelante cuando estua a diemos ecuaciones estoc´sticas basadas en este tipo de integrales. Integraci´n estoc´stica o a El objetivo de esta secci´n es presentar la definici´n de la integral de Itˆ de un o o o proceso Xt respecto del movimiento Browniano. no tiene variaci´n finita. Mostraremos adem´s el uso y aplicaci´n de la f´rmula de a o o Itˆ. Vamos a definir la integral de Itˆ de un proceso estoc´stico respecto del o o a movimiento Browniano. y resolveremos algunos modelos sencillos de ecuaciones estoc´sticas. a 235 .1) Este tipo de integrales no pueden definirse trayectoria por trayectoria. o a 9. como si fuera una integral de Riemann-Stieltjes de una funci´n respecto de otra o funci´n. es decir. como hemos visto antes. Daremos la definici´n de integral estoc´stica en varios e o a pasos. una integral de la forma T Xt dBt .Cap´ ıtulo 9 C´lculo estoc´stico a a En este ultimo cap´ ´ ıtulo se presenta una breve introducci´n al c´lculo estoc´stico o a a de Itˆ.

F . es un espacio de Banach. a junto con su filtraci´n natural {Ft }. T ]-medible. y un movimiento Browniano est´ndar unidimensional {Bt }. A la convergencia usando esta norma se le llama e convergencia en L2 (P ). Por ejemplo. es FT ⊗ B[0. El espacio L2 (P ). con T > 0 fijo. T ]. Se puede verificar que el espacio lineal L2 (P ) es completo respecto de esta norma. . La funci´n || · ||L2 (P ) define una norma en L2 (P ). es decir. Supondremos dado un proceso {Xt } con eso pacio parametral el intervalo [0. Consideraremos como elementos iniciales un espacio de proo babilidad (Ω.236 9. c) ||X + Y || ≤ ||X|| + ||Y ||. T ]. es decir. T ] → R. Integraci´n estoc´stica o a Primeras hip´tesis. Esto quiere decir que toda sucesi´n de Cauchy o en este espacio tiene l´ ımite en ´l. a Supondremos adem´s que el proceso es adaptado. b) ||X|| = 0 ⇔ X = 0 c. Denotaremos tambi´n por L2 (P × dt) al espacio lineal de e todos los procesos X = {Xt : 0 ≤ t ≤ T }. T ]. que cumplen la condici´n o ||X||L2 (P ) = (E |X|2 )1/2 < ∞. α constante. e a la variable aleatoria Bt del movimiento Browniano pertenece a este espacio pues √ ||Bt ||L2 (P ) = (E |Bt |2 )1/2 = t < ∞. Denotaremos por L2 (P ) al espacio vectorial de variables aleatorias X que son cuadrado integrables. T ] e corresponde a la m´ ınima σ-´lgebra generada por el espacio producto FT × B[0. Puede demostrarse que la funci´n || · ||L2 (P ×dt) es efectivamente una norma y que o este espacio es completo respecto de esta norma. es una funci´n real o o definida sobre este espacio lineal que cumple las siguientes cuatro condiciones: a) ||X|| ≥ 0. la variable aleatoria Xt es medible respecto de Ft .s. es decir. d) ||αX|| = |α| ||X||. es decir. P ).1. en donde el t´rmino FT ⊗ B[0. es decir. para cada t en el intera valo [0. El espacio L2 (P × dt). es un espacio de Banach. que cumplen la condici´n o T ||X||L2 (P ×dt) = (E 0 |Xt |2 dt)1/2 < ∞. o tambi´n convergencia en media cuadr´tica. y que visto como funci´n o X : Ω × [0.

Definiremos primero la integral de Itˆ para o procesos que tienen la forma indicada a continuaci´n. X (n−1) es una colecci´n de variables aleatorias adaptadas o a la filtraci´n {Ftk }n−1 . .1.b) (t) denota a la funo Xt (ω) ci´n indicadora del intervalo [a. con a a X (0) l´ ımite por la izquierda). . (9. o Definici´n. b). Un o X (n−1) proceso simple es entonces un proceso X (1) constante por pedazos con trayectorias c`dl`g (continuas por la derecha. Calculo estocastico 237 Por ejemplo. y las condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias t cuadrado integrables. el movimiento Browniano B = {Bt : 0 ≤ t ≤ T } pertenece a este espacio pues T ||B||L2 (P ×dt) = (E 0 T |Bt |2 dt )1/2 = ( 0 T E |Bt |2 dt )1/2 t dt )1/2 = ( 0 = T √ < ∞. Haciendo posiblemente algunos refinamientos en las particiones. . o k=0 La expresi´n 1[a. Denotaremos por H0 al espacio de todos los procesos simples.2) en donde X (0) . Una trayectoria tn−1 ··· t1 t2 tn de este tipo de procesos se muestra en 2 Figura 9. .1: la Figura 9.tk+1 ) (t). dos procesos sim- . Un proceso estoc´stico simple es un proceso de la forma a n−1 Xt = k=0 X (k) 1[tk .´ ´ Cap´ ıtulo 9. y que son cuadrado integrables. T ]. Sea 0 = t0 < t1 < · · · < tn = T una partici´n finita del intervalo o o [0. 2 2 El espacio H0 de procesos simples.

3) Para comprobar esta identidad vamos a denotar nuevamente por ∆Bk a la diferencia Btk+1 − Btk .2). El espacio H0 es efectivamente un espacio vectorial. Esta es la definici´n intuitiva de integral y estao blece simplemente que si el integrando es constante en alg´ n subintervalo. cada sumando tiene esperanza cero. Nuevamente por la independencia . se define como la variable aleatoria T n−1 I(X) = 0 Xs dBs = k=0 X (k) (Btk+1 − Btk ). Integraci´n estoc´stica o a ples pueden siempre expresarse en t´rminos de una misma partici´n com´ n. y por lo tanto la esperanza de la integral es cero. b) La integral es adem´s cuadrado integrable y de hecho se cumple la siguiente a igualdad fundamental llamada Isometr´a de Itˆ: ı o ||I(X)||L2 (P ) = ||X||L2 (P ×dt) .238 9. y sea ∆tk = tk+1 − tk . La integral estoc´stica de Itˆ de un proceso simple X de la foro a o ma (9. De e o u modo que la suma de dos procesos simples tiene sentido y resultar´ ser tambi´n un a e 2 proceso simple. respecto del movimiento Browniano. Veamos algunas propiedades de esta variable aleatoria. Definici´n. entonces u la integral debe ser esa constante multiplicada por el incremento del movimiento Browniano en dicho subintervalo.1. denotada por I(X). Integral para procesos simples. a) Es integrable pues siendo las variables X (k) y Btk+1 − Btk independientes. (9.

se puede tomar como proceso simple X (k) = Btk .k=0 n−1 E( X (j) X (k) ∆Bj ∆Bk ) E( (X (k) )2 (∆Bk )2 ) k=0 n−1 = = k=0 E(X (k) )2 ∆tk |Xt |2 dt) 0 ||X||2 2 (P ×dt) . ıa o Observe que se puede tomar como ejemplo de proceso simple el movimiento Browniano discretizado. Sea H2 el espacio de todos los procesos Xt medibles a y adaptados. L E( T = = Esta identidad establece que tanto el proceso simple X como la variable aleatoria I(X) tienen la misma norma en sus respectivos espacios.´ ´ Cap´ ıtulo 9. Observe que la unica diferencia entre estos dos espacios es que a los elementos de H2 se les pide ´ . Ahora extenderemos la integral estoc´stica a proo o a cesos un poco m´s generales. Como se ver´ m´s adea a lante. Calculo estocastico de X (k) y ∆Bk se tiene que n−1 239 ||I(X)||2 2 (P ) L = E( | n−1 k=0 X (k) (Btk+1 − Btk )|2 ) = j. ı n−1 k=0 Btk (Btk+1 − Btk ). La integral estoc´stica asigna entonces a cada elemento del espacio H0 a a 2 una variable aleatoria en el espacio L (P ). De esta forma se tiene la transformaci´n o 2 lineal I : H0 → L2 (P ). es decir. tales que T E 0 |Xt |2 dt < ∞. El espacio H2 resulta ser un subespacio lineal cerrado de L2 (P × dt). que resulta ser continua por la isometr´ de Itˆ. esta igualdad juega un papel primordial en la definici´n general de integral o 2 estoc´stica. y de esta forma tener la integral estoc´stica discreta del movimiento Browniano respecto a de s´ mismo. Extensi´n por aproximaci´n.

Sea X un proceso en H2 . Debido a (9. Usando la isometr´ de Itˆ es sencillo comprobar que ıa o la sucesi´n I(X k ) es una sucesi´n de Cauchy en el espacio L2 (P ). De manera gr´fica esta extensi´n se ilustra en la Figura 9. todo proceso simple es un a 2 elemento de H2 . es decir. Se define la integral estoc´stica de X como a I(X) = l´ I(X k ). y sea X k una sucesi´n de procesos en o o 2 H0 aproximante a X. a o La isometr´ de Itˆ se cumple tambi´n para procesos en H2 como se muestra a ıa o e continuaci´n. ım (9. ım k→∞ en donde el l´ ımite debe entenderse dentro del espacio L2 (P ).4) k→∞ Este procedimiento de aproximaci´n puede llevarse a cabo de la siguiente forma: o Mediante la t´cnica de truncaci´n todo proceso en H2 puede ser aproximado por un e o proceso acotado. a o Esto significa que la variable aleatoria I(X) es un elemento de L2 (P ) y es tal que l´ n→∞ ||I(X) − I(X k )||L2 (P ) = 0.240 9. A su vez todo proceso en H2 que es acotado se puede aproximar por procesos acotados y continuos. se trata de la convergencia en media cuadr´tica de una sucesi´n de variables aleatorias. Definici´n. o o ||I(X k ) − I(X l )||L2 (P ) = ||I(X k − X l )||L2 (P ) = ||X k − X l ||L2 (P ×dt) ≤ ||X − X k ||L2 (P ×dt) + ||X − X l ||L2 (P ×dt) . En particular. to´ o n mando ´ ındices k y l suficientemente grandes. Los detalles completos de esta sucesi´n de aproximaciones o pueden encontrarse en [26]. Y ´stos a su vez se aproximan por procesos e simples de la forma (9. o .2). o En este punto empieza a perderse nuestra concepci´n tradicional de integral pues o ahora ´sta se encuentra definida a trav´s de una sucesi´n aproximante del proceso e e o a integrar. Esto significa que para cualquier proceso X en H2 existe un sucesi´n de procesos o 2 X k en H0 tales que l´ ||X − X k ||L2 (P ×dt) = 0. Integraci´n estoc´stica o a adem´s que sean medibles y adaptados. en efecto.1. Tenemos entonces la contenci´n de espacios H0 ⊂ H2 ⊂ L2 (P ×dt). No es dif´ verificar que tal definici´n ım ıcil o es correcta en el sentido de que el l´ ımite no depende de la sucesi´n aproximante.4) la ultima expresi´n puede hacerse tan peque˜ a como se desee. o 2 en donde puede probarse que H0 es denso en H2 respecto de la norma en L2 (P ×dt).2.

Esta o convergencia y la desigualdad | ||a||− ||b|| | ≤ ||a− b|| implican que ||Xn ||L2 (P ×dt) → ||X||L2 (P ×dt) . 0 ≤ E 2 ( I(X) − I(X k ) ) ≤ E( I(X) − I(X k ) )2 → 0. An´logamente. como ||I(X)−I(Xn )||L2 (P ) → 0 se tiene que ||I(Xn )||L2 (P ) → a ||I(X)||L2 (P ) . Para cualquier proceso X en H2 se cumple o ıa o ||I(X)||L2 (P ) = ||X||L2 (P ×dt) .2: Proposici´n. La propiedad de esperanza nula se cumple tambi´n para procesos en H2 . es decir. (9. Calculo estocastico 241 H2 0 H2 L2 (P × dt) I L2 (P ) Figura 9. (Isometr´ de Itˆ). De donde se obtiene E( I(X) − I(X k ) ) → 0.5) 2 Demostraci´n. El resultado buscado se obtiene al tomar el l´ ımite en la isometr´ de ıa Itˆ como se muestra en el siguiente diagrama: o ||I(Xn )||L2 (P ) ↓ ||I(X)||L2 (P ) = ||Xn ||L2 (P ×dt) ↓ ||X||L2 (P ×dt) . E(I(X)) = l´ E(I(X k )) = 0. pues e usando probabilidad elemental. ım k→∞ . Sea X en H2 y sea Xn en H0 tal que ||X − Xn ||L2 (P ×dt) → 0. o por la desigualdad de Jensen.´ ´ Cap´ ıtulo 9.

y es posible demostrar que tal proceso puede ser aproximado en el sentido de la norma del espacio L2 (P × dt) por el proceso simple n−1 Xt = k=0 Btk 1[tk .tk+1 ) (t).242 9. Haremos ahora una peque˜ a extensi´n. primero usando esta representaci´n como l´ a o ımite en el espacio L2 (P ). y despu´s usando la f´rmula de Itˆ. Es claro que tal proceso no es necesariamente continuo.t] (s) dBs = 0 Xs dBs . Mediante un procedimiento llamado de localizaci´n o o o es posible extender la definici´n de integral de Itˆ a procesos medibles y adaptados o o que cumplen la condici´n menos restrictiva o T P( 0 |Xt |2 dt < ∞) = 1. Para cada n o t en [0. y o e que esa versi´n es una martingala respecto de la filtraci´n natural del movimiento o o Browniano.6) Denotaremos por L2 el espacio de todos estos procesos. e o o La integral como un proceso. Este nuevo espacio conloc tiene a H2 y es tal que para cada proceso X en L2 existe una sucesi´n creciente o loc de tiempos de paro 0 ≤ τ1 ≤ τ2 ≤ · · · tales que τn ր T cuando n → ∞. M´s adelante calcularemos esta o a integral estoc´stica de dos maneras. Extensi´n por localizaci´n. en donde el l´ ımite debe entenderse en el sentido de que la distancia m´xima entre a dos puntos sucesivos de la partici´n tiende a cero. y para . Se tiene entonces la o siguiente integral estoc´stica particular. o Observe nuevamente que el movimiento Browniano Bt es un ejemplo de un proceso en el espacio H2 . Este peque˜ o artificio permite ver a la integral estoc´stica no como una variable n a aleatoria sino como un proceso.1. Integraci´n estoc´stica o a De esta forma se tiene ahora la transformaci´n lineal y continua I : H2 → L2 (P ). T ] y para cualquier X en H2 se define el proceso T t It (X) = 0 Xs 1[0. y su aproximaci´n como l´ a o ımite en media cuadr´tica a T n−1 k=0 Bt dBt = l´ ım 0 n→∞ Btk (Btk+1 − Btk ). en donde 0 = t0 < t1 < · · · < tn = T es una partici´n de [0. (9. T ]. sin embargo puede demostrarse que existe una versi´n continua de ´l. Denotaremos por el mismo s´ ımbolo a tal martingala continua.

En general. y que es independiente de la sucesi´n de tiempos de paro localizante. y tiene sentido la e loc expresi´n o t f (Bs ) dBs . por lo tanto este proceso es un elemento de L2 . Las demostraciones de algunos detalles t´cnicos que hemos o e simplemente mencionado se pueden encontrar en [35]. la isometr´ de Itˆ ya no se cumple cuando la integral estoc´stica ıa o a tiene como dominio de definici´n el espacio L2 . Nuevamente es posible demostrar que tal l´ ımite existe. que existe una versi´n cono tinua de ´l. 0 Se puede demostrar que esta integral puede ser calculada mediante el siguiente l´ ımite en el espacio L2 (P ). y nuevamente el o l´ ımite debe entenderse en el sentido de que la distancia m´xima entre dos puntos a sucesivos de la partici´n tiende a cero. (9. 0 . o loc Ejemplo.3.t] (s) dBs .7) en donde 0 = t0 < t1 < . . . e o En este caso la integral ya no es una martingala sino una martingala local. Se define entonces la integral estoc´stica como el siguiente l´ a ımite en el espacio L2 (P ).6). Calculo estocastico 243 cada n ≥ 1 el proceso Xt · 1(τn ≥t) pertenece al espacio H2 . el proceso f (Bt ) tiene trayectorias continuas y acotadas. a Ejemplo. por lo o tanto se cumplen las condiciones de adaptabilidad y medibilidad y se cumple tambi´n (9. Con la ayuda de (9. t T Xs dBs = l´ ım 0 n→∞ 0 Xs · 1(τn ≥t) (ω) · 1[0. aunque tambi´n se verifica la convergencia en probabie lidad: t n−1 f (Bs ) dBs = l´ ım 0 n→∞ k=0 f (Btk ) (Btk+1 − Btk ).´ ´ Cap´ ıtulo 9. t]. < tn = t es una partici´n de [0. Para el movimiento Browniano unidimensional Bt y para cualquier funci´n continua f . El esquema simplificado del procedimiento seguido para definir la integral estoc´stica se ilustra la Figura 9. o Con esto concluimos la serie de ideas generales bajo las cuales puede construirse la integral de Itˆ.7) calcularemos la integral estoc´stica a t Bs dBs . esto quiere decir que el proceso detenido It∧τn (X) es una martingala para cada natural n.

El cambio consiste en evaluar el integrando en el extremo derecho de cada subintervalo. Usando la ıa . 2 t 2 La primera suma es telesc´pica mientras que la segunda suma corresponde a la o variaci´n cuadr´tica del movimiento Browniano. Observe que en este caso el proceso a integrar ya no es adaptado y por lo tanto queda fuera de la teor´ desarrollada antes. Integraci´n estoc´stica o a H2 0 Definici´n o H2 Aproximaci´n o L2 loc Localizaci´n o L2 (P ) Figura 9. Los l´ o a ımites indicados son v´lidos a 2 en el sentido de media cuadr´tica.3: Sea 0 = t0 < t1 < · · · < tn = t una partici´n uniforme de [0. o o Ahora veamos el cambio en la soluci´n cuando se modifica ligeramente la forma o de calcular la integral. t].244 9.1. Observe que aparece el t´rmino 1 Bt como si a e 2 1 se siguieran las reglas de integraci´n usual. es decir ti+1 − ti = o 1/n. Usando la identidad a(b − a) = se obtiene t n−1 1 2 1 (b − a2 ) − (a − b)2 2 2 Bs dBs 0 = n→∞ l´ ım j=0 n−1 Btk (Btk+1 − Btk ) = = n→∞ l´ ım 1 2 1 2 [ (Btk+1 − Btk ) − (Btk+1 − Btk )2 ] 2 2 j=0 1 2 1 B − t. pero aparece tambi´n el t´rmino − 2 t. o e e conocido como la correcci´n de Itˆ.

a Ejemplo. Al considerar el promedio de las dos evaluaciones u en los extremos se obtiene la as´ llamada integral de Stratonovich. Calculo estocastico identidad 245 1 2 1 (b − a2 ) + (a − b)2 2 2 se obtiene.´ ´ Cap´ ıtulo 9. a e o diferencia de la integral de Riemann. pero vista como proceso deja de ser una martingala. 2 t 2 El signo del segundo t´rmino cambi´ de negativo a positivo. a . nuevamente en el sentido de media cuadr´tica. Esto muestra que. calcularemos ahora la esperanza y varianza del proceso t Bs dBs . 2 0 Observe que el t´rmino adicional de la integral de Itˆ ha desaparecido. La intee o gral de Stratonovich tiene algunas ventajas operacionales pues sigue algunas reglas usuales del c´lculo integral. la integral estoc´stica es sensible al punto a donde se eval´ a el integrando. 0 La esperanza es cero pues la integral estoc´stica en este caso es una martingala. a b(b − a) = t n−1 Bs dBs 0 = n→∞ l´ ım j=0 n−1 Btk+1 (Btk+1 − Btk ) = = n→∞ l´ ım 1 2 1 2 [ (Btk+1 − Btk ) + (Btk+1 − Btk )2 ] 2 2 j=0 1 2 1 B + t. denotada de la ı forma siguiente t 1 2 Bs ◦ dBs = Bt .

2 = t 2 Alternativamente. Claramente E( 2 Bt − 1 t) = 0. 2 Ejemplo. Entonces t t t E( 0 Xs dBs 0 Ys dBs ) = 0 E(Xs Ys ) ds. 2 Adem´s a 1 2 1 Var( Bt − t) 2 2 = = = = 1 2 Var(Bt ) 4 1 4 2 (E(Bt ) − E 2 (Bt )) 4 1 2 (3t − t2 ) 4 1 2 t .246 9. como 0 Bs dBs = 1 Bt − 1 t. las cantidades anteriores pueden 2 2 1 2 calcularse usando el lado derecho de esta igualdad. Esta f´rmula es f´cil de comprobar usando la isometr´ de Itˆ y la igualdad ab = o a ıa o . Integraci´n estoc´stica o a Para la varianza se tiene que t t Var( 0 Bs dBs ) = E( 0 t Bs dBs )2 2 Bs ds) = E( 0 t = 0 t 2 E(Bs ) ds = 0 s ds 1 2 t .1. Sean Xt y Yt dos procesos en H2 .

Propiedades de la integral. t E| 0 Xs dBs |2 = E t 0 |Xs |2 ds. En efecto. las caracter´ ısticas se˜ aladas antes. 0 En general. c) Cuando la integral se restringe al espacio H2 . ı o es decir. para procesos en L2 . se cumple que loc t t t (cXs + Ys ) dBs = c 0 0 Xs dBs + 0 Ys dBs . n a) La integral It : L2 → L2 (P ) es lineal. la integral es una martingala. se cumple la isometr´a de Itˆ. la integral ya no es una martingala sino loc una martingala local.s. La integral estoc´stica de Itˆ cumple varias propiea o dades aunque s´lo mencionaremos algunas de ellas aqu´ a manera de resumen de o ı. . para cualquier proceso Xs en L2 . 2 t t E( 0 Xs dBs 0 Ys dBs ) t t t 1 1 (Xs + Ys ) dBs |2 ) − (E| Xs dBs |2 + E| Ys dBs |2 ) = E( | 2 0 2 0 0 t t 1 t 1 = E|Xs + Ys |2 ds − ( E|Xs |2 ds + E|Ys |2 ds) 2 0 2 0 0 t = 0 E(Xs Ys ) ds. c. es decir. b) Tiene esperanza es cero.s. loc t E( 0 Xs dBs ) = 0. es integrable. adaptada y para 0 ≤ s ≤ t. es decir.´ ´ Cap´ ıtulo 9. d) Nuevamente restringida al espacio H2 . es decir. para c constante y para loc cualesquiera procesos Xs y Ys en L2 . se cumple t s E( 0 Xu dBu | Fs ) = Xu dBu . Calculo estocastico 1 2 (a 247 + b)2 − 1 (a2 + b2 ). c.

(F´rmula de Itˆ I). a o a En lo sucesivo haremos referencia a las siguientes espacios de funciones.248 ´ ˆ 9. Formula de Ito e) Existe una versi´n continua de la integral estoc´stica. La famosa f´rmula de Itˆ es la herramienta fundamental para este o o o tipo de integrales. M´s adelante se presenta una versi´n un poco m´s general. An´logamente. Entonces o o o t f (Bt ) − f (B0 ) = f ′ (Bs ) dBs + 0 1 2 t 0 f ′′ (Bs ) ds.2. Se enuncia a continuaci´n este resultado en una versi´n simple o o y se ejemplifica su uso. La segunda igualdad se obtiene despu´s de un evidente cambio de variable. o a 9. o Teorema. Sea f (x) es un funci´n de clase C 2 . una funci´n es de clase C 2 . cuando es diferenciable y su derivada es continua. Una funci´n o real de variable real es de clase C 1 . en donde el residuo R(x) puede escribirse como sigue x R(x) = x0 1 f ′′ (t)(x − t) dt = 0 (1 − θ)f ′′ (x0 + θ(x − x0 ))(x − x0 )2 dθ. Explicaremos una forma de obtener este resultado usando el teorema de Taylor pero sin dar una justificaci´n rigurosa de la prueba. se tiene que f (x) = f (x0 ) + f ′ (x0 )(x − x0 ) + R(x). si es dos veces diferenciable a o y su segunda derivada es una funci´n continua. F´rmula de Itˆ o o Usualmente una integral de Riemann no se calcula a partir la definici´n. Para una funci´n f (x) sufio o cientemente suave.2. en lugar de o ello existen f´rmulas bien conocidas para calcular integrales. Por lo e . La misma situaci´n se o o presenta para integrales estoc´sticas: en muy raros casos se calculan ´stas a trav´s a e e de su definici´n.

para la funci´n f (x) = 1 x3 se o o a o 3 obtiene t t 1 3 2 Bs dBs = Bt − Bs ds. Esta f´rmula es una versi´n estoc´stica de la regla de la cadena del c´lculo difeo o a a rencial usual. 0 t t Bs dBs + 0 1 2 t 1 ds. Entonces la f´rmula de Itˆ establece que o o 2 1 2 1 2 B − B0 = 2 t 2 Es decir. 2 Esta expresi´n debe entenderse en el sentido de su forma integral arriba enunciado. De manera an´loga. Sea f (x) = 1 x2 . k=1 Puede comprobarse que al tomar el l´ ımite cuando n → ∞ las sumas convergen casi seguramente y entonces se obtiene la igualdad t f (Bt ) − f (B0 ) = = f ′ (Bs ) dBs + 0 1 t 0 t 0 (1 − θ) t 0 f ′′ (Bs ) ds dθ 0 f ′ (Bs ) dBs + 1 2 f ′′ (Bs ) ds. y es com´ n escribirla en su forma diferencial del siguiente modo u 1 df (Bt ) = f ′ (Bt ) dBt + f ′′ (Bt ) dt. si 0 = t0 < t1 < · · · < tn = t es una partici´n de [0. ahora lo hemos obtenido de manera ıa inmediata de la f´rmula de Itˆ. Calculo estocastico tanto. o Ilustraremos su uso mediante algunos ejemplos. 0 Bs dBs = 1 2 1 B − t.´ ´ Cap´ ıtulo 9. Ejemplo. t]. 2 t 2 Este resultado hab´ sido encontrado antes. 3 0 0 . entonces o n 249 f (Bt ) − f (B0 ) = k=1 n [ f (Btk ) − f (Btk−1 ) ] f ′ (Btk−1 )∆Bk = k=1 1 n + 0 (1 − θ) f ′′ (Btk−1 + θ∆Bk )(∆Bk )2 dθ.

Consideremos entonces la funci´n f (x) = 2n x2n . 2n n! Los momentos impares de dicha distribuci´n se anulan pues en tal caso el integrando o 1 resulta ser una funci´n impar. 1 1 B n+1 − n+1 t 2 Ejemplo. o o para cualquier entero natural n. No es dif´ verificar que los resultados sucesivos de estas integrales son: tn−1 . tn /n! De esta forma se obtiene la f´rmula enunciada. . Ecuaciones diferenciales estoc´sticas a Sea (Ω. Tomando esperanza y resolviendo de manera iterada se obtiene 2n E(Bt ) = = . .. o . . . o n−2 n−3 9. = 2n(2n − 1) t 2n−2 E(Bs ) ds 2 0 2n(2n − 1) (2n − 2)(2n − 3) 2 2 (2n)! 2n t 0 0 t1 tn−1 t 0 0 t1 2n−4 E(Bs ) ds dt1 ··· 0 1 ds dtn−1 · · · dt1 . Demostraremos que o 2n E(Bt ) = (2n)! n t . ıcil t2 /2!. para f (x) = a t 0 n Bs dBs = se obtiene t 0 n−1 nBs ds. F . De la f´rmula de Itˆ se sigue que o o 1 2n 1 2n Bt − B = 2n 2n 0 t 0 2n−1 Bs dBs + 1 2 t 0 2n−2 (2n − 1)Bs ds. Usaremos la f´rmula de Itˆ para encontrar una expresi´n de los momentos o o o pares de una distribuci´n normal centrada. Ecuaciones diferenciales estoc´sticas a 1 n+1 n+1 x M´s generalmente. P ) un espacio de probabilidad.3. y sea {Bt } un movimiento Browniano unidimensional adaptado a la filtraci´n {Ft }.250 9.3. . t3 /3!.

o o ´ .´ ´ Cap´ ıtulo 9. (9.8) tiene soluci´n unica. Xs ) dBs . x) dos funciones de [0. x) y σ(t. a existen teoremas b´sicos de existencia y unicidad para ecuaciones estoc´sticas que a a establecen condiciones de regularidad para los coeficientes b(t. Sean b(t. x). T ]×R en R. De manera an´loga al caso de ecuaciones diferenciales deterministas. Xt ) dBt . e e n A la funci´n σ(t. bajo las cuales la ecuaci´n (9. Calculo estocastico 251 Definici´n. Una ecuaci´n o o estoc´stica es una ecuaci´n de la forma a o dXt = b(t.8) se interpreta como la ecuaci´n integral o o t t Xt = X0 + 0 b(s. Al proceso Xt se le llama proceso de Itˆ. pero alterado o por un ruido aditivo dado por la integral estoc´stica (la difusi´n). y la o variable aleatoria inicial X0 . Xt ) dt + σ(t. El proceso soluci´n puede o o o interpretarse como el estado de un sistema que evoluciona de manera determinista gobernado por la parte no aleatoria de la ecuaci´n (la tendencia). El siguiente es uno de tales resultados. A la funci´n b(t. La ecuaci´n (9. x) se le o o conoce como coeficiente de tendencia (drift en ingl´s o tambi´n deriva en espa˜ ol). (9. Xs ) ds + 0 σ(s. a o o Los elementos conocidos de esta ecuaci´n son los coeficientes b(t. mientras que la segunda es una integral estoc´stica de Itˆ. T ]. x) se le llama coeficiente de difusi´n.8) definida para valores de t en el intervalo [0.9) en donde la primera es una integral de Riemann. a o Para que una ecuaci´n estoc´stica tenga soluci´n se deben pedir condiciones en los o a o coeficientes. La inc´gnita es el proceso Xt . x) y σ(t. y con condici´n inicial la variable o aleatoria X0 que se presupone F0 -medible e independiente del movimiento Browniano. x). x) y σ(t.

o y se verifica la convergencia uniforme en [0. tal que con probabilidad uno. existe entonces un proceso continuo X. o |b(t. Mediante este e m´todo se define la sucesi´n de procesos e o Xt Xt (0) = = X0 . x)|2 ≤ K(1 + |x|2 ). entonces existe un proceso estoc´stico {Xt } a soluci´n de (9. x) − σ(t. x) y σ(t. y la condici´n de crecimiento en x. t (n+1) X0 + 0 (n) b(s. Tambi´n e a e debe demostrarse que el proceso l´ ımite es efectivamente soluci´n de la ecuaci´n o o estoc´stica. La demostraci´n es semejante o al caso determinista. es decir. y)|2 ≤ K|x − y|2 . e o Observe que el teorema anterior no establece la forma de encontrar la soluci´n a o (n) . Para ello se toma el l´ a ımite en la ecuaci´n que define las iteraciones. y)|2 + |σ(t. x) − b(t. Xt converge a Xt de manera uniforme en el intervalo [0. T ]. sup0≤t≤T E(Xt ) < ∞. o o |b(t. Si los coeficientes b(t. x) de la ecuaci´n (9. Para que estas iteraciones tengan sentido es necesario verificar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. para alguna constante K > 0. Adicionalmente puede demostrarse que el proceso l´ ımite es L2 -acotado (n) en [0. con probabilidad uno. T ].252 9. respecto de la norma uniforme ||X|| = sup0≤t≤T |Xt |. y hace uso del m´todo de iteraciones de Picard. t´rmino a e t´rmino. Los detalles de esta demostraci´n pueden encontrarse por ejemplo en [35]. esta sucesi´n constituye una sucesi´n de o o Cauchy en el espacio de funciones continuas C[0. Ecuaciones diferenciales estoc´sticas a Teorema de existencia y unicidad. y que la convergencia Xt → Xt tambi´n es v´lida en L2 (P ). y adem´s a es unico en el sentido de indistinguibilidad. T ]. T ] con probabilidad uno. ´ En este caso a tal soluci´n se le llama soluci´n fuerte de la ecuaci´n estoc´stica. tiene trayectorias continuas. Para comprobar que tal sucesi´n de procesos es convergente o se demuestra que. Xs ) ds + t 0 (n) σ(s. o o 2 es uniformemente acotado en L2 (P ).3. No o o o a presentaremos la demostraci´n de este resultado.8) que es adaptado a la filtraci´n. Xs ) dBs . x)|2 + |σ(t. simplemente comentaremos alguo nos aspectos de los que consta la prueba completa. Dado lo anterior.8) satisfacen la condici´n de Lipschitz en la variable x.

. o o o eBt − eB0 = t 0 eBs dBs + 1 2 t 0 eBs ds. entonces el proceso o Yt = f (t. x) = o o tx. Calculo estocastico 253 una ecuaci´n estoc´stica dada. sino que asegura unicamente la existencia de dicha o a ´ soluci´n. Bt ) dBt + fxx (t. Esta es la forma diferencial de la f´rmula enunciada. x) es un funci´n de clase C 1 en t y de clase C 2 en x. La siguiente versi´n de la f´rmula de Itˆ es un resultado bastante util o o o o ´ para resolver algunas ecuaciones estoc´sticas y generaliza la versi´n anteriormente a o enunciada. Bt )) d(tBt ) 1 = ft (t. o Ejemplo. La demostraci´n de este resultado sigue las o mismas l´ ıneas que la versi´n m´s simple. Bt ) dt + fx (t. 2 (9. Xt )dXt + fxx (t.8) se substituye × dt dBt en (9.10) usando la siguiente tabla de multiplicaci´n o dt 0 0 de McKean que se muestra en la Figura 9.´ ´ Cap´ ıtulo 9.8) y o o o f (t.(F´rmula de Itˆ II).10) Los sub´ ındices indican derivada y (9. Xt ) es tambi´n un proceso de Itˆ y satisface la ecuaci´n estoc´stica e o o a 1 dYt = ft (t.4. Si {Xt } es un proceso de Itˆ dado por (9. Considere la funci´n f (x) = ex . Teorema. Bt ) (dBt )2 2 = Bt dt + t dBt . Entonces d(f (t. Xt )dt + fx (t. Observe dBt 0 dt que como las derivadas involucradas son funciones continuas. Por la f´rmula de Itˆ. Ilustraremos a continuaci´n el uso de esta o a o f´rmula con varios ejemplos. Demostraremos que 0 s dBs = tBt − Bs ds. las integrales estoc´sticas resultantes est´n bien a a Figura 9. 0 Para verificar esta f´rmula puede tomarse el proceso Xt = Bt y la funci´n f (t. Xt )(dXt )2 . o t t Ejemplo.4: definidas.

Bt ) dBt + fxx (t. Bt )dt + fx (t. Bt ). Bt ) dt. Igualando los coeficientes de esta ecuaci´n con o los de la f´rmula de Itˆ o o 1 dXt = ft (t. Usando el m´todo de igualaci´n de coeficientes resolveremos la ecuaci´n e o o dXt = −Xt dt + e−t dBt . x) 1 ft (t. Sea f (t. Ecuaciones diferenciales estoc´sticas a es decir. A este proceso se le llama movimiento Browniano o geom´trico. 1+t 1+t con condici´n inicial X0 = 0. Demostraremos que el proceso Xt = Bt /(1 + t) es soluci´n de la ecuaci´n o o estoc´stica a Xt 1 dXt = − dt + dBt . e Ejemplo. x) tal que el proceso soluci´n o o o pueda escribirse como Xt = f (t. = − 1+t 1+t Ejemplo. Se busca un funci´n f (t. el proceso Xt = eBt satisface la ecuaci´n diferencial o 1 dXt = Xt dBt + Xt dt. Bt ) dt 2 Bt 1 = − dt + dBt (1 + t)2 1+t 1 Xt dt + dBt . 2 con condici´n inicial X0 = 1.3. x) + fxx (t. . Bt )dt + fx (t. Bt ) o cumple la condici´n inicial y por la f´rmula de Itˆ satisface la ecuaci´n o o o o dXt 1 = ft (t. x) 2 = = e−t −f (t. El proceso Xt = f (t. x).254 9. 2 se obtiene el sistema de ecuaciones fx (t. x) = x/(1 + t). Bt ) dBt + fxx (t. con condici´n inicial X0 = 0.

en o o donde c es una constante. 1. Aplicaciones de tales modelos se u o estudian en ingenier´ finanzas y f´ ıa. . cuya soluci´n es c(t) = ce−t .´ ´ Cap´ ıtulo 9. N . a Debido a la imposibilidad de encontrar soluciones expl´ ıcitas a ciertas ecuaciones de inter´s. . Substituyendo en la segunda o ecuaci´n y simplificando se obtiene c′ (t) = −c(t). Para que el proceso Xt = f (t. √ = Xtj + b(tj . y se define tj = j∆t para j = 0. y explicaremos un mecanismo para simular las trayeca torias del proceso soluci´n. Xt ) dt + σ(t. 9. . De esta forma la funci´n buscada es f (t. 2. . En este e o procedimiento se divide el intervalo [0. En o tal caso la f´rmula de Itˆ asegura que efectivamente o o dXt = = −e−t Bt dt + e−t dBt −Xt dt + e−t dBt . Simulaci´n o Una ecuaci´n estoc´stica ha resultado muy util para modelar sistemas que preseno a ´ tan alg´ n tipo de ruido o perturbaci´n aleatoria. = x0 . Xtj )∆t + σ(tj . ısica entre muchas otras ´reas del conocimiento. puede obtenerse mediante el m´todo de discretizaci´n de Euler-Maruyama. x) = e−t x+c(t). En las siguientes secciones presentaremos algunos modelos particulares a de ecuaciones estoc´sticas. o Una trayectoria de un proceso Xt que sigue la ley de movimiento de una ecuaci´n o estoc´stica de la forma a dXt X0 = b(t. . x) = e−t x. Calculo estocastico 255 De la primera ecuaci´n se obtiene f (t. Por lo tanto f (t. Suponiendo e que Yj es un valor al azar de la distribuci´n normal est´ndar. Xtj ) ∆t Yj . Bt ) = e−t (Bt + c) cumpla la condici´n inicial X0 = 0 forzosamente la o constante c debe ser cero. Xt ) dBt . los m´todos num´ricos del caso determinista se han extendido al caso e e e estoc´stico. t] de manera uniforme en n subintervalos de id´ntica longitud ∆t = t/n. x) = e−t (x + c).4. se definen los valores o a sucesivos de la trayectoria soluci´n de la ecuaci´n estoc´stica como sigue o o a X0 Xtj+1 = x0 .

El movimiento Browo niano geom´trico es el proceso soluci´n de la ecuaci´n estoc´stica e o o a dXt X0 = = µXt dt + σXt dBt . (9. Algunos modelos particulares M´s adelante se presentar´ una implementaci´n de este procedimiento en MATLAB a a o para simular trayectorias de soluciones de ecuaciones particulares. o Proposici´n. la ecuaci´n se reduce a dXt = µXt dt. Esta a o o funci´n representa el comportamiento en el tiempo de un capital inicial positivo o x0 que crece de manera continua y determinista a una tasa efectiva del 100µ %. y x0 > 0.12) Demostraci´n. Resolveremos esta ecuaci´n usando el m´todo o o e de igualaci´n de coeficientes. Algunos modelos particulares Movimiento Browniano geom´trico. Por otro lado la parte estoc´stica corresponde a la volatilidad a de una inversi´n con riesgo sujeta a las fluctuaciones de los mercados financieros.11) es o o o 1 Xt = x0 exp [ (µ − σ 2 )t + σBt ].5. En ausencia del t´rmino o e estoc´stico. La soluci´n a la ecuaci´n (9. o Observe que los coeficientes de esta ecuaci´n satisfacen las condiciones para la o existencia y unicidad de la soluci´n. x0 . 2 (9.256 9. Encontraremos una funci´n f (t. 9. suponiendo µ > 0. cuya soluci´n es Xt = x0 eµt . Este modelo es de amplio uso en finanzas e y sirve para representar el precio de algunos bienes que fluct´ an siguiendo los u vaivenes de los mercados financieros Definici´n. Sean µ y σ > 0 dos constantes.5. x) tal que al aplicar la f´rmula de o o o .11) Esta ecuaci´n puede interpretarse de la siguiente forma. o El modelo supone que dicha variabilidad es proporcional al valor de la inversi´n.

Higham. x) + fxx (t. para alguna funci´n o o o g(t). Calculo estocastico 257 Itˆ al proceso Xt = f (t. Bt ) adquiere la expresi´n indicada. Substituyendo en la primera ecuaci´n se obtiene g ′ (t) = µ− 1 σ 2 . El c´digo es una traducci´n a MATLAB de la o o discretizaci´n de la ecuaci´n estoc´stica. se obtienen las igualdades µf (t. En la Figura 9. y σ = 1/3. cuya soluci´n o 2 es g(t) = (µ − 1 σ 2 )t.5: es cero. cuando el coeficiente de difusi´n o Figura 9. De donde Xt = f (t.11). Xt ) dBt + fxx (t. El valor de σ en la simulaci´n es o peque˜ o y por esa raz´n la trayectoria n o aleatoria mostrada se mantiene cerca de la trayectoria determinista. Bt ) se obtenga la ecuaci´n (9. y con par´metros a µ = 1. junto con la implementaci´n de otros modelos y otras t´cnicas de diso e cretizaci´n. x). x). Comparando entonces o o los coeficientes de la f´rmula general o 1 dXt = ft (t. La curva creciente cox0 rresponde al crecimiento determinista de t la inversi´n cuando no hay aleatoriedad. Este programa puede ser encontrado en la p´gina web de Desmond a J. Xt ) dt + fx (t. En el programa de computadora de la Figura 9. e . Cuando se incrementa el valor de σ las trayectorias pueden diferir considerablemente. Xt ) dt 2 con los de (9. a Demostraremos ahora algunas caracter´ ısticas num´ricas de este proceso. y es una adaptaci´n del c´digo que apao o a o o rece en [15]. x) = 1 ft (t.5 puede apreciarse una trayectoria de este proceso con una inversi´n inicial x0 de o una unidad monetaria. x) = exp [σx+g(t)]. x) = σf (t.´ ´ Cap´ ıtulo 9. o 1 2 es decir. De la segunda ecuaci´n se obtiene que f (t. o 2 A este proceso se le llama tambi´n se e Xt (ω) le conoce con el nombre de movimiento E(Xt ) Browniano exponencial.6 se muestra una manera de simular trayectorias de este proceso. 2 fx (t.11). La funci´n randn produce un valor al azar de la distribuci´n normal o o o est´ndar.

Cov(Xt .[xcero.N). o 2 1. Algunos modelos particulares randn(’state’. Para la esperanza se tiene que E(Xt ) 1 = E(x0 exp[(µ − σ 2 )t + σBt ]) 2 1 2 = x0 exp[(µ − σ )t] E(exp[σBt ]) 2 1 1 = x0 exp[(µ − σ 2 )t] exp[ tσ 2 ] 2 2 = x0 eµt . dW(1)=sqrt(dt)*randn. MBG=zeros(1. dt=T/N. Para el movimiento Browniano geom´trico se cumple lo siguieno e te. 1. 0 3.258 0 9.’r-’) 10 Figura 9. -2 for j=2:N dW(j)=sqrt(dt)*randn MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j) -3 end 0 1 2 3 4 5 6 7 8 9 plot([0:dt:T]. 2. Usaremos el hecho de que la funci´n generadora de momentos de o o la distribuci´n N(µ. Xs ) = x2 eµ(s+t) (eσ 0 2 2 s − 1). MBG(1)=xcero+mu*dt+sigma*xcero*dW(1). para 0 ≤ s ≤ t. N=300.100) T=2. E(Xt ) = x0 eµt .N). σ 2 ) es M (s) = exp(µs + 1 σ 2 s2 ). Demostraci´n.6: Proposici´n. sigma=1/3. mu=1. -1 dW=zeros(1. xcero=1. Var(Xt ) = x2 e2µt (eσ t − 1). .5.MBG].

Calculo estocastico 2. siendo estos sumandos independientes.´ ´ Cap´ ıtulo 9. Var(Xt ) = = = = = 1 Var(x0 exp[(µ − σ 2 )t + σBt ]) 2 1 2 x2 exp[2(µ − σ )t] Var(exp[σBt ]) 0 2 1 x2 exp[2(µ − σ 2 )t] (E(exp[2σBt ]) − E 2 (exp[σBt ])) 0 2 1 1 1 2 x2 exp[2(µ − σ )t] (exp[ t(2σ)2 ] − exp[2( tσ 2 )]) 0 2 2 2 2 x2 e2µt (eσ t − 1). 0 Por lo tanto. Ahora calcularemos la varianza. n . Entonces E(Xt Xs ) 1 = E(x2 exp[(µ − σ 2 )(t + s) + σ(Bt + Bs )]) 0 2 1 2 2 = x0 exp[(µ − σ )(t + s) E(exp[σ(Bt + Bs )]) 2 1 2 = x0 exp[(µ − σ 2 )(t + s) E(e2σBs ) E(eσ(Bt −Bs ) ) 2 2 2 1 1 2 = x0 exp[(µ − σ 2 )(t + s)e2sσ e 2 (t−s)σ 2 = x2 exp[µ(t + s) + sσ 2 ]. Calcularemos primero E(Xt Xs ). Observe que Bt + Bs se puede escribir como 2Bs + (Bt − Bs ). 0 259 3. Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una part´ ıcula en intervalos de tiempo peque˜ os. Cov(Xt . Xs ) = E(Xt Xs ) − E(Xt )E(Xs ) 2 2 = x2 eµ(t+s)+sσ − x2 eµ(t+s) 0 0 = x2 eµ(t+s) (esσ − 1) 0 Proceso de Ornstein-Uhlenbeck.

Algunos modelos particulares Definici´n.14).5.14) Demostraci´n. Encontraremos la soluci´n de esta ecuaci´n. x0 . Sean α y σ dos constantes positivas. Derivando (9. Considere una soluci´n de la forma o o t Xt = a(t) [x0 + 0 b(s) dBs ]. (9. Substituyendo en (9. (9. y el sumando σ dBt es un o ruido aleatorio. las funciones a(t) y b(t) deben cumplir las ecuaciones a′ (t) = −α. a(t) Comparando con (9. La soluci´n a la ecuaci´n (9.10) se obtiene o o dXt = = a′ (t) [x0 + 0 t b(s) dBs ] dt + a(t) b(t) dBt a′ (t) Xt dt + a(t) b(t) dBt . a(t) a(t) b(t) = σ.260 9.13) La variable Xt se interpreta como la velocidad de la part´ ıcula al tiempo t. .15) y usando la f´rmula de Itˆ (9. (9. La parte determinista −αXt corresponde a la fuerza de fricci´n. El proceso de Ornsteino Uhlenbeck es aquel proceso Xt soluci´n de la ecuaci´n estoc´stica o o a dXt X0 = = −αXt dt + σ dBt . Suponiendo a(0) = 1 se obtiene a(t) = exp(−αt). o o Proposici´n.15) se obtiene (9.15) en donde a(t) y b(t) son funciones diferenciables. y b(t) = σ exp(αt).13).13) est´ dada por o o o a Xt = x0 e−αt + σ 0 t e−α(t−s) dBs .

o 1. Calculo estocastico En la Figura 9.7 se muestra la simulaci´n de una trayectoria o de este proceso y se compara con E(Xt ).´ ´ Cap´ ıtulo 9. y observar que la integral estoc´stica es una martingala que inicia en cero.14). 2. o 1. Calcularemos a continuaci´n la esperanza y variano za de este proceso. El proceso muestra un decaimiento conforme el tiempo avanza y ello es debido al factor de fricci´n del o modelo. 261 Xt (ω) 4 3 2 1 1 Figura 9. Var(Xt ) = σ2 (1 − e−2αt ). a . Xs ) = Demostraci´n. 2α 3. Cov(Xt .7: x0 = 3 α=1 σ=1 E(Xt ) t 2 Proposici´n. 2α σ2 ın{s. Este resultado se obtiene al tomar esperanza en (9. E(Xt ) = x0 e−αt . Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente.t} (1 − e−2α m´ ).

2α . Para 0 ≤ s ≤ t. La primera integral puede descomponerse en la suma de dos integrales. ıa o Cov(Xt . Dada la propiedad de incrementos independientes del movimiento Browniano. s] y otra sobre (s.262 9. ıa o Cov(Xt . 2α 2. Xs ) = = E(Xt Xs ) − E(Xt )E(Xs ) E[(x0 e−αt + σ 0 t e−α(t−s) dBs ) e−α(s−u) dBu )] − x2 e−α(t+s) 0 s (x0 e = σ E( 2 −αs t s +σ 0 e 0 −α(t−s) dBs 0 e−α(s−u) dBu ). De modo que. por la isometr´ de Itˆ. a o ıa o t Var(Xt ) = = = = = σ 2 Var( 0 e−α(t−s) dBs ) t σ 2 E( σ2 ( 0 0 t e−α(t−s) dBs )2 e−2α(t−s) ds) 1 2αs e 2α t 0 σ 2 e−2αt σ2 (1 − e−2αt ). t]. Nuevamente usaremos la isometr´ de Itˆ. Xs ) = = = σ 2 E( σ2 0 s 0 s e−α(s−u) dBu )2 e−2α(s−u) du σ2 (1 − e−2αs ). El c´lculo de la varianza de Xt es una aplicaci´n de la isometr´ de Itˆ. Algunos modelos particulares 2. una sobre el intervalo [0. el segundo sumando desaparece.5.

1−s (9.16) Proposici´n. 1−t t ∈ [0. 1). Una trayectoria de tal proceso se muestra en la Figura 9.´ ´ Cap´ ıtulo 9. (9. Existen varias formas equivalentes de definir a este proceso.16) proponiendo nuevamente una soluci´n de o o la forma t Xt = a(t) [x0 + 0 b(s) dBs ]. 1] es aquel proceso {Xt } o soluci´n de la ecuaci´n estoc´stica o o a dXt X0 = = − 0. Derivando se obtiene . (9. Puede resolverse (9. y x0 = 0.17) Demostraci´n. Xt dt + dBt .18) en donde a(t) y b(t) son dos funciones diferenciables.8: Definici´n. Xt (ω) 263 t 1 Figura 9. 1] es un movimiento Browniano con espacio parametral dicho intervalo y es tal que en los extremos de este intervalo el proceso se hace cero.16) es o o o t Xt = (1 − t) 0 1 dBs . Calculo estocastico Puente Browniano. La soluci´n a la ecuaci´n (9. El puente Browniano en el intervalo [0. El puente Browniano sobre el intervalo unitario [0.8.

17) se cumple o 1. Substituyendo en (9. Var(Xt ) = t(1 − t). E(Xt ) = 0. varianza y covarianza de este proceso.17). La integral es una martingala continua que inicia en cero. Algunos modelos particulares = = a′ (t) [x0 + 0 t b(s) dBs ] dt + a(t) b(t) dBt a′ (t) Xt dt + a(t) b(t) dBt . Para el puente Browniano (9. o 1.18) se obtiene (9. o Proposici´n. Ejercicio. Sea Xt un puente Browniano en [0. Xs ) = s(1 − t). Por la isometr´ de Itˆ. 1 1−s t 0 t . ım t→1− Vamos a calcular a continuaci´n la esperanza. Suponiendo a(0) = 1 se obtiene a(t) = 1 − t.264 nuevamente dXt 9. por lo tanto E(Xt ) = 0. 3. para 0 ≤ s ≤ t. y por lo tanto b(t) = 1/(1 − t). ıa o Var(Xt ) 1 dBs ) 0 1−s t 1 = (1 − t)2 E( dBs )2 1−s 0 t 1 2 2 = (1 − t) E ( ) ds 1−s 0 = (1 − t)2 Var( = (1 − t)2 = t(1 − t).5. 2. 1]. Cov(Xt . 2. Demuestre que efectivamente l´ Xt = 0. a(t) Igualando coeficientes se obtienen las ecuaciones a′ (t)/a(t) = −1/(1−t). Demostraci´n. y a(t)b(t) = 1.

ıa o Cov(Xs . De modo que. una sobre el intervalo [0. Dada la propiedad de incrementos independientes del movimiento Browniano. 1] puede representarse de varias formas como se muestra en el siguiente resultado. para t ∈ [0. 1]. Cov(Xs . Xt ) = = E(Xs Xt ) s 265 (1 − s)(1 − t)E( 0 1 dBu 1−u t 0 1 dBu ). por la isometr´ de Itˆ. Observe adem´s que la varianza se ı a hace m´xima exactamente en la mitad de dicho intervalo. Otros trabajos en donde pueden encontrarse . Para 0 ≤ s ≤ t. Calculo estocastico 3. t]. la varianza se anula en los extremos del intervalo pues all´ el proceso es cero con probabilidad uno. 1−u Nuevamente la segunda integral puede descomponerse en la suma de dos integrales. para t ∈ [0. Ejercicio. Xt ) = = = = 1 dBu )2 0 1−u s 1 2 (1 − s)(1 − t) ( ) du 1−u 0 s 1 (1 − s)(1 − t) 1−u 0 s(1 − t). All´ pueden encontrarse las demostraciones completas de varios de los resulı tados que hemos solamente enunciado. Notas y referencias Para el desarrollo de la definici´n de integral estoc´stica respecto del movimiento o a Browniano hemos seguido el lineamiento general presentado en el texto de Steele [35].´ ´ Cap´ ıtulo 9. s] y otra sobre (s. 1]. b) Xt = B1−t − (1 − t)B1 . a) Xt = Bt − tB1 . Demuestre que los siguientes procesos son puentes Brownianos. (1 − s)(1 − t)E( s Como era de esperarse. El puente Browniano en a [0. el segundo sumando desaparece.

En el texto de Kloeden y Platen [21] se expone a la teor´ general. y diversas aplicaciones de ecuaciones ıa e e estoc´sticas.266 9. J Higham como [15] pueden encontrarse algunas primeras lecturas sobre los m´todos para e simular ecuaciones estoc´sticas. o a o Klebaner [20]. o Revuz y Yor [29]. Kuo [22]. En los trabajos de D. a . Algunos modelos particulares exposiciones elementales sobre integraci´n estoc´stica son Øksendal [26]. Para una exposici´n m´s completa y general puede consultarse o a por ejemplo Protter [27]. varios m´todos num´ricos.5.

dXt = 3Xt dt + 3Xt Xt dt + t dBt . dXt = t 1/3 2/3 dBt . o a 2 a) Xt = Bt . 3 b) Xt = Bt . Use la f´rmula de Itˆ para demostrar que o o t 0 2 Bs ds = 1 3 B − 3 t t Bs ds. c) Xt = tBt . Use la f´rmula de Itˆ para demostrar que el proceso Xt es una soluci´n de la o o o ecuaci´n estoc´stica indicada. A partir de la definici´n de integral estoc´stica demuestre que o a t t a) 0 t s dBs = tBt − 2 Bs dBs = Bs ds. 0 . Calculo estocastico 267 Ejercicios Integral de Itˆ o 182.´ ´ Cap´ ıtulo 9. 184. 0 t b) 0 1 3 B − 3 t Bs ds. 3 F´rmula de Itˆ o o 183. 0 Para el segundo inciso use la identidad x2 (y − x) + x(y − x)2 = 1 3 (y − x3 − (y − x)3 ). dXt = dt + 2Bt dBt .

.

.. para cualesquiera tiempos 0 ≤ t1 < · · · < tn . Independencia de procesos. Se dice que una variable aleatoria X es independiente de un proceso {Xt : t ≥ 0} si para cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn . e Claramente la indistinguibilidad es m´s fuerte que la equivalencia. Distribuciones finito dimensionales. 269 .s. o tambi´n se dice que uno es una versi´n o modificaci´n del otro. ambas nociones de igualdad a coinciden. . . xn ) = FX (x) FXt1 .. . cuando sus trayectorias son funciones continuas del par´metro. si las variables Xt y Yt son iguales c.Xtn (x.. es decir. e o o si para cada valor de t ≥ 0 fijo se cumple que P (Xt = Yt ) = 1. Un tipo de igualdad m´s fuerte establece a que los procesos son indistinguibles si P (Xt = Yt para cada t ≥ 0) = 1. Esto significa que con probabilidad uno las trayectorias de los dos procesos son id´nticas.. . FX. Xtn ) es o el producto de las distribuciones marginales. . .... xn ). .. .. es decir. . xn ).Xtn (x1 . n ∈ N. . . a puede demostrarse que cuando los procesos son continuos. . .Ap´ndice A e Conceptos y resultados varios Igualdad de procesos. x1 . Las distribuciones finito dimensionales de un proceso {Xt : t ≥ 0} es la colecci´n de todas las funciones de distribuci´n o o conjuntas FXt1 . Se dice que dos procesos {Xt : t ≥ 0} y {Yt : t ≥ 0} son equivalentes. nuevamente los dos tipos de igualdad a son equivalentes. . la distribuci´n conjunta de la variable X y el vector (Xt1 . y cualquier n natural.. es decir.Xtn (x1 . .. Cuando el par´metro es discreto. Sin embargo. .Xt1 .

. una sucesi´n de variables o o aleatorias tales que 0 ≤ X1 ≤ X2 ≤ · · · y l´ Xn = X casi seguramente. . Sea X1 . . si anm ≤ bm con a l´ sup ım n→∞ bm < ∞. M´s generalmente. ım ım n→∞ . . esta condici´n significa que las distribuciones finito dimensionales cono juntas son el producto de las distribuciones finito dimensionales marginales. xn . ym ) = FXt1 . X2 . entonces anm ≤ l´ sup anm .Xtn . Sea {anm : n. . o Lema de Fatou a.270 o en t´rminos de conjuntos de Borel A. . . Lema de Abel a. . En palabras. ım m n→∞ m Teorema de convergencia mon´tona. An .. y tiempos 0 ≤ t1 < t2 < · · · < tn y 0 ≤ s1 < s2 < · · · < sm .... si ak ≥ 0 y l´ tր1 ım ak tk ≤ ∞. . A1 .. ... Si la serie ∞ k=0 ak es convergente. . Xtn ∈ An ) = P (X ∈ A) P (Xt1 ∈ A1 . Xtn ∈ An ). Entonces ım n→∞ n→∞ l´ E(Xn ) = E( l´ Xn ). . . ..... ym ). m ∈ N} una colecci´n de n´ meros reales. ∞ k=0 b.Ysm (y1 . m b. . ..Ysm (x1 . . entonces ak = l´ tր1 ım a k tk . .. . . .. xn ) FYs1 . . . Adem´s. . entonces l´ tր1 ım ∞ k=0 ∞ k=0 a k tk = ∞ k=0 ∞ k=0 ak . e P (X ∈ A.. dos procesos estoc´sticos {Xt : t ≥ 0} y {Yt : t ≥ 0} son a a independientes si para cualesquiera dos enteros naturales n y m. . . Xt1 ∈ A1 . se cumple que FXt1 . . .Xtn (x1 . . En Karlin y Taylor [19] puede encontrarse una demostraci´n de estos resultados. Inversamente.Ys1 . . y1 . Entonces o u m l´ inf anm ≤ l´ inf ım ım n→∞ n→∞ m anm . ..

y ∞ bm < ∞. . y se escribe f (t) = o(g(t)) cuando a n t → ∞. Entonces l´ E(Xn ) = E( l´ Xn ). se escribe f (t) = o(1) cuando f (t) converge a cero cuando t → ∞. con esperanza finita e independiente de la sucesi´n. n! ≈ 2π nn+1/2 e−n . |anm | ≤ bm . Se dice que f (t) es de orden m´s peque˜o que g(t) cuando t → ∞. Entonces o N E( k=1 Xk ) = E(X) E(N ). 2. X2 . m ∈ N} una colecci´n de n´ meros reales tales que l´ n→∞ anm o u ım existe para cada m. . En este texto se usa la notaci´n o peque˜ a para establecer el comportamiento o n de probabilidades dependientes del tiempo p(t). Sea X1 . si se cumple f (t) = 0. Se usa la misma notaci´n cuando t tiende a alg´ n valor finito particular y las funciones o u se encuentran definidas y son positivas en una vecindad no trivial alrededor de ese valor. ım Ecuaci´n de Wald. . Sea X1 . en donde c y d > 0 son constantes reales y n = ±1. . y para cada valor de n. . |Xn | ≤ Y .Ap´ndice A. Notaci´n o peque˜ a. Sea {anm : n. . una sucesi´n de variables aleatorias tales que l´ Xn = X o ım n→∞ casi seguramente. . Sean f (t) y g(t) dos funciones que se encuentran definidas o n y son positivas para valores de t suficientemente grandes. ±2. Sea N una variable o aleatoria con valores en el conjunto {1. l´ ım t→∞ g(t) En particular. independiente de n. X2 . ım ım n→∞ n→∞ b. o o su distribuci´n de probabilidad. para alguna variable Y con E|Y | < ∞.}. es de tipo reticular o que es de tipo lattice si o P (X = c + nd) > 0. . . . cuando t se aproxima a cero a trav´s e de valores positivos. una sucesi´n de variables aleatorias indepeno o dientes con la misma distribuci´n que X y con esperanza finita. √ F´rmula de Stirling. Distribuci´n tipo reticular. Conceptos y resultados varios e Teorema de convergencia dominada 271 a. . o . Entonces m=0 n→∞ l´ ım ∞ m=0 anm = ∞ m=0 n→∞ l´ anm . Se dice que una variable aleatoria discreta X. .

Mencionaremos a continuaci´n algunas propiedades o de esta variable aleatoria. . n. 1.272 Esperanza condicional. puede demostrarse e que esta variable aleatoria existe y es unica casi seguramente. . . Ω} ) = P (A). entonces E( c | G ) = c. Esto significa que ´ si existe otra variable aleatoria con las tres propiedades anteriores. es una variable aleatoria denotada por E(X | G ). . Sea X una variable aleatoria con esperanza finita. cuando G = σ(Y ).1) G Es importante enfatizar que la esperanza condicional es una variable aleatoria. Sea (Ω. Ω} ) = P (A | B) 1B + P (A | B c ) 1B c . . en estas expresiones se postula de manera impl´ ıcita que la variable aleatoria a la que se le aplica la esperanza condicional es integrable. P ) un espacio de probabilidad. F . y sea G una sub σ-´lgebra de F . Cuando la σ-´lgebra G es generada por una a variable aleatoria Y . 3. . B. La espea ranza condicional de X dado G . entonces E(1A | {∅. . B c . . Bn }) = i=1 P (A | Bi ) 1Bi . . E(X | {∅. E( X | G ) dP = X dP. . entonces E(1A | {∅. es decir. G (A. b) Tiene esperanza finita. entonces n E(1A | σ{B1 . 4. Ω} ) = E(X). entonces con probabilidad uno coincide con E(X | G ). 2. . Usando el teorema de Radon-Nikodym (v´ase por ejemplo [9]). . Si A es un evento. que cumple las siguientes tres propiedades: a) Es G -medible. Si A y B son eventos con 0 < P (B) < 1. Si A es un evento y B1 . Bn es una partici´n de Ω tal que P (Bi ) > 0 para o i = 1. . la esperanza condicional se escribe simplemente como E(X | Y ). 5. Si c es constante. c) Para cualquier evento G en G .

Si G1 ⊆ G2 .. E |E(X | G )| ≤ E(|X|). entonces E(E(X | G1 ) | G2 ) = E(E(X | G2 ) | G1 ) = E(X | G1 ).s. 14. ∞ n=0 273 E(X | Y = n) 1(Y =n) . En particular. | E(X | G ) | ≤ E( |X| | G ). X es independiente de G si. entonces E(XY | G ) = X E(Y | G ). 15. 19. 16. entonces E(c X + Y | G ) = c E(X | G ) + E(Y | G ). . entonces E(X | G ) ≤ E(Y | G ). tomando esperanza se a a tiene el siguiente resultado. 11. entonces E(X | σ(G1 ∪ G2 )) = E(X | G1 ). entonces o E(Xn | G ) ր E(X | G ) c. Si XY es integrable y X es G -medible.Ap´ndice A. Si Y es una variable aleatoria discreta con valores 0. Este es un caso particular de la desigualdad de Jensen que se enunciar´ m´s adelante. Teorema de convergencia mon´tona.s.. . entonces E(X | G ) = X c. o m m . y s´lo si. E(f (X) | G ) = E(f (X)) para cualquier o funci´n Lebesgue medible f tal que f (X) es integrable. 18. 17. 10. Si X es independiente de G2 . . Si Xn ≥ 0 y Xn ր X c. 20. 1. E(E(X | G )) = E(X). Si X es independiente de G . entonces E(X | σ(G1 ∪ G2 )) = E(X | G1 ) + E(X | G2 ) − E(X). Si X es G -medible. 13. Si X ≤ Y . 8. Si G1 y G2 son independientes. 12. 21. entonces E(X | G ) ≥ 0. Si c es constante. entonces E(X | G ) = E(X). Si Xn −→ X. entonces E(Xn | G ) −→ E(X | G ). entonces E(X | Y ) = 7. 9.s. Si X ≥ 0. Conceptos y resultados varios e 6.

por ejemplo. Suponga que las siguientes funciones son absolutamente convergentes α(h) β(h) = h = h ∞ n=1 ∞ n=1 αn (h). Sea H : [0.274 22. a) H(t) = 1[0. integrable. Si u es convexa y u(X) es integrable. R. es decir. R. y que adem´s l´ h→0 α(h) = l´ h→0 β(h). Funciones directamente Riemann integrables. Sea h > 0. ∞) no creciente y tal que ∞ 0 H(t) dt < ∞. . Esta condici´n de integrabilidad es m´s fuerte que o a la integrabilidad usual de Riemann. b) H : [0. ∞) → [0. Entonces se dice que la funci´n H es dia ım ım o rectamente Riemann integrable. ınf βn (h) = sup { H(t) : (n − 1)h ≤ t < nh }. Desigualdad de Jensen. toda funci´n directamente Riemann o integrable es Riemann integrable. ∞) → [0. es d. ∞) una funci´n Borel medible. βn (h). integrable. y para cada n natural defina las funciones o αn (h) = ´ { H(t) : (n − 1)h ≤ t < nh }. entonces u(E(X | G )) ≤ E(u(X) | G ).a] (t) es d.

Birkh¨user. Vol. 115. L. Markov chains with stationary transition probabilities (Die Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen Band 104). Aportaciones Matem´ticas. Basic stochastic processes. 257–266. Joseph Leo Doob. [6] Caballero M. and on the general Existence of active Molecules in Organic and Inorganic Bodies. [3] Brown R. Springer. Vol. Dover. Measure theory. Philosophical Magazine N. a a [7] Chung K. K. Introduction to stochastic processes. July. H. Stochastic Processes and their Applications. 1980. 2005. a [10] Einstein A. Journal of Applied Probability. et al. Doob: a half century on. a [9] Cohn D. 42. y Protter P. 161-173. Serie Textos. y Williams R. 1960. Springer. J. Alpha Science International Ltd. 4. E. 2003. 1999. and August. [4] Brze´niak Z. z [5] Burkholder D. Birkh¨user. 1956.. A brief account of Microscopical Observations made in the Months of June. S. Sociedad Matem´tica Mexicana. on the Particles contained in the Pollen of Plants. [8] Chung K. L. 1983. 1827. Cadenas de Markov: un enfoque elemental. [2] Bingham N. Introduction to stochastic integration. 29. 2005. L. Investigations on the theory of the Brownian movement. 2004. 1061-1072. 1910-2004.Bibliograf´ ıa [1] Basu A. 275 . 1828. y Zastawniak T.

o ı 1973. Oxford. [23] Lawler G. Princeton University Press. C. y Stone C. [26] Øksendal B. Clarendon Press. Markov chains. Imperial College Press. 1990. Probability and random processes. Oxford University Press. C. pp. [15] Higham D. 43. Stochastic integration and differential equations. Chapman & Hall / CRC. Mathematical techniques. W. Stochastic processes: an introduction. 1997. Introduction to stochastic integration. Springer. 1982. [17] Jones P. 1998. A first course in stochastic processes. H. E. F. Springer. [18] Jordan D. Limusa. y Platen E. Numerical solution of stochastic differential equations. SIAM Review Vol. M. y Stirzaker D. 2001. 1988. [25] Norris J. J. Marcel Dekker. 1997.276 Bibliograf´ ıa [11] Feller W. [27] Protter P. Academic Press. Introduction to stochastic processes. 2006. Springer–Verlag. Introducci´n a la teor´a de probabilidades y sus aplicaciones. y Smith P. 1975. W. G. 2006. Arnold. 1972. 1992. Cambridge University Press. Springer. [13] Grimmett G. Dynamical theories of Brownian motion. [16] Hoel P. No. . [22] Kuo H. 1967.. Hougthon Mifflin Company. 2001. 2005. Probability: a graduate course. C. Port S. [24] Nelson E. 1999. An algorithmic introduction to numerical simulation of stochastic differential equations. J. [19] Karlin S. R. 525-546. Springer–Verlag. y Taylor H. y Smith P. Introduction to stochastic processes. Introduction to stochastic differential equations. [12] Gard T. Stochastic differential equations: an introduction with applications. R. 3. [20] Klebaner F. [21] Kloeden P. [14] Gut A. Introduction to stochastic calculus with applications.

a 277 [29] Revuz D. a a Sociedad Matem´tica Mexicana. y Yor M. [33] Snell J. a . 247–256. M. Vol. Continuous martingales and Brownian motion. Springer. Aportaciones Matem´ticas. [37] Taylor H. Serie Textos 2. 12. L. Procesos estoc´sticos. Statistical Science. Miso cel´nea Matem´tica 42. Oxford University Press. Journal of Applied Probability. An introduction to stochastic modeling. 4. [30] Rinc´n L. Adventures in stochastic processes. Vol. [36] Stirzaker D. Birkh¨user. 2006. [38] Tudor C. [32] Snell J. Academic Press. Stochastic calculus and financial applications. Sociedad Matem´tica Mexicana. 2001. a a a [31] Ross S. No. 1994. M. Obituary: Joseph Leonard Doob. 1994. SpringerVerlag. [34] Spitzer F. Sobre el problema del mono que escribe caracteres al azar. 2nd.Bibliograf´ ıa [28] Resnick S. 1997. 301–311. L. 2005. 2001. 2005. 1994. ed. A Conversation with Joe Doob. Principles of random walk. A first course in probability .4th ed. y Karlin S. 79–90. Macmillan Publishing Company. Stochastic processes and models. 1992. [35] Steele J. 42. Springer–Verlag. 1991.

14 sim´trica. 5 asim´trica. 24 irreducible. 38 o aperi´dica. 31 distribuci´n inicial. 155 Correcci´n de Itˆ. 65 reticulada. 65 invariante. 49 regular. 28 del jugador. 41 o peri´dica. 185 Drift.´ Indice Abel lema. 39 o estacionaria. 32 o de v.s independientes. 251 Comunicaci´n. 194 Downcrossing. 27 Deriva. 31 de inventarios. 52 —s de comunicaci´n. 251 Ecuaci´n o 278 . 30 de la fila de espera.a. 271 tipo lattice. 124 accesibilidad de edos. 37 o Confiabilidad. 207 Clase —s cerradas. 7 e del jugador. 33 de la caminata aleatoria. 271 Distribuciones finito dimensionales. 29 e de ramificaci´n.. 38 comunicaci´n de edos. 39 recurrente. 27 de Ehrenfest. 76 reversible. 33 de rachas de ´xitos. 26 o erg´dica. 26 finita. 79 transitoria. 116 o Delta de Kronecker. L.. 24 existencia. 34. 274 Distribuci´n o estacionaria. J. 41 o Coeficiente de difusi´n. 251 Desigualdad de Jensen. 270 Cadena de Markov. 23 a tiempo continuo. 269 Doob. 244 o o Coseno hiperb´lico. 7 e Chapman-Kolmogorov.. 38 o de dos estados. 49 Caminata aleatoria. 251 o de tendencia.

132 Ecuaciones de Kolmogorov hacia atr´s. 128. 243 o de Stratonovich. 130. 80 de calor. 274 hazard. 155 de valor medio. 144 o de supervivencia. 270 279 Filtraci´n. 245 extensi´n por aproximaci´n. 208 de Chapman-Kolmogorov. 242 o o para procesos simples. 251 a soluci´n fuerte. 271 Fatou lema. 167 a natural. 272 Estado absorbente. 243 isometr´ de. 207 de difusi´n. 111 de renovaci´n. 238 propiedades. 166 o continua por la derecha. 248 L2 (P ). 144. 60 recurrente positivo. 156 variaci´n cuadr´tica de una. 255 F´rmula o de Stirling. 239 o o extensi´n por localizaci´n. 27 L`vy. 166 o can´nica. 240. 156 de tasa de falla. 269 Integrabilidad uniforme. 40 o recurrente. 189 Integral estoc´stica. 251 Kronecker. 252 o Ecuaciones de Kolmogorov. 242 de estados. 34. 45 Estrategia de juego. 174 Euler-Maruyama. 145 o de Wald. 248 C 2 . 242. 111 delta de Kronecker. 253 o integral de. P.´ Indice de balance detallado.. 212 o Igualdad de procesos. 271 estoc´stica. 130 a Espacio C 1 . 238. 236 L2 (P × dt). 240. 269 Independencia de procesos. 1 parametral. Riemann integrable. 248. 237 2 Lloc . 60 transitorio. 167 est´ndar. 236 H2 . 1 Esperanza condicional. 242. 239 2 H0 . 212 o a variaci´n de una. 235 a como un proceso. 155 de intensidad. 208 o de renovaci´n. 40 o peri´dico. 39 aperi´dico. 244 o f´rmula de. 45 recurrente nulo. 27 dir. 166 Funci´n o de confiabilidad. P. 229 e . 247 Itˆ o correci´n de. 241 ıa proceso de. 238. 242 de Itˆ.

231 unidimensional. 24. 109 e simulaciones. 136 detenido. 131 de Ornstein-Uhlenbeck. 207 o radial. 106. 270 M´todo de discretizaci´n. 3 de Bessel. 213 o variaci´n cuadr´tica. 136 de nacimiento puro. 24 o infinitesimales. 222 reflejado en el origen. 255 e o Markov. 166 con incrementos estacionarios. 173 estrategia de juego. 257 geom´trico.280 Lema de Abel. 271 o n ´ Indice Par´metros infinitesimales. dim. 253 o Movimiento Browniano. 4. 204. 1 a tiempo continuo. 217 de Cox. 142 o de saltos. 212 o a N´ mero de cruces. 40 Probabilidades de transici´n. 107 compuesto. A. 193 o Matriz de prob. 232 producto. 172 distribuciones fin. 113 homog´neo. 3 con incrementos indep. 4 e de Markov. A. 27 o de transici´n en un paso. 112 generalizado. 3 de Itˆ. 174. 106. 209 multidimensional. 27 o de transici´n en n pasos.. 269 espacio de estados. 14 Proceso. 259 de Poisson. 128 a Periodo. 122 de Wiener.. 226 puntual. 104 de renovaci´n. 135 de nacimiento y muerte. 1 . 25 a estoc´stica. 203 est´ndar. 198. de transici´n. 175 exponencial. 184 u Notaci´n o peque˜ a. 76 McKean Tabla de multiplicaci´n. 169 de de Moivre. 204–206 a exponencial. 256 e martingala. 199 Martingalas teorema de convergencia. 111 de ensayos independientes. 188 teorema de representaci´n. 83 Martingala. 205 de Yule. 98 e no homog´neo. 205 variaci´n. 98. 269 equivalencia de —s. 217 recurrencia por vecindades. 270 de Fatou. 198 detenida. 216 probabilidad de transici´n. 3 de muerte. 129 Problema de la ruina del jugador. 25 a regular. 1 adaptado. 251 o de L`vy. 1 a tiempo discreto. 24 o doblemente estoc´stica.

253 o Teorema de conv. N.. 228 . 43. 60 Renovaci´n o ecuaci´n de. 232 Racha de ´xitos. 269 modificaci´n de un —. 51. 269 o predecible. 51. mon´tona. 146 medio de recurrencia. 4 historia de un —. 2 versi´n de un —. 148 e de semigrupo. 166 igualdad de —s.´ Indice espacio parametral. 166 o Gausiano. 127 Puente Browniano. 263 densidad. 99. 98 —s de paro. 270 o de convergencia mon´tona. 169 Supermartingala. 2 o simple. 269 o Propiedad de Markov. 3 de p´rdida de memoria. dominada. 269 independencia. 45 nula. 167 de primera visita. 3 filtraci´n de un. 1 estacionario. 60 Tiempo de paro. 58 o Tiempo —s de estancia. 237 trayectoria de un —. 122 —s de interarribo. 273 o de paro opcional. 271 o Wiener. 167 realizaci´n de un —. 269 indistinguibilidad. 193 o erg´dico para cadenas. 144 o Seno hiperb´lico. 145 o funci´n de. 188 de conv. 271 281 de conv. 116 o Stirling. 169 T´cnica de acople. 74 e Tabla de multiplicaci´n de McKean. 212 a Wald ecuaci´n de. 271 Stratonovich. 45 Variaci´n. de Doob. 177 de representaci´n de martingalas. 212 o cuadr´tica. 169 Transitoriedad. 232. 245 Submartingala. 60 positiva. 29 e Recurrencia. 59 de vida restante. 98. de mart.

You're Reading a Free Preview

Descarga
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->