Introducci´n a los o ´ PROCESOS ESTOCASTICOS

Luis Rinc´n o Departamento de Matem´ticas a Facultad de Ciencias UNAM Circuito Exterior de CU 04510 M´xico DF e

ii

Contenido

1. Introducci´n o 2. Caminatas aleatorias 2.1. Caminatas aleatorias . . 2.2. El problema del jugador Notas y referencias . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1 5 . 5 . 14 . 20 . 21 . . . . . . . . . . . . . . . . . . . 23 23 27 34 37 40 43 45 51 52 53 59 63 65 71 76 78 81 82 84

3. Cadenas de Markov 3.1. Propiedad de Markov . . . . . . . 3.2. Ejemplos . . . . . . . . . . . . . . 3.3. Ecuaci´n de Chapman-Kolmogorov o 3.4. Comunicaci´n . . . . . . . . . . . . o 3.5. Periodo . . . . . . . . . . . . . . . 3.6. Primeras visitas . . . . . . . . . . . 3.7. Recurrencia y transitoriedad . . . . 3.8. Tiempo medio de recurrencia . . . 3.9. Clases cerradas . . . . . . . . . . . 3.10. N´ mero de visitas . . . . . . . . . u 3.11. Recurrencia positiva y nula . . . . 3.12. Evoluci´n de distribuciones . . . . o 3.13. Distribuciones estacionarias . . . . 3.14. Distribuciones l´ ımite . . . . . . . . 3.15. Cadenas regulares . . . . . . . . . 3.16. Cadenas reversibles . . . . . . . . . Resumen de la notaci´n . . . . . . . . . o Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . iii

4. El proceso de Poisson 4.1. Proceso de Poisson . . . . . . . . . 4.2. Definiciones alternativas . . . . . . 4.3. Proceso de Poisson no homog´neo e 4.4. Proceso de Poisson compuesto . . . Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

97 97 105 109 112 113 114 121 122 125 131 135 138 139 141 141 144 146 151 155 160 161 165 165 167 169 170 172 174 177 181 183 189 193 196

5. Cadenas de Markov a tiempo continuo 5.1. Procesos de saltos . . . . . . . . . . . . 5.2. Propiedades generales . . . . . . . . . . 5.3. Procesos de nacimiento y muerte . . . . 5.4. Proceso de nacimiento puro . . . . . . . Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . 6. Procesos de renovaci´n y confiabilidad o 6.1. Procesos de renovaci´n . . . . . . . . . o 6.2. Funci´n y ecuaci´n de renovaci´n . . . o o o 6.3. Tiempos de vida . . . . . . . . . . . . 6.4. Teoremas de renovaci´n . . . . . . . . o 6.5. Confiabilidad . . . . . . . . . . . . . . Notas y referencias . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . .

7. Martingalas 7.1. Filtraciones . . . . . . . . . . . . . . . . 7.2. Tiempos de paro . . . . . . . . . . . . . 7.3. Martingalas . . . . . . . . . . . . . . . . 7.4. Ejemplos . . . . . . . . . . . . . . . . . 7.5. Procesos detenidos . . . . . . . . . . . . 7.6. Una aplicaci´n: Estrategias de juego . . o 7.7. Teorema de paro opcional y aplicaciones 7.8. Algunas desigualdades . . . . . . . . . . 7.9. Convergencia de martingalas . . . . . . 7.10. Representaci´n de martingalas . . . . . o Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . .

iv

8. Movimiento Browniano 8.1. Definici´n . . . . . . . . . . . . . . . . . . o 8.2. Funci´n de probabilidad de transici´n . . o o 8.3. Propiedades b´sicas . . . . . . . . . . . . a 8.4. Propiedades de las trayectorias . . . . . . 8.5. Movimiento Browniano multidimensional 8.6. El principio de reflexi´n . . . . . . . . . . o 8.7. Recurrencia y transitoriedad . . . . . . . . Notas y referencias . . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . 9. C´lculo estoc´stico a a 9.1. Integraci´n estoc´stica . . . . . . . . o a 9.2. F´rmula de Itˆ . . . . . . . . . . . . o o 9.3. Ecuaciones diferenciales estoc´sticas a 9.4. Simulaci´n . . . . . . . . . . . . . . . o 9.5. Algunos modelos particulares . . . . Notas y referencias . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . A. Conceptos y resultados varios . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

203 204 207 208 212 216 219 220 227 230 235 235 248 250 255 256 265 267 269

v

vi .

en donde se estudian unos pocos de sus ıa muchos resultados y aplicaciones. A lo largo de la e exposici´n el lector encontrar´ tambi´n algunos otros ejemplos y ejercicios. ı El texto contiene una colecci´n de ejercicios que se han colocado al final de cada o cap´ ıtulo. A Este material fue escrito en L TEX. y una selecci´n adecuada de temas ser´ necesaria. y las gr´ficas fueron elaboradas usando el exa vii . Al final de cada uno de ellos se proporcionan algunas referencias para que el lector pueda precisar o profundizar lo que aqu´ se presenta. El texto inicia con una explicaci´n del concepto de proceso estoc´stico y con algunas definiciones y ejemplos o a generales de este tipo de modelos.Pr´logo o El presente texto contiene material b´sico en temas de procesos estoc´sticos a nivel a a licenciatura. El material completo excede lo que regularmente es impartido a o en un curso semestral. Se incluye adem´s una introducci´n al movimiena o to Browniano. y brevemente e o tambi´n la teor´ de la confiabilidad. matem´ticas aplicadas y otras carreras afines. Se estudian despu´s los procesos de renovaci´n. o para presentar ´ en clase si se adopta alguna parte de este texto como material de estudio en alg´ n u curso. o o y particularmente se analiza el problema de la ruina del jugador. y se han numerado de manera consecutiva a lo largo del libro. para ello se presenta primero el proceso de Poisson. Se presenta despu´s una introducci´n a la e ıa e o teor´ de martingalas a tiempo discreto. Cada o a cap´ ıtulo contiene material que puede considerarse como introductorio al tema. Est´ dirigido a estudiantes de las carreras de matem´ticas. los o a e cuales son particularmente utiles para el estudiante autodidacta. El texto finaliza con una exposici´n compacta y ligera del c´lculo o a estoc´stico de Itˆ. y a ciertas preguntas o problemas matem´ticos ıa a a que uno puede plantearse al estudiar tales modelos. A manera de un acercamiento inicial se presenta primero una introducci´n breve al tema de caminatas aleatorias en una dimensi´n. Se incluyen tambi´n sugerencias o soluciones de algunos de estos ejercicios. actuar´ a a ıa. En el segundo cap´ ıtulo se estudian cadenas de Markov a tiempo discreto y despu´s se estudia el e mismo tipo de modelo para tiempos continuos. a Los temas tratados en este texto corresponden a ciertos modelos cl´sicos de la a teor´ de los procesos estoc´sticos. Este trabajo es una versi´n ampliada a o de las notas de clase del curso semestral de procesos estoc´stico que he impartido a en la Facultad de Ciencias de la UNAM a alumnos de las carreras de actuar´ y ıa matem´ticas.

La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sab´tica en la universidad de Nottingham durante el a˜ o a n 2007. y a la DGAPA-UNAM por el generoso apoyo econ´mico o recibido durante esta agradable estancia. y agradezco sinceramente al Prof.unam.viii celente paquete Pstricks.mx . Belavkin su amable hospitalidad para llevar a cabo este proyecto. Luis Rinc´n o Ciudad Universitaria UNAM lars@fciencias.

y se denotar´ por a {Xt : t ≥ 0}. En los casos m´s sencillos.Cap´ ıtulo 1 Introducci´n o Considere un sistema que puede caracterizarse por estar en cualquiera de un conjunto de estados previamente especificado. y sirve como modelo para representar la evoluci´n aleatoa o ria de un sistema a lo largo del tiempo. En el primer caso se dice que el proceso es a tiempo discreto. F . . 1. a unas con otras de alguna manera particular. sino provocada por alg´ n u mecanismo azaroso. se toma a como espacio parametral el conjunto T = {0. Si se considera que la forma en la que el sistema evoluciona no es determinista. ∞). y que son los que consideraremos en este texto. 2.}. . seguiremos la convenci´n de que si el sub´ o ındice es n. P ) y puede a enunciarse de la siguiente forma. Es decir. . y estos n´ meu ros se interpretan como tiempos. las variables aleatorias que conforman un proceso no son independientes entre s´ sino que est´n relacionadas ı. Un proceso estoc´stico es una colecci´n de variables aleatorias o a o {Xt : t ∈ T } parametrizada por un conjunto T . En general. llamado espacio parametral. y en general este tipo de procesos se denotar´ por {Xn : n = 0. . entonces puede considerarse que Xt es una variable aleatoria para cada valor del ´ ındice t. . y con valores en un conjunto S llamado espacio de estados. 1. enton1 . a mientras que en el segundo caso el proceso es a tiempo continuo. Definici´n. Esta colecci´n de variables aleatorias es la definici´n o o de proceso estoc´stico. la definici´n de a o proceso estoc´stico toma como base un espacio de probabilidad (Ω.}. M´s precisamente. o T = [0. Suponga que el sistema evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo a una cierta ley de movimiento. . y sea Xt el estado del sistema al tiempo t.

2
ces los tiempos son discretos, y si el sub´ ındice es t, el tiempo se mide de manera continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco m´s generalmente tomaremos como espacio de estados el conjunto a de n´ meros reales R, aunque en algunos pocos casos tambi´n consideraremos a u e Zn o Rn . Naturalmente espacios m´s generales son posibles, tanto para el espacio a parametral como para el espacio de estados. En particular, para poder hablar de variables aleatorias con valores en el espacio de estados S, es necesario asociar a este conjunto una σ-´lgebra, considerando que S es un subconjunto de R, puede a tomarse la σ-´lgebra de Borel de S, es decir, S ∩ B(R). a Un proceso estoc´stico puede cona siderarse como una funci´n de dos o Xt (ω) variables X : T × Ω → S tal que a la pareja (t, ω) se le asocia el estado X(t, ω), lo cual tambi´n e puede escribirse como Xt (ω). Para cada valor de t en T , el mapeo ω → Xt (ω) es una variable aleatoria, mientras que para cada ω en Ω t fijo, la funci´n t → Xt (ω) es llamao Espacio parametral da una trayectoria o realizaci´n del o proceso. Es decir, a cada ω del esFigura 1.1: pacio muestral le corresponde una trayectoria del proceso. Es por ello que a veces se define un proceso estoc´stico como una funci´n aleatoria. Una de tales trayectorias t´ a o ıpicas que adem´s a cuenta con la propiedad de ser continua se muestra en la Figura 1.1, y corresponde a una trayectoria de un movimiento Browniano, proceso que definiremos y estudiaremos m´s adelante. a Si A es un conjunto de estados, el evento (Xt ∈ A) corresponde a la situaci´n en o donde al tiempo t el proceso toma alg´ n valor dentro del conjunto A. En particular, u (Xt = x) es el evento en donde al tiempo t el proceso se encuentra en el estado x. Los diferentes tipos de procesos estoc´sticos se obtienen al considerar las distintas a posibilidades para: el espacio parametral, el espacio de estados, las caracter´ ısticas de las trayectorias, y principalmente las relaciones de dependencia entre las variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de procesos estoc´sticos. Estos son procesos que cumplen una cierta a propiedad particular, no necesariamente excluyentes unas de otras. A lo largo del
Espacio de estados

´ Cap´ ıtulo 1. Introduccion

3

texto estudiaremos y especificaremos con mayor detalle algunos de estos tipos de procesos. Proceso de ensayos independientes. El proceso a tiempo discreto {Xn : n = 0, 1, . . .} puede estar constituido por variables aleatorias independientes. Este modelo corresponde al experimento de realizar una sucesi´n de ensayos independientes o de un mismo experimento aleatorio, por ejemplo, lanzar un dado o una moneda repetidas veces. El resultado u observaci´n del proceso en un momento cualquiera o es, por lo tanto, independiente de cualquier otra observaci´n pasada o futura del o proceso. Procesos de Markov. Estos tipos de procesos son importantes y son modelos en donde, suponiendo conocido el estado presente del sistema, los estados anteriores no tienen influencia en los estados futuros del sistema. Esta condici´n se llama propieo dad de Markov y puede expresarse de la siguiente forma: Para cualesquiera estados x0 , x1 , . . . , xn−1 (pasado), xn (presente), xn+1 (futuro), se cumple la igualdad P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). De esta forma la probabilidad del evento futuro (Xn = xn ) s´lo depende el evento o (Xn−1 = xn−1 ), mientras que la informaci´n dada por el evento (X0 = x0 , . . . , Xn−2 = o xn−2 ) es irrelevante. Los procesos de Markov han sido estudiados extensamente y existe un gran n´ mero de sistemas que surgen en muy diversas disciplinas del conou cimiento para los cuales el modelo de proceso estoc´stico y la propiedad de Markov a son razonables. En particular, los sistemas din´micos deterministas dados por una a ecuaci´n diferencial pueden considerarse procesos de Markov pues su evoluci´n fuo o tura queda determinada por la posici´n inicial del sistema y una ley de movimiento o especificada. Procesos con incrementos independientes. Se dice que un proceso {Xt : t ≥ 0} tiene incrementos independientes si para cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn , las variables Xt1 , Xt2 − Xt1 , . . . , Xtn − Xtn−1 son independientes. Procesos estacionarios. Se dice que un proceso {Xt : t ≥ 0} es estacionario (en el sentido estricto) si para cualesquiera tiempos t1 , . . . , tn , la distribuci´n del vector o (Xt1 , . . . , Xtn ) es la misma que la del vector (Xt1 +h , . . . , Xtn +h ) para cualquier valor de h > 0. En particular, la distribuci´n de Xt es la misma que la de Xt+h o para cualquier h > 0, y entonces esta distribuci´n es la misma para cualquier valor o de t. Procesos con incrementos estacionarios. Se dice que un proceso {Xt : t ≥ 0}

4
tiene incrementos estacionarios si para cualesquiera tiempos s < t, y para cualquier h > 0, las variables Xt+h − Xs+h y Xt − Xs tienen la misma distribuci´n de o probabilidad. Es decir, el incremento que sufre el proceso entre los tiempos s y t s´lo depende de estos tiempos a trav´s de la diferencia t − s, y no de los valores o e espec´ ıficos de s y t. Martingalas. Una martingala a tiempo discreto es, en t´rminos generales, un e proceso {Xn : n = 0, 1, . . .} que cumple la condici´n o E(Xn+1 | X0 = x0 , . . . , Xn = xn ) = xn . (1.1)

En palabras, esta igualdad significa que el estado promedio del proceso al tiempo futuro n + 1 es el valor del proceso en su ultimo momento observado, es decir, xn . ´ Esto es, se trata de una ley de movimiento aleatoria equilibrada pues en promedio el sistema no se mueve del ultimo momento observado. A estos procesos tambi´n se ´ e les conoce como procesos de juegos justos pues si se considera una sucesi´n infinita o de apuestas sucesivas y si Xn denota el capital de uno de los jugadores al tiempo n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues en promedio el jugador no pierde ni gana en cada apuesta. Procesos de L`vy. Se dice que un proceso a tiempo continuo {Xt : t ≥ 0} es e un proceso de L`vy si sus incrementos son independientes y estacionarios. M´s e a adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos. Procesos Gausianos. Se dice que un proceso a tiempo continuo {Xt : t ≥ 0} es un proceso Gausiano si para cualesquiera colecci´n finita de tiempos t1 , . . . , tn , el o vector (Xt1 , . . . , Xtn ) tiene distribuci´n normal o Gausiana. Nuevamente, el movio miento Browniano es un ejemplo de este tipo de procesos. El objetivo del presente texto es el de proporcionar una introducci´n a algunos o resultados elementales sobre algunos tipos de procesos estoc´sticos. a Ejercicio. Demuestre que todo proceso a tiempo discreto {Xn : n = 0, 1, . . .} con incrementos independientes es un proceso de Markov. Este resultado no es v´lido a para procesos a tiempo continuo.

Cap´ ıtulo 2

Caminatas aleatorias

En este cap´ ıtulo se presenta una introducci´n breve al tema de caminatas aleatorias o en una dimensi´n. Encontraremos la distribuci´n de probabilidad de la posici´n de o o o una part´ ıcula que efect´ a una caminata aleatoria en Z, y la probabilidad de retorno u a la posici´n de origen. Se plantea y resuelve despu´s el problema de la ruina del o e jugador, y se analizan algunos aspectos de la soluci´n. o

2.1.

Caminatas aleatorias

Una caminata aleatoria simple sobre el conjunto de n´ meros enteros Z es un proceso u estoc´stico a tiempo discreto {Xn : n = 0, 1, . . .} que evoluciona como se muestra a en la Figura 2.1. Es decir, iniciando en el estado 0, al siq p guiente tiempo el proceso puede pasar al estado +1 con probabilidad p, o al estado −2 −1 +1 +2 0 −1 con probabilidad q, en donde p+q = 1. Se usa la misma regla para los siguientes tiempos, es decir, pasa al estado de la deFigura 2.1: recha con probabilidad p, o al estado de la izquierda con probabilidad q. El valor de Xn es el estado del proceso al tiempo n. Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo a las probabilidades de transici´n que se muestran en la Figura 2.1, v´lidas para o a

5

6

2.1. Caminatas aleatorias

cualquier n ≥ 0, y para cualesquiera enteros i y j.   p si j = i + 1, = j | Xn = i) = q si j = i − 1,  0 otro caso.

P (Xn+1

Dado que estas probabilidades no dependen de n, se dice que son homog´neas en e el tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso cumple la propiedad de Markov, es decir, el estado futuro del proceso depende unicamente del estado pre´ sente y no de los estados previamente visitados. Una posible trayectoria de este proceso se muestra en la Figura 2.2. Una caminata aleatoria puede tambi´n dee finirse de la forma siguiente: Sea ξ1 , ξ2 , . . . una sucesi´n de variables aleatorias indeo pendientes e id´nticamente distribuidas. e Por la id´ntica distribuci´n denotaremos a e o cualquiera de ellas mediante la letra ξ sin sub´ ındice. Supondremos que P (ξ = +1) = p y P (ξ = −1) = q, en donde, como antes, p + q = 1. Entonces para n ≥ 1 se define Xn = X0 + ξ1 + · · · + ξn .
Xn (ω)

n

Figura 2.2:

Sin p´rdida de generalidad supondremos que X0 = 0. Nos interesa encontrar ale gunas propiedades de la variable Xn , y de su comportamiento como funci´n de n. o Por ejemplo, a partir de la expresi´n anterior, es inmediato encontrar su esperanza o y varianza. Proposici´n. Para cualquier entero n ≥ 0, o 1. E(Xn ) = n(p − q). 2. Var(Xn ) = 4npq.

Demostraci´n. Para la esperanza tenemos que E(Xn ) = i=1 E(ξi ) = n E(ξ) = o n(p − q). Por otro lado, como E(ξ 2 ) = p + q = 1 y E(ξ) = p − q, se tiene que

n

su comportamiento promedio es tender u hacia la derecha. si p < q. para p ∈ (0. Demuestre que la funci´n generadora de momentos de la variable Xn es o M (t) = E(etXn ) = (pet + qe−t )n . + x) (2. An´logamente. es decir. eso indica que mientras u mayor es el n´ mero de pasos que se dan. e u es decir. o Proposici´n. en promedio la caminata tiende a moverse hacia la izquierda. lo cual es intuitivamente claro. y en promedio el proceso e se queda en su estado inicial pues E(Xn ) = 0. Teniendo esto en mente. Caminatas aleatorias Var(ξ) = 1 − (p − q)2 = 4pq. a la izquierda o a la derecha. es intuitivamente claro que despu´s de efectuar un n´mero par de pasos la e u cadena s´lo puede terminar en una posici´n par. Suponga que se observa la posici´n de la caminata despu´s de efeco o e tuar n pasos. es decir. y es sencillo demostrar que ese valor es el m´ximo de la a expresi´n 4npq. 1). o e Cuando p = q = 1/2 se dice que la caminata es sim´trica. Como hemos supuesto que la caminata inicia en o cero. n i=1 7 Var(ξi ) = n Var(ξ) = Analicemos estas dos primeras f´rmulas. A partir de esta expresi´n encuentre nuevamente o la esperanza y varianza de Xn . entonces a el estado final promedio de la caminata despu´s de n pasos es un n´ mero negativo. En ambos casos la varianza crece conforme el n´ mero de pasos n crece. y si se efect´ an un n´ mero impar o o u u de pasos la posici´n final s´lo puede ser un n´ mero impar. en el siguiente resultado se presenta la distribuci´n de probabilidad de la variable Xn . Adem´s. Por lo tanto Var(Xn ) = 4npq. entonces el estado promedio despu´s e de n pasos es un n´ mero positivo. la caminata s´lo puede llegar a una distancia m´xima e o a de n unidades. sin embargo para tal valor de p la varianza es Var(Xn ) = n. Probabilidades de transici´n. Sean Rn y Ln el n´ mero de pasos realizados hacia la derecha y hacia u . es claro que o o u a despu´s de efectuar n pasos. o u y para el caso cuando x y n son ambos pares o ambos impares. P (Xn = x | X0 = 0) = 1 2 (n n 1 1 p 2 (n+x) q 2 (n−x) .Cap´ ıtulo 2. Para cualesquiera n´ meros enteros x y n tales que −n ≤ x ≤ n. Cuando p = q se dice que la caminata es asim´trica. o Ejercicio.1) Demostraci´n. si la caminata toma o pasos a la derecha con mayor probabilidad. Si p > q. mayor es la incertidumbre acerca de la u posici´n final del proceso.

1) analizando ahora la variable Ln . A partir de aqu´ obtenga el resultado. para cualquier o valor de x que cumpla las condiciones enunciadas se tiene que P (Xn = x | X0 = 0) = = P (Rn = 1 2 (n 1 (n + x)) 2 p 2 (n+x) q 2 (n−x) . cuando p = 1/2. Ln = o ı 1 (n − Xn ) = n 1 (1 − ξi ). ¿Cu´ntas de estas trayectorias terminan en x ≥ 0. cuando la caminata es sim´trica. y con las e mismas restricciones para n y x (−n ≤ x ≤ n. i=1 2 2 . y el n´ mero de trayectorias que cumplen la condici´n es el n´ mero u o u 2 de formas en que los 1 (n + x) pasos a la derecha pueden escogerse de los n pasos 2 totales. Observe o que esta f´rmula arroja un valor entero para Rn cuando n y Xn son ambos pares o o ambos impares. por ıa. a n Sumando estas dos ecuaciones y substituyendo la expresi´n Xn = i=1 ξi se obo tiene n 1 1 (1 + ξi ). respectivamente. ambos pares o ambos impares) se tiene la expresi´n o P (Xn = x | X0 = 0) = 1 2 (n n + x) 1 . es decir.1. q). Entonces Xn = Rn − Ln . entonces las variables independientes 1 o 2 (1 + ξi ) toman los valores 1 y 0 con probabilidades p y q. p). y adem´s n = Rn + Ln .8 2. 2n Esta f´rmula puede tambi´n justificarse mediante argumentos de an´lisis combinao e a torio de la siguiente forma: En total hay 2n posibles trayectorias que la caminata puede seguir al efectuar n pasos. Como las variables independientes ξi toman los valores +1 y −1 con probabilidades p y q respectivamente. es decir. demuestre primero las igualdades que aparecen abajo. o Ejercicio. Rn = (n + Xn ) = 2 2 i=1 Esta ecuaci´n es la identidad clave para obtener el resultado buscado. Caminatas aleatorias la izquierda. todas ellas con la misma probabilidad de ocurrir debido a la simetr´ Ahora. a ejemplo? Como se ha argumentado antes. La respuesta es entonces el cociente que aparece en la expresi´n anterior. Demuestre nuevamente la identidad (2. Por lo tanto. Concluya que Ln tiene distribuci´n binomial(n. 1 1 n + x) En particular. el n´ mero de pasos a la derecha debe u ser 1 (n + x). Esto lleva a la conclusi´n de que la variable Rn tiene distribuci´n binomial(n.

infinito.1) puede extenderse f´cilmente al caso general de pasar de un estado o a cualquiera y a otro estado x en n pasos. cuando se trate de una primera lectura. Nos plantearemos ahora el o problema de encontrar la probabilidad de que una caminata aleatoria que inicia en el origen. regrese eventualmente al punto de partida. Proposici´n. La demostraci´n es un tanto t´cnica y hace uso de las o e funciones generadoras de probabilidad. sin embargo. p = 1/2. o e La f´rmula (2. la caminata es sim´trica. Caminatas aleatorias 9 Ejercicio. Si los n´ meros n y x − y son ambos pares o ambos impares. P (Xn = x | X0 = y) = 1 2 (n n + x − y) p 2 (n+x−y) q 2 (n−x+y) . tal vez sea mejor recomendar al lector. o .1) es una funci´n sim´trica de x si. o u entonces para −n ≤ x − y ≤ n. Para el ultimo caso ´ demostraremos adem´s que el n´ mero de pasos promedio para regresar al origen a u es. Demuestre que la probabilidad (2. 1 1 (2. p = 1/2. pero en el caso sim´trico. Probabilidad de regreso a la posici´n de origen.2) Demostraci´n. se cumple que con e probabilidad uno la caminata regresa eventualmente al origen. Demostraremos que en el caso asim´trico. Dado que este cap´ ıtulo es introductorio. e no es seguro que ello ocurra. es decir. Suponga que X0 = 0 y defina Zn = Xn − y. omitir los detalles de esta demostraci´n. y o e s´lo si. Entonces Zn es ahora o una caminata aleatoria que inicia en cero como en el caso antes demostrado. la probabilidad de tal evento es menor que uno.Cap´ ıtulo 2. El resultado se obtiene de la identidad P (Xn = x | X0 = y) = P (Zn = x − y | Zn = 0).

Esta serie es convergente pues se trata de la suma de probabilidades de eventos disjuntos. el paso n. la probabilidad de un o eventual regreso al punto de partida es 1 − |p − q| = 1 <1 si p = q. Despu´s de efectuado el primer regreso se multiplica por la e probabilidad de regresar al origen en el n´ mero de pasos restantes. El uso de la letra f proviene el t´rmino en Ingl´s first. Para demostrar estas afirmaciones utilizaremos los siguientes eleo mentos: a) Para cada n ≥ 0 denotaremos por pn a la probabilidad de que la caminata se encuentre en el estado 0 al tiempo n.. v´ase la f´rmula (3.. Esta probabilidad es distinta de cero s´lo cuando n es un n´ mero par.10 2. o en el ultimo ´ momento. Naturalmente o u p0 = 1. sin embargo el tiempo promedio de regreso en tal caso es infinito. se tiene la certeza de un eventual o e retorno. Es decir. u Este primero regreso puede darse en el paso 1. Esta f´rmula ser´ demostrada m´s adelante en el contexto o a a de las cadenas de Markov. Por conveniencia se define f0 = 0. Demostraci´n. Caminatas aleatorias Proposici´n. y por lo tanto a lo sumo vale uno. Observe que en t´rminos e e e de las probabilidades fk . si p = q.3) En esta expresi´n simplemente se descompone la probabilidad de regreso al origen. pn = P (Xn = 0 | X0 = 0). Observe que el u primer sumando es cero. (2. Demostraremos que en el caso sim´trico la suma vale uno. Recordemos nuevamente que los valores e de fk son estrictamente positivos s´lo para valores pares de k distintos de cero. s´lo en el caso sim´trico.. o b) No es dif´ comprobar que se cumple la siguiente igualdad ıcil n pn = k=0 fk pn−k . p = q. Usaremos (2. la probabilidad de que la caminata regrese eventualmente ∞ al origen es k=0 fk . en las distintas posibilidades en donde se efect´ a el primer regreso al origen. o pn . Denotaremos tambi´n por fk a la probabilidad de que la caminata visite e el estado 0 por primera vez en el paso k ≥ 0. .2) en la p´gina 44. es decir. o en el paso 2.1. Para una caminata aleatoria sobre Z.3) e o a para encontrar la funci´n generadora de probabilidad de la colecci´n de n´ meros o o u .

u o c) Para el an´lisis que sigue necesitamos recordar que para cualquier n´ mero real a u a y para cualquier entero n. Por lo tanto ( ∞ n=0 pn tn ) − 1 = G(t) ∞ n=0 p n tn .3) por tn .6) n n=0 . p2 . a ∞ a n a (1 + t) = t . p1 . . se tiene el coeficiente binomial a n = a(a − 1) · · · (a − (n − 1)) . Este n´ mero es una generalizaci´n u o del coeficiente binomial usual y aparece en la siguiente expansi´n binomial infinita o v´lida para |t| < 1. encontraremos G(t) = ∞ k=0 11 f k tk .5) Observe que en el numerador hay n factores. Multiplicando (2. f2 . . . Haremos esto a continuaci´n. (2. Caminatas aleatorias f0 . . (2. n! (2. . es decir. y que no es otra cosa sino el funci´n generadora de los ´ o o n´ meros p0 .Cap´ ıtulo 2. . sumando y cambiando el orden de las sumas se obtiene ∞ n=1 p n tn = = = = ∞ n ( fk pn−k ) tn fk pn−k tn ∞ n=k ∞ n=0 n=1 k=0 ∞ ∞ k=0 n=k ∞ f k tk k=0 pn−k tn−k G(t) p n tn . f1 . .4) Para encontrar G(t) se necesita encontrar una expresi´n para la suma que aparece o en la ultima ecuaci´n.

6) y (2.8) = (1 − 4pqt2 )−1/2 .7) podemos ahora encontrar una expresi´n cerrada para la o funci´n generadora de la colecci´n de n´ meros p0 . ∞ n=0 fn = l´ G(t) = 1 − (1 − 4pq)1/2 = 1 − |p − q|. .4) se llega a la igualdad (1 − 4pqt2 )−1/2 − 1 = G(t) (1 − 4pqt2 )−1/2 . e) Substituyendo (2. ım tր1 . De donde se obtiene finalmente G(t) = 1 − (1 − 4pqt2 )1/2 .12 2.1. . En efecto.9) Usando esta expresi´n podemos ahora calcular la probabilidad de un eventual reo greso al estado inicial. n (2. p2 .5) se tiene que o 2n n = = = = = 2n(2n − 1)(2n − 2) · · · 3 · 2 · 1 n! n! n 2 n! (2n − 1)(2n − 3) · · · 5 · 3 · 1 n! n! 2n 2n 2n − 1 2n − 3 5 3 1 ( )( ) · · · ( )( )( ) n! 2 2 2 2 2 2n 2n 1 3 5 3 1 n (−1) (−n + )(−n + ) · · · (− )(− )(− ) n! 2 2 2 2 2 −1/2 (−4)n . (2.8) en (2. . p1 . Caminatas aleatorias En particular y como una aplicaci´n de (2.7) d) Usando (2. o o u ∞ n=0 p n tn = = = ∞ n=0 ∞ n=0 ∞ n=0 2n n n 2n p q t n (−4)n −1/2 n n 2n p q t n −1/2 (−4pqt2 )n n (2. por el lema de Abel.

Cap´ ıtulo 2.3: En el siguiente cap´ ıtulo se estudiar´n algunas otras propiedades de las caminatas a aleatorias en el contexto de las cadenas de Markov. p = 1/2. Caminatas aleatorias 13 En el caso asim´trico. q y r son probabilidades tales que p + q + r = 1. en el caso sim´trico. Tambi´n pueden considerarse caminatas aleatorias en Z2 como la que se muestra e en la Figura 2. en donde p.3(b). es decir.3(a). es decir. Esta situaci´n se ilustra e o en la Figura 2. En cambio. con e probabilidad uno la cadena aleatoria sim´trica regresa eventualmente a su posici´n e o de origen. ∞ n=0 n fn = l´ G′ (t) = l´ √ ım ım tր1 tր1 t = ∞. 1 − t2 Puede considerarse tambi´n el caso de una caminata en donde sea posible permanee cer en el mismo estado despu´s de una unidad de tiempo. r q −1 0 p 1 −1 r q 1 p 1 s −1 (a) (b) Figura 2. en donde p + q + r + s = 1. o m´s generalmente en Zn o a cualquier otro conjunto reticulado. el tiempo promedio de regreso se obtiene derivando la funci´n a o generadora G(t) = 1 − (1 − t)−1/2 . esta cantidad es estrictamente menor a uno y e por lo tanto no hay seguridad de que la caminata sea capaz de regresar al origen. esta cantidad vale uno. p = 1/2. Adem´s. .

y probabilidad de perder q = 1 − p. Puede demostrarse que esta variable aleatoria is finita casi seguramente. Sea τ es el primer momento en el que la caminata visita o alguno de los dos estados absorbentes. En cada apuesta el jugador A tiene probabilidad de ganar p. Este proceso es entonces una caminata aleatoria sobre el conjunto {0. u oscile entre estos dos estados? Este problema se conoce como el problema de la ruina del jugador. . 1.14 2. Una posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra en la Figura 2. o o Usando probabilidad condicional es posible transformar este problema en resolver una ecuaci´n en diferencias. N }.} es una caminata aleatoria que inicia en el estado k y eventualmente puede terminar en el estado 0 cuando el jugador A ha perdido todo su capital. jam´s a lo abandona. Entonces {Xn : n = 0. .4: mos para esta caminata es la siguiente: ¿Cu´l es la probabilidad de que evena tualmente el jugador A se arruine? Es decir. y encontraremos a continuaci´n su soluci´n. ¿Cu´l es la probabilidad de que la caminata se absorba en el estado 0 y no a en el estado N . es decir. a Sea Xn la fortuna del jugador A al tiempo n. El problema del jugador 2. pues una vez que la cadena llega a alguno de ellos. se asume adem´s que no hay empates.2. Xn N k n τ Una de las preguntas que resolvereFigura 2. . .4. Suponga que un jugador A apuesta sucesivamente una unidad monetaria a un jugador B. . o bien puede terminar en el estado N que corresponde a la situaci´n en donde el jugador A ha ganado todo o el capital. o Soluci´n al problema. Planteamiento del problema. . τ = m´ ın{n ≥ 0 : Xn = 0 ´ Xn = o N }. La . el capital conjunto entre los dos jugadores es de N unidades monetarias.2. y B tiene N − k unidades. 1. Inicialmente el jugador A tiene k unidades. es decir. . El problema del jugador En esta secci´n consideraremos un ejemplo particular de una caminata aleatoria o puesta en el contexto de un juego de apuestas. en donde los estados 0 y N son absorbentes.

11) Resolviendo iterativamente. = (q/p)k−1 (u1 − 1). Las condiciones de frontera son u0 = 1 y uN = 0. N − 1. Substituyendo en (2. . . Puede encono e trarse su soluci´n de la siguiente forma: Multiplicando el lado izquierdo de (2. .10) o por (p + q) y agrupando t´rminos se llega a la expresi´n equivalente e o uk+1 − uk = (q/p) (uk − uk−1 ). . La interpretaci´n intuitiva de esta identidad es a o sencilla: A partir del estado k se busca la probabilidad de ruina analizando lo que sucede en la siguiente apuesta.10) v´lida para k = 1. Conviene ahora definir Sk = ı o 1 + (q/p) + · · · + (q/p)k pues al sumar las k − 1 ecuaciones anteriores se obtiene uk − u1 = (Sk−1 − 1) (u1 − 1). de segundo orden y homog´nea. .Cap´ ıtulo 2. (2. Usando la segunda condici´n de frontera uN = 0 se llega o a u1 − 1 = −1/SN −1 . o bien el jugador pierde con probabilidad q y se busca la probabilidad de ruina ahora a partir del estado k − 1. El jugador gana con probabilidad p y ahora se busca la probabilidad de ruina a partir del estado k + 1.12) y simplificando se llega a la soluci´n o uk = 1 − Sk−1 . SN −1 .11) se obtiene a uN = 1 + SN −1 (u1 − 1). las primeras k − 1 ecuaciones se escriben de la forma siguiente u2 − u1 u3 − u2 uk − uk−1 = (q/p) (u1 − 1) = (q/p)2 (u1 − 1) . . (2.12) De manera an´loga pero ahora sumando todas las ecuaciones de (2. Hemos usado aqu´ la condici´n de frontera u0 = 1. Caminatas aleatorias pregunta planteada se traduce en encontrar la probabilidad uk = P (Xτ = 0 | X0 = k). O bien uk = 1 + Sk−1 (u1 − 1). Se tienen dos casos. Esta ecuaci´n es o una ecuaci´n en diferencias. lineal. Por el teorema de probabilidad total se obtiene la ecuaci´n en diferencias o uk = p uk+1 + q uk−1 . 15 (2. 2.

pero para valores de p cercanos a 1/2 . es decir. a´ n cuando el juego sea justo. Esto sugiere que no conviene jugar esta serie de apuestas contra adversarios demasiado ricos. En el caso sim´trico la soluci´n a e o es la linea recta que une la probabilidad uno con la probabilidad cero.5 p = 0.16 2.13) en sus varios a o o aspectos. cuando el juego e es justo. Es tambi´n un tanto u e inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 1/2.8 p = 0. si p = q. la probabilidad de ruina es muy cercana a 1 cuando k es muy peque˜ o n comparado con N . Es interesante analizar la f´rmula (2.65 p = 0. Por ejemplo. Cuando p es distante de 1/2 la probabilidad uk es casi constante.10). para el caso sim´trico p = 1/2.5 se muestra la gr´fica de la probabilidad uk como funci´n del a o par´metro k para varios valores de p y con N = 50.35 p = 0.2 p = 0.01 p = 0. o uk 1 p = 0. Esto puede apreciarse en la Figura 2.5: An´lisis de la soluci´n. si p = 1/2. Naturalmente la probabilidad de ruina decrece cuando el capital inicial k aumenta. El problema del jugador Por lo tanto Es necesario ahora distinguir los siguientes dos casos:   k+1  k k+1 Sk = 1 + (q/p) + · · · + (q/p) =  1 − (q/p)  1 − (q/p)   (N − k)/N  k N uk =  (q/p) − (q/p)  1 − (q/p)N si p = q.6. (2. si p = 1/2.2.99 10 20 30 40 50 k Figura 2.13) En la Figura 2. En la secci´n o de ejercicios se sugiere otra forma de resolver la ecuaci´n en diferencias (2.

es la que aparece abajo. Verifique adem´s que uk + vN −k = 1.5 1 p k = 25 0. Si el juego se considera desde el punto de vista del jugador B. Sea entonces o mk el n´ mero esperado de apuesta antes de que termine el juego. es decir. denotada por vN −k . y B tiene N − k.  k/N  k vN −k =  (q/p) − 1 si q = 1/2.Cap´ ıtulo 2. (Probabilidad de ruina del otro jugador).  N −1 (q/p) N´ mero esperado de apuestas antes de la ruina.  si q = 1/2.5 1 p k = 45 0. . entonces se trata de la misma caminata aleatoria s´lo o que ahora el capital inicial es N −k y la probabilidad de ganar en cada apuesta es q. uk 1 1 uk 1 uk k=5 0. Hemos comprobado que con u probabilidad uno ocurre que eventualmente alguno de los dos jugadores se arruina.5 1 p Figura 2.6: Ejercicio. la probabilidad de que eventualmente el juego a termine con la ruina de alguno de los jugadores es uno. Substituya estos par´metros en la soluci´n (2. Este n´ mero u de apuestas promedio antes de la ruina puede encontrarse expl´ ıcitamente. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. en donde el u jugador A tiene un capital inicial de k unidades.13) y compruebe que la probabilidad a o de ruina del jugador B. Estas gr´ficas fueron a a elaborados tomando N = 50. Caminatas aleatorias 17 la probabilidad cambia r´pidamente de un extremo a otro. y el m´todo que usaremos para encontrarlo es nuevamente el planteamiento de una e ecuaci´n en diferencias que resolveremos del modo mostrado antes.

14) Recordando la notaci´n Sk = 1 + (q/p) + · · · + (q/p)k . v´lida para k = 1. i=0 (2. Substituyendo (p + q)mk por mk y agrupando t´rminos convenientemente e la ecuaci´n anterior puede reescribirse del siguiente modo o mk+1 − mk = q 1 (mk − mk−1 ) − . .15) . y substituyendo iterativao mente. p 1 (q/p)2 m1 − S1 . . 2. p p (2. Las condiciones de frontera son ahora m0 = 0 y e mN = 0. Condicionando sobre el resultado de la primera apuesta se obtiene o que mk satisface la ecuaci´n o mk = 1 + p mk+1 + q mk−1 . . mk − mk−1 = (q/p)k−1 m1 − 1 Sk−2 .18 2. El n´ mero esperado de apuestas antes de la ruina es o u  si p = q. i=0 Si . . Sumando todas estas ı o ecuaciones se obtiene mk − m1 = m1 (Sk−1 − 1) − Es decir. de segundo a o orden. p (q/p) m1 − Aqu´ se ha hecho uso de la condici´n de frontera m0 = 0. El problema del jugador Proposici´n.  k (N − k)  k mk =  1 ( k − N 1 − (q/p) ) si p = q.2. . lineal y no homog´nea. mk = m1 Sk−1 − 1 p k−2 1 p k−2 Si . Esta es una ecuaci´n en diferencias. N − 1. las primeras k − 1 ecuaciones son m2 − m1 m3 − m2 = = . . p 1 S0 .  N q−p 1 − (q/p) Demostraci´n.

es decir. despu´s de algunos c´lculos se llega a la e a respuesta enunciada. k = N/2.9 30 40 50 k Figura 2.16) Substituyendo en (2. y ambos jugadores tienen el mismo capital inicial. y se obtiene o m1 = Substituyendo en (2. i=0 (2. mk 625 p = 0.7: . Esto arroja un promedio m´ximo de a (N/2)(N − N/2) = (N/2)2 apuestas antes del fin del juego. la duraci´n m´xima promedio o a del juego es de (50/2)2 = 625 apuestas.16) y simplificando.15).1 10 20 p = 0. Caminatas aleatorias En particular. sumando todas las ecuaciones de (2. Ahora se hace uso de la condici´n mN = 0. i=0 Si − 1 p k−2 Si . mk = Sk−1 1 SN −1 p N −2 i=0 1 SN −1 1 p k−2 Si . p = 0.14) se obtiene mN = m1 SN −1 − 1 p N −2 i=0 19 Si .Cap´ ıtulo 2. En el caso ilustrado.5 Nuevamente se deben distinguir los siguientes dos casos:   k+1  k+1 Sk = 1 + (q/p) + · · · + (q/p)k =  1 − (q/p)  1 − (q/p) si p = q.7 cuando N = 50. p = 1/2. La duraci´n m´xima promedio del juego se o a obtiene cuando el juego es justo. si p = q. La forma en la que mk cambia al variar el par´metro k se muestra en la a Figura 2.

El tema de caminatas aleatorias puede ser encontrado en la mayor´ de los textos sobre procesos estoc´sticos. .20 2.2. En particular el libro de Jones y Smith [17]. para cada k = 1. tanto en el caso sim´trico como no sim´trico. es decir. El problema del jugador Ejercicio. Como lectura m´s avanzada v´ase el texto de Resnick [28]. ya sea de una manera expl´ ıa a ıcita o como un ejemplo importante de cadena de Markov. . se cumple que mk ≤ (N/2)2 . Demuestre que la duraci´n promedio del juego es siempre menor o igual o a (N/2)2 . . e e Notas y referencias. y el de Basu [1] contienen un cap´ ıtulo completo sobre el tema. N . y el de Spitzer [34]. a e . .

. . Encuentre la probabilidad de que la part´ ıcula se encuentre nuevamente en el origen en el sexto paso. . 1. . demuestre que para cualesquiera enteros x0 . 4. . n − 1} es 1 − (p/q)n en el caso p < 1/2. −1. . 3. 0. . Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). . x1 . y con probabilidad uno llegar´ al estado n en el caso p ≥ 1/2. 2. Encuentre el n´ mero esperado de pasos en los que el u algoritmo alcanza el estado cero cuando inicia en el estado k. k − 1}. . la probabilidad de que la caminata se mantenga siempre en el conjunto {. . Una part´ ıcula realiza una caminata aleatoria sim´trica sobre Z empezando e en cero. . Una part´ ıcula realiza una caminata aleatoria sim´trica sobre Z empezando en e cero. Generalice la f´rmula a o anterior en el caso cuando el estado inicial es m. ¿Cu´l es la probabilidad de que la part´ a ıcula regrese al estado cero por primera vez en el sexto paso? 5. 1. . Usuando an´lisis del primer paso a (condicionando sobre si primer paso se efect´ a a la izquierda o a la derecha) u demuestre que (p/q)n si p < 1/2. Considere una caminata aleatoria simple sobre Z que empieza en cero y tal que la probabilidad de pasar al estado de la derecha es p y la probabilidad de pasar al estado de la izquierda es q = 1 − p. .Cap´ ıtulo 2. 6. xn+1 . . Un algoritmo aleatorio de b´ squeda del estado cero opera del siguiente mou do: si se encuentra en el estado k en alg´ n momento. Para una caminata aleatoria simple {Xn } sobre Z demuestre que P (Xn+1 = x) = p P (Xn = x − 1) + q P (Xn = x + 1). . es decir. Sea τn el primer momento en el que la caminata visita el estado n ≥ 1. P (Xn+1 = xn+1 | X0 = x0 . . . menor o mayor a n. Demuestre que una caminata aleatoria simple sobre Z cumple la propiedad de Markov. P (τn < ∞) = 1 si p ≥ 1/2. . . entonces el estado del u algoritmo al siguiente paso es aleatorio con distribuci´n uniforme en el cono junto {0. . Caminatas aleatorias 21 Ejercicios Caminatas aleatorias 1. En particular.

Para resolver el problema del jugador se requiere resolver la ecuaci´n en difeo rencias uk = p uk+1 + q uk−1 . Proceda como en el inciso anterior para o encontrar (2. . con p+q+r = 1. Resuelva nuevamente esta ecuaci´n siguiendo o los siguientes pasos [18]: a) Proponga la soluci´n uk = a mk . Siguiendo la notaci´n usada en el problema de la ruina del jugador. m2 = k. N − 1. Siguiendo la notaci´n usada para encontrar el n´ mero esperado de apuestas o u antes de la ruina en el problema del jugador. . o 8. 2. demuestre la igualdad mk = 1 + p mk+1 + q mk−1 . demuestre o la validez de la ecuaci´n uk = p uk+1 + q uk−1 . Esta ecuaci´n se conoce o a o como la ecuaci´n caracter´ o ıstica de la ecuaci´n en diferencias. para k = 1. o y que encontraremos a continuaci´n. . Considere el problema de la ruina del jugador permitiendo ahora que existan empates en cada una de las apuestas. con a y m constantes distintas de cero. N − 1.13) en este caso. y obtener nuevamente la soluci´n (2. 2 d ) Use las condiciones de frontera u0 = 1 y uN = 0 para encontrar los valores de las constantes a1 y a2 . . esta ecuaci´n cuadr´tica tiene dos soluciones o a distintas: m1 = 1 y m2 = q/p.13). . 10. ´ ız: Como segundo valor para m se propone k veces el valor de la primera soluci´n. o e) Cuando p = q la ecuaci´n caracter´ o ıstica tiene una unica ra´ m1 = 1. la posibilidad de empate en cada apuesta extiende o posiblemente la duraci´n del juego pero no modifica las probabilidades de o ruina.13). 2. . q y r. . 9. perder o empatar para el jugador A son p. Es decir. o c) Suponiendo el caso p = q. Demuestre que la probabilidad de ruina para el jugador A sigue siendo la misma expresi´n (2. . o b) Substituya la soluci´n propuesta en la ecuaci´n en diferencias y encueno o tre la ecuaci´n cuadr´tica pm2 − m + q = 0.2. . Dada la linealidad de la ecuaci´n en o diferencias. para k = 1. El problema del jugador El problema de la ruina del jugador 7. respectivamente. es decir. Las probabilidades de ganar. la soluci´n general puede escribirse como uk = a1 mk + o 1 a2 mk = a1 + a2 (q/p)k .22 2.

Para escribir esta propiedad y varias de sus condiciones equivalentes de una manera simple. El significado de la probabilidad condicional p(xn+1 | xn ) es an´logo. y se cuenta con una teor´ matem´tica extensa al respecto. En este cap´ ıa a ıtulo presentaremos una introducci´n a algunos aspectos b´sicos de este modelo. es decir. pero al mismo tiempo es lo suficientemente sencillo para ser analizado matem´ticamente. El ´xito del modelo propuesto o e por Markov radica en que es lo suficientemente complejo como para describir ciertas caracter´ ısticas no triviales de algunos sistemas. a 23 . Markov a alrededor de 1905. Su intenci´n era crear un modelo probabil´ o ıstico para analizar la aparici´n de vocales en poemas y textos literarios. el sub´ ındice indica tambi´n la variable a la que se hace e referencia. a la probabilidad P (Xn = xn ) se le escribe como p(xn ). o a 3. A.Cap´ ıtulo 3 Cadenas de Markov Las cadenas de Markov fueron inventadas por el matem´tico ruso A.1. Propiedad de Markov Vamos a considerar procesos estoc´sticos a tiempo discreto Xn que cumplen la a propiedad de Markov. Las cadenas de Markov a pueden aplicarse a una amplia gama de fen´menos cient´ o ıficos y sociales.

al estado j en el tiempo n + 1. . Sin p´rdida de generalidad tomaremos como espacio de estados de una cadena de e Markov al conjunto discreto {0. . . . . p02 p12 p22 . 1.}. . P =  0 1 2 ··· p00 p10 p20 . y no depende de los estados en los ´ tiempos pasados 0. el tiempo n como el presente y los tiempos 0. 1. A la probabilidad P (Xn+1 = j | Xn = i) se le o denota por pij (n. j) de esta matriz es la probabilidad de transici´n pij . . . .1: . esto es.1. . Variando los ´ ındices i y j. algunas de ellas se encuentran enunciadas en la secci´n de ejercicios. . o cualquier subconjunto finito que conste de los primeros elementos de este conjunto. . . la probabilidad de pao sar del estado i al estado j en una unidad de 0 1  2  . n + 1) no o u dependen de n se dice que la cadena es estacionaria u homog´nea en el tiempo. Cuando los n´ meros pij (n. xn+1 . . para cualquier entero n ≥ 0. y representa la probabilidad de transici´n del estado i en o el tiempo n.}. . es decir. Propiedad de Markov Definici´n. . . 2. . 1. . se cumple p(xn+1 | x0 . Xn de la siguiente forma o p(x0 . .}. . n−1 como el pasado. . por ejemplo sobre el conjunto de estados {0. y para cualesquiera estados x0 . .1) Si el tiempo n+1 se considera como un tiempo futuro. . . . . Estas probabilidades se conocen como las probabilidades de transici´n en un paso. . 2. n − 1. . x1 . . Existen otras formas equivalentes de expresar esta propiedad. Cuando el espacio de estados de una cadena de Markov es un conjunto finito se dice que la cadena es finita. Una cadena de Markov es un proceso estoc´stico a tiempo discreto o a {Xn : n = 0. se obtiene la matriz de probabilidades de transici´n en un o paso que aparece en la Figura 3.1) establece que o la distribuci´n de probabilidad del estado del proceso al tiempo futuro n+1 depende o unicamente del estado del proceso al tiempo n. . con espacio de estados discreto. . Probabilidades de transici´n. . . es posible demostrar que la condici´n (3. Por o ejemplo. . Por e simplicidad se asume tal situaci´n de modo que las probabilidades de transici´n en o o un paso se escriben simplemente como pij . p01 p11 p21 . X1 . xn ) = p(xn+1 | xn ). . . 1. . y que satisface la propiedad de Markov. (3. La entrada (i. entonces la condici´n (3.1) es equivalente a poder calcular o la distribuci´n conjunta de las variables X0 . n + 1). ··· ··· ···      Figura 3. . . .24 3. 1.1. xn ) = p(x0 ) p(x1 | x0 ) · · · p(xn | xn−1 ).

entonces se dice que es e doblemente estoc´stica. b) j pij = 1.Cap´ ıtulo 3. Debido a la propiedad de Markov. La matriz de probabilidades de transici´n P = (pij ) cumple las o o siguientes dos propiedades. 1 = P (Xn+1 ∈ {0. a) pij ≥ 0. . En general toda matriz cuadrada que cumpla estas dos propiedades se dice que es una matriz estoc´stica. a o es decir. Proposici´n. Cadenas de Markov 25 tiempo. al escribir estas matrices omitiremos escribir la identificaci´n de los estados en los renglones y columnas coo mo aparece en la Figura 3. Para la segunda propiedad se tiene que para cualquier u estado i y cualquier entero n ≥ 0. Demostraci´n. 1. . El ´ ındice i se refiere al rengl´n de la matriz y el ´ o ındice j a la columna. . . . cuando la suma por columnas tambi´n es uno. esta matriz a captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. a . La primera condici´n es evidente a partir del hecho de que estos o o n´ meros son probabilidades. . 1. En general. tal identificaci´n ser´ evidente a partir de conocer el o a espacio de estados. Si adem´s la matriz satisface la condici´n i pij = 1.}) = P (Xn+1 ∈ {0.1. = j Esto ultimo significa que a partir de cualquier estado i con probabilidad uno la ´ cadena pasa necesariamente a alg´ n elemento del espacio de estados al siguiente u momento.} | Xn = i) = P( j (Xn+1 = j) | Xn = i) = j P (Xn+1 = j | Xn = i) pij .

8. Ejercicio. P = 0. la distribuci´n inicial juega un papel secundario o en el estudio de las cadenas de Markov. X1 = 0. En general puede considerarse que una o cadena de Markov inicia su evoluci´n partiendo de un estado i cualquiera. xn ) se encuentran completamente especificadas por la matriz de probabilidades de transici´n y una distribuci´n inio o cial.26 3.3 0. . X2 = 0). El n´ mero pi corresponde a la probabilidad de que la cadena u inicie en el estado i.2. Encuentre la distribuci´n de las variables X1 .2. y con matriz de probabilidades de transici´n como aparece abajo. xn ) = p(x0 ) p(x1 | x0 ) · · · p(xn | xn−1 ). . .9 0.3 0. Sea {Xn } una cadena de Markov con dos estados: 0. P (X0 = 1) = 0. .5. Calcule P (X0 = 0. X2 = 1 | X1 = 2). x1 . . x1 . con distribuci´n o inicial P (X0 = 0) = 0.1 .1.4 0. es decir.5. . que son no negativos o u y que suman uno. Sea {Xn } una cadena de Markov con dos estados 0 y 1. X2 . X1 = 0 | X0 = o 1) y P (X3 = 1. . Esta identidad establece que las distribuciones conjuntas p(x0 .} es simplemente una distribuci´n de probabilidad sobre este o conjunto.4 0.7 0.1. En general. o o . P (X0 = 1) = 0. Calcule P (X2 = 0.6 0. . P (X0 = o 0 | X1 = 1). 2. Es por ello que a la matriz o o misma se le llama a veces cadena de Markov. X1 = 1. 1. X2 = 1.3 0. o m´s o a generalmente considerando una distribuci´n de probabilidad inicial sobre el espacio o de estados. Ejercicio. En el texto de Chung [7] puede encontrarse una demostraci´n del hecho de o que dada una matriz estoc´stica y una distribuci´n de probabilidad inicial. Una distribuci´n inicial para una cadena de Markov con espacio de o estados {0. Existencia. P (X2 = 1) y P (X0 = 0.3 .5 0. con distribuci´n o inicial P (X0 = 0) = 0. X3 = 1). y con matriz de probabilidades de transici´n como aparece abajo. Propiedad de Markov Distribuci´n de probabilidad inicial. . . existe a o un espacio de probabilidad y una cadena de Markov con matriz de probabilidades de transici´n y distribuci´n inicial las especificadas. P = 0. p1 . . Sea {Xn } una cadena de Markov con tres estados: 0. . es una colecci´n de n´ meros p0 .1. p2 . . Hemos mencionado que la propiedad de Markov es equivalente a la igualdad p(x0 . P (X1 = 0). y con matriz de probabilidades de transici´n como aparece abajo.2 0 0. Ejercicio.

al estado j al tiempo m + n. o 3. P = 1/2 2/3 1/2 1/3 27 . Es decir. y se le denota por pij (n). esta cadena es susceptible de muchas aplicaciones pues es com´ n encontrar situaciones en donde se presenta siempre la dualidad de ser o u no ser.2. esta probabilidad no depende realmente de m. Esta es la funci´n delta de Kronecker. estar o no estar. ıa Cadena de dos estados. tener o no tener. y 0 ≤ b ≤ 1. Retomaremos m´s adelante varios de estos ejemplos para ilustrar otros a conceptos y resultados generales de la teor´ general. 1}. Xn depende de Xn−1 . Considere una cadena de Markov con espacio de estados {0. Tambi´n cuando n = 0 es natural definir e e pij (0) = δij = 0 1 si i = j. para cada e n ≥ 1.2. Dado que hemos supuesto la condici´n de homogeneidad en el o tiempo. Cadenas de Markov X1 y X2 conjuntamente. y se le llama probabilidad de transici´n en u o n pasos. La probabilidad P (Xn+m = j | Xm = o i) corresponde a la probabilidad de pasar del estado i al tiempo m. a menos que se quiera hacer ´nfasis en ello. Probabilidades de transici´n en n pasos. Aunque de aspecto sencillo. Cuando a = 1 − b. siempre en una constante alternancia entre un estado y el otro. por lo tanto coincide con P (Xn = j | X0 = i). con matriz y diagrama de transici´n como aparece en la Figura 3. Cuando n = 1 simplemente se omite su escritura. en donde el n´ mero de pasos n se escribe entre par´ntesis para u e distinguirlo de alg´ n posible exponente. A esta probabilidad tambi´n se le e (n) denota como pij . X2 . Mas adelante demostraremos que . Cuando a = 1 − b. en o donde 0 ≤ a ≤ 1. Ejemplos Revisaremos a continuaci´n algunos ejemplos particulares cl´sicos de cadenas de o a Markov. son independientes e id´nticamente distribuidas con P (Xn = 0) = 1 − a y P (Xn = 1) = a. . .Cap´ ıtulo 3. si i = j. despu´s de realizar cero pasos la cadena no puede estar en otro estado e mas que en su lugar de origen. . Suponga que la distribuci´n inicial est´ dada por o a p0 = P (X0 = 0) y p1 = P (X0 = 1). las variables X1 .

}.  . . X2 = 0) = ab p0 . para a + b > 0. una sucesi´n o de variables aleatorias independientes con valores en el conjunto {0. . ξ2 . c) P (X2 = 0) = ((1 − a)2 + ab) p0 + ((1 − b)b + b(1 − a)) p1 . . . ··· ··· . . . .28 3. . 1. y con id´ntica distribuci´n dada por las probabilidades a0 . a1 . por ejemplo. una sucesi´n de lanzamientos de una moneda. . o  P =  a0 a1 a1 . la matriz de o probabilidades de transici´n es de la siguiente forma o   a0 . Ejemplos 0 P = 0 1 1−a b 1 a 1−b 1−a 0 a 1 b 1−b Figura 3. Para la cadena de Markov de dos estados.2: las probabilidades de transici´n en n pasos son. Definiremos varias cae o denas de Markov a partir de esta sucesi´n. es decir. . sin importar el estado de partida. X2 = 1) = (ab + (1 − a)a) p0 . b) P (X0 = 0. . Sea ξ1 . Cadena de variables aleatorias independientes. . . o p00 (n) p01 (n) p10 (n) p11 (n) = 1 a+b b a b a + (1 − a − b)n a+b a −b −a b . Esta cadena tiene la cualidad de poder pasar a un estado cualquiera siempre con la misma probabilidad. Puede modelar. a2 a2 . X1 = 1.2. . compruebe directamente que a) P (X0 = 0. Ejercicio. o a) La sucesi´n Xn = ξn es una cadena de Markov con probabilidades de trano sici´n pij = P (Xn = j | Xn−1 = i) = P (Xn = j) = aj . .

. a2 a1 a0 . 2.  Ejercicio. y probabilidad de fracaso q = 1 − p. 1. . . a1 a0 + a1 0 . . a1 a0 0 . . e Sea Xn el n´ mero de ´xitos consecutivos previos al tiempo n. ··· ···  ··· . . . . . Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden observar en la Figura 3. ¿Es el proceso Xn = m´ {ξ1 . . . . . . . .  c) El proceso Xn = ξ1 + · · · + ξn es una cadena de Markov con matriz   a0  0 P = 0  .5.}. o Cadena de rachas de ´xitos. a3 a3 a3 . .3. . . Cadenas de Markov b) El proceso Xn = m´x {ξ1 . ξ2 .3: La colecci´n de variables aleatorias {Xn : n = 1. Se dice que una racha de ´xitos de longitud r ocurre al tiempo n si en el ensayo e n − r se obtiene un fracaso y los resultados de los ensayos n − r + 1 al n son todos ´xitos.} es una cadena de Markov o con espacio de estados {0. . ξn } es una cadena de Markov con matriz a   a0 29  0 P = 0  . . incluyendo el tiempo u e n. . .4. . . . una sucesi´n de ensayos indepene o dientes Bernoulli con probabilidad de ´xito p. . . Gr´ficamente esta situaci´n se ilustra en la Figura 3. . . a2 a2 a0 + a1 + a2 . ··· ···  ··· .Cap´ ıtulo 3. ξn } una cadena de Markov? En caso ın afirmativo encuentre la matriz de probabilidades de transici´n. . Sea ξ1 . . e a o r ´xitos e − 1 − 2 F n−r E n−r+1 E n Figura 3. Las probabilidades de transici´n y la matriz o correspondiente se muestran en la Figura 3.

.2. .30 3. Ejemplos 0 1 2 3 ···   p  q pij =   0 si j = i + 1. M´s adelante usaremos este a modelo para ilustrar algunos conceptos generales de cadenas de Markov. Hemos demostrado en el cap´ ıtulo anterior que las probabilidades de transici´n en n pasos son las siguientes: Si n + j − i es par con −n ≤ j − i ≤ n. . otro caso. o entonces n pij (n) = 1 p(n+j−i)/2 q (n−j+i)/2 .5: Cadena de la caminata aleatoria. Una caminata aleatoria simple sobre el conjunto de n´ meros enteros constituye una cadena de Markov con espacio de estados u el conjunto Z.  q q q .  q si j = i − 1. .4: 0 1  2  . pij =   0 otro caso. si j = 0. p 0 0 . y con probabilidades de transici´n o   p si j = i + 1. excepto cuando n = 0 e i = j. (n + j − i) 2 En otro caso pij (n) = 0. . . q 0 p 1 q q 2 q 3 q r p p p p Figura 3.  . P = Figura 3. . en donde p+q = 1. .  0 0 ··· p 0 ···   0 p · · · . .

Cap´ ıtulo 3. Cadenas de Markov

31

Cadena del jugador. El modelo usado para el problema del jugador estudiado en el primer cap´ ıtulo es una caminata aleatoria sobre el conjunto de n´ meros enteros u {0, 1, , . . . , N }, en donde los estados 0 y N son absorbentes. Las probabilidades de transici´n son como las de la caminata aleatoria simple s´lo que ahora p00 = o o 1 y pN N = 1. Este proceso es otro ejemplo de cadena de Markov con espacio de estados finito. Hemos demostrado antes que con probabilidad uno la cadena eventualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la probabilidad de que la absorci´n se observe o en el estado 0, y hemos adem´s encontrado el tiempo medio de absorci´n. a o Cadena de Ehrenfest. Sean A y B dos urnas dentro de las cuales se encuentran distribuidas N bolas de acuerdo a cierta configuraci´n inicial. En cada unidad de o tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto puede considerarse que las bolas se encuentran numeradas y que se escoge un n´ mero al u azar, se busca la bola con ese n´ mero y se cambia de urna. V´ase la Figura 3.6. u e Sea Xn el n´ mero de bolas en la urna u A despu´s de n extracciones. Entonces e la colecci´n {Xn : n = 0, 1, . . .} constio tuye una cadena de Markov con espa... ... cio de estados finito {0, 1, . . . , N }. Es claro que a partir del estado i la caN − i bolas i bolas dena s´lo puede pasar al estadio i − 1 o o al estado i + 1 al siguiente momenurna A urna B to, de modo que las probabilidades son pi,i+1 = i/N , y pi,i+1 = (N − i)/N , Figura 3.6: v´lidas para i = 1, 2, . . . , N − 1. Naa turalmente p01 = 1 y pN,N −1 = 1. En este caso se dice que los estados 0 y N son reflejantes. La matriz de probabilidades de transici´n aparece m´s abajo. Este modelo fue propuesto por Ehrenfest para o a describir el intercambio aleatorio de mol´culas (bolas) en dos regiones separadas e por una membrana porosa. La regi´n con mayor n´ mero de mol´culas tender´ a o u e a liberar mas mol´culas. e

32

3.2. Ejemplos

   P =   

0 1/N 0 . . . 0 0

1 0 2/N . . . 0 0

0 (N − 1)/N 0 . . . 0 0

0 0 (N − 2)/N . . . 0 0

··· ··· ··· ··· ···

0 0 0 . . . 0 1

0 0 0 . . . 1/N 0

   .   

Cadena de ramificaci´n. Considere una part´ o ıcula u objeto que es capaz de generar otras part´ ıculas del mismo tipo al final de un periodo establecido de tiempo. El conjunto de part´ ıculas iniciales constituye la generaci´n 0. Cada una de estas o part´ ıculas simult´neamente y de manera independiente genera un n´ mero de desa u cendientes dentro del conjunto {0, 1, . . .}, y el total de estos descendientes pertenece a la generaci´n 1, ´stos a su vez son los progenitores de la generaci´n 2, y as´ suo e o ı cesivamente. Una posible sucesi´n de generaciones se muestra en la Figura 3.7. El o posible evento cuando una part´ ıcula no genera ning´ n descendiente se interpreta u en el sentido de que la part´ ıcula se ha muerto o extinguido.
Generaci´n o 0 1 2 3 4

Figura 3.7: Sea ξk la variable aleatoria que modela el n´ mero de descendientes de la k-´sima u e part´ ıcula. Para cada n ≥ 0 defina Xn como el n´ mero de part´ u ıculas en la generaci´n o n. Entonces {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transici´n pij = P (ξ1 + · · · + ξi = j), para i ≥ 1. o Si en alg´ n momento Xn = 0, entonces se dice que la poblaci´n de part´ u o ıculas se ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha sido usado para determinar la probabilidad de extinci´n de la descendencia de una o persona.

Cap´ ıtulo 3. Cadenas de Markov

33

Cadena de la fila de espera. Considere una cola o l´ ınea de espera de “clientes” que solicitan alg´ n tipo de servicio de un “servidor”. Suponga que el sistema es u observado en los tiempos discretos n = 0, 1, . . ., y que la fila funciona del siguiente modo: Cuando hay alg´ n cliente esperando servicio al inicio de un periodo, el u cliente al frente de la fila es atendido terminando el servicio al final del periodo. Naturalmente si no existiera ning´ n cliente en la fila al inicio de alg´ n periodo, u u entonces ning´ n cliente es atendido. Para cada entero n ≥ 1 defina ξn como el u n´ mero de nuevos clientes que se incorporan a la fila durante el periodo n. Bajo u ciertas condiciones es natural suponer que estas variables aleatorias son independientes, id´nticamente distribuidas y con valores enteros no negativos. Suponga e P (ξn = k) = ak , con ak ≥ 0 y ∞ ak = 1. Sea X0 el n´ mero de clientes iniciales, u k=0 y para cada n ≥ 1 defina a Xn como el n´ mero de clientes en la fila al final del u periodo n. Las dos reglas de operaci´n se pueden escribir de la siguiente forma: o Xn+1 = ξn+1 Xn + ξn+1 − 1 si Xn = 0, si Xn ≥ 1.

Esto puede escribirse como Xn+1 = (Xn − 1)+ + ξn+1 , en donde x+ = m´x{x, 0}. a Por lo tanto el proceso {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transici´n o pij = P (ξ = j) si i = 0, P (ξ = j − i + 1) si i ≥ 1.  

Es decir,

  P =  

a0 a0 0 0 . . .

a1 a1 a0 0 . . .

a2 a2 a1 a0 . . .

··· ··· ··· ···

  .  

Cadena de inventarios. Suponga que se almacena un cierto n´ mero de bienes u en una bodega, y que se requiere una demanda aleatoria ξn del bien en el periodo n. Suponga que P (ξn = k) = ak , para k = 0, 1, . . . con ak ≥ 0 y k ak = 1, es decir, la distribuci´n de ξn es la misma para cualquier n. El n´ mero de bienes en o u el almac´n es revisado al final de cada periodo y se aplica la siguiente pol´ e ıtica de reabastecimiento: Si al final del periodo la cantidad del bien es menor o igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente hasta un nivel

34

´ 3.3. Ecuacion de Chapman-Kolmogorov

m´ximo S. Si al final del periodo el n´ mero de bienes es mayor a s, entonces no a u hay ning´ n reabastecimiento. Naturalmente s < S. Sea Xn el n´ mero de bienes al u u final del periodo n y justo antes de aplicar la pol´ ıtica de reabastecimiento. Entonces Xn es una cadena de Markov con espacio de estados {. . . , −2, −1, 0, 1, 2, . . . , S}. Se permiten valores negativos para Xn los cuales corresponden a demandas del bien no satisfechas en su momento pero que ser´n cubiertas en el siguiente reabastecimiento. a El valor de Xn+1 en t´rminos de Xn se escribe de la forma siguiente: e Xn+1 = Xn − ξn+1 S − ξn+1 si s ≤ Xn < S, si Xn ≤ s.

Las probabilidades de transici´n para esta cadena son o pij = P (Xn+1 = j | Xn = i) = P (ξn+1 = i − j) = ai−j si s < i ≤ S,

P (ξn+1 = S − j) = aS−j

si i ≤ s.

La primera expresi´n corresponde al caso cuando no hay reabastecimiento, la proo babilidad de pasar de i a j es la probabilidad de que la demanda al final de ese periodo sea de j − i pues el nuevo nivel del almac´n ser´ de i − (i − j) = j. La see a gunda expresi´n corresponde al caso cuando hay reabastecimiento y el nuevo nivel o ser´ de S − (S − j) = j, cuando la demanda sea S − j. a

3.3.

Ecuaci´n de Chapman-Kolmogorov o

Esta ecuaci´n es una f´rmula sencilla y muy util que permite descomponer la proo o ´ babilidad de pasar del estado i al estado j en n pasos, en la suma de probabilidades de las trayectorias que van de i a j, y que atraviesan por un estado k cualquiera en un tiempo intermedio r. Ecuaci´n de Chapman-Kolmogorov. Para cualesquiera n´ meros enteros r o u y n tales que 0 ≤ r ≤ n, y para cualesquiera estados i y j se cumple pij (n) =
k

pik (r) pkj (n − r).

Cap´ ıtulo 3. Cadenas de Markov

35

Demostraci´n. Por el teorema de probabilidad total y la propiedad de Markov, o pij (n) = P (Xn = j | X0 = i) =
k

P (Xn = j, Xr = k, X0 = i)/P (X0 = i) P (Xn = j | Xr = k) P (Xr = k | X0 = i) pkj (n − r) pik (r).

=
k

=
k

Gr´ficamente, las trayectorias que van del estado i al estado j en n pasos se desa componen como se muestra en la Figura 3.8. Para fines ilustrativos se dibujan las trayectorias de manera continua pero en realidad no lo son. Esta ecuaci´n es importante para hao cer ciertos c´lculos, y se usa con rea gularidad en el estudio de las cadenas de Markov. En particular, la siguiente desigualdad ser´ utilizada m´s a a adelante: Para cualquier estado k y para 0 ≤ r ≤ n, se tiene que pij (n) ≥ pik (r) pkj (n − r). Como una consecuencia importante de la ecuaci´n o de Chapman-Kolmogorov se tiene el siguiente resultado. k j

i r Figura 3.8: n

Proposici´n. La probabilidad de transici´n en n pasos, pij (n), est´ dada por o o a la entrada (i, j) de la n-´sima potencia de la matriz P , es decir, e pij (n) = (P n )ij .

Demostraci´n. Esta identidad es consecuencia de la ecuaci´n de Chapman-Kolmogorov o o aplicada n − 1 veces. La suma que aparece abajo corresponde a la entrada (i, j) de

es decir. Los eigenvalores de esta matriz est´n dados por la ecuaci´n |P − λI| = 0.i1 (1) pi1 . ··· ···  .  P = . pi. . es decir. vamos a ilustrar el proceso de diagonalizaci´n de una matriz estoc´stio a ca de dimensi´n dos. . ... Si se conoce esta matriz y si pi = P (X0 = i) es una distribuci´n inicial. pij (n) = i1 pi. o Cuando una matriz estoc´stica P es diagonalizable.i2 . = = i1 .j (n − 1) pi. p01 p11 . Como D es diagonal.. Los correspondientes eigenvectores escritos como vectores . . . las potencias de P se calculan f´cilmente pues P n = QDn Q−1 .i1 (1) pi1 . entonces o la distribuci´n de Xn es P (Xn = j) = i pi pij (n).3. . . . ··· p00 · · ·  =  p10   . Dn es la matriz a con cada elemento de la diagonal elevado a la n-´sima potencia. o    n p00 (n) .j (1) En palabras este resultado establece que el problema de calcular las probabilidades de transici´n en n pasos se transforma en obtener la n-´sima potencia de la matriz o e de probabilidades de transici´n en un paso. .i2 (1) · · · pin−1 .in−1 (P n )ij . .i2 (1) pi2 .36 ´ 3. Ecuacion de Chapman-Kolmogorov la matriz resultante de multiplicar P consigo misma n veces.i1 (1) pi1 . Consideremos nuevamente la cadena general de dos estados o 1−a b a 1−b  p10 (n)  p01 (n) p11 (n) . y resultan a o ser λ1 = 1 y λ2 = 1−a−b. e Por ejemplo.. cuando puede ser a escrita en la forma QDQ−1 en donde D es una matriz diagonal.j (n − 2) = i1 .

La matriz D es la matriz diagonal que contiene a los dos eigenvalores. para cualquier entero n ≥ 1. 1−a b a 1−b 1 1 a −b 1 0 0 1−a−b = 1 a+b b 1 a −1 . respectivamente. se cumple que P n = P . es decir. Este es el caso de la cadena de variables aleatorias independientes. es decir. Puede entonces comprobarse la identidad P = QDQ−1 . 3. 1 a 1 −b 1 a+b b a 1 −1 Q= . 1) y (a. −b). y si se cumple que a + b > 0. 1 a+b a −a −b b Ejemplo. Por lo tanto. es dea e cir. . entonces es invertible. Toda matriz estoc´stica P con renglones id´nticos es idempotente. Cadenas de Markov 37 rengl´n son (1.Cap´ ıtulo 3.4. La matriz Q esta compuesta por los o eigenvectores como columnas. Comunicaci´n o Definiremos a continuaci´n a la comunicaci´n entre dos estados de una cadena de o o Markov como la posibilidad de pasar de un estado a otro en alg´n n´ mero finito u u de transiciones. Q−1 = . Pn = = = Q Dn Q−1 1 1 1 a+b a −b b b a a 1 0 0 (1 − a − b)n + (1 − a − b)n a+b b 1 a −1 .

Observe que siempre se cumple que i → i. dos estados pertenecen al mismo elemento de la partici´n si. Por a lo tanto. e c) Es transitiva: si i ↔ j y j ↔ k. cumple las siguientes propiedades.11 tiene tres clases de comunio caci´n que son C(0) = {0}. A la clase de o comunicaci´n de un estado i o se le denotar´ por C(i). 3} y matriz de probabilidades de transici´n que se muestra en la Figura 3. 1. Se dice que el estado j es accesible desde el estado i si existe un o entero n ≥ 0 tal que pij (n) > 0. i ↔ j si. C(1) = {1. la comunicaci´n induce una partici´n del o o espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes. Es sencillo verificar que la comunicaci´n es una relaci´n de o o equivalencia. De este modo el espacio de estados de una cadena de Markov se subdivide en clases de comunicaci´n. 2} y C(3) = {3}.4. Comunicacion Definici´n. entonces j ↔ i.38 ´ 3. como lo hemos hecho antes en los ejemplos. Es evidente que el estado o 0 se comunica consigo mismo pues existe una flecha que parte de tal estado y llega .10: Ejemplo. o C(i) = C(j). Accesibilidad i j Comunicaci´n o i j Figura 3. pues por definici´n pii (0) = 1. y se escribe i ↔ j. la accesibilidad de i a j puede darse en un n´ mero u de pasos distinto que la accesibilidad de j a i. y s´lo si. 2. mediante o flechas entre nodos como se muestra en la Figura 3. La cadena de Markov con espacio de estados {0. esto se escribe simplemente como i → j. Se dice adem´s que los estados i y j son comunicantes. Adem´s o a observe que si ocurre que i ↔ j.9: C(i) C(j) S Partici´n de un espacio de estados o en clases de comunicaci´n o Figura 3. b) Es sim´trica: si i ↔ j. Gr´ficamente la accesibilidad y la a comunicaci´n se representan. entonces i ↔ k. es decir. a) Es reflexiva: i ↔ i. y s´lo si. es decir. En consecuencia.9. si se a cumple que i → j y j → i. o o tales estados se comunican.

Observe que estas clases ´ o de comunicaci´n conforman una partici´n del espacio de estados.Cap´ ıtulo 3.7 .3 0. ¿Cu´l es el n´ mero m´ximo y m´ a u a ınimo de clases de comunicaci´n que o puede existir para una cadena de Markov de n estados? Dibuje un diagrama de transici´n ilustrando cada una de estas dos situaciones.6 0 0.4 0.11 es absorbente.   a) P = 0. y ello hace que o esta clase de unicamente un estado sea de comunicaci´n. o o C(0) 1  1/2 P =  0 1/2  0 0 1/2 0 0 1/2 1/2 1/2  0 0   0  0 0 1 C(1) 3 C(3) 2 Figura 3. el estado 0 de la cadena de la Figura 3. Para la clase C(3) no existe una conexi´n f´ o o ısica del estado 3 consigo mismo.5 0 0. En otras palabras.5 0 0. Cadenas de Markov 39 a ´l mismo. por definici´n p33 (0) = 1.4 0. una cadena de Markov es irreducible si existe s´lo una clase de o  0.7 0 0. Visualmente tampoco hay duda de que la segunda colecci´n de estados e o es una clase de comunicaci´n. Por ejemplo.2 Ejercicio.3 0.11: Ejercicio. sin embargo. Dibuje un diagrama de transici´n e identifique las clases de comunicaci´n o o para las siguientes cadenas de Markov.8 0  0  0.6 b) P =  0 0 0 0 0 0 1 0. Definici´n. o El estado i de una cadena de Markov se llama absorbente si pii (1) = 1. Se dice que una cadena de Markov es irreducible si todos los estao dos se comunican entre s´ ı.

significa m´ximo com´n divisor. Dibuje un diagrama de transici´n. y definido como sigue: d(i) = m. Periodo comunicaci´n. d(1) = 2. o Por ejemplo. Periodo El periodo es un n´ mero entero no negativo que se calcula para cada estado de u una cadena. Definici´n. 3. El periodo de un estado i es un n´ mero entero no negativo denoo u tado por d(i). c) infinita e irreducible. b) finita y reducible. determine las clases de comunicaci´n o o y calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov. en donde m. d) infinita y reducible.d. Cuando pii (n) = 0 para toda a u n ≥ 1. a Ejercicio. si la partici´n generada por la relaci´n de comunicaci´n o o o o es trivial. la cadena de racha de ´xitos o la cadena de la caminata e aleatoria son cadenas irreducibles pues todos los estados se comunican entre s´ La ı. Por ejemplo. considere una cadena de Markov con diagrama de transici´n como en o la Figura 3.c. se define d(i) = 0. {n ≥ 1 : pii (n) > 0}. Ejercicio. Es f´cil comprobar que d(0) = 1.12. cadena de la Figura 3.5.c. Cuando d(i) = k ≥ 2 se dice que i es peri´dico de periodo k.5. Una interpretaci´n de este n´ mero ser´ mencionada m´s adelante y o u a a aparecer´ tambi´n dentro de los enunciados generales sobre el comportamiento a e l´ ımite de cadenas de Markov.d. En particular.11 no es irreducible pues no se cumple que todos los estados se comuniquen.40 3. Dibuje el diagrama de transici´n de una cadena de Markov que sea o a) finita e irreducible. d(2) = 2 y d(3) = 0. . es decir. se dice que un estado i es aperi´dico o si d(i) = 1.

Claramente el resultado es v´lido para i = j.   b) P =        Demostraci´n. es decir. o o entonces tienen el mismo periodo. todo entero s ≥ 1 tal que pii (s) > 0 cumple d(j)|s. a a escribiendo i por j. es decir. o Proposici´n. Se concluye entonces que d(i) = d(j). Suponga entonces que o a i y j son distintos. y j por i. El rec´ ıproco del resultado anterior es en general falso. Sea s ≥ 1 un entero cualquiera tal que pii (s) > 0. Cadenas de Markov 41 0 1 2 3 Figura 3. o De este modo uno puede hablar de clases de comunicaci´n peri´dicas. Pero d(i) divide a s de manera m´xima. ¿Puede usted dar un ejemplo de tal situaci´n? El siguiente resultado establece que despu´s de un o e n´ mero suficientemente grande de pasos. Como los estados i y j est´n en la misma clase de comunicaci´n. se obtiene d(j) ≥ d(i). Esto quiere decir que d(i)|s. Si los estados i y j pertenecen a la misma clase de comunicaci´n. Tal entero existe pues pii (n + m) ≥ pij (n) pji (m) > 0. dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. por lo tanto d(i) ≥ d(j).Cap´ ıtulo 3. Por lo tanto. a An´logamente. pjj (n + m + 2s) ≥ pji (m) pii (2s) pij (n) > 0. con probabilidad positiva toda cadena u . Por lo tanto d(j)|(n + a m + s) y d(j)|(n + m + 2s). Adem´s pjj (n + m + s) ≥ pji (m) pii (s)pij (n) > 0. Entonces d(j) divide a la diferencia (n + m + 2s) − (n + m + s) = s. o clases o o aperi´dicas.12:    0 0 0 0 1/5 0 0 0 0 1/5 0 1 0 1 1/5 0 0 1/2 0 1/5 1 0 1/2 0 1/5 a) 1/4  0 P =  0 0 1/4 1/2 0 0 1/4 1/2 0 1 1/4 0  1  0 Demostraremos a continuaci´n que el periodo es una propiedad de clase. o todos los estados de una misma clase de comunicaci´n tienen el mismo periodo. a o existen enteros n ≥ 1 y m ≥ 1 tales que pij (n) > 0 y pji (m) > 0. De manera an´loga.

d. Se puede entonces concluir que para toda n ≥ N . Suponga entonces que n1 . . Sea d = m. . . Como corolario de la proposici´n anterior se tiene el siguiente resultado: Si es o posible pasar de i a j en m pasos. . .{n1 . Por el resultado anterior. Como d(i) es divisor de cada entero n1 . Defina N = M q. nk son enteros o tales que pii (n1 ) > 0. .c. se tiene que d(i)|d. Ahora se hace uso del siguiente resultado cuya demostraci´n puede encontrarse en [19]. Proposici´n.{n1 . o se cumple pii (nd(i)) > 0. nk .c. . Demostraci´n. suponiendo d(j) > 0. pii (nk ) > 0. nk }. entonces d(i) = 0 y por lo tanto la o afirmaci´n es v´lida pues pii (0) = 1.. Entonces existe un entero M tal que para cada m ≥ M existen enteros no negativos c1 . . . y por lo tanto existe un entero q tal que qd(i) = d. para n suficientemente grande. Por lo tanto. nk enteros no negativos y sea d = m. . . . sin embargo la interpretaci´n de recurrencia o a o peri´dica no se aplica en este caso. se tiene o que pij (m + nd(j)) ≥ pij (m) pjj (nd(j)) > 0. pii (nd(i)) > 0. . para cada m ≥ M . entonces tambi´n es posible tal transici´n en e o m + nd(j) pasos con n suficientemente grande. . . md = c1 n1 + · · · + ck nk . nk } ≥ d(i). pii (md) = pii (mqd(i)) > 0. . . . . u Proposici´n. Periodo puede regresar a cada estado i cada d(i) pasos.42 3. Demostraci´n. . ck . . entonces existe un entero N o u tal que para toda n ≥ N se cumple pij (m + nd(j)) > 0. y por lo tanto pii (md) = pii (c1 n1 + · · · + ck nk ) ≥ pii (c1 n1 ) · · · pii (ck nk ) > 0. Para cada estado i. Si pii (n) = 0 para cada n ≥ 1.d. Si pij (m) > 0 para alg´ n entero m. .5. . . . para algunos enteros c1 . . o Sean n1 . . . . Entonces existe un entero no negativo M tal que para cada m ≥ M . Esta es la raz´n por la que a tal o n´ mero se le llama periodo. . ck tales que md = c1 n1 + · · · + ck nk .. existe un entero N tal que para toda n ≥ N . .

si ello eventualmente sucede.6. . . o Definici´n. son casos particulares sencillos. El tiempo de primera visita al conjunto A es la variable aleatoria τA = m´ {n ≥ 1 : Xn ∈ A} ın ∞ si Xn ∈ A para alg´ n n ≥ 1. Cuando i = j se escribe simplemente τi . Cadenas de Markov 43 3. . Sea A un subconjunto del espacio de estados de una cadena de o Markov Xn . Para la cadena de racha de ´xitos se tiene que e a) P (τ01 = n) = q n−1 p para n = 1. . Ejemplo. Estaremos interesados o principalmente en el caso cuando el conjunto A consta de un solo estado j. a) P (τ01 = n) = (1 − a)n−1 a. . sin embargo. b) P (τ00 = n) = pn−1 q para n = 1. τA es el primer momento positivo en el cual la cadena toma un valor dentro de la colecci´n de estados A. Considere la cadena de Markov de dos estados. Primeras visitas En ocasiones interesa estudiar el primer momento en el que una cadena de Markov visita un estado particular o un conjunto de estados. . . . a) P (τij = 1) = pij (1). Es inmediato comprobar que b) P (τ00 = n) = a(1 − b)n−2 b. Definiremos a continuaci´n o este tiempo aleatorio y despu´s demostraremos una f´rmula util que lo relaciona e o ´ con las probabilidades de transici´n. . Ejercicio. . Ejemplo. 2. Demuestre las siguientes igualdades. y si suponemos que la cadena inicia en i. . . 2. para n = 1. Es decir. u otro caso. 3. los siguientes o ejemplos. para n = 2. 2.Cap´ ıtulo 3. En general no es f´cil a encontrar la distribuci´n de probabilidad de esta variable aleatoria. . entonces el tiempo de primera visita al estado j se escribe τij .

. es decir. La prueba se basa en la siguiente descomposici´n que involucra o o . Primeras visitas pik (1) pkj (1). o en el segundo paso. . y que fii (1) es simplemente pii . ı ´ Proposici´n. Xn−1 = j. o n pij (n) = k=1 fij (k) pjj (n − k). saber esto ayuda a recordar su significado. . Otra forma equivalente de escribir a la probabilidad de primera visita es a trav´s e de la expresi´n fij (n) = P (Xn = j. llegue al estado j por primera vez en exactamente n pasos. y as´ sucesivamente. incluyendo el caso i = j.44 b) P (τij = 2) = k=j 3. fij (n) = P (τij = n). Para cada n ≥ 1. En particular. Para cada n ≥ 1. puede descomponerse en las probabilidades de los eventos disjuntos en los que se presenta la primera visita. k=j c) P (τij = n + 1) = para n ≥ 1. hasta el ultimo momento posible n. El uso de la letra f para esta e probabilidad proviene el t´rmino en ingl´s first para indicar que es la probabilidad e e de primera visita. a partir de i. Adicionalmente se define fij (0) = 0. El siguiente resultado establece que la probabilidad de visitar el estado j.2) Demostraci´n. en n pasos. o observe que fii (n) es la probabilidad de regresar por primera vez al mismo estado i en el n-´simo paso.6. X1 = j | X0 = i). (3. pik (1) P (τkj = n). Definici´n. . el n´ mero fij (n) denota la probabilidad de que o u una cadena que inicia en el estado i. la cual puede efectuarse en el primer paso.

Se usa adem´s la propiedad de Markov. en una primera instancia. iniciando en ´l.2) para demostrar que para cada n ≥ 1. (I) Se dice que un estado i es recurrente si la probabilidad de o eventualmente regresar a i. y cuando ello ocurre en alg´ n mou mento finito. Debido a este comportamiento es que al estado en cuesti´n se le o llama recurrente. .7. . Xk−1 = j. a pij (n) = = k=1 n 45 P (Xn = j | X0 = i) n P (Xn = j. Xk = j. . . En cambio. se puede regresar a ´l una y otra vez con e probabilidad uno. . . En e . X1 = j | X0 = i) pjj (n − k) fij (k). por la propiedad de Markov. . en dos tipos. Un estado que no es recurrente se llama transitorio. partiendo de i.Cap´ ıtulo 3. y en tal caso la probabilidad anterior es estrictamente menor a uno. Recurrencia y transitoriedad Veremos a continuaci´n que los estados de una cadena de Markov pueden ser clasio ficados. = k=1 n = k=1 Ejercicio. un estado es recurrente si con probabilidad uno la cadena es capaz de regresar eventualmente a ese estado. Xk−1 = j. dependiendo si la cadena es capaz de regresar con certeza al estado de partida. X1 = j | X0 = i) P (Xn = j | Xk = j) P (Xk = j. . si P (Xn = i para alguna n ≥ 1 | X0 = i) = 1. Definici´n. es decir. Cadenas de Markov eventos disjuntos. el estado se llama transitorio si existe una probabilidad positiva de que la cadena. se cumple la desigualdad pij (n) ≤ P (τij ≤ n). Use (3. 3. De manera intuitiva. es uno. ya no regrese nunca a ese estado.

es el n´ mero u fij = ∞ n=1 fij (n). Sea Ni la variable aleatoria que cuenta el n´ mero de veces que el o u ∞ proceso regresa al estado i. Ni = n=1 1(Xn =i) . a partir del estado i. un estado i es e a transitorio si fii < 1. Demostraci´n. recurrente si. pii (n) < ∞. a partir de i. (II) Un estado i es recurrente si fii = 1. Definici´n. (Criterio para la recurrencia) El estado i es o 1. Recordemos que fij (n) es la probabilidad de que la primera visita al estado j. Siendo estos eventos disjuntos u para valores distintos de n. la probabilidad de una eventual e visita al estado j.7. cuando X0 = i. Entonces . Proposici´n. An´logamente. De este modo la definici´n de recurrencia y transitoriedad puede o enunciarse de manera equivalente de la siguiente forma. y s´lo si o ∞ n=1 ∞ n=1 pii (n) = ∞. es decir. tenemos el siguiente criterio util para determinar si un a o ´ estado es recurrente o transitorio. esta suma representa la probabilidad de una posible visita al estado j. Recurrencia y transitoriedad t´rminos de las probabilidades de primera visita. y s´lo si o 2.46 3. se efect´ e exactamente en el paso n. transitorio si. si la probabilidad o de regresar a ´l en un tiempo finito es uno. es decir. Adem´s de la definici´n.

X0 = i) P (Xm = i. si fii = 1. E(Ni | X0 = i) = = ∞ k=1 ∞ k=1 P (Ni ≥ k | X0 = i) (fii )k si 0 ≤ fii < 1. . puede calcularse de las siguientes dos formas. . . . . X1 = i. Cadenas de Markov Ni tiene una distribuci´n geom´trica pues para k ≥ 1. o E(Ni | X0 = i) = = = ∞ n=1 ∞ n=1 ∞ n=1 fii 1 − fii  ∞ E(1(Xn =i) | X0 = i) P (Xn = i | X0 = i) pii (n). . . Xm = i. La esperanza de Ni . . X1 = i | X0 = i) P (Ni ≥ k − 1 | X0 = i) fii (m) = = P (Ni ≥ k − 1 | X0 = i) fii . =   Por otro lado. por el teorema de convergencia mon´tona. Xm−1 = i. = P (Ni ≥ 1 | X0 = i) (fii )k−1 = (fii )k . El resultado se sigue de igualar estas dos expresiones. . . Primero. Xm−1 = i. . . o e P (Ni ≥ k | X0 = i) = = ∞ m=1 ∞ m=1 ∞ m=1 47 P (Ni ≥ k. X1 = i | X0 = i) P (Ni ≥ k | Xm = i. . . Xm−1 = i. . posiblemente infinita.Cap´ ıtulo 3.

existen enteros n ≥ 1 y m ≥ 1 tales que pij (n) > 0 o y pji (m) > 0. un estado i es transitorio si. en el caso sim´trico. e Demostraremos a continuaci´n que la recurrencia y la transitoriedad son propieo dades de clase. a o . y s´lo si. Entonces pjj (m + n + r) ≥ pji (m) pii (r) pij (n).7. e Ejemplo. j es recurrente. o ∞ r=1 pjj (m + n + r) ≥ pji (m) ∞ r=1 pii (r) pij (n). entonces j es recurrente. confirmando nuevamente la recurrencia del estado 0 y de la cadena. es decir. Recurrencia y transitoriedad Siguiendo con la notaci´n de la demostraci´n anterior. Se sigue entonces que la suma del lado izquierdo tambi´n lo es. La segunda afirmaci´n e o se demuestra f´cilmente por contradicci´n usando el primer resultado. la suma del lado derecho es infinita. Como i ↔ j. De modo que. Considere una caminata aleatoria sobre Z. Si i es recurrente. observe que la esperanza o o E(Ni | X0 = i) es el n´ mero promedio de retornos al estado i. e La cadena es transitoria cuando es asim´trica. Estimando los factoriales mediante la f´rmula de o n 2 √ ∞ Stirling: n! ≈ 2π nn+1/2 e−n . de modo que un u estado i es recurrente si. 2. Siendo la cadena irreducible. hemos encontrado tambi´n la f´rmula e o pii (n) = 12n 21 . es decir. para n par. el n´ mero promedio de o u retornos a ´l es finito. a o entonces ambos estados son recurrentes o ambos son transitorios. En el primer cap´ ıtulo de∞ mostramos que n=0 f00 (n) = 1 − |p − q|. o u e En contraparte.48 3. es decir. Demostraci´n. puede comprobarse que n=0 p00 (n) = ∞. por la ecuaci´n de Chapman-Kolmogorov. la cadee na toda es recurrente. y s´lo si. Proposici´n. De aqu´ hemos concluido que el esı tado 0 es recurrente en el caso sim´trico. o 1. Si i es transitorio e i ↔ j. Alternativamente. si dos estados est´n en una misma clase de comunicaci´n. entonces j es transitorio. Si i es recurrente e i ↔ j. el n´ mero promedio de retornos a ´l es infinito. La recurrencia es una propiedad de clase.

13. 1−p Dado que la cadena es irreducible y la recurrencia es una propiedad de clase. y se dice que la cadena es recurrente. aquellos que son transitorios y aquellos que son recurrentes. 1). cualquier otro estado es recurrente. o Ejemplo. Por lo tanto. b Ejemplo. la cadena es recurrente. Tal partici´n se mueso tra en la Figura 3. La cadena de dos estados es irreducible y recurrente cuando a. De este modo el espacio de estados de una cadena de Markov puede descomponerse en dos subconjuntos ajenos de estados.13: conste de varias clases de comunicaci´n recurrentes. Cada uno de estos subconjuntos puede constar de ninguna. todos los recurrentes transitorios estados lo son. b ∈ (0. En contraparte. Cadenas de Markov 49 En consecuencia. Ejercicio. Por lo tanto. f00 = ∞ n=1 f00 (n) = (1 − a) + ab ∞ n=2 (1 − b)n−2 = (1 − a) + ab = 1. y f00 (n) = a(1 − b)n−2 b para n ≥ 2. ya sea conformando una sola clase de comunicaci´n o de estados transitorios o varias de ellas. Considere la cadena de rachas de ´xitos. una o varias clases de comunicaci´n. cuando una cadena es irreducible y alg´ n u estados estados estado es recurrente. En efecto. Determine las clases de comunicaci´n de las siguientes cadenas de Maro kov y clasifique ´stas como recurrentes o transitorias. en tal o caso la cadena tambi´n se llama recurrente. tenemos que f00 (1) = 1 − a. e .Cap´ ıtulo 3. En este caso es sencillo demostrar e que el estado 0 es recurrente pues f00 = ∞ n=1 f00 (n) = q(1 + p + p2 + · · · ) = q = 1. una cadena es transie toria si todos los estados lo son. Tambi´n e puede presentarse la situaci´n o Descomposici´n del espacio de estados o en donde el espacio de estados Figura 3.

u Veremos a continuaci´n algunos ejemplos de aplicaci´n del criterio anterior. . Sumando n=1 ∞ sobre el conjunto finito de todos los posibles estados j se obtiene j n=1 pij (n) < ∞. o o Proposici´n. por el teorema de Fubini. Por lo tanto es err´neo suponer que todos los estados son transitorios. Usando (3. Para cualquier estado inicial i. o ∞ n=1 pij (n) = = ∞ n−1 n=1 k=0 ∞ ∞ k=0 m=1 fij (n − k) pjj (k) = fij (m) pjj (k) = fij ∞ ∞ k=0 n=k+1 ∞ k=0 fij (n − k) pjj (k) ∞ k=0 pjj (k) ≤ pjj (k) < ∞. En consecuencia. debe existir por lo menos uno que es recurrente. l´ pij (n) = 0. Toda cadena de Markov finita tiene por lo menos un estado o recurrente. suponga que todos los estados son transitorios.2). Por contradicci´n. o o Entonces para cualesquiera estados i y j.50 1/2 0 0 1/2 1/2 1/2 3. se o ∞ cumple que n=1 pij (n) < ∞. Proposici´n. intercambiando el orden de las sumas se llega a la afirmaci´n o ∞ contraria. Demostraci´n.7. Por otro lado. b) todos sus estados sean transitorios. c) tenga igual n´ mero de estados transitorios y recurrentes. Recurrencia y transitoriedad 1/2  0 P = 0 1/4 a) P = 0 1/2 1/2 b)  1/2 1/2 1/2 1/4 0 1/2 1/2 1/4 Ejercicio. ım n→∞ 0 0  0  1/4  Demostraci´n. ∞ o n=1 j pij (n) = n=1 1 = ∞. Sea j un estado transitorio. se cumple ∞ pij (n) < ∞. Dibuje un diagrama de transici´n de una cadena de Markov tal que: o a) todos sus estados sean recurrentes.

con la posibilidad ın de que tome el valor infinito. M´s adelante dea mostraremos que en tal caso. 3. y representa el n´ mero de pasos promedio que a la cadena le toma regresar u al estado recurrente j. Definici´n. a partir de cualquier estado i. b ∈ (0. Tenemos que f00 (1) = 1 − a. Recordemos que cuando el tiempo de primera visita se refiere al mismo estado de inicio y de llegada j. se escribe τj en lugar de τjj . Tiempo medio de recurrencia Hemos visto que si una cadena de Markov inicia en un estado recurrente. En este caso el tiempo medio de recurrencia se escribe simplemente como µj . µij = E(τij ) = ∞ n=1 nfij (n). se define como la esperanza de τij . toda cadena finita e irreducible es recurrente. La cadena de Markov de dos estados es irreducible y recurrente cuando a. Por lo . El tiempo medio de recurrencia de un estado recurrente j.Cap´ ıtulo 3. como la variable aleatoria discreta τij = m´ {n ≥ 1 : Xn = j | X0 = i}.8. Vamos a definir el tiempo medio de recurrencia como la esperanza de esta variable aleatoria en el caso cuando el estado a visitar es recurrente. Ejemplo. Cadenas de Markov 51 En consecuencia. entonces regresa a ´l una infinidad de veces con probabilidad uno. y f00 (n) = a(1 − b)n−2 b para n ≥ 2. y se denota por µij . 1). es decir. Vamos a calcular los tiempos medios de recurrencia de estos dos estados. Esta esperanza puede ser finita o infinita. con probabilidad uno la cadena visita cada uno de sus estados una infinidad de veces. a partir o del estado i. Y hemos definido el e tiempo de primera visita a un estado j.

Es claro que esta clase es cerrada pues de lo contrario. Por lo tanto no es posible salir de una clase de comunicaci´n o / o recurrente.9. e i → j. si i es un estado absorbente.52 tanto. Observe que 1/µ0 +1/µ1 = 1. o bien intercambiando los valores de a y b. entonces la colecci´n {i} es claramente o una clase cerrada. m´s adelante explicaremos la raz´n de a o ello. e distintos. i → j. Esa propiedad hace a este subconjunto de estados un subsistema propio de la cadena de Markov.9. . Clases cerradas nf00 (n) = = = (1 − a) + ab ∞ n=2 n(1 − b)n−2 (1 − a) + ab ( a+b . Por lo tanto i ↔ j. si para u cualquier i ∈ C y j ∈ C . 3. Observe tambi´n que estos dos tiempos medios de recurrencia son. El siguiente resultado es una especie de rec´ ıproco de lo que acabamos de mencionar. en general. es decir. Como un ejemplo adicional considere cualquier clase de comunicaci´n recurrente. se encuentra que a µ1 = (a+b)/a. contrario a la hip´tesis j ∈ C . µ0 = ∞ n=1 3. no se puede pasar a cualquier otro estado fuera del subconjunto. b b+1 ) b2 De manera an´loga. si i ∈ C o y j ∈ C con C recurrente. y entonces j ∈ C . Esto ejemplifica el hecho de que los tiempos medios de recurrencia no son necesariamente id´nticos para cada elemento de una misma clase de comunicaci´n e o recurrente. Definici´n. entonces necesariamente j → i pues hemos / supuesto que i es recurrente. Una colecci´n de estados no vac´ C es cerrada si ning´ n estao o ıa u do fuera de C es accesible desde alg´ n estado dentro de C . Clases cerradas Las clases cerradas son subconjuntos de estados de una cadena de Markov que cumplen la propiedad de que partiendo de cualquiera estado de este subconjunto. / / Por ejemplo.

cuando X0 = i. Toda colecci´n de estados que es cerrada e irreducible es una o o clase de comunicaci´n. se escribe Ni (n) en lugar de Nii (n). cuando X0 = i. Sea C una colecci´n no vac´ de estados que es irreducible y cerrada. Cadenas de Markov 53 Proposici´n. Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios respecto de los recurrentes. para cualquier tiempo finito n se define la variable aleatoria n Nij (n) = k=1 1(Xk =j) . N´ mero de visitas u En esta secci´n vamos a estudiar la variable aleatoria que registra el n´ mero de o u visitas que una cadena realiza sobre un estado j a partir del estado i. es decir.10. Observe que 0 ≤ Nij (1) ≤ Nij (2) ≤ · · · . todos sus estados se comunican y por lo tanto deben pertenecer a la misma clase de comunicaci´n. es decir.Cap´ ıtulo 3. o Demostraci´n. 3. Por lo tanto C = C(i). lo cual contradice el ıa. entonces i → j. Entonces C ⊆ C(i) pues como C es irreducible. de modo que la diferencia o C(i) − C es vac´ si existiera j ∈ C(i) − C . o o ıa y sea i ∈ C . no es posible salir de tal colecci´n. o Como C es cerrada. supuesto de que C es cerrada. Cuando los estados i y j coinciden. . se trata de una sucesi´n mon´tona creciente o o de variables aleatorias no negativas que converge casi seguramente a la variable Nij = ∞ k=1 1(Xk =j) .

2. o 1. P (Nij < ∞) = 1 − fij fij (fjj )k−1 (1 − fjj )  si  0    fij si pij (n) =  1 − fjj    ∞ si 0 fij 1 1 − fij si j es transitorio. Para demostrar el caso k ≥ 1 se usa an´lisis del primer paso. si j es transitorio. P (Nij = k) = 1 fij (fjj )k−1 si k = 0. si k ≥ 1. si k = 0. E(Nij ) = ∞ n=1 4. si k ≥ 1. fij = 0 y fjj = 1. si j es recurrente. P (Nij = ∞) = 5. a P (Nij ≥ k) = = = ∞ n=1 fij (n) P (Njj ≥ k − 1) fij P (Njj ≥ k − 1) fij (fjj )k−1 . si j es recurrente.54 ´ 3. La primera parte de esta igualdad es evidente. P (Nij ≥ k) = 2. Numero de visitas Proposici´n. . o 1. 0 ≤ fjj < 1. fij = 0.10. Demostraci´n. Este resultado se sigue de la primera f´rmula y de la igualdad P (Nij = k) = o P (Nij ≥ k) − P (Nij ≥ k + 1). 3. Para cualesquiera estados i y j.

. Cadenas de Markov 3. ∞}. usando la primera f´rmula o E(Nij ) = = ∞ k=1 ∞ k=1 P (Nij ≥ k) fij (fjj )k−1 si fij = 0. si 0 ≤ fjj < 1. Por el teorema de convergencia mon´tona. si j es recurrente. 1. . = 4.Cap´ ıtulo 3. si fij = 0 y fjj = 1. La variable aleatoria discreta o Nij toma valores en el conjunto {0. Por otro lado. o   0    fij   1 − fjj   ∞ k→∞ k→∞ P (Nij = ∞) = = = l´ P (Nij ≥ k) ım 0 fij si j es transitorio. l´ fij (fjj )k−1 . ım 5. Por la primera f´rmula. . Esta probabilidad es el complemento de la anterior. Distribuci´n de probabilidad de la variable Nij . . o E(Nij ) = = = E( ∞ n=1 ∞ n=1 ∞ n=1 55 1(Xn =j) | X0 = i) E(1(Xn =j) | X0 = i) pij (n). La funci´n de probabilidad que o hemos encontrado para esta variable incluye los siguientes casos: .

a) Si j es transitorio. b) Si fij > 0 y fjj = 1. La cadena de racha de ´xitos es irreducible y recurrente. entonces para cualquier valor de k ≥ 1. esto es lo que o u dice la f´rmula 5. Pero u o si la cadena visita j alguna vez (fij > 0). es decir. si se puede pasar de i a j y j es recurrente. es decir la probabilidad se concentra completamente en el valor 0. con probabilidad uno la cadena realiza s´lo un n´ mero finito de visitas al estado j. E(Nij ) = ∞ pij (n) < ∞. entonces con probabilidad uno la cadena regresa a j una infinidad de veces. entonces existe la posibilidad de que la cadena nunca visite j (fij = 0). Si la cadena inicia en cualquier u otro estado i. Se trata entonces de una medida de probabilidad concentrada en los valores 0 e ∞. Numero de visitas a) Si fij = 0. Por lo tanto. o n=1 encontramos nuevamente que l´ pij (n) = 0. la f´rmula 4 demuestra que toda cadena de Markov irreducible y recurrente. el n´ mero promedio de regresos a ´l es infinito. entonces no es posible visitar j a partir de i. transitoriedad y n´ mero esperado de visitas. Mientras que P (Nij = 0) = 1−fij . es decir. A partir de u estas f´rmulas podemos ahora distinguir el comportamiento del n´ mero de visitas o u en los casos cuando el estado j es transitorio o recurrente. si se puede pasar de i a j y j es transitorio. es decir. entonces la probabilidad se distribuye sobre los valores finitos 0. el n´ mero promedio de regresos es finito. o Recurrencia. y s´lo si. Anteriormente hab´ ıamos demostrado un criterio para la transitoriedad y la recurrencia del estado i en t´rminos de la convergencia o divergencia de la serie e ∞ pii (n). En vista de la f´rmula 3 ahora podemos corroborar que un estado o n=1 i es recurrente si. y el n´ mero esperado de visitas a tal estado es siempre finito o u por la f´rmula 3 con fjj < 1. Tambi´n en partio u e cular. ım n→∞ b) Si j es recurrente. . o y el n´ mero esperado de visitas al estado j es infinito. entonces regresar´ a j una infinidad de a veces. 1.10.56 ´ 3. o visita cada uno de sus estados una infinidad de veces con probabilidad uno. y el n´ mero esperado de visitas al estado j es infinito por la f´rmula 3 con u o fij > 0 y fjj = 1. P (Nij ≥ k) = fij . como indica la f´rmula 2. esto es lo que dice la f´rmula 4 con fij = fjj = 1. . c) Si fij > 0 y fjj < 1. y el n´ mero esperado de visitas es naturalmente cero (f´rmula 3 con fij = 0). y s´lo si. Ejemplo. . . y por lo tanto P (Nij = 0) = 1. y por lo tanto P (Nij = ∞) = fij . Por lo tanto con e probabilidad uno visita cada uno de sus estados una infinidad de veces. y si se inicia en j. y es o u e transitorio si. entonces sin importar el estado inicial i.

. 1. Las posibles transiciones de un estado a otro a y las correspondientes probabilidades se muestran en la Figura 3. y que a lo hace de manera continua generando una sucesi´n lineal de caracteres. Es claro que las variables Xn toman valores en el conjunto e {0. T´cnicamente e existen algunas otras posibles transiciones de algunos estados en otros. y dado que los caracteres se generan de manera independiente. y sin ning´ n error. Cada uno o de los caracteres tiene la misma probabilidad de aparecer y se genera un caracter independientemente de otro. . . se trata de un mo´ delo de rachas de ´xitos. 0 0 ··· ··· ··· ··· 0 0 0 0 0 0 . . N }. Sea Xn el n´ mero de caracteres correctos obtenidos inmediatamenu te antes e incluyendo el ultimo momento observado n. p 0        1 2 3 N Figura 3. . .14. y P (Xn+1 = 0 | Xn = x) = (m − 1)/m. . ¿Cu´l es la probabilidad de que eventualmente el mono a a escriba exactamente. es decir. El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n + 1. . .14: Como puede observarse. las obras completas de Shakespeare? Puede u encontrarse la respuesta a esta pregunta de varias formas [30]. ´ se trata efectivamente de una cadena de Markov. q q p 0 . Suponga que un mono escribe caracteres al azar en una m´quina de escribir. . . se trata de una matriz finita e irreducible pues todos los estados se comunican. Imaginemos entonces que un mono escribe caracteres al azar en una m´quina de escribir. 0    P =    q q . el valor de Xn+1 depende unicamente del valor de Xn y no de los anteriores. Usaremos la teor´ ıa de cadenas de Markov para demostrar que esta probabilidad es uno. Considerando entonces un conjunto de s´ ımbolos de m caracteres se tiene que P (Xn+1 = x + 1 | Xn = x) = 1/m. y denotaremos a la probabilidad de tal evento por p.Cap´ ıtulo 3. pero ello no modifica substancialmente el comportamiento cualitativo del modelo. ıan tal probabilidad ser´ denotada por q. y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Cadenas de Markov 57 Ejemplo: El problema del mono. . Por lo tanto es recurrente. Sea m el total de caracteres disponibles que se pueden imprimir. 0 p 0 p . es decir. Entonces con probabilidad uno . 2. La segunda igualdad refleja la situaci´n de cometer un error en el o siguiente caracter generado cuando ya se hab´ obtenido x caracteres correctos.

a Teorema erg´dico para cadenas de Markov. . y ello suceder´ una infinidad de veces con probabilidad uno. Njj (n) Njj (n) Njj (n) . cada vez que la cadena visita el estado N el mono concluye una sucesi´n exitosa o de caracteres. P (τij < ∞) = 1. . Dada la recurrencia e ın irreducibilidad. Demostraci´n. 2. En particular.58 ´ 3. entonces ambos lados de la igualdad se o anulan. Por lo tanto es suficiente demostrar la convergencia para Njj (n)/n pues Nij (n) n→∞ n l´ ım = = = = Nij (τij + n) n→∞ τij + n 1 + Njj (n) l´ ım n→∞ τij + n Njj (n) n l´ ım n→∞ n τij + n Njj (n) l´ ım . son independientes. . y usando la propiedad fuerte de Markov puede demostrarse que las variables Y (1).. El tiempo de primera visita al estado j a partir de i es τij = m´ {n ≥ 1 : Xn = j | X0 = i}. Sabemos que el tiempo medio de recurrencia es E(Y (k)) = µj . para j = 1. (3. Si la cadena es transitoria.10. . Se tienen entonces las siguientes estimaciones Y (1) + · · · + Y (Njj (n)) n Y (1) + · · · + Y (Njj (n) + 1) ≤ ≤ . y entonces para cualquier n ≥ 1 se cumple la identidad Nij (τij + n) = 1 + Njj (n). Suponga que la cadena es recurrente. Numero de visitas la cadena visita cada uno de sus estados una infinidad de veces. . Para cualesquiera estados i o y j de una cadena de Markov irreducible se cumple que l´ ım Nij (n) 1 = n µj c. n→∞ n l´ ım Sea Y (k) la variable que registra el n´ mero de pasos que transcurren entre la visita u k − 1 y la visita k que la cadena realiza al estado j. Y (2). .3) n→∞ siendo este l´ ımite cero cuando µj = ∞.s.

entonces regresa a ´l una infinidad de veces con probabilidad uno. de modo que por la ley de los grandes n´ meros.3). Consideremos entonces que j es un estado recurrente. cuando n → ∞. l´ ım Njj (n) 1 = n µj c. Recurrencia positiva y nula Hemos visto que si una cadena de Markov inicia en un estado recurrente. se cumple que E( l´ ım Nij (n) ) n 1 E(Nij (n)) n n 1 = l´ ım pij (k) n→∞ n = n→∞ n→∞ l´ ım k=1 = 1 . los dos extremos de esta desigualdad convergen a µj casi u seguramente. Njj (n) → ∞. el n´ mero πj = 1/µj o u es el tiempo promedio que la cadena permanece en el estado j a largo plazo. esta recue rrencia puede presentarse de dos formas: cuando el tiempo promedio de retorno es finito o cuando es infinito. Cadenas de Markov 59 Por la recurrencia. µj En particular. Por lo tanto. cuando el tiempo medio de recurrencia µj es infinito.Cap´ ıtulo 3. y para una cadena irreducible.11.s. a partir de cualquier otro estado . Tomando esperanza en (3. k=1 3. Sin embargo. El tiempo de primera visita a este estado. por el teorema de convergencia dominada. Esto lleva a la definici´n de recurrencia positiva y o recurrencia nula respectivamente. n→∞ Interpretaci´n: Para una cadena de Markov irreducible. se tiene que l´ ım 1 n n n→∞ pij (k) = 0. y a´ n m´s u a particularmente cuando el estado j es transitorio.

dos estados en una misma clase o de comunicaci´n recurrente. b) si i es recurrente nulo e i ↔ j. o Sea i un estado recurrente. Nuevamente cuando el tiempo medio de recurrencia se refiere al mismo estado recurrente de inicio y de llegada i. (La recurrencia positiva o nula es una propiedad de clase).60 3. Adem´s existen enteros no negativos n y m tales que pij (n) > 0 a . Recurrencia positiva y nula i. a partir o del estado i. Se dice que un estado recurrente i es o a) recurrente positivo si µi < ∞. Es decir. Demostraci´n. µij = E(τij ) = ∞ n=1 nfij (n). Como hemos mencionado. se tiene que j es tambi´n un e estado recurrente. Demostraremos la primera. b) recurrente nulo si µi = ∞. Definici´n. Demostraremos a continuaci´n que la recurrencia positiva y la recurrencia nula son o propiedades de las clases de comunicaci´n. esta esperanza puede ser finita o infinita. o Definici´n. Observe que es suficiente demostrar cualquiera de estas afirmacioo nes. y ello lleva a la siguiente clasificaci´n de estados recurrentes. Como i ↔ j. son ambos recurrentes positivos o recurrente nulos. Recordemos ın que cuando el tiempo de primera visita se refiere al mismo estado recurrente de inicio y de llegada i. se escribe simplemente como µi . entonces j es recurrente positivo. El tiempo medio de recurrencia de un estado recurrente j. La esperanza de esta variable aleatoria es naturalmente el tiempo medio de recurrencia. o Proposici´n. es decir. se define como la esperanza de τij .11. entonces j es recurrente nulo. Entonces a) si i es recurrente positivo e i ↔ j. i es recurrente y es tal que µi < ∞. es decir. Suponga que i es un estado recurrente positivo. es la variable aleatoria discreta τij = m´ {n ≥ 1 : Xn = j | X0 = i}. se escribe simplemente como τi en lugar de τii . y se denota por µij .

1 N N N 61 k=1 pjj (n + m + k) ≥ pji (m) 1 N pii (k) pij (n). es decir. Cadenas de Markov y pji (m) > 0. el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos de estados: transitorios. es decir. y por lo tanto la cadena entera es recurrente nula. Sumando para k = 1. e De esta forma. este e cociente se hace infinito. Esto demuestra que el estado 0 es recurrente nulo. o estados transitorios estados recurrentes nulos estados recurrentes positivos Descomposici´n del espacio de estados o Figura 3. o varias clase de comunicaci´n. En el primer cap´ ıtulo demostramos que para la caminata aleatoria sobre Z.Cap´ ıtulo 3. . pjj (n + m + k) ≥ pji (m) pii (k) pij (n). k=1 Haciendo N → ∞ se obtiene 1 1 ≥ pji (m) pij (n) > 0.15: Ejemplo. Esto se muestra en la Figura 3. . j es recurrente positivo. n f00 (n) = √ 1 − 4pq n=0 ∞ En el caso sim´trico. en el caso en el que la cadena es recurrente. el tiempo promedio de regreso al estado 0 es µ0 = 4pq . N . Entonces para cualquier entero natural k. recurrentes positivos y recurrentes nulos.15. y dividiendo entre N . Cada una de estas colecciones de estados puede estar constituida por ninguna. . . una. µj µi Por lo tanto tambi´n µj es finito. .

62 3. µj Para que esta suma sea uno debe existir por lo menos un valor de j en C tal que µj < ∞. Demostraremos ahora que la cadena de Markov de rachas de ´xitos es e recurrente positiva. Demostraci´n.11. Hemos aprovechado la facilidad del c´lculo de las probabilidades a de primer regreso al estado 0. Comprobaremos que el tiempo medio de recurrencia del estado 0 es finito. Proposici´n. Sea j un estado recurrente y sea C su clase de comunicaci´n. Por lo tanto el tiempo medio de recurrencia de cada estado es finito. No existen estados recurrentes nulos en cadenas de Markov finio tas. Para cualquier i ∈ C. 1−p Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena irreducible. es recurrente positiva. Demostraremos ahora que para cadenas finitas s´lo puede haber dos tipos o de estados: transitorios o recurrentes positivos. En efecto. Demostraremos a que µj < ∞. y k natural. La o o clase C es cerrada y adem´s es finita pues la cadena completa lo es. j∈C Entonces 1 n n pij (k) = k=1 j∈C j∈C 1 n n pij (k) = 1. µ0 = ∞ n=1 n f00 (n) = ∞ n=1 n (1 − p)pn−1 = (1 − p) ∞ n=1 n pn−1 = 1 < ∞. k=1 Haciendo n → ∞. por el teorema erg´dico aplicado a la clase cerrada C se obtiene o j∈C 1 = 1. Recurrencia positiva y nula Ejemplo. Recordemos que dicha cadena es irreducible y recurrente. pues de lo contrario cada sumando ser´ cero y la suma total no ıa . Se ha demostrado antes que toda cadena finita tiene por lo menos un estado recurrente. pij (k) = 1.

ı De esta forma se obtiene una sucesi´n infinita de distribuciones de probabilidad o π(0). .Cap´ ıtulo 3. . En general. Por lo tanto existe un estado j que es recurrente positivo. excepto la primera. . πN (0)). . . Observe que en particular. Cadenas de Markov 63 podr´ ser uno. π1 (1). π(n + 1) = π(n) P = π(0) P n+1 . . . . Dado ıa que la recurrencia positiva es una propiedad de clase. π1 (0). . en donde cada una de ellas. . 1. π(1). . Es decir. . todos los elementos de C son recurrentes positivos. y una distribuci´n de probabilidad inicial o π(0) = (π0 (0). o e o   A su vez la distribuci´n π(1) se transforma en π(2) a trav´s de la ecuaci´n π(2) = o e o π(1) P = π(0) P 2 . todos los estados de una cadena finita e irreducible son recurrentes positivos. . Despu´s de transcurrida la primera unidad de e tiempo. π(2). Para explicar la situaci´n de manera simple consideraremos un o espacio de estados finito {0. . es obtenida de  (π0 (1). π(1) se obtiene a partir de π(0) y de la matriz de probabilidades de transici´n P a trav´s de la f´rmula π(1) = π(0) P . . . en donde la j-´sima entrada de o e este vector es πj (1) = = i=0 P (X1 = j) N P (X1 = j | X0 = i)P (X0 = i) = = π0 (0) p0j + π1 (0) p1j + · · · + πN (0) pN j (π(0) P )j . .12. . πN (1)) = (π0 (0). y as´ sucesivamente. la cadena se encuentre en cualquiera de sus posibles estados de acuerdo a la distribuci´n π(1) = (π0 (1). πN (0))  p00 . πN (1)). . 3. .  . .. . . pN0 ··· ··· p0N . Evoluci´n de distribuciones o Una matriz estoc´stica establece una din´mica en el conjunto de las distribucioa a nes de probabilidad definidas sobre el espacio de estados de la correspondiente cadena de Markov. . . N }. . pNN . .

5.9).1. 0.64 ´ 3.225.275.12.16. 0. .275) π(0) π(1) π(2) π(3) π(4) 1 1 1 1 1 0 1 2 0 1 2 0 1 2 0 1 2 0 1 2 Figura 3. 0. o En las siguientes secciones estudiaremos tal problema y encontraremos condiciones bajo las cuales existe un unico l´ ´ ımite para esta sucesi´n. 0. 0. .275. A tales distribuciones se les llama estacionarias o invariantes en el tiempo.55) π(0) P 3 = (0. Estudiaremos a continuao ci´n el caso particular cuando la distribuci´n inicial no cambia al ser multiplicada o o por la derecha por P .45. 0. considere la matriz estoc´stica a P = 0 0 1/2 1 0 1/2 0 1 0 con distribuci´n inicial π(0) = (0.45) π(0) P 4 = (0. Las subsecuentes distribuciones se calo culan a continuaci´n y las gr´ficas aparecen en la Figura 3.55. π(0) P 1 = (0.45. 0. Evolucion de distribuciones la anterior multiplicada por la derecha por la matriz de probabilidades de transici´n o en un paso. . Por ejemplo.16: Es natural preguntarse si existe alg´ n l´ u ımite para esta sucesi´n de distribuciones. 0. o a π(1) = π(2) = π(3) = π(4) = . 0) π(0) P 2 = (0. 0.

Existen entonces una infinidad de distribuciones estacionarias para esta cadena. α) se puede escribir como la combinaci´n lineal (1 − α)(1. π es tambi´n una u e distribuci´n estacionaria para la matriz P n . se cumpla que π = π P n . No existe ninguna distribuci´n estacionaria para la cao minata aleatoria sim´trica simple sobre Z pues la condici´n π = πP se trae o duce en el sistema de ecuaciones en diferencias πj = πj−1 /2 + πj+1 /2. .Cap´ ıtulo 3. ´ Ejemplo: Existencia m´ltiple. i En t´rminos matriciales. e La condici´n π = πP tiene como consecuencia el hecho de que para cualquier o n´ mero natural n ≥ 1. Distribuciones estacionarias Definici´n.13. π1 . Sumando estas ecuaciones puede encontrarse que para todo entero n ≥ 1. pero no correspono de a una distribuci´n de probabilidad. Es inmediato comprobar que el vector π = (1 − α. es decir. Una distribuci´n de probabilidad π = (π0 . Observe que el vector (1 − α. Observe que el vector de ceros cumple la condici´n π = π P . . El lado izquierdo es acotado mientras el . 0. 1. . 0. entonces la distribuci´n de Xn tambi´n es π pues o o e P (Xn = j) = i πi pij (n) = πj . 0. Esto significa que si la variable aleatoria o inicial X0 tiene esa distribuci´n π. o Ejemplo: No existencia. esta distribuci´n no cambia con el paso o del tiempo y por ello que se le llama estacionaria o invariante. 1). π es estacionaria si π = πP . πn+1 − π0 = n(π1 − π0 ). 1]. O bien πj+1 − πj = πj − πj−1 . 0) + α(0. Considere una cadena de Markov sobre el conjunto u de estados {0. α) satisface el sistema de ecuaciones π = πP para cada con α ∈ [0. 2} y con probabilidades de transici´n dada por la siguiente matriz o P = 1 1/3 0 0 1/3 0 0 1/3 1 . es decir.) es estacionaria o o o invariante para una cadena de Markov con probabilidades de transici´n pij o si πj = πi pij . Cadenas de Markov 65 3. Los siguientes ejemplos muestran que las o distribuciones estacionarias pueden no ser unicas y pueden incluso no existir. 0.

Es decir. 1}. Dadas estas consideraciones. Observaci´n 3: Con base en las observaciones anteriores y en los ejemplos moso trados. Esto demuestra que todas estas diferencias son cero. un primer m´todo consiste en resolver el sistema de ecuaciones e π = πP . 1]. o ´ c) Existen una infinidad de distribuciones estacionarias. es natural plantearse el problema de encontrar condiciones necesarias y suficientes para que una cadena tenga alguna distribuci´n o .66 3.13. Por lo tanto no existe ninguna distribuci´n de probabilidad π que cumo j pla la igualdad π = πP para esta cadena. Observaci´n 2: Suponga que π y π ′ son dos distribuciones estacionarias distintas o para una matriz P . a+b ). La cadena de Markov de dos estados dada por la matriz ´ P = 1−a b a 1−b b a tiene una unica distribuci´n estacionaria dada por π = (π0 . o b) Existe una distribuci´n estacionaria y es unica. a menos que π1 − π0 = 0. cuan´ o do a + b > 0. pero ello es incompatible con la restricci´n o πj = 1. Cuando a = b = 0. Entonces la combinaci´n lineal convexa απ + (1 − α)π ′ . Distribuciones estacionarias lado derecho crece sin l´ ımite cuando n es grande. el vector constante es la soluci´n al sistema o de ecuaciones en diferencias planteado. s´lo hay tres situaciones sobre la existencia de distribuciones estacionarias o para una cadena de Markov cualquiera: a) No existe ninguna distribuci´n estacionaria. π1 ) = ( a+b . Ejemplo: Existencia unica. y por lo tanto πj es constante para cualquier valor de j. tambi´n es una distribuci´n estacionaria pues e o (απ + (1 − α)π ′ ) P = απP + (1 − α)π ′ P = απ + (1 − α)π ′ . la matriz resultante es la matriz identidad que acepta como distribuci´n estacionaria a cualquier distribuci´n de probabilidad soo o bre {0. M´s adelante expondremos una forma alternativa de buscar distribuciones a estacionarias para cadenas reversibles. si existen dos distribuciones estacionarias distintas para una cadena. Observaci´n 1: Para encontrar una posible distribuci´n estacionaria de una cadena o o con matriz P . para o α ∈ [0. entonces existen una infinidad de ellas. Por lo tanto.

Cap´ ıtulo 3. Cadenas de Markov 67 estacionaria. l´ ım 1 n n n→∞ pij (k) = 0. Si j es un estado transitorio o recurrente nulo. que una caminata aleatoria sim´trica e simple no tiene distribuci´n estacionaria pues se trata de una cadena cuyos estados o . Sea π una distrio o buci´n estacionaria. Primeramente demostraremos que cuando existe una distribuci´n eso tacionaria. (Soporte de una distribuci´n estacionaria). e Proposici´n. entonces j es un estado recurrente positivo. por ejemplo. se obtiene n 1 πj = πi ( l´ ım pij (k) ) = 0. si πj > 0. Demostraci´n. o πj = i πi pij πi pij (k) i = = = i 1 n n πi pij (k) k=1 i πi ( 1 n n pij (k) ) k=1 Tomando el l´ ımite cuando n → ∞. Esto es una consecuencia inmediata del resultado y para ello puede usarse un argumento por contradicci´n. la proposici´n reci´n demostrada tambi´n nos o o e e ayuda a corroborar nuevamente. ´sta tiene como soporte el conjunto de estados recurrentes positivos. Por otro lado. n→∞ n i k=1 En particular. k=1 Como π es una distribuci´n estacionaria. Usaremos el hecho de que si j es un estado transitorio o recurrente o nulo. entonces o πj = 0. por el teorema de convergencia dominada. entonces para cualquier estado i.

(Existencia y unicidad de la distribuci´n estacionaria). (2) j πj = 1. Por lo tanto el cociente 1/µj es estrictamente positivo. Se presenta a continuaci´n una soluci´n al problema o o de encontrar condiciones suficientes que garanticen la existencia y unicidad de la distribuci´n estacionaria. n m=1 µj n n→∞ (1) Estacionariedad. Toda o o cadena de Markov que es irreducible y recurrente positiva tiene una unica ´ distribuci´n estacionaria dada por o πj = 1 > 0. µj En particular. toda cadena finita e irreducible tiene una unica distribuci´n ´ o estacionaria. Distribuciones estacionarias son todos recurrentes nulos. . Usaremos el hecho de que l´ ım 1 1 pij (m) = . Para cualquier natural N .13. N N πi pij i=0 = i=0 ( l´ ım n→∞ 1 n n pki (m) ) pij m=1 N 1 = l´ ım n→∞ n ≤ n→∞ n pki (m) pij m=1 i=0 n l´ ım 1 n pkj (m + 1) m=1 = πj . Demostraremos que o (1) πj = i πi pij . ´ Como la cadena es irreducible y recurrente positiva. o Proposici´n. Sea πj = 1/µj . (3) πj es unica. µj < ∞ para cualquier estado j. Demostraci´n.68 3.

. por el teorema de Fubini. y para cualquier m natural. πj = i πi ( 1 pij (m) ). Por otra parte. i 69 πi pij ≤ πj . Para cualquier natural N .5). y usando el hecho de que j πj ≤ 1. Por lo tanto j πj ≤ 1. Lo cual es una contradicci´n. n m=1 n Haciendo n → ∞. Por lo tanto (3. Sumando u sobre todos los valores j. por el teorema de convergencia dominada de Lebesgue.Cap´ ıtulo 3. Esto demuestra o que π es estacionaria. por (3. Cadenas de Markov Haciendo N → ∞. o N N πj j=0 = j=0 ( l´ ım 1 n→∞ n n n pij (k) ) k=1 N 1 = l´ ım n→∞ n ≤ l´ ım 1 n pij (k) k=1 j=0 n n→∞ 1 k=1 = 1.4) Suponga que para alg´ n valor de j la desigualdad anterior es estricta. para cualquier n natural. (3.5) (2) Distribuci´n de probabilidad.4) es una igualdad. πj = ∞ i=0 πi ( l´ ım 1 pij (m) ) = n→∞ n m=1 n ∞ i=0 πi πj . πj = i πi pij (m). (3. πj > j j i πi pij = i πi j pij = i πi .

En vista de la proposici´n demostrada. . i=0 Ahora hacemos N → ∞ para obtener ′ πj ≥ πj . πj = N 1 j 2N para j = 0. ′ πj ≥ ′ πi πj .6) Si esta desigualdad fuera estricta para alg´ n valor de j. . se obtiene i (3) Unicidad. 1/2). N. . Dado que πj > 0. . 1.70 3. . . 1. N. Por lo tanto (3. πj j . Ejemplo. . (3. entonces sumando sobre u todos los valores de j se obtiene 1= j ′ πj > j πj = 1. Resolviendo ´ o el sistema de ecuaciones π = πP se encuentra que el vector π tiene distribuci´n o bin(N. es decir. los tiempos medios de recurrencia para esta o cadena son 1 2N µj = = N para j = 0.13. Lo cual es una contradicci´n. . n m=1 n Haciendo n → ∞. Entonces ′ πj = i ′ πi pij (m) = i ′ πi ( 1 pij (m)) ≥ n m=1 N n N ′ πi ( i=0 1 pij (m)).6) es una igualdad para cada valor de o j. Distribuciones estacionarias πi = 1. Sean π y π ′ dos distribuciones estacionarias para la matriz P . La cadena de Ehrenfest es finita e irreducible. Por lo tanto tiene una unica distribuci´n estacionaria. y ello demuestra la unicidad. y en consecuencia es recurrente positiva.

Por ultimo. La cadena de racha de ´xitos. . o 3. sobre el espacio o de estados en donde π n+1 = π n P = π 0 P n+1 .Cap´ ıtulo 3. la distribuci´n l´ o ımite est´ dada por el l´ a ımite de las potencias de P pues si se toma como distribuci´n inicial aquella concentrada en el i-´simo estado. 2 .7) se obtiene ´ que l´ n→∞ π n+1 = l´ n→∞ π n P . .14. Cadenas de Markov 71 Ejemplo. a partir de (3. En particular. aunque no es finita. la distribuci´n l´ ım ım o ımite . Tercero. Distribuciones l´ ımite Como hemos mencionado antes. . es irreducible y recue rrente positiva. (3. π = πP . Como consecuencia de la proposici´n anterior. 1. Por lo tanto tiene una unica distribuci´n estacionaria dada por la ´ o distribuci´n geo(1 − p).7) se tiene que π = l´ π n = π 0 l´ P n+1 = π 1 l´ P n . Esto confirma los c´lculos realizados antes para µ0 a ∞ a partir de la f´rmula µ0 = n=1 n f00 (n).7) Bajo ciertas condiciones tal sucesi´n es convergente a una distribuci´n l´ o o ımite π. . la distribuci´n l´ o ımite no depende de la distribuci´n inicial pues el lado derecho de estas ecuaciones debe ser el mismo. es decir. Por (3. e siendo este regl´n la distribuci´n l´ o o ımite. . ım el l´ ımite de las potencias de P es una matriz con todos sus renglones id´nticos. µ0 = 1/(1 − p). π 1 . . ım ım ım n→∞ n→∞ n→∞ Estas igualdades revelan varias cosas. toda matriz de probabilidades de transici´n P o determina una sucesi´n de distribuciones de probabilidad π 0 . 1. entono e ces el j-´simo elemento de la distribuci´n l´ e o ımite es πj = l´ n→∞ pij (n). es decir. o Segundo. 2 . el sistema de ecuaciones π = πP tiene como unica o ´ soluci´n la distribuci´n o o πj = (1 − p) pj para j = 0. Primero. se obtiene que los tiempos medios o de recurrencia para cada uno de los estados de esta cadena son µj = 1 1 = πj (1 − p) pj para j = 0. esto es. . Imaginemos por ahora que tal es el caso y examinemos algunas propiedades de esta distribuci´n l´ o ımite.

. mientras 1 0 que P 2n = 1 0 . . Distribuciones l´ ımite es una distribuci´n estacionaria. j=0 . Ejemplo. suponiendo un espacio de estados finito. o Proposici´n. Considere una cadena de Markov con probabilidades de trano sici´n pij tales que los l´ o ımites πj = l´ n→∞ pij (n) existen para cada j. Es inmediato comprobar que la distribuci´n uniforme (1/2. πj = Cuando el espacio de estados es finito se cumple la igualdad en el primer resultado obteni´ndose una distribuci´n de probabilidad verdadera. cuando n → ∞. i 2. Esto es solamente una posibilidad pues los l´ ımites podr´ ser todos cero. 1/2) es estao cionaria para la cadena con matriz P = 0 1 . En esta o secci´n se establecen condiciones para obtener rigurosamente estos resultados. toda distribuci´n l´ o ımite es estacionaria pero el rec´ ıproco es en general falso como se ilustra en el siguiente ejemplo. e o Demostraci´n. Suponga primero el caso cuando el espacio de estados es el conjunto o finito {0. demostraremos que tales l´ ımites conforman una distribuci´n de probabilidad verdadera. . y no ım dependen del estado i. j πj ≤ 1. y sin embargo las potencias P n 1 0 no convergen pues para cualquier entero natural n. entonces la distribuci´n l´ o ımite podr´ ser una distribuci´n estacioıa o naria. 0 1 El siguiente resultado es v´lido para espacios de estados finitos o infinitos. ıan En el caso finito. 1. y esa tablece que si el l´ ımite de las probabilidades pij (n).14. Entonces la primera afirmaci´n se cumple con igualdad pues o N N N n→∞ πj = j=0 j=0 l´ pij (n) = l´ ım ım n→∞ pij (n) = 1. Entonces 1.72 3. P 2n+1 = 0 1 . N }. πi pij (n). sin embargo. . existen y no dependen de i. o Como se ha visto.

Cap´ ıtulo 3. Cadenas de Markov Para la segunda afirmaci´n se tiene que para cualquier n ≥ 1. l´ ım l´ pkj (m + n) ım Suponga ahora que el espacio de estados es infinito. ım n→∞ Haciendo N → ∞ se obtiene el resultado buscado. o nuevamente para cualquier n´ mero natural N ≥ 1. Suponga que j πj > 0. o N N 73 πi pij (n) = i=0 i=0 m→∞ N l´ ım pki (m) pij (n) pki (m) pij (n) i=0 = = = m→∞ m→∞ πj . o u N N N n→∞ πj = j=0 j=0 l´ pij (n) = l´ ım ım n→∞ j=0 pij (n) ≤ l´ 1 = 1. Para la primera afirmaci´n se tiene que para cualquier n´ mero natural N ≥ 1. o a . l´ ım l´ pkj (n + 1) ım Si πj = 0 para cualquier j. Para la segunda afirmaci´n. por lo tanto la igualdad en el p´rrafo anterior se cumple.j i j i Esto es una contradicci´n. Suponga que para alg´ n estado j. u Entonces πj > πi pij = πi pij = πi . i πi pij < πj . Demostraremos que las desigualdades estrictas no son posibles. entonces estas desigualdades se convierten en identidades como dice el enunciado. j i. En este caso no es posible garantizar la validez del intercambio de l´ ımite y suma efectuado antes. u N N πi pij i=0 = i=0 n→∞ N l´ pki (n) pij ım pki (n) pij i=0 = ≤ = n→∞ n→∞ πj .

Teorema de convergencia. y puede f´cilmente comprobarse que tiene distribuci´n estacionaria πxn . Este es el primer momento de acople de las dos cadenas. a o Puede adem´s verificarse que la cadena {Zn } es recurrente positiva. y o c) con distribuci´n estacionaria π. pero con la misma matriz de probabilidades de transici´n. Por la a .l) (n) > 0. Defina el primer momento en el que la cadena {Zn } visita el estado (j. yn )) = pxn . Como {Zn } es recurrente. yn+1 ) | Zn = (xn . Entonces el proceso {Zn } definido o por Zn = (Xn . j) como τj = m´ ın{n ≥ 1 : Zn = (j. Por lo tanto p(i. P (τ < ∞) = 1. b) aperi´dica. para toda n > N . Sea j un estado cualquiera de la cadena original.yn = πxn πyn . Sea adem´s τ = m´ a ın{n ≥ 1 : Xn = Yn }. j)}. Distribuciones l´ ımite Ahora se establecen condiciones suficientes para que el l´ ımite de las probabilidades de transici´n existan. o e o e Sea {Yn } una cadena de Markov independiente de la original {Xn }. El m´todo de esta demostraci´n se conoce como t´cnica de acople. n→∞ l´ pij (n) = πj . Adem´s es irrea a ducible pues como {Xn } y {Yn } son aperi´dicas. Yn ) es una cadena de Markov con probabilidades de transici´n o P (Zn+1 = (xn+1 . Considere una cadena de Markov que es a) irreducible.74 3.k)(j. Este resultado es una especie de rec´ o ıproco del resultado anterior pues supone la existencia de una distribuci´n estacionaria para concluir que o los l´ ımites de las probabilidades existen. Adem´s τ ≤ τj . ım Demostraci´n.xn+1 pyn . existe un n´ mero natural N tal o u que pij (n) pkl (n) > 0.14.yn+1 . o Entonces para cualesquiera estados i y j.

τ > n) P (Yn = j) + P (τ > n). Por otro lado P (Xn = j) = = ≤ P (Xn = j. τ = r) P (Yn = x | Yr = j) P (Yr = j. asegurando adem´s que se trata de una o a distribuci´n de probabilidad. P (Yn = j) ≤ P (Xn = j) + P (τ > n).8) establece que |pij (n) − πj | → 0. τ ≤ n) + P (Xn = j. τ > n) P (Yn = j. las variables Xn y Yn tienen la misma distribuci´n o de probabilidad.8) cuando n → ∞. De manera an´loga. es decir. τ = r) P (Yn = x | Yr = j. Xr = j. τ ≤ n) + P (Xn = j.Cap´ ıtulo 3. Cadenas de Markov propiedad de Markov n 75 P (Xn = x. (3. τ ≤ n). τ = r) = j = j r=1 = P (Yn = x. a |P (Xn = j) − P (Yn = j)| ≤ P (τ > n) → 0. y P (Yn = j) = i P (Yn = j | X0 = i) πi = i πi pij (n) = πj . τ = r) j r=1 n r=1 n r=1 n j P (Xn = x | Xr = j. Si ahora se toma X0 = i y Y0 con la distribuci´n estacionaria π. El siguiente resultado establece condiciones suficientes para la existencia del l´ ımite de las probabilidades de transici´n. Por lo tanto. τ ≤ n) = = P (Xn = x. τ = r) P (Yr = j. Por lo tanto (3. o . o entonces P (Xn = j) = P (Xn = j | X0 = i)P (X0 = i) = pij (n) P (X0 = i) = pij (n). sobre el evento (τ ≤ n). τ = r) P (Xr = j.

Es decir. con πj ≥ 0 y j πj = 1. tiene una unica o ´ distribuci´n estacionaria dada por πj = 1/µj . o Entonces las probabilidades l´ ımite πj = l´ pij (n) = ım n→∞ 1 existen. 3. (3. Adem´s. Cadenas regulares Teorema de convergencia.15. por la aperi´dicidad. para o cualesquiera estados i y j. Cadenas regulares Las cadenas de Markov regulares son cadenas finitas que cumplen la propiedad de que a partir de un cierto momento. Demostraci´n. o Otra forma de definir a una cadena regular es a trav´s del siguiente resultado.76 3. Definici´n. Demostraremos que para este tipo de cadenas existe siempre la distribuci´n l´ o ımite. Se dice que una cadena finita o su matriz de probabilidades de o transici´n es regular si existe un entero natural n tal que pij (n) > 0. y constituyen µj la unica soluci´n al sistema de ecuaciones ´ o πj = ∞ j=0 ∞ i=0 πi pij . En palabras.15.9) sujeto a las condiciones πj ≥ 0. e . una cadena de Markov finita es regular si alguna potencia de su matriz de probabilidades de transici´n tiene todas sus entradas estrictamente positivas. es la unica soluci´n al sisteo ´ o ma de ecuaciones π = πP . a o pij (n) → πj . y c) aperi´dica. y πj = 1. b) recurrente positiva. Como la cadena es irreducible y recurrente positiva. Considere una cadena de Markov que es a) irreducible. con probabilidad positiva se puede pasar de un estado a otro cualquiera en un paso.

. N }. Para este tipo particular de cadenas finitas se conocen los siguientes resultados acerca de su comportamiento l´ ımite. o Demostraci´n. aperi´dica.9). entonces claramente es finita. regular. o 3. 1. para cualesquiera dos estados i y j. Como la cadena es regular. tiene como distribuci´n o a o l´ ımite la distribuci´n uniforme. Rec´ o ıprocamente. regular y doblemente estoc´stica. Como la cadena es regular. o 1. Toda cadena finita que adem´s es o a 1. irreducible. es finita. y es recurrente positiva o por ser finita. por la irreducibilidad. para cada n ≥ N . Si la matriz es regular. 2. o Demostraci´n. 2. es aperi´dica. irreduo a o cible y aperi´dica. Tomando el l´ ımite cuando n tiende a infinito se obtiene N πj = 1. . es irreducible. irreducibilidad y aperiodicidad conjuntamente.9). i=0 3. Entonces existe un entero N tal que pij (m + n d(j)) > 0. Por el teorema anterior la distribuci´n l´ o ımite existe y est´ dada a por el sistema de ecuaciones (3. Como d(j) = 1 y siendo la matriz finita. Cadenas de Markov 77 Proposici´n. irreducible y recurrente positiva o por ser finita. se N tiene que i=0 pij (n) = 1. . Entonces la distribuci´n l´ o ımite existe. . Por la hip´tesis de doble o estocasticidad y suponiendo que el espacio de estados es {0.Cap´ ıtulo 3. Este resultado es id´ntico al anterior pues hemos demostrado que la regularie dad es equivalente a la finitud. tiene como distribuci´n l´ o ımite la unica soluci´n no negativa del ´ o sistema (3. existe un entero m tal que pij (m) > 0. Proposici´n. irreducible y o aperi´dica. aperi´dica y doblemente estoc´stica. esto implica la regularidad. Por lo tanto πj = 1/(N + 1). y s´lo si. . Una matriz estoc´stica es regular si. tiene como distribuci´n l´ a o ımite la distribuci´n uniforme.

6}. 7 cuyo espacio de estados es {0. . . Cadenas reversibles Sea {Xn } una cadena de Markov con probabilidades de transici´n pij . No es dif´ convencerse que Xn es una cadena de Markov con matriz de probabilidades ıcil de transici´n o      P =    0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 1/6 1/6 1/6 1/6 1/6 1/6 1/6 0 El evento (Sn es m´ ltiplo de 7) es id´ntico al evento (Xn = 0). . . Cadenas reversibles Ejemplo. . y entonces su distribuci´n o limite es la uniforme. Sea m ≥ 1 o un entero fijo y defina un nuevo proceso Yn = Xm−n para n = 0. Este nuevo proceso resulta tambi´n ser una cadena de Markov e pues cumple el criterio de independencia entre pasado y futuro cuando se conoce el presente. . . ım n→∞        3. de modo que la u e probabilidad de que Sn sea m´ ltiplo de 7 a largo plazo es el tiempo de estancia a u largo plazo que la cadena Xn pasa en el estado 0. yr+1 . Encontraremos n→∞ l´ P (Sn es m´ ltiplo de 7). Por lo tanto l´ P (Xn = 0) = 1/7. En efecto. ım u Defina el proceso Xn = Sn mod. . El problema se reduce a encontrar la distribuci´n l´ o ımite de P . . las nociones de pasado y futuro se intercambian debido al cambio en el sentido del tiempo. . ahora del tiempo m al tiempo 0. .16. . Yn es la cadena original pero vista en sentido inverso en el tiempo.78 3. . yr−1 .16. . considere la probabilidad condicional P ( y1 . . Pero esta matriz es regular. . Sea Sn la suma de los resultados que se obtienen al lanzar un dado equilibrado n veces. para 1 ≤ r < n ≤ m. es decir. . yn | yr ). m. 1.

Xm−r+1 = yr−1 | Xm−r = yr ) P (Xm−r−1 = yr+1 . esta probabilidad es e 79 P (Xm−1 = y1 . (3. πi pij = πj pji . . . . . . . esta probabilidad es el producto P (Xm−1 = y1 . . . . . Xm−r−1 = yr+1 . Si adicionalmente se pide que las probabilidades de transici´n son o las mismas para ambas cadenas. . entonces de la ecuaci´n anterior se obtiene que o π debe satisfacerse la ecuaci´n pij = pji πj . Se dice que una cadena de Markov irreducible con probabilidades o de transici´n pij y con distribuci´n estacionaria π es reversible en el tiempo si o o para cualesquiera estados i y j. pues en tal caso la igualdad o anterior se reduce a πj P (Yn+1 = j | Yn = i) = pji . Por la propiedad de Markov del proceso {Xn }. Xm−r+1 = yr−1 . . Xm−n = yn | Xm−r = yr ). Cadenas de Markov En t´rminos del proceso {Xn }. Esto lleva a la o i siguiente definici´n de reversibilidad la cual a˜ ade la hip´tesis de irreducibilidad. . Xm−n = yn | Xm−r = yr ). . yn | yr ). . P (Yn+1 = j | Yn = i) = P (Xm−n = i. .10) . . yr−1 | yr ) P (yr+1 . que en t´rminos del proceso {Yn } es la propiedad de Markov para este proceso e Sin embargo las probabilidades de transici´n del nuevo proceso no son homog´neas o e pues para 0 ≤ n < m.Cap´ ıtulo 3. . . P (Yn = i) P (Xm−n−1 = j) P (Xm−n = i) es decir. πi Bajo tal hip´tesis las probabilidades de transici´n de la nueva cadena son ahora o o estacionarias. P (y1 . . Xm−n−1 = j) P (Xm−n = i) = P (Xm−n = i | Xm−n−1 = j) = pji P (Yn+1 = j) . . Tal dependencia desaparece cuando se toma como hip´tesis la exiso tencia de una distribuci´n estacionaria π para {Xn }. . estas probabilidades dependen de n a trav´s del cociente P (Yn+1 = e j)/P (Yn = i). . es decir. . o n o Definici´n. πi pij = πj pji .

o   (N − i)/N si j = i + 1. . Considere nuevamente la cadena de Ehrenfest. = (1/N ) πN −1 . Esta cadena es finita. . . . Cadenas reversibles A la ecuaci´n (3. con p01 = 1 y pN. a Proposici´n. Si π cumple (3. = ((N − i + 1)/N ) πi−1 + ((i + 1)/N ) πi+1 . Estas propiedades garantizan que la cadena tiene una unica distribuci´n estacio´ o naria. . irreducible y recurrente positiva. . el cual ejemplificaremos a m´s adelante con un par de aplicaciones. . para i = 1. Demostraci´n. El espacio de estados es {0. Entonces π es una distribuci´n estacionaria y la o o cadena es reversible. . . . . .N −1 = 1. Considere una cadena irreducible para la cual existe una distrio buci´n π que cumple (3. . N − 1.  0 otro caso. La utilidad de las o o cadenas reversibles est´ dada por el siguiente resultado. entonces es una distribuci´n estacionaria pues o o πi pij = i πj pji = πj . N − 1.10). o Alternativamente. Adem´s la cadena es reversible por definici´n.10). 1. . N }. . y las probabilidades de transici´n son. . Resolviendo iterativamente hacia abajo se encuentra que πi = N i π0 . se puede buscar una posible soluci´n al sistema (3.16.10) se llama ecuaci´n de balance detallado. . el cual o se escribe como sigue πi+1 = N −i πi .10).80 3. . N − 1. a o i Ejemplo. pij = i/N si j = i − 1. para i = 1. . 1/2). uno tendr´ que resolver el sistema ıa π0 πi πN = (1/N ) π1 . Si se desea encontrar esta distribuci´n estacionaria a trav´s de la ecuaci´n o e o π = π P . A partir de estas ecuaciones puede demostrarse que π es la distribuci´n bin(N. . i+1 para i = 0. N. . para i = 1.

Como referencia se presenta a continuaci´n o o una lista de la notaci´n utilizada en este cap´ o ıtulo. es decir. si j = i. para i ≥ 1. Probabilidad de pasar del estado i al estado j en exactamente n pasos. 1. . es decir. Esta es una cadena irreducible. N 81 1 = π0 i=0 1 2N N 1 i 2N N i = π0 2N . Esta es la distrio buci´n bin(N. . Una posible soluci´n de este sistema (su existencia depender´ de los o a par´metros pi y qi ). con e si j = i + 1. si j = i − 1. En algunos textos aparece tambi´n como e (n) pij . En particular. Considere una caminata aleatoria probabilidades de transici´n o   pi   qi pij =  1 − pi − qi   0 no homog´nea sobre {0. . ser´ la distribuci´n estacionaria para esta caminata y la cadea a o na ser´ entonces reversible en el tiempo. y cero cuando i = j. πi+1 qi+1 + πi (1 − pi − qi ) + πi−1 pi−1 .Cap´ ıtulo 3. uno tendr´ que resolver el sistema e o ıa de ecuaciones π0 πi = = π0 (1 − p0 ) + q1 π1 . en donde q0 = 0.10) se traduce en el sistema m´s simple πi pi = o a πi+1 qi+1 . se define pij (0) = δij . Ejemplo. que vale uno cuando i = j.}. Por lo tanto π0 = . . Cadenas de Markov Sumando todas estas cantidades. Sin embargo la condici´n (3. pij pij (n) Probabilidad de pasar del estado i al estado j en un paso. otro caso. Si uno busca una distribuci´n o estacionaria a trav´s de la ecuaci´n π = π P . 1/2). Por lo demostrado antes esta distribuci´n es estacionaria y la o o cadena es reversible. pij = P (X1 = j | X0 = i). a Resumen de la notaci´n utilizada. pij (n) = P (Xn = j | X0 = i). y πi = es la soluci´n al sistema.

es decir. Cadenas reversibles Probabilidad de llegar por primera vez al estado j a partir del estado i exactamente en el paso n. fij Nij (n) Nij τij µij Notas y referencias. Tiempo en el que se logra la primera visita el estado j a partir del estado i. En t´rminos de probabilidades de primeras visitas. a e incluso puede encontrarse tambi´n en los ultimos cap´ e ´ ıtulos de algunos textos de probabilidad. Nij = k=1 1(Xk =j) . es n decir. y Stirzaker [36]. Brze´niak y Zastawniak [4]. Los textos de Caballero et al [6] y Norris [25]. Tiempo medio de primera visita al estado j a partir del estado i. Cuando i = j se escribe µi y se le llama tiempo medio de recurrencia del estado i. est´n dedicados enteramente al tema de cadenas de Markov. Probabilidad de una eventual visita el estado j a partir del estado i. Xn−1 = j. . fij (n) = P (Xn = j. Toma el valor infinito cuando nunca ocurre tal evento. cuando la cadena inicia en el estado i. Variable aleatoria que cuenta el n´ mero total de visitas realizadas al estado j u ∞ cuando la cadena inicia en el estado i. El tema es regularmente la parte inicial y obligada de un curso elemental de procesos estoc´sticos. X1 = j | X0 = (n) i). Jones z y Smith [17]. cuando X0 = i. . Port y Stone [16]. cuando X0 = i. Nij (n) = k=1 1(Xk =j) . τij = m´ ın{n ≥ 1 : Xn = j}. El tema de cadenas de Markov a tiempo discreto aparece en casi cualquier texto de procesos estoc´sticos en mayor o menor profundidad. es decir. esta probabilidad es fij = e ∞ k=0 fij (n). y corresponde al tiempo del primer regreso al estado i. Puede tomar el valor infinito. En particular se define fij (0) = 0 e para cualesquiera estados i y j. es decir. .82 fij (n) 3.16. cuando X0 = i. Cuando i = j se escribe τi . . a . Variable aleatoria que registra el n´ mero de visitas realizadas al estado j u durante las primeras n transiciones. µij = E(τij ). Hoel. Puede ser infinito. incluyendo el caso i = j. A veces se escribe tambi´n como fij . Las siguientes referencias son una muestra de a algunos textos que contienen cap´ ıtulos sobre el tema de cadenas de Markov a un nivel similar al presentado: Karlin y Taylor [19]. es decir.

concluy´ en 1880. Con sus trabajos sobre a cadenas de Markov. aplic´ el m´todo de fracciones continuas o e en la teor´ de la probabilidad. Markov tuvo una salud muy precaria durante sus primeros a˜ os de vida. y sobre el m´todo de m´ e ınimos cuadrados. quien tuvo una influencia decisiva en el quehacer futuro de Markov. Markov fue el mejor exponente y continuador de las ıa ideas de Chebyshev y de sus temas de investigaci´n en probabilidad. En 1874 ingres´ a la facultad de f´ n o ısica y matem´ticas de la universidad de San Petersburgo. eno a e tre ellos P. y demandaba mucho rigor e matem´tico en los argumentos de sus estudiantes. Despu´s de 1900. Markov fue un profesor muy estricto pero tambi´n muy claro en sus exposiciones. Andrews. Fuente: Archivo MacTutor. Continu´ trabajando o o en la misma universidad por pr´cticamente el resto de su vida. fund´ una nueva rama de la probabilidad e inici´ la teor´ de o o ıa los procesos estoc´sticos. as´ como otros resultados fundamentales de la teor´ de la proı ıa babilidad. y asisa ti´ a las clases de reconocidos matem´ticos de la ´poca. y continu´ con sus estudios de maestr´ los cuales o ıa. L. Chebyshev. Cadenas de Markov 83 Andrei Andreyevich Markov (Rusia 1856–1922). el cual concluy´ en 1884. a . Markov desarroll´ su teor´ de a o ıa cadenas de Markov desde un punto de vista matem´tico. teniendo que caminar con muletas hasta la n edad de 10 a˜ os. Chebyshev. aunque tambi´n aplic´ su a e o modelo en el an´lisis de estilos de escritura en poemas. Se gradu´ brillantemente o en 1878.Cap´ ıtulo 3. L. Especialmente o sobresalientes son sus trabajos sobre la ley de los grandes n´ meros y el teorema u central del l´ ımite. Universidad de St. Trabaj´ como profesor en la universidad o o de San Petersburgo al mismo tiempo que estudiaba para su Markov doctorado. y a e siguiendo los trabajos de P.

. e) En esta condici´n se consideran varios eventos en el futuro: Para cuao lesquiera enteros n. d ) Esta condici´n expresa la independencia entre el pasado y el futuro o cuando se conoce el presente: Para cualesquiera enteros 0 < k < n. . . . xn .16. c) Esta es la condici´n de Markov para tiempos no necesariamente conseo cutivos: Para cualesquiera enteros 0 ≤ n1 < · · · < nm+1 . . . . xk−1 | xk ) p(xk+1 . a 11. . . x1 . m ≥ 1. xn | xk ). p(xn+m | x0 . . sin importar lo distante que se o encuentre. El significado de la probabilidad condicional p(xn+1 | xn ) es an´logo. xn+1 | x0 . xn ) = p(xn+m | xn ). . . xn ) = p(x0 ) p(x1 | x0 ) · · · p(xn | xn−1 ). . . . . . .84 3. . . p(x0 . b) Esta condici´n establece que el futuro. . p(xn+m . . . es decir. . m ≥ 1. . . . . Demuestre que la propiedad de Markov (3. . el sub´ ındice indica tambi´n la variable a la e que se hace referencia. . p(xnm+1 | xn1 . xk+1 . . . . . xk−1 . . . Cadenas reversibles Ejercicios Propiedad de Markov Recordemos que para hacer la notaci´n m´s corta. . depende s´lamente del ultimo momento observado: Para cuao ´ lesquiera enteros n. xnm ) = p(xnm+1 | xnm ). . . p(x0 . xn | xk ) = p(x0 .1) es equivalente a cada una de las siguientes condiciones. . . a la probabilidad P (Xn = xn ) o a se le ha escrito como p(xn ). a) Esta condici´n establece que la distribuci´n conjunta queda especificada o o a trav´s de la distribuci´n inicial y las probabilidades de transici´n en e o o un paso: Para cualesquiera estados x0 . xn ) = p(xn+1 | xn ) · · · p(xn+m | xn+m−1 ).

4).5 0. entonces P Q tambi´n es estoc´stica (o doblemente o e a estoc´stica). con matriz de probabilidades de transici´n como aparece abajo.Cap´ ıtulo 3.8 0. Cadenas de Markov Matrices estoc´sticas a 12. P (X2 = 0) y P (X2 = 1). P (X100 = 0 | X98 = 0). con distribuci´n o inicial (1/2. entonces para cuala e quier n ≥ 1. P (X3 = 0. y con matriz de probabilidades de transici´n dada como o aparece abajo. 18. Demuestre que una matriz cuadrada P puede ser tal que la potencia P n sea estoc´stica para alg´ n entero n ≥ 2.6. X3 = 1). P (X1 = 1 | X2 = 1. P (X3 = 0 | X1 = 0). Suponga que la cadena tiene o una distribuci´n inicial dada por el vector (0. P (X5 = 1 | X4 = 0). Demuestre que toda matriz estoc´stica finita tiene siempre al n´ mero uno a u como valor propio. P = 0. la potencia P n tambi´n es sim´trica. a e a 16. sin ser P misma estoc´stica. Encuentre P (X1 = 0). Demuestre que 85 a) si P y Q dos matrices estoc´sticas (o doblemente estoc´sticas) de la a a misma dimensi´n. a 13.5 . 0. Considere una cadena de Markov de dos estados: 0 y 1. Demuestre que si una matriz estoc´stica P es sim´trica.2 0. a u a 14. Demuestre que toda matriz estoc´stica sim´trica es doblemente estoc´stica. . X2 = 0 | X1 = 0). Considere una cadena de Markov de dos estados: 0 y 1. P = 1/3 3/4 2/3 1/4 . a b) si P es estoc´stica (o doblemente estoc´stica). Encuentre P (X1 = 0). Probabilidades de transici´n o 17. la potencia P n tambi´n es estoc´stica (o doblemente e a estoc´stica). o P (X1 = 1). P (X1 = 0 | X2 = 0). e e 15. 1/2). entonces para cualquier a a entero positivo n. P (X1 = 1).

p1 ). o . a+b a+b a a + (p1 − ) (1 − a − b)n . y s´lo si. o demuestre que para a + b > 0. o d) i ↔ j si. para n ≤ m. b) sup {pij (n)} ≤ fij ≤ n ∞ pij (n). n=1 n=1 Cadenas de Markov 22. con o o id´ntica probabilidad para todas las posibilidades. o e) ∞ pij (n) = fij [ ∞ pjj (n) + 1 ]. Demuestre que a) pii (n) pii (m) ≤ pii (n + m) ≤ pii (n) pii (m) + (1 − pii (n)). Suponga que no se permite e permanecer en la misma posici´n al efectuarse un movimiento. y s´lo si.16. Demuestre o proporcione un contraejemplo. 21.86 3. u) pkj (u. P (Xn = 0) = P (Xn = 1) = b b + (p0 − ) (1 − a − b)n . fij > 0. a) pij (n) ≥ pij (1) pjj (n − 1). A partir de cada posici´n s´lo se permite pasar a los estados como indica el laberinto. fij fji > 0. m) = k pik (n. Demuestre que e para cualquier tiempo u tal que n < u < m. Ecuaci´n de Chapman-Kolmogorov para cadenas no homog´neas. b) pij (n) = 1 − pji (n).17. a+b a+b 23. 20. Cadenas reversibles 19. Para la cadena de Markov de dos estados con distribuci´n inicial (p0 . m). n=1 c) i → j si. Considere o e una cadena de Markov con probabilidades de transici´n no necesariamente o homog´neas pij (n. pij (n. m) = P (Xm = j | Xn = i). Encuentre la matriz de probabilidades de transici´n de la cadena de Markov o de cuatro estados dada por el diagrama de la Figura 3.

ξ2 . N }. e . j=0 es decir. Demuestre que para cualquier entero n ≥ 1. Considere una cadena de Markov con espacio de estados {0. o 25. b) Xnm . . Cadenas de Markov 87 1 2 4 3 Figura 3. Demuestre que los siguientes procesos son tambi´n cadenas e de Markov y encuentre las correspondientes probabilidades de transici´n. . e o Demuestre que esta cadena es una martingala y que los estados 0 y N son absorbentes. y sea m ≥ o 1 un entero fijo. o N E(Xn+1 | Xn = i) = j pij = i. Renovaciones discretas. una sucesi´n de variables aleatorias ino dependientes id´nticamente distribuidas.}. . 26. . Sea Xn una cadena de Markov con probabilidades de transici´n pij . 28. . . 2. Se lanza un dado equilibrado repetidas veces. i b) P (Xn = j) = 27. y con valores en el conjunto {1. ´ o u Demuestre que Xn es una cadena de Markov y encuentre las probabilidades de transici´n.17: 24. P (X0 = i) pij (n). Sea Xn el n´ mero de lanzamienu tos realizados al tiempo n desde la ultima vez que apareci´ el n´ mero “6”. . Sea ξ1 . . el estado promedio despu´s de una transici´n es el estado inicial.Cap´ ıtulo 3. . y probabilidades de transici´n tales que para cualquier estado i. . o a) Xn+m . 1. a) P (Xn = j) = i P (Xn−1 = i) pij (1).

Demuestre que el proceso Yn = (Xn−1 . Considere la cadena de inventarios en donde ξn tiene distribuci´n uniforme o en el conjunto {0. 2. P (X ≥ i + 1) 29. a Si el conjunto indicado es vac´ entonces el m´ximo se define como cero. 31. . .88 3. Sea Xn el n´ mero de bolas blancas en la u primera urna despu´s del n-´simo ensayo. Se colocan N bolas negras en una primera urna.16. Determine el espacio de estados de este nuevo proceso y encuentre la matriz de probabilidades de transici´n.}. Justifique que Xn es una cadena e e de Markov y encuentre la matriz de probabilidades de transici´n. En caso afirmativo determine el espacio de estados y encuentre la matriz de probabilidades de transici´n. Determine si el proceso {Xn } definido a continuaci´n es una o o cadena de Markov. una sucesi´n de variables independientes con id´ntica distrio e buci´n Ber(p). 2. . Encuentre la matriz de probabilidades de transici´n de esta cadena. y N bolas blancas en una segunda urna. . Este ensayo se repite varias veces. Sea X0 = 0 y para cada n ≥ 1 sea Xn = ξ1 + · · · + ξn . o 32. Sea ξ0 . es decir. o bien el tiempo transcurrido desde la ultima renoo ´ vaci´n. Ak es la edad del art´ ıculo que se encuentra en operaci´n al tiempo k. 1. Para cada k = 1. Cadenas reversibles Interpretaremos estas variables discretas como los tiempos de vida de art´ ıculos puestos en operaci´n uno despu´s de otro en un proceso de renovaci´n a o e o tiempo discreto. y con probabilidades de transici´n o pi. . u Sea Ak = k − XNk . Xn ) es una cadena de Markov. o 30. con s = 1 y S = 4. o . a variable Nk cuenta el n´ mero de renovaciones efectuadas hasta el tiempo k. P (X ≥ i + 1) pi. (m´d. . Se selecciona al azar una bola de cada urna y se intercambian.0 = P (X = i + 1) . 3}. defina Nk = m´x {n ≥ 1 : Xn ≤ k}. La notaci´n A proviene del t´rmino en ingl´s age. o a) Xn = ξn + ξn−1 . La ıo. . b) Xn = Xn−1 + ξn . Sea Xn la cadena de Markov de dos estados.i+1 = P (X ≥ i + 2) . . o Generalize este resultado para cualquier cadena. 1. 2). c) Xn = Xn−1 + ξn . . ξ1 . Demuestre que el o o e e proceso Ak es una cadena de Markov con espacio de estados {0.

o 34. sin importar la posici´n o o de las bolas. una sucesi´n de variables independientes con valores en el cono junto {0. Modificaci´n de la cadena de Ehrenfest. p1 . Sea ξ1 . 0 1  0  0   1 b) P =  1/2 1/3 0 0 1/2 1/3 1 0 0 1/3 0 0  0  0 . En caso afirmativo determine el espacio de estados y encuentre la matriz de probabilidades de transici´n.Cap´ ıtulo 3. 4} y con id´ntica distribuci´n dada por {p0 . Suponga i = j. Considere una cadena de Markov con n estados. p4 }. 3. o 35. ¿Es esta una cadena de Markov? En caso afirmativo encuentre e la matriz de probabilidades de transici´n. . . pN . . Sea {Xn } una cadena de Markov con espacio de estados E. ξ2 . demuestre que es una cadena de Markov y encuentre sus probabilidades de transici´n en t´rminos de las probabilidades de transici´n o e o de {Xn }. Dibuje un diagrama de transici´n y encuentre las clases de comunicaci´n para o o cada una de las siguientes cadenas de Markov. o X0 Xn+1 = 0. . 1. Determine el espacio de estados del proceso {Yn }.   a) P = 1/2 1/2 0 1/2 0 0 0 1/2 1 0 0  0 P = 0 1/2 c)  1 0 1 0 0 0 0 1/2 37. = Xn + ξn+1 (m´d. . Sea Xn el n´ mero de bolas en una de las urnas despu´s del nu e ´simo ensayo. p3 . . e o Determine si el proceso {Xn } definido a continuaci´n es una cadena de Maro kov. Cadenas de Markov 89 33. Defina el proceso {Yn } de la siguiente forma: Yn = (Xn . para n ≥ 0. 5). Considere el esquema de dos urnas o como en la cadena de Ehrenfest con un total de N bolas. Demuestre que si i → j. 2. Comunicaci´n o 36. Xn+1 ). . entonces es posible pasar de i a j en a lo sumo n − 1 pasos. p2 . Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia de urna con una distribuci´n de probabilidad especificada p1 .

90 Clases cerradas 3. y s´lo si. Para cualesquiera i ∈ C y j ∈ C . 40. b) pij (1) = 0. es decir. o 39.16. El rec´ ıproco de tal afirmaci´n es en general falso. dos estados que pertenecen a la misma clase de comunicaci´n tienen el mismo o periodo. alguna de o o las siguientes condiciones se cumple. Dibuje un diagrama de transici´n. o o c) la uni´n de todas las clases de comunicaci´n recurrentes de una cadena de o o Markov es una clase cerrada. Demuestre que la colecci´n de estados C es cerrada si. es decir.   a) P = 1/2 1/2 0 1/2 1/2 1/2 0 0 1/2 1/3 1/2  0 P = 1/2 1/4 c)  0 0 0 1/4 1/2 0 1/2 1/4 42. Hemos demostrado que el periodo es una propiedad de clase. determine las clases de comunicaci´n y o o calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov. Demuestre que a) toda clase de comunicaci´n recurrente es cerrada. dos eso tados pueden tener el mismo periodo y sin embargo no ser comunicantes. / a) pij (n) = 0. Periodo 41. o 0 1  0  1/4   1 b) P =  1/2 1/3 1/3 0 1/2 1/3 1/3 0 0 1/3 0 0  0  0 . para cada n ≥ 1. Proporcione un ejemplo de tal situaci´n. o b) la uni´n de dos clases de comunicaci´n recurrentes es una clase cerrada. Cadenas reversibles 38. Demuestre que toda cadena de Markov tiene por lo menos una clase de comunicaci´n cerrada.

Cadenas de Markov Tiempo y probabilidad de primera visita 43. entonces j → i. Se efect´ a un sucesi´n de lanzamientos independientes de una moneda equiu o librada con resultados A y S. o 49. .18(b) es recurrente. Demuestre que para cada n ≥ 1. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici´n de la Figura 3.      P =   1/2 1/2 0 0 1/6 1/6 1/2 1/2 0 0 1/6 1/6 0 0 1/2 1/2 1/6 1/6 0 0 1/2 1/2 1/6 1/6 0 0 0 0 1/6 1/6 0 0 0 0 1/6 1/6 47. fij > 0. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transici´n de la Figura 3. y clasifique cada clase de comunicaci´n como a o transitoria o recurrente. si y s´lo si. Eno cuentre adem´s los periodos. Demuestre que i → j.Cap´ ıtulo 3. o 91 44. Concluya que todos los estados de esta cadena son recurrentes. Sea j un estado absorbente. pij (n) = P (τij ≤ n). Encuentre el n´ mero esperado de lanzamientos u para que aparezca la secuencia particular a) “ S ” b) “ SA ” c) “ SAS ” Recurrencia y transitoriedad 46.       48. Encuentre las clases de comunicaci´n de la siguiente cadena de Markov. Tiempo medio de absorci´n o 45. 50.18(a) es transitorio. Demuestre que si i es un estado recurrente e i → j. Suponga que 0 < α < 1 y o 0 < β < 1. Demuestre que todo estado absorbente es recurrente.

3. entonces todos los estados son recurrentes positivos. b) si P es infinita e irreducible. Sea P una matriz doblemente estoc´stica. . entonces todos los estados son transitorios o recurrentes nulos. Cadenas reversibles 1 1/2 1−α 0 1 3 α 1 1 β (b) 2 1−β Figura 3. 2. . 1. Determine si la cadena de racha de ´xitos es recurrente positiva o nula. . . . Encuentre condiciones suficientes sobre estas probabilidades para que la cadena sea a) irreducible. c) recurrente positiva. . Considere una sucesi´n de ensayos independientes Bernoulli con resultados A o y B. b) recurrente.16. 2. Sea {Xn } una cadena de Markov con espacio de estados {0. = 1 para i = 1. en donde a0 + a1 + · · · = 1.18: Tiempo medio de recurrencia 51. Recurrencia positiva y nula 52. . . e 53. Calcule el n´ mero u promedio de ensayos para la primera ocurrencia de la secuencia “AB”. 1. 54.92 1/2 0 1/2 2 1/2 1 (a) 3.} y probabilidades de transici´n o p0. Demuestre directamente que a a) si P es finita.i−1 = ai para i = 0. .i pi. y con probabilidades P (A) = p y P (B) = q = 1 − p. . 2.

l´ pij (n) = πj . En caso afirmativo encuentre todas las distribuciones estacionaa rias. 61. Encuentre todas las distribuciones estacionarias. si existen. aperi´dica. Demuestre que la cadena de variables aleatorias independientes tiene una unica distribuci´n estacionaria dada por (π0 . .   1−p p 0  0 b) P =  0 1/4 1/2 1/2 1/2 1/4 0 1/2 1/2 1/4 0 0  0  1/4 57.Cap´ ıtulo 3. . . . . Demuestre que la siguiente cadena de Markov tiene un n´ mero infinito de u distribuciones estacionarias. entonces la correspondiente matriz de probabilidades de transici´n es doblemente estoc´stica. Determine si existe alguna distribuci´n estacionaria para la siguiente matriz o estoc´stica. para cada una de las siguientes cadenas de Markov.). finita e irrea o ducible tiene una unica distribuci´n estacionaria dada por la distribuci´n ´ o o uniforme. ım n→∞ . Demuestre que si la distribuci´n uniforme es una distribuci´n estacionaria o o para una cadena de Markov finita. Demuestre que la cadena del jugador tiene una infinidad de distribuciones estacionarias.   1/2 0 1−p  0 P = 1−p p 0 0 1 0 0 p  0  0  0 P = 1/2 0 0 1/2 0 1/2 1/2 0 1/2 0 0 1/2  0  1/2 58. 59. Considere una cadena de Markov a tiempo discreto con espacio de estados finito y tal que para cada estado j los siguientes l´ ımites existen y no dependen del estado i. Demuestre que toda matriz doblemente estoc´stica. o a 62. a1 . ´ o 60. π1 .   a) P = 1/2 0 0 1/2 1/2 1/2 0 1/2 1/2 1/2 56. Cadenas de Markov Distribuciones estacionarias 93 55. .) = (a0 .

o 63. P (Xn+1 = 1 | Xn = 0) = 1 y P (Xn+1 = N −1 | Xn = N ) = 1.16. para i = 1. 2. de las siguientes cadenas de Markov.     0 a)  1 P = 1/2 1/3 0 0 0 1/2 1/3 1 0 0 1/3 c) 66. . Calcule la distribuci´n l´ o ımite.n−1 = q. . . . . N −1.94 3. N } en donde los estados 0 y N son reflejantes. 2. 64. . . . n}. Calcule el n´ mero promedio de e u visitas que la caminata realiza a cada uno de sus estados. es decir: p00 = q. . Una persona se traslada todos los d´ de su casa a la oficina en la ma˜ ana. ıas n y de la oficina a su casa por la tarde. Esta persona tiene un coche que usa en cualquiera de estos dos viajes en caso de lluvia. . 1 0 1 q p 1 ··· i − 1 i i + 1 ··· N − 1 N Figura 3. Justifique la existencia y unicidad. . y encuentre la distribuci´n estacionaria pao ra una caminata aleatoria simple no sim´trica sobre el conjunto {0. . El resto de las probabilidades de transici´n o son P (Xn+1 = i + 1 | Xn = i) = p y P (Xn+1 = i − 1 | Xn = i) = q. pnn = p.i+1 = p y pi. V´ase la Figura 3. n − 1. pn. cuando existe. e en donde los estados 0 y n son reflejantes. . Las otras probabilidades de transici´n son: pi. es decir.19. p01 = p. Cadenas reversibles Demuestre que π = {πj } es una distribuci´n estacionaria. siempre y cuando tenga  0 P = 0  1/2 1 0 1 0 0 0 0 1/2 0 1  0  0  0 0  0  0 0  0 b) P =  0 1/3 1 0 1 0 0 0 0 2/3 0 1  0  0 . 1. .19: Distribuciones l´ ımite 65. Considere una caminata aleatoria {Xn } sobre el conjunto {0.i−1 = q o para i = 1. . N − 1. . 1.

a) Calcule la proporci´n de viajes a largo plazo en los cuales la persona se o moja por la lluvia.Cap´ ıtulo 3. a+b ). La probabilidad de lluvia por la ma˜ ana a n o por la tarde es p > 0.10). b) Conteste la misma pregunta cuando la persona posee r coches. independiente un evento del otro. o Cadenas reversibles 70. No siempre tiene el coche disponible pues ha decidido dejarlo en la casa o en la oficina e irse caminando cuando al salir de alguno de estos lugares no est´ lloviendo. ¿Cu´ntas potencias de una matriz se necesitan calcular como m´ximo para a a verificar que es regular? 69. π1 ) = ( a+b . Cadenas regulares 67. Yn ) es una cadena de Markov regular y encuentre sus probabilidades de transici´n. . Resolviendo la ecuaci´n de balance detallado (3. Sean {Xn } y {Yn } dos cadenas de Markov independientes y regulares. demuestre que la cadena o de dos estados es reversible y encuentre nuevamente la distribuci´n estacioo b a naria (π0 . a a) P = 0 0 1 1 0 0 0 1 0 b) P = 0 0 1/2 1 1/2 1/2 0 1/2 0 68. Cadenas de Markov 95 el coche disponible. Demuestre que Zn = (Xn . Determine si las siguientes matrices estoc´sticas son regulares. cuando a + b > 0.

.

Cap´ ıtulo 4 El proceso de Poisson Estudiaremos en ´ste y en el siguiente cap´ e ıtulo el modelo de cadena de Markov a tiempo continuo. Tal evento puede ser por ejemplo la llegada de una reclamaci´n a una como Figura 4. en el presente cap´ ıtulo estudiaremos uno de los ejemplos m´s importantes a de este tipo de modelos: el proceso de Poisson. o los momentos en que una cierta maquinaria requiere reparaci´n. ıa a 4. Se define el proceso de Poisson al tiempo t como el n´ mero o u 97 .1. Como una introducci´n a la teor´ general que se expondr´ m´s o ıa a a adelante. u o etc´tera. . o la llegada de un cliente a una ventanilla para solicitar alg´ n servicio. Suponga que las variables aleatorias T1 . y estudiaremos algunas de sus propiedades y generalizaciones. Definiremos este proceso de varias formas equivalentes. representan los tiempos e que transcurren entre una ocurrencia del evento y la siguiente ocurrencia. Suponga que estos tiempos son independientes uno del otro. Proceso de Poisson Suponga que un cierto evento ocurre repetidas veces de manera aleatoria a lo largo × × × × del tiempo como se muestra en la Figu0 ra 4. T2 . o la recepci´n de una nıa o llamada a un conmutador.1: pa˜´ aseguradora.1. y que cada uno de ellos tiene distribuci´n exp(λ). . El proceso de Poisson es un modelo relevante tanto en las aplicaciones como en la teor´ general de los procesos estoc´sticos.

o e o Una de las caracter´ ısticas sobresalientes de este proceso es que puede encontrarse . M´s o o a adelante enunciaremos otras definiciones axiom´ticas equivalentes de este mismo a proceso. y ello equivale a contar el n´ mero de eventos ocurridos hasta el tiempo t. El proceso de Poisson de par´metro o a λ es el proceso a tiempo continuo {Xt : t ≥ 0} definido de la siguiente manera: Xt = m´x {n ≥ 1 : T1 + · · · + Tn ≤ t}. tal adjetivo se refiere a e que el par´metro λ no cambia con el tiempo. el n-´simo evento ocurri´ antes de t. a Se postula adem´s que el proceso inicia en cero y para ello se define m´x ∅ = 0. una sucesi´n de variables aleatorias indepeno o dientes cada una con distribuci´n exp(λ). esto equivale a decir que al tiempo t han ocurrido por lo menos n eventos si. continua por la derecha y con l´ ımite por la izquierda. y s´lo si. T2 . a a En palabras. la cual es no decreciente. la variable Xt es el entero n m´ximo tal que T1 + · · · + Tn es menor o a igual a t. . Observe la igualdad de eventos (Xt ≥ n) = (Wn ≤ e t). . constante 3 por pedazos. es decir. la o variable Wn = T1 + · · ·+ Tn tiene distribuci´n gama(n. A los 2 tiempos T1 . .2. Proceso de Poisson de ocurrencias del evento que se han observado hasta ese instante t. se les llama tiem. En consecuencia. . Definici´n. Hemos T1 T2 T3 T4 supuesto que estos tiempos son independientes y que todos tienen disFigura 4. a e Una trayectoria t´ ıpica de este proceXt (ω) so puede observarse en la Figura 4.1. (I) Sea T1 . y corresponden a los tiempos t W1 W2 W3 que transcurren entre un salto del 0 proceso y el siguiente salto.98 4. Esta es una definici´n constructiva de este proceso y la formalizaremos a continuaci´n. T2 .1 pos de estancia. . es homog´neo en el tiempo. u A este proceso se le llama proceso de Poisson homog´neo.2: tribuci´n exp(λ). o tiempos de interarribo. Esta variable representa el tiempo real en el que se observa la o ocurrencia del n-´simo evento. λ). .

y es de all´ de donde el proceso o ı adquiere su nombre. 1. . Como Wn tiene distribuci´n gama(n. si T tiene distribuci´n exp(λ). intervalo de observaci´n. su funci´n de distribuci´n o o o o es. λ). . t > 0 se o cumple la igualdad P (T > t + s | T > s) = P (T > t). . n−1 (λt)k −λt P (Wn ≤ t) = 1 − e . Una de las propiedades que cae racterizan de manera unica a la distribuci´n exponencial dentro del conjunto de ´ o distribuciones continuas es que satisface la propiedad de p´rdida de memoria. para o o cualquier t > 0. .Cap´ ıtulo 4. La variable Xt tiene distribuci´n Poisson(λt). y para n = 0. y mayor o tambi´n la incertidumbre del n´ mero de observaciones. k! Entonces. Proposici´n. t]. para t > 0. k! k=0 Entonces para cualquier t > 0 y para cada n = 0. es decir. mayor es el promedio de observaciones realizadas. . se tiene que E(Xt ) = o λt. entonces para cualesquiera tiempos s. . e u P´rdida de memoria y sus consecuencias. n! Demostraci´n. dado que Xt tiene una distribuci´n Poisson(λt). . esto e es. 1. La respuesta es la distribuci´n Poisson. y Var(Xt ) = λt. El proceso de Poisson 99 expl´ ıcitamente la distribuci´n de probabilidad de la variable Xt para cualquier o valor de t. P (Xt = n) = P (Xt ≥ n) − P (Xt ≥ n + 1) = P (Wn ≤ t) − P (Wn+1 ≤ t) = e−λt (λt)k . As´ mientras mayor es la longitud del e ı. P (Xt = n) = e−λt (λt)n . Por lo tanto λt es el promedio de observaciones o registros del evento de inter´s en el intervalo [0.

. . Esto es exactamente P (Xtn = xn | Xtn−1 = xn−1 ). teniendo las mismas propiedades a partir de ese momento hacia adelante.1. tn ] hayan ocurrido xn − xn−1 eventos. y estados 0 ≤ x1 ≤ . e) Para cualesquiera s. Esto significa que el proceso de Poisson puede estudiarse a o partir de cualquier tiempo s ≥ 0. Proceso de Poisson En otras palabras. 1. b) Tiene incrementos independientes. Entonces.100 4. y enteros 0 ≤ i ≤ j. Xt+s − Xs ∼ Poisson(λt). para cada n ≥ 1. incluida la propiedad de Markov. . si uno toma cualquier tiempo s ≥ 0 y empieza a contar desde cero las ocurrencias de eventos a partir de ese momento. . . . para cualesquiera n tiempos 0 ≤ t1 ≤ t2 ≤ · · · ≤ tn . . . Demostraci´n.1) Esta propiedad caracteriza de manera unica a este proceso y de ella pueden derivar´ se todas las propiedades del Proceso de Poisson. o a) Considere la probabilidad condicional P (Xtn = xn | Xt1 = x1 . . t > 0. para cualquier t > 0 y para n = 0. . condicionada al evento (T > s). c) Tiene incrementos estacionarios. ≤ xn . la variable T − s sigue teniendo distribuci´n exp(λ). lo que uno obtiene es nuevamente un proceso de Poisson. d) Para cualesquiera s.2) (j − i)! b) Considere cualesquiera n tiempos 0 ≤ t1 ≤ t2 ≤ · · · ≤ tn . . e A partir de ese momento inicia un nuevo proceso de Poisson y para que al tiempo tn hayan xn ocurrencias es necesario que en el intervalo de tiempo (tn−1 . o Proposici´n. Esto es. . la cual demostraremos a continuaci´n. o a) Es un proceso de Markov. P (Xt+s − Xs = n) = P (Xt = n) = e−λt (λt)n . (4. El proceso de Poisson satisface las siguientes propiedades. t ≥ 0. y cualesquiera estados x1 . Xtn−1 = xn−1 ). Entonces al tiempo tn−1 ha habido xn−1 ocurrencias del evento de inter´s. . las probabilidades de transici´n son o (λt)j−i P (Xt+s = j | Xs = i) = e−λt . xn . n! (4. . Por comodidad llamaremos sn a la suma x1 + · · · + xn .

el tiempo o a que transcurre entre la llegada de un autob´ s y el siguiente es una variable aleau toria con distribuci´n exp(λ). y se escriben a simplemente como pij (t). a los tiempos a de interarribo del proceso suma. Suponga que la llegada de autobuses a una estau ci´n se modela mediante un proceso de Poisson de par´metro λ. (Paradoja del autob´ s). . tn . . Xt2 = s2 . es decir.j−i (t). pij (t) = p0. La forma en la que se obtienen estos tiempos se muestra en la Figura 4. T2 . es decir. Demostraremos que estas variables aleatorias son independientes con id´ntica distribuci´n exp(λ1 + λ2 ). La o propiedad de p´rdida de memoria en este contexto puede interpretarse de la sie guiente forma: Un persona ha llegado a la estaci´n y ha esperado s minutos sin que o un autob´ s aparezca. . En s´ ´ e ımbolos. . La expresi´n (4. Sean {Xt } y {Yt } dos procesos de Poisson independientes de par´metros a λ1 y λ2 respectivamente. . El proceso de Poisson Por la propiedad de Markov y por (4. . . .3.2) establece de manera evidente que las probabilidades de transici´n o o son estacionarias en el tiempo. e o Para cualesquiera tiempos t1 . . Ejemplo. no dependen del par´metro s. el evento (T1 > t1 . La probabilidad de que tenga que esperar m´s de t minutos u a adicionales es la misma que la probabilidad de espera de m´s de t minutos para a una persona que ¡acaba de llegar a la estaci´n! o Ejemplo. Denotaremos por T1 . . Las propiedades c). P (Xt1 = x1 . .Cap´ ıtulo 4.1). Xt2 − Xt1 = x2 . . . Demostraremos que el proceso suma {Xt + Yt } es un proceso de Poisson de par´metro λ1 + λ2 . d) y e) son consecuencia inmediata de (4. Xtn − Xtn−1 = xn ) = P (Xt1 = s1 . Suponga que el tiempo es medido en minutos. dependen de los estados i y j unicamente a trav´s de la diferencia j − i. . .1). . T2 > t2 . Xtn = sn ) = P (Xt1 = s1 ) P (Xt2 = s2 | Xt1 = s1 ) · · · · · · P (Xtn = sn | Xtn−1 = sn−1 ) 101 = P (Xt1 = x1 ) P (Xt2 − Xt1 = x2 ) · · · P (Xtn − Xtn−1 = xn ). . Tn > tn ) .2) dice que e estas probabilidades son estacionarias en el espacio. Pero tambi´n es interesante observar que (4. es decir. . . para j ≥ i.

T1 +t2 ] = 0) ··· ∩(X[Tn−1 .Tn−1 +tn ] = 0). Tn > tn ) = e−(λ1 +λ2 )t1 e−(λ1 +λ2 )t2 · · · e−(λ1 +λ2 )tn . . . P (T1 > t1 . . la probabilidad de este evento es P (X[0.1. . existen otras distribuciones de probabilidad que surgen al estudiar ciertas caracter´ ısticas del proceso de Poisson. T2 > t2 . .Tn−1 +tn ] = 0) P (Y[Tn−1 .T1 +t2 ] = 0) ∩ (Y[T1 .t1 ] = 0) P (X[T1 . (X[0. Adem´s de las distribuciones a exponencial y gama ya mencionadas. .Tn−1 +tn ] = 0) ∩ (Y[Tn−1 . Esta identidad demuestra que las variables T1 .T1 +t2 ] = 0) P (Y[T1 . . Tn son independientes con id´ntica distribuci´n exp(λ1 + λ2 ). .3: Xt Yt Xt + Yt puede expresarse como ((X + Y )[0. e o Distribuciones asociadas al proceso de Poisson.Tn−1 +tn ] = 0).102 × 4. o . T2 . esto es.t1 ] = 0) ∩ (Y[0. . .Tn−1 +tn ] = 0). Mencionaremos a continuaci´n algunas de ellas.t1 ] = 0) ∩(X[T1 .T1 +t2 ] = 0) ··· P (X[Tn−1 . Por lo tanto. (X + Y )[Tn−1 . Por la independencia de los procesos y la propiedad de incrementos independientes de cada uno de ellos. . (X + Y )[T1 . . Proceso de Poisson × × × × × × × × × × × Figura 4.T1 +t2 ] = 0.t1 ] = 0.t1 ] = 0) P (Y[0.

. . yn ) = n! f (y1 ) · · · f (yn ). . . . . .Cap´ ıtulo 4. . . Y(n) de una muestra aleatoria Y1 . .. wn | n) =  0 otro caso. . . . . . . . Usaremos nuevamente la identidad e o de eventos (Xt ≥ n) = (Wn ≤ t).. es decir. Xwn ≥ n | Xt = n) ∂w1 · · · ∂wn ∂n = P (Xt − Xwn = 0.   n! si 0 < w1 < · · · < wn < t. Yn de la distribuci´n o uniforme en el intervalo [0. Xw2 ≥ 2. para y1 < · · · < yn . . . .Y(n) (y1 .Wn |Xt (w1 . . . . Demostraremos que la distribuci´n conjunta de las variables W1 . .Wn |Xt (w1 . Xwn − Xwn−1 = 1.. . el vector de tiempos reales o (W1 . . Wn ) tiene la misma distribuci´n que el vector de las estad´ o ısticas de orden (Y(1) . Cuando la funci´n de densidad f (y) es la uniforme en el intervalo [0. .. . . .. ∂w1 · · · ∂wn . . . .. wn | n) ∂n = P (W1 ≤ w1 . . El proceso de Poisson 103 Proposici´n. tn fW1 . . .. Yn de una distribuci´n con funci´n de densidad f (y) es. . La f´rmula general para la funci´n de densidad conjunta de las o o o estad´ ısticas de orden Y(1) . . . se tiene que fW1 .. Dado el evento (Xt = n). . .. Wn . ... . t]. Y(n) ) de una muestra aleatoria Y1 .. . condicionada al evento (Xt = n) o tambi´n tiene esta misma funci´n de densidad. esta funci´n o o de densidad conjunta es la que aparece en el enunciado. Demostraci´n. . . . Para tiempos 0 < w1 < · · · < wn < t. Xw1 = 1)/P (Xt = n) ∂n = e−λ(t−wn ) e−λ(wn −wn−1 ) λ(wn − wn−1 ) · · · ∂w1 · · · ∂wn · · · e−λ(w2 −w1 ) λ(w2 − w1 ) e−λw1 λw1 /[ e−λt (λt)n /n! ] ∂n = n! (wn − wn−1 ) · · · (w2 − w1 )w1 /tn ∂w1 · · · ∂wn = n!/tn . W2 ≤ w2 . Wn ≤ wn | Xt = n) ∂w1 · · · ∂wn ∂n = P (Xw1 ≥ 1. . . . t]. . o o fY(1) . Xw2 − Xw1 = 1.

el evento (Xt = n) ha e ocurrido. un de la distribuci´n unif(0. la probabilidad del evento (Xw1 ≥ 1. k t t Demostraci´n. . Xt = n). . y sean k y n enteros o tales que 0 ≤ k ≤ n. . . . . t] se han observado n ocurrencias del evento de inter´s. t). Xw2 − Xw1 = 1. Suponga Xt = n. Proposici´n.2. . s/t). s]? Demostraremos a continuaci´n que esta variable aleatoria tiene distribuci´n o o binomial(n. . El procedimiento es el siguiente: Fije un valor t y asigne un valor para λ. que aparece en la segunda igualdad. pues si alguna de estas identidades (exceptuando la primera) fuera distinta de uno. o P (Xu = k | Xt = n) = = = = P (Xu = k. Xwn − Xwn−1 = 1. Proceso de Poisson Observe que bajo el signo de derivada. Xt = n)/P (Xt = n) P (Xu = k)P (Xt − Xu = n − k)/P (Xt = n) P (Xu = k)P (Xt−u = n − k)/P (Xt = n). P (Xu = k. Entonces P (Xs = k | Xt = n) = n s k s ( ) (1 − )n−k . es decir. . . Xwn ≥ n. la derivada se anula. . es id´ntica a la e probabilidad de (Xt − Xwn = 0. y ordene estos valores de menor o a mayor: u(1) ≤ · · · ≤ u(n) . . La f´rmula anterior nos provee de un mecanismo para obtener simulaciones por o computadora de las trayectorias del proceso Poisson. Xw2 ≥ 2. Xw1 = 1). . Xt − Xu = n − k)/P (Xt = n) Substituyendo estas probabilidades y simplificando se obtiene el resultado. Genere un valor al azar de la variable Xt con distribuci´n Poisson(λt). Sean s y t tiempos tales que 0 < s < t. El siguiente resultado establece una forma de obtener la distribuci´n binomial a o partir del proceso de Poisson.104 4.1. La pregunta es ¿cu´ntos de estos eventos ocurrieron en el subintervalo a [0. Suponga que durante el intervalo de tiempo [0. Por la propiedad de incrementos independientes. Estos son los tiempos en donde la trayectoria tiene saltos. De esta forma pueden obtenerse trayectorias como la que se muestra en la Figura 4. A continuaci´n genere o o n valores u1 .

Una de las ventajas de contar con o estas definiciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de las definiciones a conveniencia.2. ( λ1 + λ2 k λ1 + λ2 Demostraci´n. Revisaremos a y comentaremos a continuaci´n dos de ellas. o o P (X1 (t) = k | X1 (t) + X2 (t) = n) = P (X1 (t) = k. y sean k y n enteros tales que 0 ≤ k ≤ n.Cap´ ıtulo 4. se puede comprobar f´cilmente el siguiente resultado. Definiciones alternativas La definici´n (I) de proceso de Poisson es constructiva pues a partir de los tiempos o de interarribo se construye el proceso de conteo correspondiente. El proceso de Poisson 105 Recordando que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson. a Entonces P (X1 (t) = k | X1 (t) + X2 (t) = n) = λ1 n λ1 )k (1 − )n−k . Substituyendo estas probabilidades se obtiene el resultado. a Proposici´n. . Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con o par´metros λ1 y λ2 respectivamente. 4. Por la hip´tesis de independencia entre los procesos. X1 (t) + X2 (t) = n)/P (X1 (t) + X2 (t) = n) = = P (X1 (t) = k. X2 (t) = n − k)/P (X1 (t) + X2 (t) = n) P (X1 (t) = k) P (X2 (t) = n − k)/P (X1 (t) + X2 (t) = n). Existen otras formas equivalentes y un tanto axiom´ticas de definir a este proceso.

y cuando h ց 0. El proceso empieza en cero y por el tercer postulado la probabilidad de que pase al estado uno al final de un intervalo de tiempo peque˜ o [0. . Ejemplo. (Demostraci´n de que la variable Xt+s −Xs tiene distribuci´n Poisson(λt) o o a partir de los postulados de la definici´n (II)). Denotaremos por pn (t. t + h]. con condici´n inicial pn (0) = 0 para o ′ n ≥ 1. t + h] + o(h) = pn (t) (1 − λh + o(h)) + pn−1 (t) (λh + o(h)) + o(h). Definiciones alternativas Definici´n. Entonces pn (t) = −λ pn (t) + λ pn−1 (t). y que cumple las siguientes propiedades: a) X0 = 0. Es decir. ′ Haciendo h → 0 se obtiene la ecuaci´n diferencial p0 (t) = −λ p0 (t). (II) Un proceso de Poisson de par´metro λ > 0 es un proceso a o a tiempo continuo {Xt : t ≥ 0}. la probabilidad de que el proceso no sufra n ning´ n cambio en dicho intervalo es 1 − λh + o(h). con espacio de estados {0.2. o p0 (t + h) = = p0 (t) p0 (t. i) P (Xt+h − Xt ≥ 1) = λh + o(h). Se define pn (t) = P (Xt = n) o y se considera cualquier h > 0.}. Por la hip´tesis de independencia. en donde la constante c es uno por la condici´n inicial p0 (0) = 1. y finalmente la probabilidad de u que el proceso tenga dos o m´s incrementos en tal intervalo es o(h). t + h] p0 (t) (1 − λh + o(h)). c) Para cualquier t ≥ 0. . cuya soluci´n o o es p0 (t) = c e−λt . h] es λh + o(h). t + h] a la probabilidad P (Xt+h − Xt = n).106 4. Nuevamente por independencia. t + h] + pn−1 (t) p1 (t. pn (t + h) ′ = pn (t) p0 (t. ii) P (Xt+h − Xt ≥ 2) = o(h). 1. . en un a intervalo cualquiera de longitud infinitesimal h s´lo pueden ocurrir dos situaciones: o que haya un incremento o que no lo haya. o Ahora encontraremos pn (t) para n ≥ 1. para t ≥ 0 y cuando h ց 0. b) Tiene incrementos independientes y estacionarios. Definiendo qn (t) = eλt pn (t) la ecuaci´n diferencial se transforma en qn (t) = o . Esta definici´n hace uso de las probabilidades infinitesimales del proceso y ello tiene o algunas ventajas desde el punto de vista de la interpretaci´n de lo que sucede en o un intervalo infinitesimal de tiempo (t.

Proposici´n. La indepeno dencia de los incrementos es expl´ ıcita. Usando la definici´n (III). y as´ sucesivamente. Hemos demostrado que (II) ⇒ (III). o Demostraci´n. y para cualquier t ≥ 0 y h > 0. Para demostrar la equivalencia con la definici´n (I). Las definiciones (I). El rec´ o ıproco es inmediato pues la propiedad de incrementos independientes y estacionarios aparecen en ambas definiciones. e o Ejercicio. b) Tiene incrementos independientes.}. t > 0. con condiciones qn (0) = 0 y q0 (t) = 1.Cap´ ıtulo 4. Esta ecuaci´n se resuelve iterao tivamente primero para q1 (t). en general e ı qn (t) = (λt)n /n! Por lo tanto pn (t) = e−λt (λt)n /n! Esto significa que Xt tiene distribuci´n Poisson(λt). . para cualesquiera s ≥ 0. c) Xt+s − Xs ∼ Poisson(λt). 1. . (II) y (III) son equivalentes. . Esta es posiblemente la definici´n mas frecuente del proceso de Poisson. A partir de o ella inmediatamente sabemos que Xt tiene distribuci´n Poisson(λt). o Definici´n. la vao riable Xt+s − Xs tiene la misma distribuci´n que Xt . . El proceso de Poisson 107 λ qn−1 (t). el reto consiste en definir los tiempos de interarribo y demostrar que o ´stos son variables aleatorias independientes con distribuci´n exponencial(λ). (III) Un proceso de Poisson de par´metro λ > 0 es un proceso a o a tiempo continuo {Xt : t ≥ 0} con espacio de estados {0. demuestre que la suma de dos procesos de o Poisson independientes es nuevamente un proceso Poisson. Debido al postulado de incrementos estacionarios. con trayectorias no decrecientes y que cumple las siguientes propiedades: a) X0 = 0. despu´s para q2 (t). y la estacionariedad de los mismos aparece de manera impl´ ıcita en el tercer postulado. P (Xt+h − Xt ≥ 1) = = = = 1 − P (Xt+h − Xt = 0) 1 − e−λh 1 − (1 − λh + o(h)) λh + o(h).

. .. Una o de tales generalizaciones que estudiaremos con mayor detalle en un cap´ ıtulo m´s a Al hacer ∆t1 .108 An´logamente a 4. . etc´tera. T2 tome un valor en el intervalo ∆t2 . . . o Sean t1 . .2. o Presentaremos a continuaci´n algunas generalizaciones del proceso de Poisson. tn ) = λ e−λt1 · λ e−λt2 · · · λ e−λtn .Tn (t1 .. . Esto demuestra que las variables T1 . tn > 0 tiempos cualesquiera y sean ∆t1 . . .. Tn son independientes y cada una de ellas tiene distribuci´n exp(λ). tn )∆t1 · · · ∆tn = = (e−λt1 · e−λ∆t1 λ∆t1 ) (e−λt2 · e−λ∆t2 λ∆t2 ) · · · (e−λtn · e−λ∆tn λ∆tn ) λ e−λt1 · λ e−λt2 · · · λ e−λtn · ∆t1 · · · ∆tn · e−λ(∆t1 +···+∆tn ) fT1 .4. . t1 0 ∆t1 t2 ∆t2 tn ∆tn Figura 4. . . son independientes con distribuci´n o exp(λ). Definiciones alternativas P (Xt+h − Xt ≥ 2) = = = = o(h)... . . . o Observe que la pregunta acerca de la existencia de un proceso estoc´stico que a cumpla los postulados de la definici´n (II) o (III) queda resuelta al verificar la o equivalencia de tales postulados con la definici´n constructiva (I). . En conjunto esto demuestra que (I) ⇔ (III) ⇔ (II).. .4: La probabilidad de que T1 tome un valor en el intervalo ∆t1 . . .. . T2 . 1 − e−λh − e−λh λh 1 − (1 − λh + o(h)) − (λh + o(h)) 1 − P (Xt+h − Xt = 0) − P (Xt+h − Xt = 1) Estos c´lculos y lo desarrollado antes demuestran que (II) ⇔ (III). Para demostrar el rec´ ıproco es necesario comprobar que los tiempos de interarribo T1 . .Tn (t1 . ∆tn las longitudes que se muestran en la Figura 4. . . ∆tn → 0 se obtiene . .. . Daremos una demostraci´n no completamente rigurosa de este resultado. . . es e fT1 . Tambi´n antes a e hemos demostrado que (I) ⇒ (III).

3. Ello o o es consecuencia de que el par´metro var´ con el tiempo. T2 . s + t]. . Es decir. 1. . A este tipo de procesos se les llama procesos de renovaci´n. Proceso de Poisson no homog´neo e Se considera ahora que el par´metro λ del proceso de Poisson no es necesariamente a una constante sino una funci´n del tiempo. y en completa analog´ con el caso homog´neo. en tal caso se pierde la propiedad de Markov del proceso. o o . generalmente de manera a ıa decreciente. Este modelo e a puede ser naturalmente m´s adecuado para algunas situaciones reales aunque deja a de cumplir la propiedad de Markov. la variable Xt contin´ a ıa e u teniendo distribuci´n Poisson como a continuaci´n demostraremos. El proceso de Poisson 109 adelante es aquella en la que se considera que las variables T1 . . con par´metro la funci´n a o positiva y localmente integrable λ(t). ii) P (Xt+h − Xt ≥ 2) = o(h).}.Cap´ ıtulo 4. Definici´n. . b) Los incrementos son independientes. c) Para cualquier t ≥ 0. la distribuci´n de probabilidad de la variable incremento o Xt+s − Xs depende de los valores de la funci´n λ en el intervalo (s. Un proceso de Poisson no homog´neo es un proceso a tiempo cono e tinuo {Xt : t ≥ 0}. . y la hip´tesis de incrementos estacionarios ya no aparece. o 4. i) P (Xt+h − Xt ≥ 1) = λ(t) h + o(h). Sin o embargo. A veces a este proceso se le llama o tambi´n proceso de Poisson con par´metro dependiente del tiempo. . no son necesariamente exponenciales. con espacio de estados {0. y que cumple las siguientes propiedades: a) X0 = 0. y cuando h ց 0. Comparando esta definici´n con la definici´n (II) de proceso de Poisson se observa o o mucha similaridad excepto por dos aspectos: En lugar de la constante λ se escribe ahora la funci´n λ(t).

son trayectorias no decrecientes y con saltos unitarios hacia arriba. o o . con condiciones qn (0) = 0 y q0 (t) = 1. De manera an´loga al caso homog´neo. con condici´n inicial pn (0) = 0 pao ra n ≥ 1. para t ≥ 0 y cuando h ց 0. en donde la constante c es uno debido a la condio ci´n inicial p0 (0) = 1. n! Demostraci´n. e ı en general qn (t) = (Λ(t))n /n! y de aqu´ se obtiene pn (t). a o es decir. o a e Se define nuevamente pn (t) = P (Xt = n) y se considera cualquier h > 0. y as´ sucesivamente. 1. los a e incrementos de este proceso tambi´n tienen distribuci´n Poisson.110 4. Calculando la derivada se obtiene la ecuaci´n diferencial p0 (t) = −λ(t) p0 (t). en donde Λ(t) = 0 λ(s) ds. Ahora encontraremos pn (t) para n ≥ 1. t + h] a la probabilidad P (Xt+h − Xt = n). Proceso de Poisson no homog´neo e Proposici´n. Denotaremos por pn (t. despu´s para q2 (t). Xt+s − Xs tiene distribuci´n Poisson(Λ(t + s) − Λ(s)). Nuevamente por o independencia. . cuya o soluci´n es p0 (t) = c e−Λ(t) . t + h] = p0 (t) (1 − λ(t)h + o(h)). Entonces pn (t) = −λ(t) pn (t) + λ(t) pn−1 (t). P (Xt = n) = e−Λ(t) [Λ(t)]n . t + h] + pn−1 (t) p1 (t. La variable Xt en un proceso de Poisson no homog´neo de o e t par´metro λ(t) tiene distribuci´n Poisson(Λ(t)). Por la hip´tesis de o independencia. p0 (t + h) = p0 (t) p0 (t.3. La prueba es an´loga a una de las realizadas en el caso homog´neo. t + h] + o(h) pn (t) (1 − λ(t)h + o(h)) + pn−1 (t) (λ(t)h + o(h)) + o(h). es decir. Definiendo qn (t) = eΛ(t) pn (t) la ecuaci´n diferencial se transforma en o ′ qn (t) = λ(t) qn−1 (t). pero la frecuencia promedio con la que aparecen los saltos cambia a lo largo del tiempo. e o Proposici´n. pn (t + h) = = ′ ′ pn (t) p0 (t. ı Las trayectorias de un proceso de Poisson no homog´neo son semejantes a las e trayectorias de un proceso de Poisson. para n = 0. . . Esta ecuaci´n se reo suelve iterativamente primero para q1 (t).

Recordando que la funci´n generadora de momentos de o la distribuci´n Poisson(λ) es M (r) = exp [λ(er − 1)]. y en general no es invertible. Un proceso de Poisson no homog´neo o e en donde {Λ(t) : t ≥ 0} es un proceso estoc´stico se le llama proceso de Cox. Se escribe Xt+s = Xs + (Xt+s − Xs ). y funci´n de intensidad Λ(t) = 0 λ(s) ds. Puede definirse. A la funci´n Λ(t) se le llama funci´n de intensidad y a λ(t) o o se le conoce como funci´n de valor medio. ı Entonces el proceso {XΛ−1 (t) } es un proceso de Poisson homog´neo de par´mee a tro λ = 1. Antes de demostrar este resultado observemos que e a como la funci´n t → λ(t) es positiva. o a un proceso de Poisson no homog´neo puede ser llevado a un proceso de Poisson e homog´neo de par´metro uno. que cumple la identidad Λ(Λ−1 (t)) = t. la funci´n de intensidad Λ(t) es continua y no o o decreciente. Usaremos la definici´n (III) de proceso de Poisson. en el lado derecho aparece la suma de dos variables aleatorias independientes. Si la funci´n λ(t) es constante igual a λ. y que es una funci´n continua y creciente.Cap´ ıtulo 4. entonces Λ(t) = λt. en donde. Por lo tanto MXt+s −Xs (r) = exp [(Λ(t + s) − Λ(s)) (er − 1)]. a El siguiente resultado establece que bajo una transformaci´n del par´metro tiempo. por el axioma de o incrementos independientes. la inversa por la derecha Λ−1 (t) = ´ ınf{u ≥ 0 : Λ(u) = t}. Sea {Xt } un proceso de Poisson no homog´neo de par´metro o e a t λ(t). bajo la funci´n creciente Λ−1 (t) estos o tiempos se transforman en una nueva colecci´n mon´tona de tiempos o o 0 ≤ Λ−1 (t1 ) < Λ−1 (t2 ) < · · · < Λ−1 (tn ). sin embargo. . Defina la funci´n o o Λ−1 (t) = ´nf{u ≥ 0 : Λ(u) = t}. Demostraci´n. El proceso de Poisson 111 Demostraci´n. o Proposici´n. y se recupera el o proceso de Poisson homog´neo. El proceso XΛ−1 (t) o o empieza en cero y tiene incrementos independientes pues si se consideran cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn . Cuando λ(t) es continua. al aplicar este resultado a la o ecuaci´n anterior se obtiene o exp [Λ(t + s) (er − 1)] = exp [Λ(s) (er − 1)] MXt+s −Xs (r). Λ(t) es diferenciable y e por lo tanto Λ′ (t) = λ(t).

la variable Xt puede interpretarse como el monto total de reclamaciones recibidas por una compa˜´ aseguradora al tiempo t. ...112 4. . una sucesi´n de o o variables aleatorias independientes. . . por ejemplo. y los tiempos de saltos W1 . Y2 . XΛ−1 (tn ) − XΛ−1 (tn−1 ) son independientes. Tal tipo de modelos encuentra aplicaci´n natural en distino tos contextos. T2 . por ejemplo. o Definici´n.. El proceso nıa de Poisson determina el n´ mero de siniesu tros o reclamaciones efectuadas hasta un Xt (ω) Y3 Y2 Y1 t Figura 4. . El proceso de Poisson compuesto se define de la siguiente forma: Nt Xt = n=0 Yn . .5: . . t ≥ 0 el incremento XΛ−1 (t+s) − XΛ−1 (s) tiene distribuci´n Poisson de par´metro Λ(Λ−1 (t + s)) − o a Λ(Λ−1 (s)) = (t + s) − s = t.4. . W2 . para cualesquiera tiempos s. . Por hip´tesis los incrementos de este procesos son independientes. Y por las mismas razones las distribuciones de estas variables no son id´nticas. debido a que el par´metro λ(t) es una funci´n del tiempo. para un proceso de Poisson no homog´neo de manera an´loga al caso e a homog´neo. . los tiempos a o de interarribo T1 . Finalmente. XΛ−1 (t2 ) − XΛ−1 (t1 ) . id´nticamente distribuidas e independientes e del proceso Poisson. T2 depende de λ(t) para valores de t mayores a T1 . . no son independientes pues. Sea Y0 = 0. Pueden definirse los tiempos de interarribo T1 . . Proceso de Poisson compuesto Por lo tanto las variables XΛ−1 (t1 ) . . Sea {Nt } un proceso de Poisson y sea Y1 . sin e o embargo. Proceso de Poisson compuesto Esta es una de las generalizaciones del proceso de Poisson m´s conocidas y de a amplia aplicaci´n. T2 . e 4. . La variable Xt es una suma de variables aleatorias en donde el n´ mero de suu mandos es aleatorio.4.

Taylor y Karlin [37]. . El proceso de Poisson 113 momento cualquiera. son todas id´nticamente uno. . Y2 . c) Var(Xt ) = λ t E(Y 2 ). es decir. Notas y referencias. 2. a) La funci´n generadora de momentos de la variable Xt . En la Fie o gura 4. t}. Demuestre que el proceso de Poisson compuesto satisface las siguientes propiedades. Ejercicio. . a toman valores en el conjunto {1. este proceso se reduce e al proceso de Poisson. La mayor´ de los a ıa textos sobre procesos estoc´sticos que aparecen en la bibliograf´ cuentan por lo a ıa menos con una secci´n sobre este tema. Algunos textos espec´ o ıficos que dedican un cap´ ıtulo entero para el proceso de Poisson son: Basu [1]. La variable Yn representa el monto de la n-´sima reclamaci´n y es natural suponer Yn > 0. Xs ) = λ E(Y 2 ) m´ ın{s. . . d) Cov(Xt . y Jones y Smith [17]. . Observe que si las variables Y1 . Y2 . b) E(Xt ) = λ t E(Y ). . El proceso de Poisson es otro de los temas cl´sicos que a se estudia en los cursos elementales de procesos estoc´sticos. . e) Tiene incrementos independientes y estacionarios. . . MXt (u) = o E(euXt ) es MXt (u) = exp [ λt (MY (u) − 1) ]. Cuando las variables Y1 .5 se muestra una trayectoria de este proceso y en los siguientes ejercicios se presentan algunas de sus propiedades b´sicas.} se dice que este proceso es un proceso de Poisson generalizado pues los saltos ya no son necesariamente unitarios.Cap´ ıtulo 4.

Sea {Xt } un proceso de Poisson de par´metro λ = 2. c) P (X1 = 0 | X3 = 4). 73. b) E(X5 | X2 = 1).114 4. 1) u o e independiente del proceso de Poisson. d ) Var(Xτ ). Calcule a) P (X2 = 1). e) E(W7 | W5 = 4). c) E(W7 ).4. b) E(Xτ ). d ) E(W7 | X2 = 3). Proceso de Poisson compuesto Ejercicios Proceso de Poisson 71. Calcule a) E(Xτ | τ = t). e) P (X2 ≤ 3). Sea τ el momento en el que llega el primer a autob´ s. Los clientes de una tienda entran al establecimiento de acuerdo a un proceso de Poisson de par´metro λ = 4. Sea Xt el n´ mero de clientes que han a u ingresado hasta el instante t. f ) P (X1 ≥ 4 | X1 ≥ 2). 2 c) E(Xτ | τ = t). d ) P (X2 = 4 | X1 = 2). Los pasajeros llegan a una parada de autob´ s de acuerdo a un proceso de u Poisson {Xt } de par´metro λ = 2. Calcule e a) E(X5 ). b) P (X1 = 3. Sea Wn el instante en a el que ocurre el n-´simo evento. 72. X2 = 6). Suponga que τ es una variable aleatoria con distribuci´n unif(0. .

si T1 + · · · + Tk ≤ 1 < T1 + · · · + Tk+1 . . P (Wn ≤ t) = ∞ k=n e−λt (λt)k . Demuestre que la suma Wn = T1 + · · · + Tn tiene distribuci´n o o gama(n.Cap´ ıtulo 4. . Defina la variable aleatoria N de o la siguiente forma N= 0 k si T1 > 1. e independiente de a una variable aleatoria θ con distribuci´n exp(λ) con λ = 1. W2 > t2 ) = e−λt1 (1 + λ(t2 − t1 )) e−λ(t2 −t1 ) . El proceso de Poisson 115 74. Demuestre que N tiene distribuci´n Poisson(λ). T2 . Demuestre los siguientes a resultados de manera sucesiva. Yt+s = n + m) = t s ( 1+t+s )n+m+1 .W2 (t1 . para n = 0. . . . n Concluya que las variables Yt y Yt+s − Yt no son independientes. λ) y que la correspondiente funci´n de distribuci´n puede escribirse o o de la siguiente forma: para cada t > 0.. Sean T1 . 78. 1. Demuestre que si X tiene distribuci´n unif(0. Defina el proceso o Yt = Xθt . Xt2 − Xt1 = 0 ´ 1). . 1). W2 > t2 ) = (Xt1 = 0. Sea {Xt } un proceso de Poisson de par´metro λ = 1. 1). o c) fW1 . k! 77. entonces Y := − λ ln(1 − o X) tiene distribuci´n exp(λ). una sucesi´n de variables aleatorias independientes id´nticao e mente distribuidas con distribuci´n exp(λ). Este resultado puede ser o usado para obtener valores al azar de la distribuci´n Poisson. . Demuestre que a) P (Yt = n) = 1 t n ( ) . Sea {Xt } un proceso de Poisson de par´metro λ. 1+t 1+t n+m n m 1 b) P (Yt = n. para 0 < t1 < t2 . 76. a) (W1 > t1 . . . o 1 75. b) P (W1 > t1 . . t2 ) = λ2 e−λt2 . Sean T1 . . Este resultado puede ser usado para generar o valores al azar de la distribuci´n exp(λ) a partir de valores de la distribuci´n o o unif(0. Tn variables aleatorias independientes cada una con distribuci´n exp(λ).

y sea s > 0 un tiempo fijo. 82.6 se ilustra gr´ficamente la definici´n de este a a o nuevo proceso. Xt = 1) = λ(t − s)e−λt . t}.6: 83. Xt Yt 3 2 1 2 1 t t s Figura 4. Para un proceso de Poisson de par´metro λ demuestre que a a) P (“Xt sea impar”) = e−λt senh(λt).116 4. Las funciones seno y coseno hiperb´lico se definen de la siguiente forma: o senh(x) = (ex − e−x )/2. 79. Proceso de Poisson compuesto d ) fW1 (t1 ) = λ e−λt1 . a Demuestre que el proceso Yt = Xt+s − Xs tambi´n es un proceso de Poisson e de par´metro λ.4. y cosh(x) = (ex + e−x )/2. Sea {Xt } un proceso de Poisson de par´metro λ. e) fW2 (t2 ) = λ2 t1 e−λt1 . Para un proceso de Poisson de par´metro λ demuestre que a Cov(Xt . Sea {Xt } proceso de Poisson de par´metro λ. y sean s y t dos tiempos tales a que 0 ≤ s < t. b) P (“Xt sea par”) = e−λt cosh(λt). Demuestre que a) P (Xs = 0. 81. 80. En la Figura 4. b) P (Xs = Xt ) = e−λ(t−s) . Demuestre que a . Xs ) = λ m´ ın{s. f ) Las variables T1 = W1 y T2 = W2 − W1 son independientes. Sea {Xt } un proceso de Poisson de par´metro λ.

Cap´ ıtulo 4. El proceso de Poisson λ2 e−λw2 0 1/w2 0 si 0 < w1 < w2 , otro caso. si w1 ∈ (0, w2 ), si w2 ∈ (w1 , ∞), otro caso.

117

a) fW1 ,W2 (w1 , w2 ) = b) fW1 | W2 (w1 | w2 ) = c) fW2 | W1 (w2 | w1 ) =

otro caso.

λe−λ(w2 −w1 ) 0

84. Sea {Xt } un proceso de Poisson de par´metro λ. Sea T una variable aleatoria a con distribuci´n exp(θ) e independiente del proceso de Poisson. Encuentre la o funci´n de densidad de la variable XT . o 85. Sea {Xt } un proceso de Poisson de par´metro λ. Sean r y n dos enteros tales a que 1 ≤ r ≤ n, y sea t > 0. Suponga que el evento (Xt = n) ocurre. Encuentre la densidad condicional de Wr . 86. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con par´metros a λ1 y λ2 respectivamente. Calcule la probabilidad de que a) X1 (t) = 1 antes que X2 (t) = 1. b) X1 (t) = 2 antes que X2 (t) = 2. 87. Suponga que un cierto aparato el´ctrico sufre desperfectos a lo largo del e tiempo de acuerdo a un proceso de Poisson de par´metro λ. Suponga que a cada vez que el aparato se descompone es enviado a reparaci´n y despu´s o e es puesto en funcionamiento nuevamente. Suponga adem´s que el aparato se a reemplaza completamente por uno nuevo cuando el tiempo que transcurre entre dos descomposturas sucesivas es menor o igual a una cierta constante a > 0, incluyendo el tiempo antes de la primera reparaci´n. Encuentre la o funci´n de densidad del o a) tiempo de vida util del equipo antes de ser reemplazado. ´ b) n´ mero de reparaciones antes de realizar el reemplazo. u 88. Suponga que un cierto circuito recibe impulsos el´ctricos de acuerdo a un e proceso de Poisson de par´metro λ. Suponga adem´s que el circuito se desa a compone al recibir el k-´simo impulso. Encuentre la funci´n de densidad del e o tiempo de vida del circuito.

118

4.4. Proceso de Poisson compuesto

89. Sean X1 (t), . . . , Xn (t) procesos de Poisson independientes, todos de par´mea tro λ. Encuentre la distribuci´n de probabilidad del primer momento en el o cual a) ha ocurrido en cada uno de los procesos al menos un evento. b) ocurre el primer evento en cualquiera de los procesos. 90. Sean {X1 (t)} y {X2 (t)} dos procesos de Poisson independientes con par´mea tros λ1 y λ2 , respectivamente. Sea n cualquier n´ mero natural, y defina el u tiempo aleatorio τ = ´ {t ≥ 0 : X1 (t) = n}. Demuestre que X2 (τ ) tiene ınf distribuci´n binomial negativa, es decir, para k = 0, 1, . . . o P (X2 (τ ) = k) = n+k−1 k λ1 λ1 + λ2
k

λ2 λ1 + λ2

n

.

91. Sea {Xt } un proceso de Poisson de par´metro λ, y sea a > 0 una constante. a Demuestre que {Xat } es un proceso de Poisson de par´metro λa. a 92. Sea {Xt } un proceso de Poisson de par´metro λ. Demuestre que, condicionado a a que el proceso tiene exactamente un salto en el intervalo [s, s+t], el momento en el que ese salto ocurre se distribuye de manera uniforme en dicho intervalo. 93. Sea {Xt } un proceso de Poisson de par´metro λ. Sunponga que cada evento a registrado es tipo 1 con probabilidad α, o de tipo 2 con probabilidad 1 − α. Sea X1 (t) el n´ mero de eventos del tipo 1 al tiempo t, y sea X2 (t) lo u correspondiente a eventos del tipo 2. a) Demuestre que {X1 (t)} y {X2 (t)} son procesos de Poisson de par´metro a λα y λ(1 − α) respectivamente.

b) Demuestre que {X1 (t)} y {X2 (t)} son independientes.

94. Suponga que los mensajes llegan a una cierta cuenta de correo electr´nico de o acuerdo a un proceso de Poisson de par´metro λ. Cada mensaje recibido es a de tipo “basura” con probabilidad α y “no basura” con probabilidad 1 − α. a) Dado que hasta el tiempo t ha llegado n mensajes, encuentre la distribuci´n del n´ mero de mensajes tipo “basura” que hasta ese momento o u han llegado. b) Suponiendo que se recibe un mensaje tipo “basura” en alg´n momento, u encuentre la distribuci´n del n´ mero total de mensajes recibidos hasta o u la llegada del siguiente mensaje tipo “basura”.

Cap´ ıtulo 4. El proceso de Poisson

119

c) Encuentre la probabilidad de que al tiempo t hayan llegado mas mensajes tipo “basura” que “no basura”. 95. Sean T1 , T2 , . . . los tiempos de interarribo de un proceso de Poisson de par´mea tro λ, y sea c una constante positiva. Defina N = m´ ın{n ≥ 1 : Tn > c}. Calcule E(WN −1 + c). Distribuciones asociadas al proceso de Poisson 96. Sea t0 un tiempo positivo fijo y suponga que hasta ese momento se ha observado un solo evento de un proceso de Poisson, es decir, Xt0 = 1. La pregunta es ¿cu´ndo ocurri´ tal evento? Demuestre que la distribuci´n condicional del a o o momento en el que se ha registrado el evento, es decir T1 , es uniforme en el intervalo [0, t0 ]. 97. Sea {Xt } un proceso Poisson de tasa λ y sean dos tiempos 0 < s < t. Defina la variable X(s,t] como el n´ mero de eventos del proceso de Poisson que ocurren u en el intervalo (s, t]. Demuestre que, condicionada a la ocurrencia del evento (Xt = n), la variable X(s,t] tiene distribuci´n binomial(n, 1 − s/t). o Proceso de Poisson no homog´neo e 98. Sea {Xt } un proceso Poisson no homog´neo de intensidad λ(t), sean T1 , T2 , . . . e los tiempos de interarribo, y sean W1 , W2 , . . . los tiempos reales de ocurrencia. Demuestre que para cualquier t > 0, a) fT1 (t) = e−Λ(t) λ(t). b)fT2 |T1 (t|s) = e−Λ(t+s)+Λ(s) λ(t + s). c) fT2 (t) =
0 ∞

e−Λ(t+s) λ(t + s) λ(s) ds. [Λ(t)]n−1 λ(t). (n − 1)!

d) fWn (t) = e−Λ(t)

e) FTk |Wk−1 (t|s) = 1 − e−Λ(t+s)+Λ(s) . f) FTk (t) = 1 −

e−Λ(t+s)

0

[Λ(s)]k−2 λ(s) ds, k ≥ 2. (k − 2)!

120

4.4. Proceso de Poisson compuesto

Proceso de Poisson compuesto 99. Suponga que los sumandos Y de un proceso de Poisson compuesto {Xt } de par´metro λ tienen distribuci´n exp(µ). Encuentre la distribuci´n de la a o o variable Xt . 100. Sea {Xt } un proceso de Poisson compuesto de par´metro λ. Suponga que a cada una de las variables Y de este proceso es constante igual a k ∈ N. Encuentre la distribuci´n de Xt . o 101. Suponga que los usuarios de cuentas de correo electr´nico solicitan acceso o al servidor de acuerdo a un proceso de Poisson homog´neo de par´metro e a λ. Suponga adem´s que cada usuario se mantiene conectado al servidor un a tiempo aleatorio con funci´n de distribuci´n F (x), e independiente uno del o o otro. Sea Ct el n´ mero de usuarios conectados al servidor tiempo t. Demuestre u que para k = 0, 1, . . . P (Ct = k) = en donde α(t) =
t 0 (1

[λα(t)]k −λα(t) e , k!

− F (x)) dx.

Cap´ ıtulo 5

Cadenas de Markov a tiempo continuo

Vamos a considerar ahora cadenas de Markov {Xt : t ≥ 0} en donde el tiempo es continuo y las variables toman valores enteros. Varios de los conceptos que mencionaremos para este tipo de procesos son an´logos al caso de tiempo discreto, a pero existen diferencias en el comportamiento y desarrollo matem´tico entre los a dos modelos, y no pretendemos presentar y justificar la teor´ completa. ıa Usando la misma notaci´n que en el caso de tiempos discretos, recordemos que el o t´rmino p(xt ) significa P (Xt = xt ). La propiedad de Markov que consideraremos e tiene la siguiente forma: Para cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn , p(xtn | xt1 , . . . , xtn−1 ) = p(xtn | xtn−1 ). Observe que no estamos suponiendo que se conoce la historia del proceso en todo el pasado a tiempo continuo, sino unicamente en una colecci´n arbitraria pero finita de ´ o tiempos pasados t1 , . . . , tn−1 . Supondremos nuevamente que estas probabilidades de transici´n son estacionarias en el tiempo, esto significa que para cada s ≥ 0 y o t ≥ 0, la probabilidad P (Xt+s = j | Xs = i) es id´ntica a P (Xt = j | X0 = i), es e decir, no hay dependencia del valor de s. Esta probabilidad se escribe de manera breve mediante la expresi´n pij (t), para i y j enteros no negativos. En particular o para t = 0 se define nuevamente pij (0) como la funci´n delta de Kronecker, es decir, o pij (0) = δij = 1 0 si i = j, si i = j.

121

y despu´s revisaremos algunos e modelos particulares. Xt =  i3 si W2 ≤ t < W3 . El sistema permanece ahora en t el estado i2 un tiempo aleatoTi3 Ti1 Ti2 Ti4 rio Ti2 al cabo del cual brinca a otro estado i3 distinto del inFigura 5.1. .  . El proceso puede entonces escribirse de la forma siguiente:   i1 si 0 ≤ t < W1 .1. Esta sucesi´n de salo tos se muestra gr´ficamente en la Figura 5. El proceso permanece en ese estado un tiempo aleatorio i1 Ti1 .    i2 si W1 ≤ t < W2 . . y as´ sucesiı vamente. Procesos de saltos Considere un proceso a tiemXt (ω) po continuo {Xt : t ≥ 0} que i4 inicia en el estado i1 al tiempo i2 cero. . y se llaman tiempos de estancia (passage times). . 5.122 5. se obtiene la matriz de probabilidades de transici´n al tiempo t: o   p00 (t) p01 (t) · · ·   Pt =  p10 (t) p11 (t) · · ·  . Los tiempos aleatorios T son los a tiempos en los que el proceso permanece constante en alguno de sus estados. Plantearemos a continuaci´n el modelo general de cadena de Markov a tiempo o continuo.1: mediato anterior.  . . Procesos de saltos Haciendo variar los ´ ındices i y j en el espacio de estados. . . estudiaremos algunas de sus propiedades. Los momentos en donde el proceso tiene saltos son los tiempos Wn = Ti1 + · · · + Tin .1.  . y despu´s salta a un nuevo e i3 estado i2 distinto del anterior. para n ≥ 1.

existe la posibilidad de que n ım el proceso efect´ e un n´ mero infinito de saltos durante un intervalo de tiempo u u acotado. Las probabilidades de transici´n cumplen entonces las siguientes condiciones: o a) pij ≥ 0. . A fin de evitar situaciones demasiado complicadas. son independientes entre s´ y tambi´n son independientes del mecanismo mediante el cual se ı. Para evitar tal comportamiento supondremos que l´ n→∞ Wn = ∞. por ahora. e escoge el estado j al cual la cadena brinca despu´s de estar en cualquier otro estado e i. b) pii = 0. es decir. . . el valor de Xt ım es finito. y se o ıa dice que el proceso explota en un tiempo finito. Adicionalmente impondremos la condici´n pii = 0. para cada t ≥ 0. En tal situaci´n el proceso no estar´ bien definido para todo t ≥ 0. En el primer caso se dice que el estado i es no absorbente. se denotar´ por pij a la probabilidad de que la cadena a salte del estado i al estado j. . Ti2 . Puede suceder que los tiempos de estancia T sean cada vez m´s o a peque˜ os de tal forma que l´ n→∞ Wn < ∞. 1. Cadenas de Markov a tiempo continuo 123 Un proceso de estas caracter´ ısticas se llama proceso de saltos. Estados absorbentes o no absorbentes. Supondremos que los tiempos de estancia Ti1 . . y parece ser una buena versi´n continua de las cadenas de Markov a tiempo discreto. y o con ello se inhibe. . es decir. es absorbente. Independencia.} o y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti . Probabilidades de transici´n.Cap´ ıtulo 5. Supondremos que el espacio de estados es {0. los procesos de saltos que consideraremos estar´n restringidos por las siguientes condiciones: a No explosi´n. Supondremos que cada variable Ti es finita con probabilidad uno. Estamos entonces suponiendo que s´lo hay dos tipos de estados: absorbentes o no o . la cual supondremos positiva con funci´n de distribuci´n Fi (t). y por lo tanto. c) j pij = 1. El hecho de que Ti = ∞ se interpreta en el sentido de que el proceso deja de saltar y permanece en el estado i el resto del tiempo. y en el segundo caso que es absorbente. y tampoco hay garant´ de que se cumpla la propiedad de ıa Markov. Sin embargo o puede comprobarse que un proceso con estas caracter´ ısticas pudiera no estar definido para todo t ≥ 0. o bien es infinita con probabilidad uno. que la cadena salte al mismo estado de partida. Como en el caso de o o cadenas a tiempos discreto.

y luego va al estado 1. Cuando o Ti = ∞ puede considerarse que λi = 0. Una trayectoria de este proceso se muestra en la Figura 5. y as´ sucesivamente. con probabilidad uno el tiempo de estancia es finito o con probabilidad uno es infinito. y las probabilidades pij . Una posible o ı trayectoria de este proceso se muestra en la Figura 5. con λi > 0. Suo pondremos entonces que el tiempo de estancia en un estado no absorbente i tiene distribuci´n exp(λi ). en otras palabras. (Cadena de primera ocurrencia). entonces permanece en e el estado 1 un tiempo exp(µ) y despu´s regresa a 0.124 5. definido por la siguiente din´mica: Cuando el proceso entra al estado 0 a permanece en ´l un tiempo exp(λ). Se postula e ı que los tiempos de estancia en cada estado son variables aleatorias independientes. y permanece all´ el resto del tiempo. Definici´n. Ejemplo.2(b). Observe que un proceso de Markov a tiempo continuo queda completamente especificado por los siguientes tres elementos: una distribuci´n de probabilidad inicial. es decir. A un proceso de saltos con las caracter´ o ısticas arriba se˜ aladas se n le llama cadena de Markov a tiempo continuo. Procesos de saltos absorbentes. Las o e probabilidades de transici´n son o Pt = p00 (t) p10 (t) p01 (t) p11 (t) = e−λt 0 1 − e−λt 1 . o los par´metros λi . (Cadena de dos estados). Propiedad de Markov. Este es un resultado importante o cuya demostraci´n omitiremos y que simplifica el modelo general planteado. Puede demostrarse . Puede demostrarse que el proceso de saltos descrito arriba satisface la propiedad de Markov si. Fi (t) = 1 − e−λi t . y s´lo si. a Ejemplo. Considere el proceso Xt con dos posibles estados: 0 y 1.1. los tiempos de estancia de estados o no absorbentes tienen distribuci´n exponencial. Este proceso modela la situaci´n de espera para la primera ocurrencia de un evento de inter´s. para t ≥ 0.2(a). Sea Xt el estado de un sistema tal que en cualquier instante se encuentra en alguno de los dos posibles estados: 0 y 1. Suponga que X0 = 0 y que el proceso cambia al estado 1 despu´s de un tiempo e aleatorio con distribuci´n exp(λ).

Ejemplo.Cap´ ıtulo 5.}. Toda cadena de Markov a tiempo continuo {Xt : t ≥ 0} tiene asociada una cadena a tiempo discreto que denotaremos por el mismo s´ ımbolo {Xn : n = 0. Algunas caracter´ u ısticas de la cadena a tiempo discreto se trasladan a su versi´n continua. 1. o 5. Varios de estos resultados son similares a los desarrollados antes para el caso de tiempos discretos. . El proceso de Poisson es una cadena de Markov a tiempo continuo que empieza en cero. Propiedades generales Mencionaremos ahora algunos conceptos y propiedades generales de procesos de Markov a tiempo continuo. Cadenas de Markov a tiempo continuo 125 Xt (ω) 1 t (a) 1 Xt (ω) t (b) Figura 5. y que est´ dada por la primera pero observada a en los tiempos en donde se efect´ an los saltos. Cadena a tiempo discreto asociada. a partir de o una cadena a tiempo discreto puede construirse su versi´n continua en el tiempo o tomando tiempos exponenciales independientes entre salto y salto. .2: que las probabilidades de transici´n son o Pt = p00 (t) p10 (t) p01 (t) p11 (t) = 1 λ+µ µ µ λ λ + 1 λ+µ λ −µ −λ µ e−(λ+µ)t . y las a probabilidades de transici´n de un estado a otro son pi.2. .i+1 = 1. los tiempos de estancia son exponenciales de par´metro λ. . Inversamente.

y para cada t ≥ 0. Esta es una diferencia inesperada respecto del modelo a tiempo discreto. u | i) du. es decir. lo cual es correcto. k. λi e−λi u ( k=i fXt | Xu . entonces pij (t) = = = = P (Xt = j | X0 = i) t P (Xt = j.Ti | X0 (j. u | i) du fXt . Cuando el espacio de estados es finito. en general. Ti > t | X0 = i) + P (Xt = j.1) Demostraci´n.X0 (k | u. i.Ti .Ti | X0 (j.126 5. λi = 0. El siguiente resultado nos permitir´ obtener algunas a conclusiones generales acerca de pij (t). pero o para espacios de estados infinito esta suma puede ser estrictamente menor a uno. o pij (t) = δij e−λi t + λi e−λi t 0 t eλi s ( k=i pik pkj (s) ) ds. Propiedades generales Probabilidades de transici´n. Sean i y j dos estados. Intentar encontrar pij (t) para cada par de estados i y j.Ti | X0 (j. Ti ≤ t | X0 = i) δij e−λi t + 0 t fXt . y para cualquier tiempo t ≥ 0. es un problema demasiado general. i) fXu | Ti . fXt . Para una cadena de Markov a tiempo continuo o las probabilidades de transici´n son los n´ meros pij (t) = P (Xt = j | X0 = i). Si i es un estado absorbente. δij e−λi t + 0 k=i en donde por la propiedad de Markov y la independencia.e. j pij (t) ≤ 1.X0 (j | k. u.Xu .2. Proposici´n. los elementos de cada rengl´n de esta matriz suman uno. i) fTi | X0 (u | i) pik pkj (t − u) ) du. entonces la f´rmula se o o reduce a pij (t) = δij . u | i) = = Por lo tanto. Para cualquier t ≥ 0. (5. . pij (t) = δij e−λi t + 0 t pkj (t − u) pik λi e−λi u . k. Si i es un estado no absorbente. y s´lo en algunos casos es posible encontrar expl´ o ıcitamente tales probabilidades.Xu . para o u cualesquiera estados i y j.

para cualquier tiempo t > 0. o Demostraci´n. Por la propiedad de Markov. Para cualquiera estados i o o y j. esto o a quiere decir que cumple las siguientes propiedades: a) P0 = I.Cap´ ıtulo 5. a c) Pt+s = Pt Ps . Las probabilidades de transici´n satisfacen tambi´n una versi´n continua de la o e o ecuaci´n de Chapman-Kolmogorov. (Ecuaci´n de Chapman-Kolmogorov). k = k = La colecci´n {Pt : t ≥ 0} constituye un semigrupo de matrices estoc´sticas. Pt+s = Pt Ps . Proposici´n. Cadenas de Markov a tiempo continuo 127 Haciendo el cambio de variable s(u) = t−u en la integral se obtiene el resultado. o pij (t + s) = = k P (Xt+s = j | X0 = i) P (Xt+s = j. La ecuaci´n de Chapman-Kolmogorov es interesante pues permite expresar a la o probabilidad pij (t). En notaci´n matricial. y que en este caso se conoce como la propiedad o de semigrupo. y para todo t ≥ 0 y s ≥ 0. en t´rminos de probabilidades e . b) Pt es una matriz estoc´stica. s ≥ 0. para cualesquiera t. en donde I es la matriz identidad. Xt = k | X0 = i) P (Xt+s = j | Xt = k) P (Xt = k | X0 = i) pik (t) pkj (s). pij (t + s) = k pik (t) pkj (s).

k1 (∆t) pk1 . gij = (5.2.1) es una funci´n continua.. tomando ∆t = t/n. a Proposici´n. es decir. Esto quiere decir que es suficiente conocer el comportamiento de pij (t) en tiempos t peque˜ os para conocer su comportamiento para cualquier t > 0. o p′ (t) = −λi pij (t) + λi ij pik pkj (t). Derivando entonces (5.. y se les conoce con el o ij nombre de par´metros infinitesimales del proceso.. Definici´n. Propiedades generales infinitesimales. se tiene que p′ (0) = ij = = −λi δij + λi −λi λi pij pik δkj k=i −λi δij + λi pij si i = j. y en particular el integrando en (5. estos par´metros a a son −λi si i = j.2) Observe que en particular la derivada p′ (t) es una funci´n continua del tiempo. k=i (5. A las cantidades p′ (0) se les denota por gij . . Es decir.1) se obtiene el siguiente resultado e conocido como el sistema de ecuaciones hacia atr´s de Kolmogorov. o ij Tomando ahora el l´ ımite cuando t → 0. De la f´rmula (5. Especificaremos n con detalle este resultado m´s adelante.3) λi pij si i = j. n pij (t) = k1 . probabilidades de transici´n en intervalos de tiempo de o longitud muy peque˜ a..k2 (∆t) · · · pkn−1 . Esto implica que la integral es diferenciable y por o lo tanto tambi´n pij (t). a Par´metros infinitesimales. para cualquier n natural.128 5.kn−1 pi.1) es inmediato observar que las a o probabilidades pij (t) son funciones continuas en t.j (∆t). Para cualquier t > 0. Por ejemplo. si i = j.

c) j gij = 0. . j j=i Proposici´n.5) Probabilidades infinitesimales. Los par´metros infinitesimales determinan de manera unica a la o a ´ cadena de Markov a tiempo continuo. Este resultado es consecuencia de (5. . λ0 p01 −λ1 λ2 p21 . Tales probabilidades se llaman a veces probabilidades o . cuando λi = 0. Observe que gii = 0 cuando el estado i es absorbente. Se trata de una matriz con o las siguientes propiedades: a) gii ≤ 0. . λ0 p02 λ1 p12 −λ2 . Cadenas de Markov a tiempo continuo 129 Variando los ´ ındices i y j. .  (5. si i = j.3) pues a partir de gij se obtiene λi pij = = −gii . (5.Cap´ ıtulo 5. es decir. ··· ··· ···    . b) gij ≥ 0. y es el concepto equivalente a la matriz de probabilidades de transici´n en un paso para cadenas a tiempo discreto. 0 −gij /gii si i = j.4) Esta matriz determina de manera unica el comportamiento de la cadena de Markov ´ a tiempo continuo. estos nuevos par´metros se escriben en notaci´n matricial a o de la forma siguiente:   G=   −λ0 λ1 p10 λ2 p20 . Cuando λi > 0 la ultima propiedad se obtiene a partir del hecho de que pii = 0 ´ pues gij = −λi + λi pij = −λi + λi (1 − pii ) = 0. Un proceso de Markov a tiempo continuo puede ser tambi´n definido a partir del comportamiento de las probabilidades de trane sici´n pij (t) cuando t → 0. si i = j. . .

2. y eso lleva a una partici´n del o o o espacio de estados en clases de comunicaci´n. . ··· −λ0 · · ·  =  λ1 p10   . . y pueden expresarse en t´rminos de los par´metros infinitesimales e a como establece el siguiente resultado y del cual omitiremos su demostraci´n. Se dice que la cadena es irreducible o cuando todos los estados pertenecen a la misma clase de comunicaci´n. Nuevamente puede demostrarse que la comunicaci´n es una relaci´n de equivalencia. .  Como hemos mencionado antes. En t´rminos de los par´metros infinitesimales. la e a ecuaci´n (5. . este sistema de ecuaciones se conoce como las ecuaciones hacia atr´s de Kolmogorov. . es decir. y se escribe i → j.6) En t´rminos de matrices esta igualdad se escribe como P ′ (t) = G P (t). .2) puede escribirse en la forma o p′ (t) = ij k gik pkj (t). A µi se le llama tiempo medio de recurrencia. y µi = E(Ti ) respectivamente. Para cualesquiera estados i y j. o Proposici´n. se define Tij = ´nf {t > W1 : Xt = j}. . para i = j. Cuando t → 0. El tiempo medio de primera visita es entonces µij = E(Tij ). Propiedades generales infinitesimales. Se dice que el estado j es accesible desde el estado i si pij (t) > 0 o para alg´ n t ≥ 0. . o Tiempos de primera visita.130 5. o 1. λ0 p01 −λ1 . . p01 (t) p11 (t) . . ··· p00 (t) · · ·   p10 (t)  . pij (t) = gij t + o(t). (5. Cuando los estados i y j coinciden se escribe Ti . p01 (t) p11 (t) . Se dice que los estados i y j se comunican u si i → j y j → i. . . a Comunicaci´n.2. pii (t) = 1 + gii t + o(t). e      p00 (t)  p10 (t)  . ı cuando X0 = i. . y en tal caso se escribe i ↔ j. Ecuaciones de Kolmogorov. ··· ··· .

tenemos que la matriz de par´metros infinitesimales de a este proceso es de la siguiente forma   −λ0  µ1 G= 0  . Distribuciones estacionarias. . Un salto hacia arriba se interpreta como un nacimiento. . . partiendo de i. Siguiendo la f´rmula general del generador infinitesimal (5. con probabilidad uno el conjunto de tiempos {t ≥ 0 : Xt = i} es acotado. la variable Xt tiene la misma distribuci´n de probabilidad π para cualquier valor de t.  . es decir. De acuerdo a las ecuacioa nes (5. Una distribuci´n de probabilidad π = {π0 .} tal que en cada salto la cadena unicamente puede ´ brincar una unidad hacia arriba o una unidad hacia abajo.5). . µ2 . 0 0 λ2 ··· ···  ··· . . son constantes positivas conocidas como las tasas instant´neas de nacimiento y muerte.Cap´ ıtulo 5. πPt = π. . o i πi pij (t) = πj . . .} es estacionaria para la cadena con matriz de probabilidades de transici´n Pt si para cualquier t ≥ 0.  i i  µi pij =  λ + µ si j = i − 1. o 5.} o sobre el espacio de estados {0. . y µ1 . Si X0 tiene como distribuci´n inicial una distribuci´n o o o estacionaria π. En notaci´n matricial. . En cambio. λ1 . . . Se dice que el estado i es transitorio si. π1 . . . en dono de se define µ0 = 0. . el tiempo de estancia en el estado i tiene distribuci´n exp(λi +µi ). . Cuando E(Ti ) = ∞ se dice que el estado i es recurrente nulo. λ0 −(λ1 + µ1 ) µ2 . 1. . mientras que un salto hacia abajo representa una muerte. 0 λ1 −(λ2 + µ2 ) .3. . y cuando E(Ti ) < ∞ se dice que es recurrente positivo. entonces P (Xt = j) = i πi pij (t) = πj . partiendo de i. Procesos de nacimiento y muerte Un proceso de nacimiento y muerte es una cadena de Markov a tiempo continuo con espacio de estados {0. Cadenas de Markov a tiempo continuo 131 Recurrencia y transitoriedad. . respectivamente. se dice que es recurrente si. Estas probabilidades de saltos de un estado a otro son  λi    λ + µ si j = i + 1. .4) o para un proceso de saltos.  i  i   0 otro caso. . en donde λ0 . 1. con probabilidad uno el conjunto {t ≥ 0 : Xt = i} es no acotado.

. b) P (Xt+h − Xt = −1 | Xt = k) = µk h + o(h). . y cuando h → 0. es posible comprobar a que se cumple el sistema de ecuaciones diferenciales hacia adelante de Kolmogorov: p′ (t) = i0 p′ (t) = ij −λ0 pi0 (t) + µ1 pi1 (t). . . Ejemplo. . pero nunca decrecer por abajo de ese nivel. Como λ0 > 0 y µ0 = 0. Procesos de nacimiento y muerte Una posible trayectoria de este proceso se muestra en la Figura 5. µ1 . t + h] visto n como [0. y las tasas instant´neas de a a nacimiento λ0 . λj−1 pi. t + h].132 5. La variable Xt puede interpretarse como el n´ mero de individuos en una poblau ci´n al tiempo t. a) P (Xt+h − Xt = 1 | Xt = k) = λk h + o(h).j−1 (t) − (λj + µj ) pij (t) + µj+1 pi. La matriz de par´metros infinitesimales es entonces de la forma a . son todas ellas iguales a una constante λ > 0. Para cualquier t ≥ 0. t + h]. Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instant´neas de muerte µ0 . µi pi−1.3: Se pueden tomar las siguientes probabilidades infinitesimales como postulados para definir a este proceso. hacia arriba o hacia abajo. Xt (ω) 3 2 1 t Figura 5. λ1 . De manera an´loga. t] + (t. considerando [0. son cero. c) P (Xt+h − Xt = 0 | Xt = k) = 1 − (λk + µk ) h + o(h).j+1 (t).j (t). la poblaci´n puede crecer cuando se eno cuentre en el estado cero. Haciendo un an´lisis sobre estos intervalos puede encona trarse nuevamente que las probabilidades pij (t) satisfacen el sistema de ecuaciones diferenciales hacia atr´s de Kolmogorov: a p′ (t) 0j p′ (t) ij = = −λ0 p0j (t) + λ0 p1j (t). . en donde pueden o presentarse nacimientos y muertes de individuos. h] + (h.3. t + h] = [0.j (t) − (λi + µi ) pij (t) + λi pi+1. los saltos son unitarios. Para cualquier t ≥ 0 y h > 0 peque˜ o consideremos el intervalo [0.3 con X0 = 0.

de modo que su funci´n generadora de probabilidad es o GXt (u) = E(uXt ) = ∞ n=0 pn (t) un . λ pn−1 (t) − λ pn (t).   Ejemplo. Definiendo qn (t) = eλt pn (t). Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene distribuci´n Poisson(λt). . . .Cap´ ıtulo 5. en donde pn (t) = p0n (t). y en donde pn (t) = P (Xt = n). u). ahora usando las ecuaciones hacia adelante de Kolmogorov y la funci´n geo neradora de probabilidad. 0 0 λ ··· ···  ··· . la o o primera ecuaci´n tiene soluci´n p0 (t) = e−λt . para n ≥ 1. Esta nueva ecuaci´n se resuelve iterativamente. . para valores reales de u tales que |u| < 1. 0 λ −λ . y usando las ecuaciones hacia adelante de . primero para q1 (t). para el a mismo radio de convergencia |u| < 1. qn (t) = (λt)n /n! para n ≥ 0. Derivando respecto de t. . o despu´s para q2 (t). En general. Consideraremos a esta funci´n tambi´n como funci´n del tiempo t y por comodidad o e o en los siguientes c´lculos la llamaremos G(t. 1. e ı De aqu´ se obtiene pn (t) = e−λt (λt)n /n! ı Ejemplo. . Usando la condici´n inicial p0 (0) = 1. Cadenas de Markov a tiempo continuo 133 −λ  0 G= 0  . . Las ecuaciones hacia adelante de Kolmogorov del proceso de Poisson son p′ (t) = 0 p′ (t) n = −λ p0 (t). y as´ sucesivamente.  λ −λ 0 . Esta es otra derivaci´n mas de la distribuci´n Poisson en el proceso de o o Poisson. con condiciones qn (0) = δ0n o y q0 (t) = 1. La variable aleatoria Xt puede tomar los valores 0. la seo o ′ gunda ecuaci´n se transforma en qn (t) = λqn−1 (t). . .

o . Integrando de 0 a t y o usando la condici´n G(0. n! Esta es la funci´n generadora de probabilidad de la distribuci´n Poisson(λt). u) e(u−1)λt = e−λt eλtu = ∞ n=0 e−λt (λt)n n u .134 5. Procesos de nacimiento y muerte Kolmogorov para el proceso de Poisson se tiene que G′ (t. u) (u − 1)λG(u). Por la o o propiedad de unicidad se obtiene que la variable Xt tiene distribuci´n Poisson(λt). u) = 1 se llega a o G(t. u) = = = = ∞ n=0 ∞ n=0 p′ (t) un n (λpn−1 (t) − λpn (t))un λuG(t. de donde se obtiene la ecuaci´n diferencial G′ /G = (u − 1)λ. u) − λG(t.3. u) = G(0.

. . . a Las probabilidades de saltos son evidentemente pij = 1 cuando j = i + 1. La matriz de par´metros infinitesimales a Xt (ω) tiene la forma que se muestra en la Figura 5. . . ro. son todos ce. λ1 . . como antes. .Cap´ ıtulo 5. Cadenas de Markov a tiempo continuo 135 5. sin embargo cuando el estado inicial es el cero se conoce la siguiente f´rmula o recursiva. a) P (Xt+h − Xt = 1 | Xt = k) = λk h + o(h). el tiempo de estancia en o Figura 5. se conocen como las tasas instant´neas de a 1 nacimiento. y cero en caso contrario. .4. En general no es f´cil encontrar una f´rmula para las probabilidades de transici´n a o o pij (t). . b) P (Xt+h − Xt = 0 | Xt = k) = 1 − λk h + o(h). .4: el estado i tiene distribuci´n o exponencial con par´metro λi . en don3 de. . . µ1 . . Proceso de nacimiento puro   −λ0 λ0 0 0 ··· Cuando en un proceso de na 0 −λ1 λ1 0 ···    cimiento y muerte los par´mea G= 0 0 −λ2 λ2 · · ·    tros µ0 . . En la Figura 5. Un proceso de nacimiento puro puede tambi´n definirse mediante las siguientes e probabilidades infinitesimales: Cuando h → 0. nacimiento puro. se obtiene un proceso de .4 se muestra una trayectoria de t este proceso cuando inicia en exp(λ0 ) exp(λ1 ) exp(λ2 ) exp(λ3 ) el estado cero. Por construcci´n. Puede demostrarse que los incrementos de un proceso de nacimiento puro son independientes pero no son necesariamente estacionarios. los par´mea 2 tros λ0 .4.

Para cualquier t ≥ 0 y cualquier entero n ≥ 1. . El proceso puede iniciar con una poblaci´n de tama˜ o k ≥ 1. (5. y presentar o n fallecimientos sucesivos hasta una posible extinci´n completa de la poblaci´n. n ≥ 1.n−1 (s) ds.7) Demostraci´n. mientras que para el caso n ≥ 1. p00 (t) = p0n (t) = ′ ′ −λ0 p00 (t). para n ≥ 1. multiplicano o do por el factor integrante eλn t y resolviendo se obtiene la f´rmula enunciada. Si Xt = n. o t p0n (t) = λn−1 e−λn t 0 eλn s p0.j−1 (t) − λj pij (t). .n−1 (t) − λn p0n (t). P (Xt+h − Xt = 1 | Xt = n) = = n [λ h + o(h)] [1 − λ h + o(h)]n−1 1 λnh + o(h). Este es un tipo particular de proceso de nacimiento puro. λn−1 p0. son todos a cero. . o Este proceso puede definirse a trav´s de los siguientes postulados: e a. o o El proceso de Yule. ij En particular. El estado inicial es X0 = k ≥ 1. entonces cada uno de estos elementos puede dar nacimiento a un nuevo elemento durante un periodo de longitud infinitesimal h > 0 con probabilidad λh + o(h). . λ1 . Proceso de nacimiento puro Proposici´n.136 5. es decir. y para el cual es posible encontrar expl´ ıcitamente las probabilidades de transici´n. b.4. El sistema de ecuaciones diferenciales hacia adelante de Kolmogoo rov para este proceso es p′ (t) = λj−1 pi. La primera ecuaci´n tiene soluci´n p00 (t) = e−λ0 t . o De manera an´loga puede definirse un proceso de muerte como un proceso de a nacimiento y muerte en donde los par´metros de nacimiento λ0 . con las condiciones de frontera p00 (0) = 1 y p0n (0) = 0. en donde λ > 0. partiendo de cero.

Esto produce la o kk soluci´n pkk (t) = e−λkt . a n − 1 −λkt e (1 − e−λt )n−k . cada vez menor conforme n crece. las tasas instant´neas de nacimiento son λn = λn. para n ≥ k + 1. o pkn (t) = λ(n − 1) e−λnt eλns pk. p). La f´rmula recursiva (5. El sistema de ecuaciones hacia adelante para pkn (t).8) Demostraremos a continuaci´n que el incremento Xt − X0 tiene distribuci´n binoo o mial negativa de par´metros (r. Cadenas de Markov a tiempo continuo 137 Es decir. con condici´n inicial pkk (0) = 1.n−1 (s) ds. para n ≥ k.7) es. con n ≥ k. El tiempo de estancia en el estado n tiene o distribuci´n exp(λn). o pkn (t) = Demostraci´n. en consecuencia el tiempo medio de estancia en ese estado es o 1/(λn). Para valores de n ≥ k + 1 o . t n ≥ k + 1.n−1 (t) − λn pkn (t).Cap´ ıtulo 5. que crecen de manera a lineal conforme la poblaci´n crece. con r = k y p = e−λt . Usaremos inducci´n sobre n. se reduce a p′ (t) = kk p′ (t) kn = −λk pkk (t). n−k Proposici´n. 0 (5. que es de la forma enunciada. Para n = k se tiene la ecuaci´n dio o o ferencial p′ (t) = −λk pkk (t). λ(n − 1) pk.

Una exposici´n m´s completa del tema de cadenas de Maro a kov a tiempo continuo puede encontrarse en Basu [1]. .8).138 5.4. o Stirzaker [36]. Karlin y Taylor [19]. o pkn (t) = = = = = = = λ(n − 1) e−λnt t 0 eλns n−2 λ(n − 1) e−λnt n−1−k λ(n − 1) λ(n − 1) n−2 e−λks (1 − e−λs )n−1−k ds n−1−k t 0 t 0 t 0 (eλs )(n−k) (1 − e−λs )n−1−k ds (1 − e−λs )−1 (eλs − 1)n−k ds eλs (eλs − 1)n−1−k ds n−2 e−λnt n−1−k t n−2 1 d λs λ(n − 1) e−λnt (e − 1)n−k ds n−1−k λ(n − k) ds 0 n−1 n−2 e−λnt (eλt − 1)n−k n−k n−1−k n − 1 −λkt e (1 − e−λt )n−k . k−1 n−2 e−λnt n−1−k Notas y referencias. Proceso de nacimiento puro usaremos la f´rmula recursiva (5.

( µ − µ e−(λ+µ)t ). Considere una cadena de Markov a tiempo continuo de dos estados en donde el tiempo de estancia en cada uno de ellos tiene distribuci´n exp(λ). Sea {Nt } un proceso de Poisson de par´metro λ y sean Y1 . Demuestre que {Nt } es un proceso de Poisson de par´metro λ.Cap´ ıtulo 5. Encuentre las ecuaciones de Kolmogorov o u hacia atr´s y hacia adelante del proceso a Nt Xt = j=1 Yj . y la estancia en el estado 1 o es exp(µ).i. Y2 . a con distribuci´n com´ n Bernoulli(p). Para la cadena de Markov a tiempo continuo de dos estados en donde la estancia en el estado 0 tiene distribuci´n exp(λ).d.i. a . demuestre que a) p00 (t) = b) p01 (t) = c) p10 (t) = d) p11 (t) = 1 λ+µ 1 λ+µ 1 λ+µ 1 λ+µ ( µ + λ e−(λ+µ)t ). v. (λpt)j−i pij (t) = e−λpt . . . (j − i)! Procesos de nacimiento y muerte 103. Defina o Nt como el n´ mero de veces que la cadena de Markov ha efectuado saltos u hasta un tiempo t ≥ 0 cualquiera. ( λ + µ e−(λ+µ)t ). Resuelva cualquiera de estos sistemas de ecuaciones y demuestre que para j ≥ i. . 104. ( λ − λ e−(λ+µ)t ). Cadenas de Markov a tiempo continuo 139 Ejercicios Ecuaciones de Kolmogorov 102.a.

. Demuestre que a) E(Xt ) = k eλt . b) Var(Xt ) = k e2λt (1 − e−λt ). Proceso de nacimiento puro Procesos de nacimiento puro 105. Sea {Xt } un proceso de Yule con estado inicial X0 = k ≥ 1.4.140 5.

estudiaremos tambi´n el concepto o e de confiabilidad para sistemas conformados por varios componentes los cuales son susceptibles de sufrir fallas en tiempos aleatorios.1. 6. Procesos de renovaci´n o Suponga que se pone en operaci´n o T1 T2 T3 T4 un cierto componente o art´ ıculo cuya duraci´n de vida util se modela meo ´ × × × diante una variable aleatoria T1 . Una 0 vez que el componente falla. . Esto se o ilustra en la Figura 6. y as´ suı cesivamente. . se reemFigura 6. Adem´s de estudiar algunas proa piedades generales de los procesos de renovaci´n. representa la sucesi´n o o de tiempos de vida de componentes puestos en operaci´n uno tras otro.1. 141 .1: plaza o renueva con otro componente cuyo tiempo de vida es T2 . y en o general dejan de cumplir la propiedad de Markov. .Cap´ ıtulo 6 Procesos de renovaci´n o y confiabilidad En este cap´ ıtulo se presenta otra generalizaci´n del proceso de Poisson. T2 . La colecci´n de variables aleatorias T1 . A tales procesos de saltos unitarios se les conoce como procesos de renovaci´n. Se consio dera ahora que los tiempos de interarribo no son necesariamente exponenciales.

}. FWn (t) = P (T1 + · · · + Tn ≤ t) = F ∗n (t) = (F ∗ · · · ∗ F )(t). 2. Por lo o o tanto. Procesos de renovacion En este contexto es natural suponer que las variables que modelan los tiempos de vida son no negativas. . Denotaremos por F (t) a la funci´n de distribuci´n de los tiempos de vida. . cuando n = 0 se define F ∗0 (t) = 0 1 si t < 0. La variable aleatoria Wn representa el tiempo real en el que se realiza la n-´sima e renovaci´n. independientes y con la misma distribuci´n de probabio lidad. .1. o bien a trav´s del cone teo de renovaciones observadas hasta un tiempo cualquiera. a para cada t ≥ 0. El proceso o de conteo de renovaciones es Nt = m´x {n ≥ 0 : Wn ≤ t}. . o Definici´n. Un proceso de renovaci´n es una sucesi´n infinita de variables o o o aleatorias T1 . 1. es decir. que son no negativas. . . {Wn : n = 0. Estos puntos de vista alternativos se definen a continuaci´n. . T2 . En particular.}. mientras que Nt indica el n´ mero de renovaciones realizadas hasta el o u tiempo t. Un proceso de estas caracter´ ısticas se conoce con el nombre de proceso de renovaci´n. . . Empezaremos por dar un primera definici´n formal de un proceso de renovaci´n basada en lo reci´n mencionado. para n ≥ 1. independientes e id´nticamente dise tribuidas. Observe que exactamente en los tiempos en los que se efect´ an las renoo u vaciones. pues por construcci´n existe una correspondencia biun´ o ıvoca entre cualesquiera dos de estos tres procesos. Otra forma equivalente de definir a este proceso es a trav´s del registro de los e tiempos reales en los que se observan las renovaciones. se definen los tiempos o o reales de renovaci´n como W0 = 0 y Wn = T1 + · · ·+ Tn . o {Nt : t ≥ 0}. si t ≥ 0. o o e Definici´n. T2 . . . En la literatura se le denomina proceso de renovaci´n a cualquiera de o los procesos {Tn : n = 1. la funci´n de distribuci´n de Wn es la convoluci´n de F (t) consigo misma o o o n veces. el proceso reinicia probabil´ ısticamente. .142 ´ 6.}. . Dado un proceso de renovaci´n {T1 .

Para cualquier n ≥ 0. cuya funci´n de o o o distribuci´n es. o Proposici´n. λ). o t FWn (t) = 0 (λx)n−1 λ e−λx dx = Γ(n) ∞ k=n e−λt (λt)k . tenemos que P (Nt = n) = = = = = = = P (Wn ≤ t. Demostraci´n. los o o tiempos reales de renovaci´n Wn tienen distribuci´n gama(n. En consecuencia. o P (Nt = n) = F ∗n (t) − F ∗(n+1) (t). F ∗n (t) − F 0 ∗(n+1) Por ejemplo. Procesos de renovacion y confiabilidad 143 Una de las primeras preguntas que uno puede hacerse acerca de un proceso de renovaci´n es la de conocer la distribuci´n de la variable Nt . La respuesta no es o o f´cil de encontrar pues la distribuci´n de esta variable depende de la distribuci´n a o o de los tiempos de vida como indica la siguiente f´rmula.´ Cap´ ıtulo 6. A partir de esta expresi´n puede recuperarse la distribuci´n Poisson o o . un proceso de Poisson homog´neo de tasa λ es un proceso de renovae ci´n en donde los tiempos de vida tienen distribuci´n exp(λ). Wn+1 > t) P (Wn ≤ t. Wn + Tn+1 > t) ∞ P (t − Tn+1 < Wn ≤ t) FWn (t) − FWn (t − Tn+1 ) F ∗n (t) − F ∗n (t) − 0 ∞ FWn | Tn+1 (t − u | u) dF (u) F ∗n (t − u) dF (u) (t). Tomando en consideraci´n que las variables Wn y Tn+1 son indeo o pendientes. k! La segunda igualdad puede obtenerse despu´s de aplicar integraci´n por partes e o varias veces. para t > 0.

en donde E(Nt | T1 = s) = Por lo tanto t t 0 1 + Λ(t − s) si s > t. Sin embargo. o o o Λ(t) = E(Nt ).2. En general no es f´cil encontrar una forma expl´ a ıcita para esta funci´n. a la o . Funci´n y ecuaci´n de renovaci´n o o o Otra de las funciones que es natural desear conocer en un proceso de renovaci´n o es el n´ mero promedio de renovaciones efectuadas hasta un tiempo t cualquiera. o Debido a que se condiciona sobre el valor del primer tiempo de renovaci´n. a a 6.2.1) Demostraci´n. Λ(t) = 0 (1 + Λ(t − s)) dF (s) = F (t) + 0 Λ(t − s) dF (s). la cual es v´lida para t ≥ 0 y a para cada valor entero de n ≥ 0.144 ´ ´ ´ 6. y se le denota por Λ(t). se cuenta con la siguiente ecuaci´n integral general. Funcion y ecuacion de renovacion pues por la proposici´n anterior. Condicionando sobre el valor del primer tiempo de vida T1 se obo ∞ tiene Λ(t) = 0 E(Nt | T1 = s) dF (s). es decir. Observe que la ecuaci´n (6. (6. o o Proposici´n. Esta identidad nos ser´ de utilidad m´s adelante. n! Observe la igualdad de eventos (Nt ≥ n) = (Wn ≤ t).1) puede escribirse como Λ(t) = F (t) + (Λ ∗ F )(t). u A tal funci´n se le llama funci´n de renovaci´n. o P (Nt = n) = F ∗n (t) − F ∗(n+1) (t) = e−λt (λt)n . La funci´n de renovaci´n Λ(t) satisface la ecuaci´n o o o o t Λ(t) = F (t) + 0 Λ(t − s) dF (s). si s ≤ t.

(6. pues o o o algunas funciones de inter´s en la teor´ de la renovaci´n la cumplen. A una ecuaci´n integral del tipo (6. para cualquier t > 0. o Definici´n. Λ(t) = o F ∗n (t).1) o con F (t) = 1 − e−λt . Procesos de renovacion y confiabilidad 145 t´cnica de la demostraci´n de este resultado se le llama a veces an´lisis del primer e o a paso. Ejemplo. .´ Cap´ ıtulo 6. La definici´n e ıa o o general aparece a continuaci´n.1) se le llama ecuaci´n de renovaci´n. Puede comprobarse directamente que esta funci´n satisface (6. el promedio de renovaciones o saltos al tiempo t es Λ(t) = λt. y g(t) es desconocida. Sean F (t).2) que cumple con la condici´n de ser o o o o acotada sobre intervalos finitos y est´ dada expl´ a ıcitamente por t g(t) = h(t) + 0 h(t − s) dΛ(s). Para el proceso de Poisson. Acerca de la funci´n de o renovaci´n tenemos la siguiente expresi´n general. o o ∞ n=1 Proposici´n. entonces existe una unica o ´ soluci´n g(t) a la ecuaci´n de renovaci´n (6.2) Puede demostrarse que si h(t) es una funci´n acotada. La demostraci´n de este resultado general o o o puede ser encontrado en el texto de Karlin y Taylor [19]. Suponga que o F (t) y h(t) son conocidas. g(t) y h(t) funciones definidas para t ≥ 0.3) en donde Λ(s) es la funci´n de renovaci´n. Se dice que g(t) satisface una ecuaci´n de renovaci´n si cumple la ecuaci´n integral o o o t g(t) = h(t) + 0 g(t − s) dF (s). (6.

o Λ(t) = ∞ n=0 6.2. y adem´s el proceso de renovaci´n {Nt } a o queda completamente especificado por la funci´n promedio Λ(t). y que definiremos con mayor precisi´n a continuaci´n. Este es el tiempo de vida util que le resta al elemento ´ que se encuentra en operaci´n al tiempo t. y est´ dado por la variable o a γt = WNt +1 − t. n=1 Por ejemplo. Es posible demostrar que para un proceso de renovaci´n la variable Nt tiene moo mentos finitos de cualquier orden. Se puede tambi´n demostrar que existe una correspondencia e biun´ ıvoca entre las funciones Λ(t) y F (t). o o Tiempo de vida restante.3. Tiempos de vida Junto a todo proceso de renovaci´n y para cada tiempo fijo. cuyo significado geom´trico se e muestra en la Figura 6. Tiempos de vida n P (Nt = n) = P (Nt = 1) + 2 P (Nt = 2) + · · · = [ F ∗1 (t) − F ∗2 (t) ] + 2 [ F ∗2 (t) − F ∗3 (t) ] + · · · = F ∗1 (t) + F ∗2 (t) + · · · = ∞ F ∗n (t). γt . . y entonces en particular la suma anterior es siempre convergente. La demostraci´n o o de estos resultados pueden consultarse en [1]. δt y βt .146 Demostraci´n. 6. pueden considerarse o tres variables aleatorias no negativas. cuando los tiempos de interarribo tienen distribuci´n exp(λ) se tiene o que ∞ t (λt)k (λx)n−1 e−λt F ∗n (t) = λ e−λx dx = .3. Γ(n) k! 0 k=n Usando esta expresi´n y la f´rmula reci´n demostrada puede corroborarse que en o o e este caso Λ(t) = λt.

2: Esta longitud aleatoria se muestra en la Figura 6. Procesos de renovacion y confiabilidad 147 Nt + 1 Nt Nt − 1 δt γt βt WNt t WNt +1 Figura 6. La funci´n g(t) = P (γt > x) satisface la ecuaci´n de renovaci´n o o o o t g(t) = 1 − F (t + x) + 0 g(t − s) dF (s). Demostraci´n. o o Proposici´n.3. Usando un argumento de renovaci´n demostraremos que para cada x > 0 la funci´n t → g(t) = P (γt > x) o o satisface una ecuaci´n de renovaci´n. Se tienen los tres posibles casos o que se muestran en la Figura 6. Se condiciona sobre el valor de T1 .´ Cap´ ıtulo 6.3: Puesto que un proceso de renovaci´n puede considerarse que inicia nuevamente a o .2. T1 × 0 t T1 × t+x T1 × Figura 6.

g(t) = 0 ∞ ∞ t+x P (γt > x | T1 = s) dF (s) t = dF (s) + 0 P (γt−s > x) dF (s) t = 1 − F (t + x) + 0 g(t − s) dF (s). P (γt > x | T1 = s) =  P (γt−s > x) si 0 < s ≤ t. Este es el tiempo que ha estado en uso el elemento que se encuentra en operaci´n al tiempo t. Por las consideraciones anteriores. V´ase nuevamente la Figura 6. ∞).148 6.  1 0 si t < s ≤ t + x. la funci´n g(t) = P (δt > x) satisface la ecuaci´n o o o de renovaci´n o t−x g(t) = 1 − F (t) + 0 g(t − s) dF (s).2. e o Tiempo de vida transcurrido. Sea nuevamente x > 0 y defina la funci´n o t → g(t) = P (δt > x). la a unica soluci´n de esta ecuaci´n es la funci´n constante g(t) = e−λx . Para t ∈ (x. x].3. tenemos que g(t) = 0 para t ∈ (0. y est´ dado por la variable o a δt = t − WNt . que equivale a ´ o o o decir que la variable γt tiene distribuci´n exp(λ). se tiene que o  si s > t + x. pues el elemento en uso al tiempo t no puede tener hasta ese momento un tiempo de uso mayor a t. Usando un argumento de renovaci´n demostraremos que la funci´n o o g(t) satisface una ecuaci´n de renovaci´n. Tiempos de vida Por lo tanto partir del momento en que se observa una renovaci´n. o o Proposici´n. Es claro que esta variable est´ acotada superiore a mente por el valor t. . Esta es nuevamente la propiedad o de p´rdida de memoria de la distribuci´n exponencial. cuando los tiempos de vida son exponenciales de par´metro λ. En particular.

1 − F (t) + t−x 0  1 − F (t) + g(t − s) dF (s) si t > x. Entonces P (δt > x | T1 = s) dF (s) t−x = = En resumen.4. g(t) =   0 dF (s) + 0 t−x 0 P (δt−s > x) dF (s) g(t − s) dF (s). Procesos de renovacion y confiabilidad 149 Demostraci´n. a puede demostrarse que el tiempo de vida transcurrido tiene funci´n de distribuci´n o o P (δt ≤ x) = 1 − e−λx 1 si 0 < x < t. . Los tres posibles o casos se muestran en la Figura 6. Este es el tiempo completo de vida util que tiene el ´ elemento que se encuentra en operaci´n al tiempo t.´ Cap´ ıtulo 6. si x ≥ t. Considerando otra vez el caso de tiempos de vida exponencial de par´metro λ. si 0 < s < t − x. Tiempo de vida total.   1 0 P (δt > x | T1 = s) =  P (δt−s > x) g(t) = 0 ∞ ∞ t si s ≥ t. si 0 < t ≤ x. Nuevamente se condiciona sobre el valor de T1 . si 0 < t − x ≤ s < t. T1 × 0 t−x T1 × t T1 × Figura 6. y est´ dado por la variable o a βt = γt + δt = WNt +1 − WNt = TNt +1 .4: Por lo tanto.

Demostrareo mos que esta funci´n satisface una ecuaci´n de renovaci´n.5. Tiempos de vida Nuevamente. en la cual aparecer´ el o o o a t´rmino x ∨ y. De este modo o se obtienen los siguientes resultados   0   1 P (βt > x | T1 = s) =  1   P (βt−s > x) ∞ ∞ t∨x si si si si t < s < t + x. t + x) se debe subdividir en dos casos: s ≤ x ´ s > x.150 6. .3. Nuevamente condicionaremos sobre un posible valor de T1 . y s ≤ x. e a Proposici´n. y s > x.5: El caso s ∈ (t. y}. t < s < t + x. La funci´n g(t) = P (βt > x) satisface la ecuaci´n de renovaci´n o o o o t g(t) = 1 − F (t ∨ x) + 0 g(t − s) dF (s). Demostraci´n. para x > 0 se define la funci´n t → g(t) = P (βt > x). s ≥ t + x. 0 < s ≤ t. Los poo sibles casos se muestran en la Figura 6. lo cual se reduce a la condici´n t ∨ x < s < ∞. T1 × 0 t T1 × t+x T1 × Figura 6. El segundo y tercer rengl´n se conjuntan en las condiciones t ∨ x < s < t + x o ´ s ≥ t + x. que significa m´x{x. Por lo tanto. o o g(t) = 0 P (δt > x | T1 = s) dF (s) t = dF (s) + 0 P (βt−s > x) dF (s) t = 1 − F (t ∨ x) + 0 g(t − s) dF (s).

Como el resultado demostrado vale para cualquier valor o de n natural. Para todo proceso de renovaci´n. Primeramente se demuestra que todo proceso de o renovaci´n de conteo crece a infinito con probabilidad uno cuando el tiempo crece o a infinito. otro caso. 1 = = = = t→∞ t→∞ l´ FWn (t) ım l´ P (Wn ≤ t) ım l´ P (Nt ≥ n) ım t→∞ t→∞ P ( l´ Nt ≥ n). ım Para la ultima igualdad se ha utilizado el hecho de que la funci´n t → Nt es ´ o mon´tona no decreciente. o o ım t→∞ Demostraci´n. Por otro lado. puede demosa trarse que el tiempo de vida total tiene funci´n de distribuci´n o o P (βt ≤ x) = 1 − (1 + λ(t ∧ x)) e−λx 0 si x > 0. l´ Nt = ∞ c. Recordemos la igualdad de eventos (Nt ≥ n) = (Wn ≤ t). cuando t tiende a infinito el nmero de renovaciones Nt tambi´n crece e a infinito. Procesos de renovacion y confiabilidad 151 En el caso de tiempos de interarribo exponenciales de par´metro λ. se tiene que P ( l´ Nt = ∞) = 1. Entonces o para cualquier n natural. Teoremas de renovaci´n o En esta secci´n se estudian algunos resultados sobre del comportamiento l´ o ımite de un proceso de renovaci´n. a o . 6. Proposici´n. el tiempo que le toma al proceso llegar al valor Nt es WNt y tambi´n crece a infinito. ım t→∞ Por lo tanto.s.4.´ Cap´ ıtulo 6. El siguiente resultado establece que a largo plazo e habr´ una renovaci´n cada µ = E(T ) unidades de tiempo.

Demostraremos a continuaci´n que o cuando t → ∞ la aleatoriedad desaparece y el cociente se vuelve constante.s. Para un proceso de renovaci´n Nt en donde E(T ) = µ. Nt Nt Nt + 1 Nt Cuando t tiende a infinito ambos extremos de estas desigualdades convergen a µ c.s. se cumple WNt = µ. por lo tanto la intersecci´n tambi´n. Para un proceso o de renovaci´n en donde E(T ) = µ. L.s. con 0 < µ < ∞.s. se cumple o t→∞ l´ ım Nt 1 = . 1948). o u Wn /n → µ casi seguramente cuando n → ∞. con o o 0 < µ < ∞. Teorema elemental de renovaci´n (J. Para valores enteros de n.152 ´ 6. por la ley fuerte de los grandes n´ meros. Para cualquier t > 0 se cumple WNt ≤ t < WNt +1 . t µ Demostraci´n. Ahora veremos que la esperanza de Nt /t tiene el mismo comportamiento. Ahora observe la contenci´n de o eventos WNt Wn ( → µ) ∩ (Nt → ∞) ⊆ ( → µ). Por lo tanto o WNt t WNt +1 Nt + 1 ≤ < . . y ello implica que el lado derecho tambi´n tiene probabilidad o e e uno. Teoremas de renovacion Proposici´n. c. Observe que el cociente Nt /t es una variable aleatoria que cuenta el n´ mero de renovaciones por u unidad de tiempo efectuadas hasta el tiempo t. Doob. El siguiente resultado establece la forma en la que Nt crece a infinito. c. l´ ım t→∞ Nt Demostraci´n. n Nt Los dos eventos del lado izquierdo tienen probabilidad uno.4. Por lo tanto Nt /t → 1/µ c.

t µ Esto concluye la demostraci´n en el caso particular mencionado. se tiene que E(WNt +1 − t) ≤ E(TNt +1 ) y por lo tanto Λ(t) 1 1 ≤ + E(TNt +1 ). t µ Ahora estimaremos el l´ ımite superior del mismo cociente. Como WNt +1 − t ≤ WNt +1 − WNt = TNt +1 . dividiendo entre t y arreglando t´rminos adecuadamente se obe tiene Λ(t) 1 1 1 = E(WNt +1 − t) + − . 1941). t µ µt Consideremos primero el caso particular cuando las variables T son uniformemente acotadas. supongamos que existe un entero k > 0 tal que para cada n ≥ 1. En este caso se definen los tiempos recortados k Tn = Tn k si Tn ≤ k. Por la identidad de Wald. Entonces o t→∞ l´ ım Λ(t) 1 = . Ahora considereo mos que las variables T no son necesariamente acotadas de la forma anterior. . P (Tn ≤ k) = 1. t µ Demostraci´n. Considere un proo ceso de renovaci´n en donde E(T ) = µ. se tiene que E(WNt +1 − t) ≥ 0. Despejando Λ(t). Procesos de renovacion y confiabilidad 153 Teorema elemental de renovaci´n (W. si Tn > k. Entonces E(TNt +1 ) ≤ k y por lo tanto l´ sup ım t→∞ Λ(t) 1 ≤ . con 0 < µ < ∞. o E(WNt +1 ) = E(Nt + 1) E(T ) = (Λ(t) + 1)µ.´ Cap´ ıtulo 6. Por lo tanto l´ inf ım t→∞ 1 Λ(t) ≥ . Feller. t µt µ t Como WNt +1 > t. es decir.

u El resultado reci´n demostrado establece que a largo plazo habr´ en promedio e a 1/E(T ) renovaciones por unidad de tiempo. Si F (t) es no aritm´tica. t→∞ l´ Λ(t + h) − Λ(t) = ım h . A partir de estos tiempos se considera un nuevo proceso de renovaci´n Ntk con funci´n de renovaci´n Λk . e l´ Λ(t + nd) − Λ(t) = ım nd . Por lo tanto Λ(t)/t = λ. Blackwell. t E(T k ) t→∞ Ahora se hace k tender a infinito. 1948). Se cumple que o o o t Λ(t) ≤ Λk y por lo tanto t Λ(t) 1 l´ sup ım ≤ .4. Teoremas de renovacion k Observe que Tn ր Tn cuando k → ∞. o E(T k ) ր E(T ). Por el teorema de convergencia mon´tona. y ello prueba la desigualdad faltante. Los siguientes dos resultados se enuncian sin demostraci´n. (D. E(T ) = 1/λ y Λ(t) = λt. para el proceso Poisson. entonces para cualquier natural n. o e entonces para cualquier h > 0. El cociente Λ(t)/t es el n´ mero de renovaciones promedio por unidad de tiempo. para el proceso de Poisson se tiene que Λ(t+h)−Λ(t) = λ(t+h)−λt = λh = h/(1/λ) = h/E(T ). µ Si F (t) es aritm´tica con base d. . Por ejemplo.154 ´ 6. µ t→∞ Por ejemplo. o Teorema de renovaci´n.

∞) → R es una funci´n directamente Riemann integrable. L. o o mientras que la funci´n de tasa de falla es r(t) = f (t)/(1 − F (t)). Sea A(t) la soluci´n o o a la ecuaci´n de renovaci´n o o t A(t) = H(t) + 0 A(t − s) dF (s). y que cualquiera de ellos implica el teorema elemental de Feller. Si F (t) es aritm´tica con base d. o . (W.5. Es por ello que se definen las siguientes dos funciones. Procesos de renovacion y confiabilidad 155 Teorema clave de renovaci´n. Nuevamente o denotaremos por F (t) y f (t) a la funci´n de distribuci´n y de densidad de esta o o variable aleatoria. Puede demostrarse que los teoremas de Smith y Blackwell son equivalentes. 6. Si o F (t) es no aritm´tica.´ Cap´ ıtulo 6. entonces e l´ A(t + nd) = ım d µ ∞ k=0 t→∞ H(t + kd). Confiabilidad Suponga que T > 0 es una variable aleatoria continua que registra el tiempo de falla de un cierto componente que se encuentra en operaci´n al tiempo cero. En la teor´ de la confiabilidad interesa conocer la probabilidad ıa de que el componente funcione correctamente por lo menos hasta un tiempo t cualquiera. Smith. 1953). dado que el componente ha funcionado bien hasta un cierto momento. La funci´n de confiabilidad se define como R(t) = P (T > t). o la probabilidad de que deje de funcionar en el siguiente instante de tiempo. e l´ A(t) = ım 1 µ ∞ 0 t→∞ H(t) dt. Definici´n. en donde H : [0.

el tiempo medio o de falla es E(T ) = 1/λ. independiente del valor de t. dado que el componente se encuentra operando al tiempo t. el tiempo promedio de falla E(T ) puede escribirse en t´rminos de la a e funci´n R(t) como o E(T ) = 0 ∞ R(t) dt. La funci´n de confiabilidad es R(t) = e−λt . fallar´ en el intervalo ı a (t.5. ¿Puede decirse algo sobre la monoton´ de r(t)? ıa . a r(t) = f (t) d = − ln R(t). El hecho de que la funci´n de o o tasa de falla sea constante significa que la probabilidad de falla en un intervalo de tiempo peque˜ o ∆t. es decir. en efecto. Esta es otra manifestaci´n de o la propiedad de p´rdida de memoria de la distribuci´n exponencial. entonces o R(t1 ) ≥ R(t2 ). y o a o la funci´n de tasa de falla es constante r(t) = λ. t + ∆t] con probabilidad condicional r(t) ∆t + o(∆t). si t1 ≤ t2 . P (t < T ≤ t + ∆t | T > t) P (t < T ≤ t + ∆t) P (t > t) f (t) = ∆t + o(∆t) 1 − F (t) = r(t) ∆t + o(∆t). y a la o e o funci´n de tasa de falla se le conoce tambi´n como funci´n hazard. Adem´s. Suponga que el tiempo de falla T de un componente tiene una distribuci´n exponencial de par´metro λ. Confiabilidad A la funci´n de confiabilidad se le llama tambi´n funci´n de supervivencia. y es la unica e o ´ distribuci´n continua con tasa de falla constante. Ejercicio. Por otro lado. y se le llama o e o as´ pues un componente que ha sobrevivido al tiempo t. es n aproximadamente λ∆t.156 6. Demuestre que la funci´n R(t) es decreciente. = Despu´s de algunos c´lculos sencillos es inmediato comprobar que estas dos fune a ciones est´n relacionadas de la siguiente forma. R(t) dt t R(t) = exp (− 0 r(s) ds). Ejemplo.

. . R(t) = R1 (t) · · · Rn (t). . 2. Demostraci´n. . . Calcularemos a continuaci´n las funciones de confiabilidad y de tasa de falla pao ra sistemas en serie. . Nos interesa encontrar las funciones de confiabilidad y de tasa de falla de este tipo de sistemas. Esquemas f´ ısicos de este tipo ayudan a justificar el plantearse la pregunta de encontrar la distribuci´n de probabilidad del m´ o ınimo de n variables aleatorias independientes. y funci´n de densidad f (t). Demuestre que el tiempo de falla o o T del sistema tiene funci´n de distribuci´n y densidad dada por las siguientes o o expresiones: a) FT (t) = 1 − (1 − F (t))n .´ Cap´ ıtulo 6. . Observe que el tiempo de falla T de un sistema de este tipo es el tiempo de falla m´s a peque˜ o de cada uno de los componentes.6: Es intuitivamente claro que tal sistema en su conjunto funciona si todos y cada uno de los componentes se encuentra en buen estado. es decir.6 son 1. Suponga que los tiempos de falla T1 . o . . Supondremos que cada uno de estos componentes funciona de manera independiente uno del otro. y las funciones de tasa de falla ser´n a r1 (t).6 son id´nticamente distribuidos con funci´n de e o distribuci´n F (t). Figura 6. T = m´ n ın{T1 . . . . rn (t). Tn de los componentes del sistema en serie de la Figura 6. Las funciones de confiabilidad y de tasa de falla del sistema en o serie de la Figura 6. Ejercicio. . Procesos de renovacion y confiabilidad Confiabilidad para sistemas en serie. b) fT (t) = n(1 − F (t))n−1 f (t). Rn (t) las funciones de confiabilidad de cada componente en el sistema. . . Tn }. . Proposici´n. r(t) = r1 (t) + · · · + rn (t). Denotaremos por R1 (t).6. . 157 Considere un sistema de n componentes puestos en serie como se muestra C1 C2 Cn en la Figura 6.

Tn }. es decir. o los sistemas de manejo de reactores nucleares. mientras mas componentes haya u en el sistema en serie. e o Confiabilidad para sistemas en paralelo. es decir.158 6. demuestre que la funci´n de confiabilidad R(t) = R1 (t) · · · Rn (t) es una funci´n decreciente de n. Tales tipos de sistemas funcionan en su conjunto si por lo menos uno de los componentes se encuentra en buen estado. a La distribuci´n del tiempo de falla T es exponencial de par´metro λn. Ejemplo. y que el evento (T ≤ t) es a equivalente a que todos los componentes fallen antes del tiempo t. R(t) = e−λnt . menor es el tiempo de vida operacional del sistema en su conjunto pues una falla de cualesquiera de los componentes provoca que el sistema completo deje de funcionar. . respectivamente. C1 C2 Cn Figura 6. Considere ahora sistemas de n componentes puestos en paralelo como se muestra en la Figura 6. Confiabilidad 1. . . r(t) = − dt ln R(t) = − dt n k=1 ln Rk (t) = n k=1 rk (t). R(t) = P (T1 > t. El tiempo o a medio de falla es E(T ) = 1/(λn). en donde cada uno de estos componentes funciona de manera independiente uno del otro. Ejercicio. como por ejemplo los sistemas de vuelo de los aviones. . . y r(t) = λnt.7: El tiempo de falla T de un sistema de este tipo es el tiempo de falla m´s grande a de los componentes. Sistemas de este tipo se utilizan cuando se desea mantener un nivel alto de confiabilidad de funcionamiento. . T = m´x {T1 . d d 2. . En el contexto de sistemas de n componentes en serie. . . Tn > t) = P (T1 > t) · · · P (Tn > t) = R1 (t) · · · Rn (t). La funci´n de confiabilidad y la funci´n de tasa de falla de un sistema o o de n componentes puestos en serie en donde cada uno de ellos tiene un tiempo de falla exponencial de par´metro λ son. naturalmente decreciente conforme mayor es el n´ mero de componentes en el sistema.5. y o o en consecuencia el tiempo medio de falla tambi´n es una funci´n decreciente de n.7.

´ Cap´ ıtulo 6. Sistemas de este tipo pueden ser representados de manera equivalente como se muestra en la parte derecha de la misma figura. . Primeramente se tiene que o F (t) = P (T ≤ t) = P (T1 ≤ t. Es decir. Demuestre que las funciones de distribuci´n y de densidad del tiempo de o falla T del sistema en paralelo de la Figura 6. . . . rn (t) pero la expresi´n no resulta ser simple. La funci´n de confiabilidad del sistema en paralelo de la Figuo o ra 6. .7 son a) FT (t) = F n (t). . Demostraci´n.8. Puede calcularse la funci´n de tasa de falla del sistema r(t) en t´rminos de las o e funciones r1 (t). Tn ≤ t) = F1 (t) · · · Fn (t). . En consecuencia.7 es R(t) = 1 − (1 − R1 (t)) · · · (1 − Rn (t)). Por lo tanto R(t) = 1 − F (t) = 1 − F1 (t) · · · Fn (t) = 1 − (1 − R1 (t)) · · · (1 − Rn (t)). Ejercicio. Confiabilidad para sistemas mezcla serie/paralelo. b) fT (t) = n F n−1 (t) f (t). o Ejercicio. mientras mas compoe o nentes haya en el sistema m´s seguro es ´ste. demuestre que el a e tiempo medio de falla es una funci´n creciente de n. Pueden tambi´n considee rarse sistemas que son una combinaci´n de sistemas en serie y en paralelo como el o que se muestra en la parte izquierda de la Figura 6. o Ejemplo. r(t) = λn(1 − e−λt )n−1 e−λt /(1 − (1 − e−λt )n ). Para un sistema de n componentes puestos en paralelo en donde cada uno de ellos tiene un tiempo de falla exponencial de par´metro λ se tiene que a −λt n R(t) = 1 − (1 − e ) . . Demuestre que la funci´n de confiabilidad R(t) para sistemas en paralelo o reci´n encontrada es una funci´n creciente de n. Procesos de renovacion y confiabilidad 159 Proposici´n. .

y Lawler [23] el lector puede encontrar algunos otros resultados y aplicaciones de los procesos de renovaci´n.8: Ejercicio. C1 C2 C1 C3 C3 C2 C4 Figura 6.9.8 o es R(t) = R1 (t)(1 − (1 − R2 (t))(1 − R3 (t)). o .160 6.9: Notas y referencias En los textos de Karlin y Taylor [19]. Confiabilidad C2 C1 C3 C1 C2 C1 C3 Figura 6.5. Encuentre la funci´n de confiabilidad para cada uno de los sistemas de o componentes que aparecen en la Figura 6. Ejercicio. Basu [1]. Demuestre que la funci´n de confiabilidad del sistema de la Figura 6.

. Procesos de renovacion y confiabilidad 161 Ejercicios Procesos de renovaci´n o 106. Explique en cada caso. 2. 108. 1. o E(Ntk ) = ∞ n=0 c) (Nt = n) = (Wn ≤ t) [(n + 1)k − nk ] F ∗(n+1) (t).}. Diga falso o verdadero para cada una de las siguientes igualdades de eventos. Respecto de la definici´n de proceso de renovaci´n. . para n ≤ m. Demuestre que para cada k ≥ 1. Sea {Nt } un proceso de renovaci´n. c) Mediante un contraejemplo demuestre que. a) (Nt > n) = (Wn < t) b) (Nt ≥ n) = (Wn < t) d ) (Nt ≤ n) = (Wn ≥ t) e) (Nt < n) = (Wn ≥ t) 107. en general. . . o a) Demuestre que si la suma de dos procesos de renovaci´n independieno tes resulta ser un proceso de Poisson.} y {Nt : t ≥ 0} pueden escribirse cada uno en t´rminos de cualquier otro. entonces ambos sumandos son procesos de Poisson.´ Cap´ ıtulo 6. e 109. Demuestre que F ∗n (t) ≥ F ∗m (t). o o 110. b) Demuestre que si la suma de dos procesos de renovaci´n independientes o y con la misma funci´n de distribuci´n de interarribo es un proceso de o o renovaci´n. demuestre que los procesos o o {Tn : n = 1. . ¿Es la suma de dos procesos de renovaci´n independientes nuevamente un o proceso de renovaci´n? Los siguientes ejercicios dan respuesta a esta pregunta. . entonces la suma y cada uno de los sumandos es un proceso o de Poisson. la suma de dos procesos de renovaci´n independientes y con la misma funci´n de distrio o buci´n de interarribo no es necesariamente un proceso de renovaci´n. {Wn : n = 0. .

. Confiabilidad 111. para un proceso de renovaci´n. Demuestre que la funci´n A(t) = E(WNt +1 ) o o satisface la ecuaci´n de renovaci´n o o t A(t) = E(T ) + 0 A(t − s) dF (s). δt ≤ y) = t−y (1 − F (t + x − u)) dΛ(u). Demuestre que el tiempo a de vida total δt tiene funci´n de distribuci´n la que aparece abajo. 1 − F (t) 112. o o o Demuestre que para cualquier t ≥ 0. los tiempos de vida tienen distribuci´n exponencial con par´metro λ. Sea {Nt } el proceso de conteo de un proceso de renovaci´n. tienen distribuci´n conjunta dada por la o o siguiente expresi´n: Para 0 < y < t. t 0 b) Λ2 (t) = Λ(t) + 2 Λ(t − s) dΛ(s). Considere el proceso de Poisson visto como un proceso de renovaci´n. Sea {Nt } un proceso de renovaci´n con funci´n de renovaci´n Λ(t) = E(Nt ). o t P (γt > x. Demuestre o o 1 adem´s que E(δt ) = λ (2 − e−λt ). Demuestre que el tiempo de vida restante γt y el tiempo de vida transcurrido δt .5. a P (δt ≤ x) = 1 − (1 + λ(t ∧ x)) e−λx 0 si x > 0. Defina Λ(t) = o E(Nt ). 113. Sea {Nt } un proceso de Poisson de par´metro λ > 0. 115. Demuestre que a) Λ2 (t) = ∞ n=1 (2n − 1)F ∗n (t). otro caso. 116. 0 ≤ Λ(t) ≤ 1 . Sea {Nt } un proceso de renovaci´n.162 6. 114. y Λ2 (t) = E(Nt2 ). es o decir. o a Demuestre que la funci´n de renovaci´n Λ(t) = λt satisface la ecuaci´n de o o o renovaci´n o t Λ(t) = 1 − e−λt + 0 Λ(t − s)λe−λs ds.

Fn (t). l´ P (Nt = n) = 0. . . Sean T1 . . . Tn los tiempos de falla de cada uno de los n componentes puestos en serie como en la Figura 6. Sea {Nt } un proceso de renovaci´n. Demuestre directamente que para cada o n fijo. . fn (t). . . respeco tivamente. Tn } son a a) F (t) = F1 (t) · · · Fn (t). Sean T1 . . . . Tn los tiempos de falla de cada uno de los n componentes puestos en paralelo como en la Figura 6. y f1 (t). a 118. . . . . . .´ Cap´ ıtulo 6. . . n b) f (t) = k=1 fk (t) (1 − (1 − F1 (t)) 1(k=1) ) · · · (1 − (1 − Fn (t)) 1(k=n) ). Demuestre que las funciones de distribuci´n y de densidad del o tiempo de falla del sistema dado por T = m´x {T1 . Fn (t). . respectivao mente. Encuentre la distribuci´n de probabilidad del tiempo de vida restante. .7. Suponga que las correspondientes funciones de distribuci´n y de densidad son F1 (t). . Suponga que las correspondientes funciones de distribuci´n y de densidad son F1 (t). . Procesos de renovacion y confiabilidad Encuentre adem´s Λ2 (t) cuando {Nt } es un proceso de Poisson. . . . fn (t). Encuentre adem´s la esperanza de estas variables aleatorias. y f1 (t). 120. . . ım t→∞ Confiabilidad 119. . . del o tiempo de vida transcurrido y del tiempo de vida total para un proceso de Poisson. . . a 163 117.6. Demuestre que las funciones de distribuci´n y de densidad del tiempo o de falla del sistema dado por T = m´ {T1 . . n b) f (t) = k=1 fk (t) (1 − F1 (t) 1(k=1) ) · · · (1 − Fn (t) 1(k=n) ). . Tn } son ın a) F (t) = 1 − (1 − F1 (t)) · · · (1 − Fn (t)).

.

Hemos mencionado antes que este tipo de modelo corresponde a un proceso que representa la evoluci´n del capital de un jugador que realiza o una sucesi´n de apuestas justas. Suponga ahora que se consideran dos sub σ-´lgebras F1 y F2 tales que F1 ⊆ F2 . M´s generalmente.Cap´ ıtulo 7 Martingalas Existen varias acepciones para el t´rmino martingala. Entonces F2 contiene a m´s informaci´n que F1 en el sentido de que. y buena parte de su desarrollo inicial fue realizado e por Joseph Doob.1. . 7. en general. . Parte de la motivaci´n para el estudio de este tipo o o de procesos fue el buscar demostrar la inexistencia de estrategias ventajosas en este juego de apuestas. . Una de ellas hace referencia a e un tipo de proceso estoc´stico que b´sicamente cumple la identidad E(Xn+1 | X0 = a a x0 . Xn = xn ) = xn . un mayor n´ mero de a o u conjuntos son considerados como eventos. P ) un espacio de probabilidad para modelar un cierto experimento aleatorio. Filtraciones Sea (Ω. F . El concepto de martingala fue incorporado a la teor´ de ıa la probabilidad por Paul L`vy. puede considerarse a 165 . La σ-´lgebra F es la estructura que agrupa a los eventos del experimento a aleatorio a los cuales se les puede calcular su probabilidad. . aunque tambi´n se mencionan algunas definiciones generales a tiempo e continuo. En este cap´ ıtulo se presenta una introducci´n a la teor´ de martingalas a tiempo o ıa discreto.

Una filtraci´n es una colecci´n de σ-´lgebras {Fn }n≥1 tal que o o o a Fn ⊆ Fm . y si se define el evento A como “La suma de los dos primeros resultados es mayor a 3”. .1. para un proceso estoc´stico a tiempo a discreto {Xn }. La filtraci´n natural o can´nica de un proceso a tiempo continuo {Xt : o o t ≥ 0} es la colecci´n de σ-´lgebras {Ft }t≥0 dadas por Ft = σ{Xs : 0 ≤ s ≤ t}. Estas consideraciones sobre sucesiones no decrecientes de σ-´lgebras llevan a la a definici´n de filtraci´n. entonces sabemos que el evento A ocurre. . Ft es la m´ ınima σ-´lgebra que hace que cada una de las variables Xs . La condici´n de o adaptabilidad requiere que Xn sea tambi´n una variable aleatoria respecto de la e . o o Ejemplo. pues puede construirse la sucesi´n {Fn } de la siguiente forma o Fn = σ{X1 . . cuando o a 0 ≤ s ≤ t. la filtraci´n natural o can´nica o o de un proceso {Xn } es aquella sucesi´n de σ-´lgebras definidas por Fn = o a σ{X1 . Se dice que un proceso {Xn } es adaptado a una filtraci´n {Fn } si o o la variable Xn es Fn -medible. A tiempo continuo las definiciones de estos conceptos son an´logas: Una filtraci´n a o es una colecci´n no numerable de sub σ-´lgebras {Ft }t≥0 tal que Fs ⊆ Ft . entonces es claro que A ∈ F1 . Sabemos que cada Xn es F -medible por ser variable aleatoria. Definici´n. En particular. Xn }. s´lo con la informaci´n del proceso disponible hasta el tiempo n. cuando n ≤ m.166 7. Xn }. / si sucede por ejemplo que X1 = 4. para a valores de s en el intervalo [0. o a esto es. Por supuesto. sin embargo A ∈ F2 . por ejemplo. n ≥ 1. . Filtraciones una sucesi´n no decreciente de sub σ-´lgebras F1 ⊆ F2 ⊆ · · · Este tipo de estruco a turas surgen de manera natural. Si las variables {Xn } representan los resultados de lanzar sucesivamente un dado. . para cada n ≥ 1. o o Definici´n. A la σ-´lgebra Ft se le denomina a la historia del proceso al tiempo t. t]. pero sin esta informaci´n adicional la ocurrencia o no ocurrencia del evento A no puede o determinarse sino hasta el segundo lanzamiento del dado. . Regresemos al caso de tiempo discreto. . . en donde efectivamente se cumple que F1 ⊆ F2 ⊆ · · · En este caso la σ-´lgebra a Fn contiene los eventos para los cuales puede determinarse su ocurrencia o no ocurrencia. sean medibles.

que registra el tiempo en el que ocurre un cierto evento del proceso de tal forma que puede determinarse si ha ocurrido o no ha ocurrido tal evento al tiempo n con la informaci´n de la σ-´lgebra Fn . . Esta variable aleatoria puede tomar el valor infinito o a cuando el evento de inter´s nunca ocurre.} ∪ {∞} es un o tiempo de paro respecto de una filtraci´n {Fn } si para cada n ≥ 1 se cumple o que (τ ≤ n) ∈ Fn . entonces la filtraci´n se llama est´ndar. y se pueden definir adem´s a las siguientes dos σ-´lgebras: a F∞ Ft+ = = s>t σ( t≥0 Ft ). Tiempos de paro Sea {Xn } un proceso adaptado a una filtraci´n {Fn }. El siguiente caso particular es necesario de considerar. Definici´n. 2. Naturalmente todo proceso es adaptado a su filtraci´n natural. Algunos c´lculos requieren suponer estas a hip´tesis. . Se dice que el proceso {Xn : n ≥ 1} es predecible respecto de la o filtraci´n {Fn }n≥0 si para cada n ≥ 1. Una variable aleatoria τ con valores en {1. Martingalas 167 sub σ-´lgebra Fn . a o y puede demostrarse que la filtraci´n natural es la filtraci´n m´s peque˜ a respecto o o a n de la cual el proceso es adaptado. Fs . o o a bien que satisface las condiciones usuales. . . la variable Xn es Fn−1 -medible. o Evidentemente todo proceso predecible es adaptado. Se dice entonces que una filtraci´n es continua por la derecha si Ft+ = Ft . Un tiempo de paro es una o variable aleatoria con valores en el espacio parametral de este proceso. La definici´n de adaptabilidad o es la misma en el caso de procesos a tiempo continuo. e Definici´n. Si Ft o es una filtraci´n continua por la derecha y la σ-´lgebra inicial F0 contiene a todos o a los subconjuntos insignificantes de F .Cap´ ıtulo 7.2. o 7.

La variable aleatoria τ es un tiempo de paro pues para cualquier valor entero de n. . τ es ın ın el primer momento en el que la sucesi´n toma un valor dentro del conjunto A. Sea X1 . Compruebe adem´s que τ = ∞ es tambi´n un tiempo de paro. el primer momento en el que la variable Xn = ξ1 + · · · + ξn toma uno de los dos valores del conjunto A es un tiempo de paro. . defina ahora un segundo tiempo de paro de la siguiente forma τ2 = m´ {n > τ1 : Xn ∈ A}. n−1 (τ2 = n) = k=1 (τ1 = k) ∩ (Xk+1 ∈ A) ∩ · · · ∩ (Xn−1 ∈ A) ∩ (Xn ∈ A). No es o o dif´ comprobar que la condici´n que aparece en la definici´n es equivalente a la ıcil o o condici´n (τ = n) ∈ Fn . en el que el proceso toma un valor dentro del conjunto e A. / / Ejercicio. y sea A un conjunto de Borel de o R. Sea A un conjunto de Borel de R. para cada n ≥ 1. Es decir. la condici´n (τ ≤ n) ∈ Fn puede interpretarse del siguiente e o modo: la pregunta de si el evento de inter´s ha ocurrido al tiempo n o antes. / / En particular. . una sucesi´n de variables aleao torias adaptada a la filtraci´n Fn . (τ = n) = (X1 ∈ A) ∩ · · · ∩ (Xn−1 ∈ A) ∩ (Xn ∈ A) ∈ Fn . X2 . a e . .2. Sea n un entero positivo. Es decir τ2 es el primer ın momento. Demuestre que la variable aleatoria constante τ = n es un tiempo de paro. debe e poder ser respondida con la informaci´n dada por la filtraci´n al tiempo n. N }. Ejemplo: Tiempo de segundo arribo. en donde conviene definir m´ ∅ = ∞. tomando A como el conjunto {0. Sea nuevamente X1 . y es el tiempo aleatorio en el cual el juego finaliza. Esta nueva variable resulta tambi´n ser un e tiempo de paro pues el siguiente conjunto es un elemento de Fn . . Tiempos de paro Bajo la interpretaci´n de que τ es un tiempo aleatorio en el cual ocurre un cierto o evento de inter´s. Naturalmente se cumple τ1 ≤ τ2 . . una sucesi´n de o variables aleatorias adaptada a la filtraci´n Fn .168 7. ya sea porque el jugador se arruina o porque gana todo el capital. si o acaso ello sucede. Este es un tiempo de paro determinista. despu´s de τ1 . X2 . o Ejemplo: Tiempo de primer arribo. Dado un tiempo de paro cualquiera τ1 . y recordando el problema de la ruina del jugador. y defina o τ = m´ {n ≥ 1 : Xn ∈ A}.

3. E(Xm | Fn ) = Xn . entonces es una supermartingala. Puede comprobarse que la condici´n (7.1) Cuando en lugar de (7. dado que se conoce la historia del juego hasta el tiempo n. la definici´n de tiempo de paro es la siguiente. equivale a un juego favorable al jugador. b) τ ∨ n. correspondiente a la definici´n de o submartingala. o 7. 2. . La desigualdad contraria. b) Es adaptado a la filtraci´n. y sea n un entero positivo. . entonces el proceso es una submartingala. . (7. Martingalas Definici´n. o c) Para cualesquiera n ≤ m. o Una variable aleatoria τ : Ω → [0. para cada t ≥ 0. Martingalas 169 Ejercicio.Cap´ ıtulo 7. corresponde a un juego desfavorable al jugador.1) establece que la fortuna promedio al tiempo futuro m.}∪{∞}. c) τ + n. En este sentido.s. el caso de submartingala. el juego es justo pues en promedio el jugador no pierde ni gana. e a) τ ∧ n. y si E(Xm | Fn ) ≤ Xn . Demuestre que las siguientes variables tambi´n son tiempos de paro. es decir. Las martingalas tienen una interpretaci´n sencilla en t´rminos de juegos justos que o e ya hemos mencionado antes: Si Xn denota el capital de un jugador al tiempo n. Se dice que un proceso {Xn } es una martingala respecto de una o filtraci´n {Fn } si cumple las siguiente tres condiciones: o a) Es integrable. la desigualdad E(Xm | Fn ) ≥ Xn . Sea τ un tiempo de paro con valores en {1. c. entonces la igualdad (7. En el caso de tiempos continuos.1) se cumple la desigualdad E(Xm | Fn ) ≥ Xn . es su capital al tiempo n. ∞) ∪ {∞} es un tiempo de paro respecto de una filtraci´n {Ft } si se cumple que (τ ≤ t) ∈ Ft .1) es equivalente a la igualdad aparenteo .

o E(Xm ) ≥ E(Xn ). Por lo tanto. La variable o aleatoria Xn puede interpretarse como la fortuna de un jugador despu´s de n e apuestas sucesivas en donde la ganancia o p´rdida en la k-´sima apuesta es ξk . entonces {−Xn } es una supermartingala. An´logamente. o Martingala del juego de apuestas. . las submartingalas son procesos que tienden a crecer. Esta ultima condici´n es la que a menudo a e ´ o usaremos para verificar la propiedad de martingala de un proceso a tiempo discreto. . ξn }. Para procesos a tiempos continuos. . . la condici´n de martingala se escribe E(Xt | Fs ) = o Xs . ξ2 . Adem´s a E(Xn+1 | Fn ) = = = E(Xn + ξn+1 | Fn ) Xn + E(ξn+1 | Fn ) Xn + E(ξn+1 ). para cualesquiera tiempos s y t tales que 0 ≤ s ≤ t. . Adem´s. una sucesi´n de variables o aleatorias independientes id´nticamente distribuidas y con esperanza finita. y considere la filtraci´n Fn = σ{ξ1 . . esto puede interpretarse en el sentido de que. . para cada m ≥ 1.4. . toda propiedad para submartingalas puede ser escrita tambi´n para supermartingalas bajo este cambio de signo. o Observe que toda martingala es al mismo tiempo una submartingala y una supermartingala. Defina e Xn = ξ1 + · · · + ξn . en promedio. cuando la filtraci´n es la natural. 7. . Sea ξ1 . Ejemplos Veremos a continuaci´n algunos ejemplos de martingalas. Xn }. M´s adelante demostraremos que a cuando la submartingala es acotada superiormente. es decir. y que si {Xn } es una submartingala. .4. Por otro lado. cuando Fn = σ{X1 . es convergente. . . e e Claramente el proceso Xn es integrable y es adaptado. . esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. .1) con n = 1 se obtiene la igualdad E(Xm ) = E(X1 ). tomando e esperanza en (7. . Este interesante resultado es el an´logo estoc´stico al hecho de que toda sucesi´n de n´ meros a a o u reales creciente y acotada es convergente. sin olvidar la condiciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una martingala. la a o condici´n de martingala puede escribirse en la forma E(Xn+1 | X1 . Xn ) = Xn .170 7. tomando esperanza ahora en la a condici´n de submartingala se obtiene que para cualesquiera tiempos 1 ≤ n ≤ m. Ejemplos mente m´s d´bil E(Xn+1 | Fn ) = Xn . .

Var(ξ) = 1. Adem´s. y por lo tanto el proceso es una submartingala. Este ejemplo es un caso particular del siguiente resultado que el lector puede f´cila mente verificar siguiendo el c´lculo anterior: Si un proceso integrable {Xt } tiene a incrementos independientes. En efecto. Sea X una variable aleatoria integrable. Finalmente cuando el resultado promedio de cualquier apuesta es menor o igual a cero. entonces E(Xn+1 |Fn ) ≥ Xn .Cap´ ıtulo 7. para cada 0 ≤ s ≤ t. . una caminata aleatoria sim´trica es una martingala. Ejercicio. 2 demuestre que el proceso Xn − n es una martingala si. Sea Xt un proceso de Poisson de par´metro λ. y sean F1 y F2 dos sub σ-´lgebras tales que F1 ⊆ F2 . Entonces el proceso centrado Xt − λt es una martingala. Sea Fn una filtraci´n dada. el segundo sumando se anula y se tiene un ejemplo de martingala. correspondiente a un juego desfavorable al jugador. el proceso es una supermartingala pues E(Xn+1 |Fn ) ≤ Xn . Para la martingala del juego de apuestas justas Xn = ξ1 + · · · + ξn . Usando la identidad anterior demostrao remos que la sucesi´n de variables aleatorias dada por Xn = E(X | Fn ) es una o martingala. Adem´s o a E(Xn+1 | Fn ) = E(E(X | Fn+1 ) | Fn ) = E(X | Fn ) = Xn . y s´lo si. No es dif´ coma ıcil probar la siguiente propiedad de la esperanza condicional: E( E(X | F2 ) | F1 ) = E(X | F1 ). Si el resultado e promedio de las apuestas es mayor o igual a cero. un juego justo. En particular. es decir. a E(Xt − λt | Fs ) = = = = = = E(Xt | Fs ) − λt E(Xt − Xs + Xs | Fs ) − λt E(Xt − Xs | Fs ) + Xs − λt E(Xt − Xs ) + Xs − λt λ(t − s) + Xs − λt Xs − λs. Es claro que cada una de estas variables es integrable y por definici´n o de esperanza condicional el proceso es adaptado a la filtraci´n. a este nuevo proceso es integrable y adaptado. Martingalas 171 Cuando el resultado promedio de cualquiera de las apuestas es cero. entonces el proceso centrado {Xt − E(Xt )} es una martingala. o Martingala del proceso de Poisson centrado. Martingala de la esperanza condicional. un juego favorable al jugador.

Procesos detenidos Martingala de la urna de Polya. y el valor 0 cuando la bola escogida es negra. Las probabilidades de transici´n son las siguientes o P (Xn+1 = k + 1 | Xn = k) = P (Xn+1 k . entonces se tiene que e e o E(Mn+1 | Fn ) = E( Xn+1 Xn | Fn ) = = Mn . Un experimento consiste en escoger una bola al azar y regresarla a la urna junto con otra bola del mismo color. Sin embargo. n+2 n+2 n+2 Este c´lculo demuestra que el proceso {Xn } no es una martingala. n+2 Observe que se puede escribir Xn+1 = Xn + Yn+1 .5. en donde Yn+1 es una variable aleatoria que toma el valor +1 cuando se escoge una bola blanca en la extracci´n o n + 1.1: ensayo. y que despu´s del n-´simo e e ensayo hay n+2 bolas en la urna. y sea τ un tiempo a o de paro respecto de la misma filtraci´n. lo cual representa la fracci´n de bolas blancas en la o urna despu´s de la n-´sima extracci´n.5. Procesos detenidos Sea Xn un proceso estoc´stico adaptado a una filtraci´n Fn . En ocasiones es necesario considerar un o . Adem´s 1 ≤ Xn ≤ n+1. Sea Xn el n´ mero de bolas blancas en la urna despu´s del n-´simo u e e Figura 7. n+3 n+2 Es decir. Suponga que una urna contiene inicialmente una bola blanca y una bola negra. Este experimento se repite varias veces. si a se define Mn = Xn /(n + 2). a y por lo tanto E|Xn | < ∞. n+2 n+2−k = k | Xn = k) = . ¿Se modifica el resultado si la configuraci´n inicial de la urna es distinta a la considerada? ¿Se o modifica el resultado si en lugar de agregar una bola adicional se agregan r bolas del mismo color? 7. hemos comprobado que el proceso {Mn } es una martingala. Es claro que X0 = 1. por lo tanto E(Xn+1 | Xn ) = Xn + (0) n + 2 − Xn Xn n+3 + (1) = Xn .172 7.

Cap´ ıtulo 7. Martingalas

173

proceso de la forma Xτ ∧n , en donde τ ∧ n = m´ ın{τ, n}. A este tipo de procesos se les llama procesos detenidos, por ejemplo, suponga que τ = k, entonces Xτ ∧n = Xn Xk si n ≤ k, si n > k.

Es decir, como funci´n del par´metro n el proceso se vuelve constante a partir del o a tiempo aleatorio τ . Medibilidad y adaptabilidad de {Xτ ∧n}. Las variables del proceso detenido son efectivamente variables aleatorias y el proceso mismo es adaptado a la misma filtraci´n pues para cualquier n´ mero real x, y para cada n´ mero natural n, o u u
n

(Xτ ∧n ≤ x) = [

k=1

(τ = k) ∩ (Xk ≤ x)] ∪ [(τ > n) ∩ (Xn ≤ x)].

La expresi´n del lado derecho es claramente un elemento de Fn . Si el proceso o original es integrable, entonces el proceso detenido es tambi´n integrable pues e E|Xτ ∧n | = E( |Xτ | 1(τ ≤n) ) + E( |Xn | 1(τ >n) )
n

≤ ≤

k=1 n

E( |Xk | 1(τ =k) ) + E( |Xn | 1(τ >n) ) E|Xk | + E|Xn | < ∞.

k=1

Por ejemplo, considere que {Xn } es la martingala del juego de apuestas. Suponga que el jugador decide dejar de jugar cuando pierda todo su capital o cuando consigue ganar el doble de su capital inicial. El momento aleatorio en el que ocurre alguno de estos dos eventos es un tiempo de paro τ . El capital del jugador en cualquier tiempo n puede expresarse como Xτ ∧n . Ejercicio. Sea {Xn } un proceso adaptado a la filtraci´n {Fn }, y sea τ un tiempo o de paro a tiempo discreto que adem´s es finito, es decir, P (τ < ∞) = 1. Demuestre a que Xτ es una variable aleatoria. Demostraremos a continuaci´n que una martingala detenida sigue siendo martino gala. Proposici´n. Si {Xn } es una martingala, submartingala o supermartingala, o y τ es un tiempo de paro respecto de la misma filtraci´n, entonces el proceso o detenido {Xτ ∧n} tambi´n lo es. e

174

´ 7.6. Una aplicacion: Estrategias de juego

Demostraci´n. Hemos demostrado antes que el proceso detenido es adaptado e o integrable. Resta demostrar la propiedad de martingala. El caso submartingala y supermartingala se obtienen modificando adecuadamente la pen´ ltima igualdad en u el siguiente an´lisis. a
n

E(Xτ ∧(n+1) | Fn ) = =

k=1 n

E(Xk 1(τ =k) | Fn ) + E(Xn+1 1(τ >n) | Fn ) Xk 1(τ =k) + E(Xn+1 | Fn ) 1(τ >n) Xk 1(τ =k) + Xn 1(τ >n)

k=1 n

=
k=1

=

Xτ ∧n

7.6.

Una aplicaci´n: Estrategias de juego o

Considere nuevamente la sucesi´n de variables aleatorias independientes id´nticao e mente distribuidas {ξn } tal que P (ξ = +1) = 1/2 y P (ξ = −1) = 1/2, y con filtraci´n natural {Fn }. Considere la suma Xn = ξ1 + · · · + ξn , es decir, Xn es una o martingala que representa el total de ganancias en una serie de n apuestas justas de una unidad monetaria. Suponga ahora que el monto de cada apuesta no es uno, sino una cantidad an para la n-´sima apuesta. Supondremos que an es una variable e aleatoria que el jugador determina a partir de la informaci´n de las n − 1 apuestas o previas, y por lo tanto es una variable Fn−1 -medible, es decir, se trata de un proceso predecible. A la colecci´n de variables aleatorias {an } con esta caracter´ o ıstica se le llama una estrategia de juego. Bajo una de estas estrategias, el capital del jugador despu´s de la n-´sima apuesta es ahora An = a1 ξ1 + · · · + an ξn , que es e e Fn -medible. Bajo la hip´tesis de que la estrategia de juego consta de variables o aleatorias acotadas, se cumple que el proceso {An } es integrable y cumple adem´s a

Cap´ ıtulo 7. Martingalas la propiedad de martingala pues E(An+1 | Fn ) = = = = = E(An + an+1 ξn+1 | Fn ) An + an+1 E(ξn+1 | Fn )

175

An + an+1 E(Xn+1 − Xn | Fn ) An + an+1 (E(Xn+1 | Fn ) − Xn ) An .

Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganancias {An } es una martingala siempre y cuando el proceso original {Xn } lo sea. Este resultado es importante saber para los apostadores pues quiere decir que no existe una estrategia de juego que convierta un juego justo en un juego favorable o desfavorable al jugador. El mismo an´lisis demuestra que si el proceso original {Xn } a es una submartingala o supermartingala y la estrategia de juego consta de variables aleatorias no negativas y acotadas, entonces el proceso {An } sigue siendo una submartingala o supermartingala. Uno de los varios significados del t´mino martingala, y que parece ser el original, e establece que una martingala es una estrategia de juego en la cual un jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta del siguiente modo: Inicialmente apuesta una unidad monetaria. En caso de perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo esta estrategia de juego.
Monto de la apuesta Resultado del lanzamiento Ganancia

1 x -1

2 x -3

4 x -7

8 1

1 2

1 x 1

2 3

1 x 2

Figura 7.2: Bajo esta estrategia de juego resulta que, cada vez que el jugador acierta, se recupera de las p´rdidas anteriores e incluso incrementa su fortuna en una unidad e monetaria. En efecto, si el jugador pierde las primeras n apuestas y gana la apuesta

176

´ 7.6. Una aplicacion: Estrategias de juego

n + 1, entonces su capital al tiempo n + 1 es
n−1

−1 − 21 − 22 − · · · − 2n−1 +
n apuestas perdidas

2n
apuesta n + 1 ganada

=

− −

2k + 2n
k=0

= = =

1 − 2n + 2n 1−2 (1 − 2n ) + 2n 1.

De esta manera si el jugador pudiera mantener esta estrategia de juego tendr´ una ıa unidad ganada por cada acierto que haya conseguido. Parece ser una estrategia segura de ganar, sin embargo, veamos cu´nto, en promedio, podr´ ser su d´ficit a ıa e justo antes de recuperarse, es decir, calcularemos E(Xτ −1 ), en donde τ es el tiempo de paro en el que el jugador acierta por primera vez. Puede comprobarse que este tiempo de paro es finito casi seguramente, es decir, P (τ < ∞) = 1. De hecho, con probabilidad uno, el jugador tendr´ eventualmente un ´xito a´ n cuando sus proıa e u babilidades de acertar fueran peque˜ as. Como hemos visto, despu´s de n apuestas n e consecutivas perdidas el capital empe˜ ado es −1 − 21 − 22 − · · · − 2n−1 = 1 − 2n , y n la probabilidad de perder n apuestas sucesivas y ganar la apuesta n + 1 es 1/2n+1 . Por lo tanto E(Xτ −1 ) = = = =
∞ n=1 ∞ n=1 ∞ n=1

E(Xτ −1 | τ = n) P (τ = n) E(Xn−1 ) P (τ = n) 1 2n

(1 − 2n−1 )

−∞.

Es decir, se requerir´ de un capital promedio infinito y poder apostar una infinidad ıa de veces para llevar a cabo con ´xito esta estrategia, algo no muy factible en e t´rminos de dinero y tiempo. e

Cap´ ıtulo 7. Martingalas

177

7.7.

Teorema de paro opcional y aplicaciones

Hemos observado antes que para una martingala Xn se cumple que E(Xn ) = E(X1 ), para cualquier valor de n. Si adem´s se tiene un tiempo de paro finito τ , no a necesariamente es cierto que E(Xτ ) = E(X1 ), e incluso el n´ mero E(Xτ ) podr´ no u ıa ser finito como en la estrategia de juego llamada martingala analizada en la secci´n o anterior. El siguiente resultado establece condiciones bajo las cuales la variable Xτ tiene la misma esperanza que la martingala. Teorema de paro opcional. Sea {Xn } una martingala y sea τ un tiempo de paro finito, ambos respecto de una filtraci´n {Fn }, tales que o a) Xτ es integrable. b) l´ E(Xn 1(τ >n) ) = 0. ım
n→∞

Entonces E(Xτ ) = E(Xn ), para cualquier n ≥ 1. Demostraci´n. La observaci´n importante es que para cualquier n ≥ 1, o o Xτ = Xτ ∧n + (Xτ − Xn ) 1(τ >n) . Tomando esperanza y usando el hecho de que Xτ ∧n es una martingala, E(Xτ ) = = E(Xτ ∧n ) + E((Xτ − Xn ) 1(τ >n) ) E(X1 ) + E(Xτ 1(τ >n) ) − E(Xn 1(τ >n) ).

Como el proceso original es una martingala, el primer sumando es E(Xn ). Haciendo n → ∞, el tercer sumando se anula por hip´tesis. Usando la hip´tesis de o o integrabilidad de Xτ y el teorema de convergencia dominada, el segundo sumando converge tambi´n a cero pues es la cola de la serie convergente e E(Xτ ) = E(

Xk 1(τ =k) ) =

∞ k=1

E(Xk 1(τ =k) ).

k=1

Como una aplicaci´n del teorema de paro opcional calcularemos algunos tiempos o medios de arribo en caminatas aleatorias.

b2 pasos para alcanzar. este resultado dice que la caminata aleatoria sim´trica simple que inicia e en cero necesita. el nivel b. b ∈ N. el n´ mero promeu dio de pasos que le toma a la caminata Figura 7. 2 Ahora no es tan sencillo calcular esta esperanza pues Xτ puede tomar dos valores. no necesariamente id´nticos. Teorema de paro opcional y aplicaciones Caso caminata sim´trica. con condiciones o de frontera ub = 1 y u−a = 0. y cuya soluci´n es uk = (a + k)/(a + b). Nuevamente el proceso centrado {Xn − n} es una martingala 2 2 2 y por lo tanto E(Xτ − τ ) = E(X1 − 1) = 0. con a. de donde se obtiene E(τ ) = E(Xτ ). Defina el tiempo de paro τ = m´ {n ≥ 1 : |Xn | = b}. La ultima igualdad se obtiene al observar que |Xτ | = b. Nos interesa e encontrar E(τ ). en valor absoluto. Por lo tanto. Supongamos entonces que {Xn } es una caminata aleatoria sim´trica simple que inicia en cero y defina el tiempo de paro e τ = m´ {n ≥ 0 : Xn = b ´ Xn = −a}. o .178 7. ın o 2 en donde a. n Caso caminata sim´trica. La e idea es aplicar nuevamente el teorema de paro opcional aunque los c´lculos no a son tan inmediatos.3.3: llegar al nivel ±b. τ es el primer momento en el que la caminata alcanza. barrera sim´trica e e Sea {Xn } una caminata aleatoria sim´trie ca simple sobre Z que inicia en cero. Usando an´lisis del primer paso puede comproa barse que uk cumple la ecuaci´n en diferencias 2uk = uk+1 + uk−1 . 2 2 E(τ ) = E(Xτ ) = b . b ∈ N. Sabemos que tanto el 2 proceso {Xn } como {Xn − n} son martingalas. esto es. barrera asim´trica e e Generalizaremos ahora el c´lculo anterior para el caso en el que se tiene una barrera a inferior −a y una barrera superior b. Suponiendo de manera preliminar que las condiciones del teorema de paro 2 2 opcional se cumplen. Entonces 2 E(τ ) = E(Xτ ) = b2 P (Xτ = b) + a2 P (Xτ = −a). Defina uk = P (Xτ = b | X0 = k). el −b nivel b. En ´ palabras. b2 o a2 . se tiene que E(Xτ − τ ) = E(X1 − 1) = 0. en valor absoluto.7. y sea b ≥ 1 un entero cualquiera. ın Xn (ω) b τ es decir. v´ase la Figura 7. en promedio.

se encuentra que vk cumple a la ecuaci´n en diferencias vk = p vk+1 + q vk−1 . el proceso centrado {Xn − n(p − q)} lo es. definiendo vk = P (Xτ = −a | X0 = k). se encuentra que vk cumple a la ecuaci´n en diferencias 2vk = vk+1 + vk−1 . y cuya soluci´n es vk = (b − k)/(a + b). 1 − (p/q)a+b An´logamente. con condiciones de frontera vb = 0 o y v−a = 1. 1 − (q/p)a+b . definiendo vk = P (Xτ = −a | X0 = k). y cuya soluci´n es o vk = (q/p)a+k − (q/p)a+b . De donde se obtiene E(τ ) = E(Xτ )/(p − q). Usando an´lisis del primer paso a puede comprobarse que uk cumple la ecuaci´n en diferencias uk = p uk+1 + q uk−1 . E(τ ) 2 = E(Xτ ) = b2 P (Xτ = b) + a2 P (Xτ = −a) = b2 u0 + a2 v0 a b = b2 + a2 a+b a+b = ab. Tenemos que E(Xτ ) = b P (Xτ = b) − a P (Xτ = −a). se tiene que E(Xτ − τ (p − q)) = E(X1 − (p − q)) = 0. o con condiciones de frontera ub = 1 y u−a = 0.Cap´ ıtulo 7. Martingalas 179 An´logamente. o Por lo tanto. barrera asim´trica e e En este caso {Xn } no es una martingala pero debido a la propiedad de incrementos independientes. Caso caminata asim´trica. Suponiendo nuevamente que las condiciones del teorema de paro opcional se cumplen. y cuya soluci´n es o uk = (p/q)b−k − (p/q)a+b . Defina nuevamente uk = P (Xτ = b | X0 = k). El problema es nuevamente encontrar E(Xτ ). con condiciones de frontera vb = 0 y o v−a = 1.

o e a) Demostraremos que τ < ∞ c. . .180 Por lo tanto. .. para k = 1. . p − q p − q 1 − (p/q)2b Verificaremos a continuaci´n la validez de las tres condiciones del teorema de paro o opcional para esta aplicaci´n cuando la caminata y las barreras son sim´tricas. 2.7.s. La estrategia consiste en considerar bloques sucesivos de 2b pasos en la caminata aleatoria. 1 − (p/q)a+b Entonces E(τ ) = a + b 1 − (p/q)b b − · . La utilidad de este evento mayor radica en que ´ es f´cil calcular su probabilidad como veremos a conitnuaci´n. Observe que el evento (τ = ∞) es el l´ ımite de la sucesi´n decreciente de eventos (τ > 2bk). Teorema de paro opcional y aplicaciones E(Xτ ) = b u0 − a v0 (p/q)b − (p/q)a+b (q/p)a − (q/p)a+b = b −a a+b 1 − (p/q) 1 − (q/p)a+b = b − (a + b) 1 − (p/q)b . 7. y que el o evento (τ > 2bk) est´ contenido en el evento “Ninguno de los primeros k bloques a contiene unicamente valores +1”. Tenemos que a o P (τ = ∞) = ≤ = = k→∞ k→∞ l´ P (τ > 2bk) ım l´ P (“Ninguno de los primeros k bloques ım contiene unicamente valores +1”) ´ l´ (1 − (1/2)2b )k ım k→∞ 0.

Entonces para cualquier a λ > 0. ∗ ∗ λ P (Xn ≥ λ) ≤ E(Xn 1(Xn ≥λ) ). (Desigualdad maximal de Doob.) Sea Xn una submartino ∗ gala no negativa y defina Xn = m´x{X1 .s. 2 E(|Xn − n|1(τ >n)) 2 ≤ E(Xn 1(τ >n) ) + E(n1(τ >n) ) ≤ N 2 P (τ > n) + E(τ 1(τ >n) ). . El segundo sumando por tanto tambi´n converge a cero. k=0 j=1 ∞ 2 k=0 2 c) Finalmente verificaremos que E((Xn − n)1(τ >n) ) → 0. se tiene que 2 E(|Xτ − τ |) 181 ≤ = b2 + E(τ ) b2 + 2 ∞ k=0 k P (τ = k) 2b = b + b2 + ∞ (2bk + j) P (τ = 2bk + j) 2b k=0 j=1 ≤ ≤ < ∞ (2b(k + 1)) P (τ > 2bk) (k + 1) (1 − (1/2)2b )k b2 + (2b) ∞. Martingalas 2 2 b) Demostraremos ahora que E(|Xτ − τ |) < ∞. El primer sumando por lo tanto se hace peque˜ o cuando n crece.8. o o su l´ ımite es el evento (τ = ∞) que tiene probabilidad cero. Xn }. cuando → ∞. La sucesi´n de eventos (τ > n) es mon´tona decreciente y por lo tanto convergente.Cap´ ıtulo 7. la sucesi´n de variables n o τ 1(τ >n) es tambi´n decreciente y consta de variables aleatorias integrables cuyo e l´ ımite es cero c. e 7. . . Algunas desigualdades Proposici´n. Como Xτ = b2 . . Como E(τ ) < ∞. .

entonces Xτ ≥ λ. Observe que si ocurre el evento ∗ ∗ (Xn ≥ λ). de la siguiente forma E(X 2 ) = 2 0 ∞ x P (X > x) dx. ∗ λ P (Xn ≥ λ) ∗ ≤ E(Xn ) − E(Xn 1(Xn <λ) ) ∗ = E(Xn 1(Xn ≥λ) ). Como Xn es una submartingala y 1 ≤ τ ≤ n.8. Si tal evento nunca ocurre. . Para Xn = m´x{X1 . Xn } se a tiene que ∗ 2 E(|Xn |2 ) ≤ 4 E(Xn ). τ es el primer momento hasta n en el que el proceso alcanza o rebasa el valor λ. . la primera desigualdad maximal. el teorema de Fubini y o . entonces τ = n. se tiene que E(Xn ) ≥ E(Xτ ). Proposici´n. . cuando existe. Para cada n natural defina el tiempo de paro o τ = n ∧ m´ ın{1 ≤ k ≤ n : Xk ≥ λ}. y si ocurre (Xn < λ). Demostraci´n.182 7.) Sea Xn una subo ∗ martingala no negativa y cuadrado integrable. . Algunas desigualdades Demostraci´n. Usando esta expresi´n. Por lo tanto E(Xn ) ≥ E(Xτ ) ∗ ∗ = E(Xτ 1(Xn ≥λ) ) + E(Xτ 1(Xn <λ) ) ∗ ∗ ≥ λ P (Xn ≥ λ) + E(Xn 1(Xn <λ) ). entonces τ = n. (Desigualdad maximal de Doob en L2 . El segundo momento de una variable aleatoria no negativa X puede o expresarse. Es decir. Es decir.

Demostraci´n. ≤ 2 = 2 ( ∗ (Xn ≥x) ∗ Xn Xn dP ) dx dx dP 0 0 = 2 Ω Xn = 2 Ω ∗ Xn Xn dP ∗ = 2E(Xn Xn ) ≤ 2 Por lo tanto. Entonces o E(Xn+1 1(τ1 =k) 1(τ2 >n) ) = = ≥ E(E(Xn+1 1(τ1 =k) 1(τ2 >n) | Fn )) E(E(Xn+1 | Fn ) 1(τ1 =k) 1(τ2 >n) ) E(Xn 1(τ1 =k) 1(τ2 >n) ). Sea k fijo tal que k ≤ n ≤ N . Sea {Xn } una submartingala y sean τ1 y τ2 dos tiempos de paro o acotados tales que 0 ≤ τ1 ≤ τ2 ≤ N . E|Xn |2 ∗ E|Xn |2 . .Cap´ ıtulo 7. con N ∈ N fijo. ∗ E(|Xn |2 ) ≤2 ∗ E|Xn |2 E|Xn |2 . 7.9. Entonces E(Xτ1 ) ≤ E(Xτ2 ). Elevando al cuadrado se obtiene el resultado. Convergencia de martingalas Proposici´n. Martingalas despu´s la desigualdad de Cauchy-Schwarz se tiene que e ∗ E(|Xn |2 ) 183 = 2 0 ∞ ∞ 0 ∞ ∗ x P (Xn > x) dx ∗ E(Xn 1(Xn ≥x) ) dx.

y sean a < b dos n´ meros o u reales. . Convergencia de martingalas E(Xτ2 ∧n 1(τ1 =k) ) = ≤ = E(Xτ2 1(τ1 =k) 1(τ2 ≤n) ) + E(Xn 1(τ1 =k) 1(τ2 >n) ) E(Xτ2 1(τ1 =k) 1(τ2 ≤n) ) + E(Xn+1 1(τ1 =k) 1(τ2 >n) ) E(Xτ2 ∧(n+1) 1(τ1 =k) ). . Sea {Xk } un proceso adaptado a una filtraci´n {Fk }. Entonces N E(Xτ1 ) = k=0 N E(Xτ1 1(τ1 =k) ) E(Xk 1(τ1 =k) ) k=0 N = ≤ = E(Xτ2 1(τ1 =k) ) k=0 E(Xτ2 ).9. o o Evaluando esta funci´n en n = k y despu´s en n = N se obtiene la desigualdad o e E(Xk 1(τ1 =k) ) ≤ E(Xτ2 1(τ1 =k) ). ın = m´ {k > τ3 : Xk < a}. Esto quiere decir que la funci´n n → E(Xτ2 ∧n 1(τ1 =k) ) es mon´tona creciente. ın . Defina la sucesi´n u o creciente de tiempos de paro τ1 τ2 τ3 τ4 = m´ {k ≥ 1 : Xk > b}. ın = m´ {k > τ2 : Xk > b}. . Consideraremos que n es un n´ mero natural cualquiera.184 Por lo tanto 7. ın = m´ {k > τ1 : Xk < a}.

para alguna k.4. b]. entre los tiempos τ2k−1 y τ2k el proceso realiza un cruce de arriba hacia abajo. De esta manera se tiene la sucesi´n mon´tona de variables aleatorias D1 [a.4: presenta una trayectoria del proceso con sus valores unidos por una l´ ınea continua para una mejor visualizaci´n. La letra D usada para ıo. El n´ mero de cruces completos. . mientras que para valores pares del sub´ ındice. b] ≤ D2 [a. b] = sup {k ≥ 1 : τ2k < ∞}. Observe que u e e para cada n. 1. . En la demostraci´n que se presenta a continuaci´n sobre la convergencia de subo o martingalas se hace uso de este n´ mero de cruces. b]. los cuales a se encuentran remarcados en la trayectoria. Dn [a. b] antes del tiempo n es el m´ximo entero k tal que τ2k < n. es decir. b] = 0. . b] = m´x {k ≥ 1 : τ2k < n}. el proceso se encuentra arriba de b en ese momento. la funci´n Dn [a. es decir. Nos interesa contar o el n´ mero de cruces de arriba hacia abajo.Cap´ ıtulo 7. se define τk = a n. b] ≥ k) = (τ2k < n) es medible. Estimaremos a continuaci´n la u o esperanza de Dn [a. a Si el conjunto de cruces es vac´ se define Dn [a. b] : Ω → {0.} es una variable aleatoria pues para o cada entero k. y se a denota por Dn [a. Observe que antes del valor n y para valores impares en el sub´ ındice de τ . en donde se Figura 7. De esta forma se tiene la sucesi´n τ1 ≤ τ2 ≤ o · · · ≤ n. b] ≤ · · · que o o es convergente al n´ mero total de cruces u D[a. Martingalas Xk (ω) 185 Si alguno de los conjuntos se˜ alados es vac´ o n ıo b bien cuando τk ≥ n. b]. Una de tales suk cesiones se muestra en la τ1 τ2 τ3 τ4 τ5 τ6 Figura 7. que las trayectorias del proceso realizan u sobre el intervalo [a. En la gr´fica se muestran tres cruces de este tipo. el proceso se encuentra por abajo del nivel a. . de arriba hacia abajo. que el proceso realiza sobre u el intervalo [a. denotar este n´ mero proviene del t´rmino en ingl´s Downcrossing. el conjunto (Dn [a.

. Convergencia de martingalas Proposici´n. . el proceso al tiempo τ2k se encuentra por abajo de a. mientras que cuando ocurre A2k . Defina la sucesi´n de eventos Ak = (τk < n) para k = 1. . se llega al siguiente resultado n 0≤ Entonces A2k−1 (Xτ2k−1 − b) dP ≤ A2k−1 (Xτ2k − b) dP. . Por o o la monoton´ de los tiempos de paro definidos antes se tiene que A1 ⊇ A2 ⊇ · · · ıa Eventualmente los elementos de esta sucesi´n son el conjunto vac´ pues no pueden o ıo efectuarse demasiados cruces en un tiempo limitado n. b−a b−a n Demostraci´n. se tiene que Xτ2k−1 dP + A2k−1 Ac 2k−1 Xτ2k−1 dP ≤ Xτ2k dP + A2k−1 Ac 2k−1 Xτ2k dP. es decir. A˜ adiendo la constante b.9. Ω Xτ2k−1 dP ≤ Xτ2k dP. se cumple que τ2k−1 = τ2k = n.186 7. Observe adem´s que cuando a ocurre el evento A2k−1 el proceso al tiempo τ2k−1 se encuentra por arriba de b. Entonces o E(Dn [a. Tenemos entonces que E(Xτ2k−1 ) ≤ E(Xτ2k ). Sea {Xn } una submartingala. Ahora observe que sobre el conjunto Ac 2k−1 . Ω Separando ambas regiones de integraci´n como Ω = A2k−1 ∪ Ac o 2k−1 . 2. A continuaci´n usaremos la propiedad de submartingala aplicada a los tiempos o de paro acotados τ2k−1 ≤ τ2k ≤ n. Por lo tanto. la segunda y cuarta integral coinciden y podemos omitirlas de esta desigualdad. b]) ≤ 1 1 E(Xn − b)+ ≤ ( sup E|Xn | + |b| ).

Martingalas 187 0 ≤ = A2k−1 (Xτ2k − b) dP A2k−1 \A2k A2k (Xτ2k − b) dP + (Xτ2k − b) dP ≤ Por lo tanto (a − b)P (A2k ) + A2k−1 \A2k (Xn − b) dP.Cap´ ıtulo 7. b−a Para la ultima desigualdad se hace uso del hecho de que las diferencias A2k−1 \A2k ´ son conjuntos ajenos. La o o segunda desigualdad del enunciado se sigue de las siguientes estimaciones (Xn − b)+ ≤ |Xn − b| ≤ |Xn | + |b|. Esto concluye la demostraci´n de la primera estimaci´n. b]) = k=1 n P (Dn [a. P (A2k ) ≤ ≤ 1 b−a 1 b−a A2k−1 \A2k A2k−1 \A2k (Xn − b) dP (Xn − b)+ dP. Ahora estamos en condiciones de probar que toda submartingala acotada en media es convergente. Como P (A2k ) = P (τ2k < n) = P (Dn [a. b] ≥ k) P (A2k ) = k=1 ≤ ≤ 1 b−a n A2k−1 \A2k k=1 (Xn − b)+ dP 1 E(Xn − b)+ . . b] ≥ k). n E(Dn [a.

Entonces u l´ inf Xn (ω) ≤ a < b ≤ l´ sup Xn (ω). o para cualesquiera n´ meros a < b. ım ım n→∞ n→∞ Esto contradice la hip´tesis de que la sucesi´n es convergente. o o (⇐) Suponga ahora que D[a. y s´lo si. . Convergencia de martingalas Teorema de convergencia de submartingalas de Doob. pero ello es consecueno cia del teorema de convergencia mon´tona y la ultima proposici´n pues o ´ o E(D[a. para este par de n´ meros reales se tiene que D[a1 . ım n→∞ Demostraci´n. cuyo n´ mero de cruces es D[a. b−a n E|X| = E(l´ inf |Xn |) ≤ l´ inf E|Xn | ≤ sup E|Xn | < ∞. Entonces existe una variable aleatoria integrable X tal que l´ Xn = X c. D[a. Sea ω en Ω y considere la sucesi´n num´riu o e ca X1 (ω). . b](ω) < ∞. o Por lo tanto es suficiente demostrar que con probabilidad uno. b]) ım La integrabilidad del l´ ımite X se sigue del lema de Fatou pues n n n 1 (sup E|Xn | + |b|) < ∞. ım ım . b] < ∞ casi seguramente. . lo cual contradice la hip´tesis inicial. b1 ](ω) = u ∞. Demostraremos que la u sucesi´n {Xn (ω)} es convergente si. (⇒) Suponga que la sucesi´n es convergente pero que D[a. b] < ∞. Para llegar a esta conclusi´n demostraremos que E(D[a. Sea {Xn } una submartingala tal que supn E|Xn | < ∞. Verificaremos primero que la convergencia de tal sucesi´n de vao o riables aleatorias es equivalente a la condici´n: D[a. b](ω) < ∞ para cualesquiera a < b.s. b]) < ∞. b]) = ≤ n→∞ l´ E(Dn [a. b](ω). ım ım n→∞ n→∞ Entonces. D[a.188 7. para cualesquiera o o a < b. Suponga que la sucesi´n no es convergente. b](ω) = ∞ para alg´ n o u par de n´ meros a y b tales que a < b.9. X2 (ω). Entonces existen a1 < b1 tales que o l´ inf Xn (ω) ≤ a1 < b1 ≤ l´ sup Xn (ω). en particular.

suba martingala o supermartingala acotada en la forma en la que indica el enunciado del teorema. y toda supermartingala se convierte en una submartingala a trav´s de un cambio de signo. 7. Integrabilidad uniforme. tienden a decrecer. Representaci´n de martingalas o En esta secci´n demostraremos que toda martingala que cumple la condici´n de o o ser uniformemente integrable puede escribirse en t´rminos de una esperanza condie cional. . se dice que la sucesi´n de variables aleatorias es uniformemente integrable. para cada ǫ > 0 puede encontrarse un n´ mero M > 0 tal o u que (|X|>M) |X| dP < ǫ. Cuando la sucesi´n Mn no depende de n. y su l´ ımite es una variable aleatoria integrable. cuando sea una sucesi´n constano o te. En [14] pueden encontrarse algunos otros m´todos alternativos de demostraci´n. se enuncia y prueba el mismo resultado para supermartingalas. . de modo que en este caso hemos encontrado una cota superior para el n´ mero promedio de cruces hacia u abajo. por ejemplo [4].10. Es o . Puede comprobarse que una variable aleatoria X es integrable si. La demostraci´n que se ha presentado aqui sobre la convergencia de submartino galas es la prueba original de Doob de 1940. o Para cada ǫ > 0 puede encontrarse entonces una sucesi´n de n´ meros reales Mn > 0 o u tales que (|Xn |>Mn ) |Xn | dP < ǫ. En algunos textos. es decir. es convergente casi seguramente. procesos que. se tiene que el teorema e anterior es v´lido en cualquiera de los tres casos. Considere ahora una sucesi´n infinita de variables aleatorias integrables X1 . en promedio. Es decir. las e o submartingalas son procesos que en promedio tienden a crecer. . y s´lo si. toda martingala. X2 . Como hemos mencionado antes. Martingalas 189 Como toda martingala es una submartingala.Cap´ ıtulo 7. Antes de enunciar el resultado explicaremos la condici´n de integrabilidad o uniforme para un proceso.

si n ≤ M. entonces P (|Xn | > . Demoso traremos que la martingala Xn = E(X | Fn ) es uniformemente integrable. Como |X| es integrable. Adem´s. (|Xn |>M) |Xn | dP < ǫ. Representacion de martingalas evidente que la integrabilidad uniforme es m´s fuerte que la simple integrabilidad a de las variables de un proceso. Sea X una variable aleatoria integrable y sea Fn un filtraci´n. es uniformemente integrable si para cada ǫ > 0 existe un n´ meu ro M > 0 tal que para toda n ≥ 1. . . (|Xn |>M) Ejemplo. como |Xn | ≤ E(|X| | Fn ). X2 . |Xn | dP = 1 0 si n > M. 1) con la σ-´lgebra los subconjuntos a de Borel de (0.1/n) no es o uniformemente integrable pues para cualquier M > 0. y como medida de probabilidad la medida de Lebesgue sobre dicho intervalo. La sucesi´n de variables aleatorias dada por Xn = n 1(0.190 ´ 7. tomando esperanzas y a para cualquier M > 0 se tiene que E|X| ≥ ≥ ≥ E|Xn | (|Xn |>M) |Xn | dP M P (|Xn | > M ). la cual o ilustraremos despu´s con un par de ejemplos. . Considere el espacio muestral Ω = (0. De modo que si se toma M > E(|X|)/δ. e Definici´n. Ejemplo. con δ > 0 arbitrario. 1). entonces A |X| dP < ǫ.10. tenemos que para cada ǫ > 0 existe δ > 0 tal que si P (A) < δ. Se dice que una sucesi´n de variables aleatorias integrables o o X1 . Tenemos entonces la siguiente definici´n.

. . Tal δ valor de M es finito pues como la sucesi´n converge en media.Cap´ ıtulo 7. N . 1 Es decir. es uniformemente integrable. Todo proceso que consta de variables aleatorias integrables y o que es convergente en media. para cada ǫ > 0 existe δ > 0 tal que si P (A) < δ. Por lo tanto (|Xn |>M) 191 |Xn | dP ≤ = (|Xn |>M) (|Xn |>M) E(|X| | Fn ) dP |X| dP < ǫ. Para el caso n > N se tiene que (|Xn |>M) |Xn | dP ≤ ≤ ≤ (|Xn |>M) (|Xn |>M) |X| dP + (|Xn |>M) |Xn − X| dP |X| dP + E(|Xn − X|) ǫ ǫ + = ǫ. E|Xn − X| → 0. es acotada en media. P (|Xn | > M ) ≤ M E(|Xn |) ≤ δ si se toma M = 1 supn E((|Xn |). . Proposici´n. Tomando un valor de δ > 0 m´s peque˜ o si es necesario se tiene adem´s que A |Xn | dP < ǫ. para cualquier n ≥ 1. La siguiente proposici´n establece que la convergencia en media es una condici´n o o suficiente para que se cumpla la propiedad de integrabilidad uniforme en un proceso. 2 2 . . . entonces A |X| dP < ǫ/2. es decir. o En particular y con el valor de M mencionado. Por otro lado. Esto es. Suponga que X1 . E|Xn − X| < ǫ/2. es una sucesi´n de variables aleatorias o o integrables convergente en media a la variable aleatoria integrable X. Demostraci´n. cuando P (A) < δ. X2 . . para cada ǫ > 0 existe un natural N tal que para cualquier n > N . Martingalas M ) ≤ E(|X|)/M < δ. para cada a n a n = 1. E(|Xn |) ≥ (|Xn |>M) |Xn | dP ≥ M P (|Xn | > M ). . Dado que el l´ ımite X es integrable. lo anterior demuestra la integrabilidad uniforme de las variables Xn para valores de n menores o iguales a N .

en particular. 3 Por otro lado. existe M > 0 o tal que para toda n ≥ 1. Sea ǫ > 0 arbitrario.192 ´ 7. Demostraremos que Xn → X en media. Toda submartingala uniformemente integrable es convergente en o media.s. una n o martingala. . Entonces o E(|Xn − X|) = (|Xn −X|>M) |Xn − X| dP |Xn − X| dP + (ǫ/3<|Xn −X|≤M) + (|Xn −X|≤ǫ/3) |Xn − X| dP < < ǫ ǫ + M P (|Xn − X| > ǫ/3) + P (|Xn − X| ≤ ǫ/3) 3 3 ǫ. como la convergencia casi segura implica la convergencia en probabilidad se tiene que P (|Xn − X| > ǫ/3) → 0. Heo mos demostrado antes que en tales condiciones la submartingala es necesariamente acotada en L1 . Representacion de martingalas El siguiente resultado es un rec´ ıproco de la proposici´n anterior. Existe entonces una variable aleatoria integrable X tal que Xn → X c. Debido a la hip´tesis de integrabilidad uniforme. ǫ P (|Xn − X| > ǫ/3) < . s´lo que hay que o o a˜ adir la condici´n de que el proceso sea una submartingala. existe un entero N tal que para n > N . Proposici´n. Sea {Xn : n ≥ 1} una submartingala uniformemente integrable. Demostraci´n. es decir. que E|Xn − X| → 0. cuando n → ∞. 3M en donde M > 0 es la constante de la estimaci´n anterior. es decir.10. y por lo tanto satisface las condiciones del teorema de convergencia de martingalas de Doob. (|Xn −X|>M) |Xn − X| dP < ǫ .

E(Xm | Fn ) = Xn . y teniendo a la variable X o como su l´ ımite en media. Para cualquier m > n. Sea Xn una martingala unio formemente integrable. y Lawler [23]. Entonces Xn = E(X | Fn ). con filtraci´n natural Fn . Notas y referencias. Entonces | Xn − X dP | = | ≤ ≤ Xm − X dP | A A A |Xm − X| dP |Xm − X| dP.Cap´ ıtulo 7. Esto quiere decir que o para cualquier evento A en Fn . Teorema de representaci´n de martingalas. a . Ω Por lo demostrado antes. Es ´ e decir. Conforme n crece. la informaci´n acerca de X aumenta a trav´s de la filtraci´n. o e o y en el l´ ımite se obtiene o reconstruye X.s. Demostraci´n. Martingalas 193 Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional. La variable Xn = E(X | Fn ) puede interpretarse como una aproximaci´n de la o variable desconocida X cuando se cuenta con la informaci´n dada por la σ-´lgebra o a Fn . el ultimo t´rmino converge a cero cuando m → ∞. Xm dP = A A Xn dP. Para lecturas m´s avanzadas pueden consultarse Revuz y Yor [29] y Tudor [38]. Esto significa que Xn = E(X | Fn ) c. para cualquier A en Fn . El lector puede encontrar otras exposiciones introductorias al tema de martingalas a tiempo discreto en Karlin y Taylor [19]. A Xn dP = A X dP .

A petici´n propia. y la Sociedad Matem´tica Norteamericana (AMS) de 1963 a 1964. Al a˜ o siguiente. L. Doob fue miembro de las Academias de Ciencias de los Estados Unidos y de Francia. se convenci´ que el curso que verdan o deramente disfrut´ fue el de c´lculo y sus aplicaciones. las cenizas de los restos mortales de Doob fueron esparcidas por o .10. en 1932. David Blackwell (1941). En 1930 obtuvo el grado de licenciatura de la o a universidad de Harvard. reimpreso en 2001. Doob (Estados Unidos 1910–2004). Dentro de sus estudiantes de doctorado figuran. Laurie Snell (1951) y John Walsh (1966). presidi´ el Instituto de Estad´ o ıstica Matem´tica a (IMS) en 1950. En partie ´ ıa cular. Para el segundo a˜ o se o a n registr´ en cursos de matem´ticas. Doob empez´ a tener inter´s por la ciencia desde peque˜ o o e n cuando cursaba la escuela secundaria. El trabajo de Doob se centra principalmente en la teor´ de la medida. despu´s de e Doob un a˜ o de estudios. En 1994. y profundizando parte del trabajo de Paul L`vy. el cual fue reo a editado en 1990. Dado este inter´s en la electr´nie o ca. Paul Halmos o (1938). entre otros. y en 1931 obtuvo el grado de maestr´ bajo la supervisi´n ıa o de J. all´ fue donde desarroll´ su carrera como profesor hasta el a˜ o de 1978 cuando ı o n se jubil´. J. Y as´ lo hizo al ingresar a la ı universidad de Harvard en 1926. de la universidad de Illinois. obtuvo el grado n n de doctorado con un trabajo de tesis sobre las funciones anal´ ıticas y sus valores de frontera. Walsh en la misma universidad. colegas y amigos. Tiempo despu´s obtuvo un beca para trabajar en la teor´ de la probabie ıa lidad con H. Al final de ese periodo fue contratado como profesor asociado en la universidad de Illinois en 1935. En Junio de ese mismo a˜o se cas´ con n o Elsie Field con quien tuvo tres ni˜ os. a Recibi´ varios premios prestigiosos de su pa´ por la trascendencia y profundidad o ıs de sus trabajos. a la edad de 84 a˜ os. En 1984 public´ Classical Potential Theory and its Probabilistic o Counterparts.194 ´ 7. public´ su ultimo n o ´ texto titulado Measure Theory. Doob pens´ que la f´ o ısica era el ´rea que deb´ estudiar a ıa al ingresar a la universidad. Sin embargo. En 1953 public´ su libro cl´sico Stochastic Processes. Durante muchos a˜ os de su vida Doob mantuvo la costumbre y el n gusto por organizar y realizar las famosas caminatas de los s´bados por la tarde a junto a profesores universitarios. Representacion de martingalas Joseph L. la teor´ de la ıa ıa probabilidad y las relaciones de ´sta ultima con la teor´ del potencial. Hotelling en la universidad de Columbia de 1934 a 1935. durante los a˜ os cuarentas e n y cincuentas Doob desarroll´ la teor´ b´sica de las martingalas y algunas de sus o ıa a aplicaciones. Este inter´s suyo por la electr´nie o ca y las comunicaciones se increment´ durante la prepao ratoria obteniendo incluso una licencia para llevar a cabo transmisiones por radio. Estuvo muy interesado en el funcionamiento del radio e incluso construy´ ´l oe mismo su propio equipo.

Universidad de St. Martingalas 195 sus compa˜ eros en uno de sus sitios favoritos donde acostumbraba caminar junto n a sus amigos. . y Snell [32].Cap´ ıtulo 7. Andrews. Fuente: Archivo MacTutor. a e Burkholder y Protter [5]. [33]. Para una informaci´n o m´s amplia sobre la vida y el trabajo de Doob v´anse los trabajos de Bingham [2].

τ2 como el segundo momento en el que el proceso toma el valor x. . o 124. Tiempos de paro 122. Defina las variables aleatorias: τ1 como el primer momento en el que el proceso toma el valor x. Demuestre que tanto τ ∧ n como τ ∨ n son tambi´n tiempos de paro e respecto de la misma filtraci´n. Sean τ1 y τ2 dos tiempos de paro respecto de la misma filtraci´n.10. . . Sea Xn un proceso a tiempo discreto.196 ´ 7. Demuestre que la variable aleatoria constante τ = n es un tiempo de paro. e a) τ1 ∧ τ2 b) τ1 ∨ τ2 . Sea n un entero positivo. Demuestre o que τ1 + τ2 es tambi´n un tiempo de paro. y sea {Gt } la filtraci´n o o natural del proceso. o 126. Demuestre que τ1 ≤ τ2 ≤ · · · son tiempos de paro. Sea {Xt } un proceso adaptado a la filtraci´n {Ft }. Compruebe adem´s que τ = ∞ es tambi´n un tiempo a e de paro. Demuestre que para cada t ≥ 0 se cumple Gt ⊆ Ft . 125. Sean τ1 y τ2 dos tiempos de paro respecto de la misma filtraci´n. . Demuestre que la condici´n en la definici´n de tiempo de paro a tiempo o o discreto “(τ ≤ n) ∈ Fn ” es equivalente a la condici´n “(τ = n) ∈ Fn ”. Determine si τ es un tiempo de paro respecto de la filtraci´n dada. 127. Esto significa que la filtraci´n natural es la filtraci´n m´s peque˜ a respecto de la o o a n cual un proceso es adaptado. o 123. Demuestre o que las siguientes variables aleatorias tambi´n son tiempos de paro. y sea x un n´ mero real cualquiera u dentro del espacio de estados del proceso. ∞} y sea n un n´ mero u natural. 2. Representacion de martingalas Ejercicios Filtraciones 121. Sea {Xn } la sucesi´n de resultados que se obtienen al lanzar sucesivamente o un dado equilibrado. e 128. Sea τ un tiempo de paro con valores en {1. . Sea {Fn } la filtraci´n natural de este proceso y defina o la variable τ como el primer tiempo n tal que X1 + · · · + Xn ≥ 10. etc.

Sea M una constante. entonces {Xn ∧ M } es una supermartingala. 134. Demueso tre que si A es un evento F1 -medible. c) E(Xt ) ≤ E(Xs ) cuando {Xt } es una supermartingala. Sea {Xn } una martingala a tiempo discreto. Demuestre que el proceso {aXt + bYt + c} es o tambi´n una martingala. 133. Sea X una variable aleatoria integrable. Martingalas 197 129. Demuestre que para cualquier t > s ≥ 0. submartingalas o supermartingalas respecto de la misma filtraci´n. . Sea τ un tiempo de paro con valores en [0. respectivamente. Demuestre que c τ es tiempo de paro. Demuestre que Xt = E(X | Ft ) es una martingala. Sean {Xt } and {Yt } dos martingalas. b) todo proceso que es al mismo tiempo una submartingala y una supermartingala es una martingala. . una sucesi´n infinita de tiempos de paro. . entonces {Xn ∨ M } es una submartingala. submartingala o supermartingala. Enuncie y demuestre la o equivalencia an´loga al caso submartingala y supermartingala. e . ınf Martingalas 131. Demuestre que a) toda martingala es una submartingala y una supermartingala. submartingala o supermartingala cuando {Xn } lo es. b) si {Xn } es una supermartingala. a 132. para cada n ≥ 1”. y sea {Ft }t≥0 una filtraci´n a tiempo o continuo. 130. Demuestre que la propiedad de martingala “E(Xm | Fn ) = Xn . b) E(Xt ) ≥ E(Xs ) cuando {Xt } es una submartingala. Sea τ1 . para cualquier m ≥ n”. 135. Sea {Xn : n ≥ 1} un proceso adaptado a la filtraci´n {Fn }n≥1 . entonces el proceso {Xn 1A } es una martingala. ∞) y sea c ≥ 1 una constante. Demuestre que tanto o supn τn como ´ n τn son tiempos de paro. es equivalente a la condici´n “E(Xn+1 | Fn ) = Xn . 136. Demuestre que a) si {Xn } es una submartingala. a) E(Xt ) = E(Xs ) cuando {Xt } es una martingala. 137.Cap´ ıtulo 7. τ2 .

. Sea Xn = ξ1 + · · · + ξn . Martingala de de Moivre. y s´lo si. ξ2 .10. . . . las variables ξ tienen varianza uno. ∗ 138. o Suponga ahora que las variables ξ tienen segundo momento finito. o 140. Suponga. Xn } es una submartingala. a − b) Xn = − m´ {Xn . Demuestre que los siguientes procesos tambi´n e son submartingalas. Defina X0 = 0 y Xn = ξ1 +· · ·+ξn . Demuestre que el proceso {Xt ∧ Yt } es una supermartingala. . ın c) |Xn |. . . En particular a esto demuestra que la suma de dos martingalas es una martingala. . o 141. Se ha demostrado que el proceso Xn es una martingala respecto de la filtraci´n Fn = σ{ξ1 .198 ´ 7. para n ≥ 1. 0}. b y c son constantes. . Sea ξ1 . ξ2 . Sea ξ1 . Para el caso submartingala y supermartingala se necesita suponer adem´s que a y b son no negativos. . . o o 144. Demuestre que el proceso dado por Xn = m´x{X1 . 0}. Sean {Xt } y {Yt } dos martingalas o supermartingalas respecto de la misma filtraci´n. En e o general el rec´ ıproco es falso. Sean ξ1 . a 139. y que el conjunto de martingalas respecto de la misma filtraci´n y definidas en un o mismo espacio de probabilidad es un espacio vectorial. 143. Demuestre que o el proceso tambi´n es una martingala respecto de su filtraci´n natural. Sea {Xn } una submartingala. Sea {Xn } un proceso integrable. o 145. Sean {Xt } y {Yt } dos martingalas o submartingalas respecto de la misma filtraci´n. Demuestre que el proceso Xn = ξ1 · · · ξn es una martingala respecto de su filtraci´n natural. . una sucesi´n de variables aleatorias o independientes cada una de ellas con la misma distribuci´n dada por P (ξ = o +1) = p y P (ξ = −1) = q = 1 − p. ξn }. Demuestre que el proceso {Xt ∨ Yt } es una submartingala. . Demues2 tre que el proceso Xn − n es tambi´n una martingala respecto de la misma e filtraci´n si. variables aleatorias independientes con esperanza unitaria. Representacion de martingalas en donde a. . Demuestre que Yn = (q/p)Xn es una martingala respecto de la filtraci´n generada por el o proceso Xn . . Martingala producto. 142. . Sea {Xt } una martingala respecto de una filtraci´n {Ft }. que Xn es una martingala. ξ2 . una sucesi´n de variables aleatorias independientes con esperano za cero. en este caso. . + a) Xn = m´x {Xn . .

Demuestre que {Xt } es una submartingala respecto de la misma filtraci´n. . . a) Yt = (Xt − λt)2 − λt. . una sucesi´n de variables o aleatorias independientes e id´nticamente distribuidas. o n 2 Xn n =( k=1 (ξk − µk ) ) − 2 2 σk . Demuestre que {|Xt |p } es tambi´n una submartingala. Demuestre que los a siguientes procesos son martingalas. . o 150. ξ2 . a) cuando {Xt } es una martingala. suponiendo E(ξ) < ∞. k=1 151. Sugerencia: Use la e desigualdad de Jensen. suponiendo E(ξ 2 ) < ∞. Demuestre que bajo cualquiera de las siguientes condiciones se cumple que el proceso g(Xt ) es una submartingala. . o Demuestre que el siguiente proceso es una martingala. Defina Xn = ξ1 + e · · · + ξn . o 148. n Xn = k=1 ( ξk − E(ξk | Fk−1 ) ). Demuestre que el proceso a) {Xn − nE(ξ)} es una martingala. Sea ξ1 . 152. Sea {Xt } un proceso de Poisson de par´metro λ > 0. y sea g una funci´n convexa tal que g(Xt ) o es integrable. b) cuando {Xt } es una submartingala y g es una funci´n no decreciente. Martingalas 199 146. Vea el siguiente ejercicio para o una generalizaci´n de este resultado. Sea ξ1 . Martingala del juego de apuestas. . Var(ξ) = σk < ∞. b) Yt = exp( −θXt + λt (1 − e−θ ) ). Sea {Xt } una martingala tal que E|Xt |p < ∞ para cada t ≥ 0. 2 147. Sea {Xt } una martingala cuadrado integrable. ξ2 . . Demuestre que el o siguiente proceso es una martingala respecto de esta filtraci´n. En el siguiente ejercicio se generaliza este resultado. con p ≥ 1. 149. Sea {Xt } un proceso integrable.Cap´ ıtulo 7. Sea {ξn : n ≥ 0} un proceso integrable y adaptado a la filtraci´n {Fn }. 2 b) {Xn − nE(ξ 2 )} es una martingala. en donde θ ∈ R. y con filtraci´n natural Fn . una sucesi´n de variables aleatorias independientes tales que o 2 E(ξ) = µk .

Teorema de paro opcional 160. . Demuestre que el proceso centrado {Xt − E(Xt )} es una martingala. Demuestre que {Xn } es una martingala. Sean a y b 157. Suponga ahora que cuando se extrae una bola de un color se regresa a la urna junto con k bolas del mismo color.10. Representacion de martingalas 153. Suponga P (ξ = +1) = p y P (ξ = −1) = q = 1 − p. . 154. Suponga P (ξ = +1) = p y P (ξ = −1) = q = 1 − p. Sea {Xn } una martingala. Demuestre que para n1 ≤ n2 < n3 . Defina Mn = Xn /(2 + nk). . 159. Defina el tiempo de paro τ = m´ ın{n ≥ 1 : Xn = −a ´ Xn = b}. Sea ξ1 . Sea Xn = ξ1 + · · · + ξn una caminata aleatoria simple sobre Z y que inicia en el origen. cuando las apuestas son justas. Sean a y b dos enteros positivos fijos. Demuestre que E(ξi ξj ) = 0 para i = j. es una martingala. Sea {Xt } un proceso integrable con incrementos independientes. ¿Es {Mn } una martingala? 155. . . o Demuestre que E(τ ) =   ab si p = q. una sucesi´n de variables aleatorias tal que el proceso Xn = o ξ1 + · · · + ξn es una martingala. 158. 1. Demuestre que el proceso {Xn } de la estrategia de juego llamada martingala.}.200 ´ 7. ξ2 . Considere la martingala de la urna de Polya con una configuraci´n inicial de o una bola blanca y una negra. Sea {Xn } una cadena de Markov con espacio de estados {0. 156. Sea Xn = ξ1 + · · · + ξn una caminata aleatoria simple sobre Z y que inicia en el origen. si p = q. Suponga que las probabilidades de transici´n son p00 = 1 y pij = e−i ij /j! en los otros o casos. . . b a + b 1 − (p/q)b  − · p−q p − q 1 − (p/q)a+b E((Xn3 − Xn2 )Xn1 ) = 0.

y s´lo si. Demuestre que o  si p = q. para cada o ǫ > 0 existe M > 0 tal que |X| dP < ǫ. (|X|>M) .Cap´ ıtulo 7. Demuestre que una variable aleatoria X es integrable si.  ab b a + b 1 − (p/q)b E(τ ) = − · si p = q. Defina el tiempo de paro τ = m´ ın{n ≥ 1 : Xn = −a ´ Xn = b}.  p−q p − q 1 − (p/q)a+b Integrabilidad uniforme 161. Martingalas 201 dos enteros positivos fijos.

.

y el seminal trabajo de Einstein de 1905 sobre e este fen´meno contribuy´ decididamente a tal tarea [10]. Llegar a tal aseveraci´n tom´ muchos a˜ os pues debi´ aceptarse la teor´ o o n o ıa cin´tico molecular de la materia. aunque no as´ la primera obserı vaci´n de ´l. 203 . se llevaron a cabo n o diverso experimentos y se formularon muy diversas hip´tesis [10]. Se trata del ejemplo m´s importante de un proceso de Markov a a tiempo continuo y con espacio de estados continuo. e Con la intenci´n de dar una explicaci´n satisfactoria o o Robert Brown del extra˜ o fen´meno observado. data de 1828 cuando el bot´nico Robert o e a Brown report´ en una revista cient´ o ıfica que granos de polen suspendidos en una cierta substancia y vistos a trav´s de un microscopio. Este extra˜ o mon vimiento fue objeto de mucha discusi´n y muy divero sas controversias se suscitaron a partir de su divulgaci´n en la comunidad cient´ o ıfica de aquella ´poca.Cap´ ıtulo 8 Movimiento Browniano El fen´meno natural que ahora se conoce como moo vimiento Browniano tiene una interesante historia. Hoy en d´ este movimiento es entendido y explicado a trav´s de o ıa e las m´ ltiples colisiones aleatorias de las mol´culas del l´ u e ıquido con los granos de polen. o o En este cap´ ıtulo se presenta una introducci´n al modelo matem´tico para el movio a miento Browniano. El primer registro. realizaban un movie miento irregular e inexplicable [3].

los incrementos pueden Browniano modelarse como variables aleatorias Gausianas. En 1923 el matem´tico norteamericano Norbert Wiener demostr´ la existena o cia y unicidad de un proceso con tales condiciones. pero eso no garantiza que tal objeto matem´tico a exista. Es por esta raz´n que a menudo o . Definicion 8. b) Parece tener desplazamientos independientes en intervalos de tiempo disjuntos. 3. σ 2 (t − s)). y teniendo en cuenta el Figura n teorema central del l´ ımite.1.1: des de tiempo no peque˜ os. 4.204 ´ 8. Las trayectorias t → Bt son continuas. Movimiento La estructura matem´tica de un proceso estoc´stico a a a tiempo continuo {Bt : t ≥ 0}. B0 = 0 c. La variable Bt puede representar la o posici´n de la part´ o ıcula al tiempo t. 1. es la siguiente. c) Debido al gran n´ mero de colisiones del grano u de polen con las mol´culas circundantes en longitue 8. (I) Un movimiento Browniano unidimensional de par´metro σ 2 es o a un proceso estoc´stico {Bt : t ≥ 0} con valores en R que cumple las siguientes a propiedades. Definici´n.1. La definici´n matem´tica. El proceso tiene incrementos independientes. 2.s. Las condiciones que aparecen en esta definici´n son consecuencia directa de las o observaciones del fen´meno f´ o ısico. La variable Bt − Bs tiene distribuci´n N (0. para cualesquiera o tiempos 0 ≤ s < t. ha resultado adecuada para modelar este tipo de fen´menos. en el caso unidio a mensional. Definici´n o Las observaciones reales del movimiento de granos de polen a trav´s del microscopio sugieren que el e fen´meno satisface las siguientes propiedades: o a) Es continuo.

Btn ∈ An ) = ··· p(t1 . 2. Las trayectorias t → Bt son continuas. . (II) Un movimiento Browniano unidimensional de par´metro σ 2 o a es un proceso estoc´stico {Bt : t ≥ 0} con valores en R que cumple las siguientes a propiedades. . y) = √ e−(y−x) /2σ t . o (I) ⇒ (II). el movimiento Browniano es el fen´meno f´ o ısico. Demostraremos a contio nuaci´n que las dos definiciones anteriores son equivalentes. . 3. . . x1 )p(t2 − t1 . . la variable Bt tiene distribuci´n N(0. en donde 2 2 1 p(t. B0 = 0 c. . x1 . 1. En sentido estricto. Movimiento Browniano 205 a este proceso tambi´n se le llama proceso de Wiener y se le denota tambi´n por e e {Wt : t ≥ 0}. Se hace uso de la independencia de los incrementos y de la hip´tesis o . aunque es com´ n a u llamar a ambas cosas por el mismo nombre: movimiento Browniano. . se cumple que P (Bt1 ∈ A1 .1) Observe que la tercera propiedad de la ultima definici´n establece que la funci´n ´ o o de densidad del vector (Bt1 . . xn ) es p(t1 . . xn−1 . Demostraremos a continuaci´n que las condiciones (3) y (4) de la definici´n anterior o o son equivalentes a solicitar que las distribuciones finito dimensionales del proceso sean las siguientes. . xn ). x1 ) · A1 An p(t2 − t1 . 2t 2πσ (8. 0. x2 ) · · · p(tn − tn−1 . . . x. . An de R.s. σ 2 t).Cap´ ıtulo 8. x1 . xn ) dxn · · · dx1 . x2 ) · · · p(tn − tn−1 . Definici´n. 0. . mientras que su modelo matem´tico es el proceso de Wiener. Para cualesquiera tiempos 0 < t1 < · · · < tn . En particular. xn−1 . Btn ) evaluada en el punto (x1 . . y para cualesquiera conjuntos de Borel A1 .

t − s). x) p(t − s. . o a Se dice que un movimiento Browniano es est´ndar cuando σ 2 = 1. Bt − Bs tiene distribuci´n N(0. x2 . 0. ... xn − xn−1 ) (II) ⇒ (I). . x1 . y) = p(s.Y (x.Bt2 −Bt1 . x1 ) p(t2 − t1 . . . x2 + x1 . e o fBt1 . 0. xn ) Esto demuestre que las variables Bt1 . Aplicando la f´rmula o general para la funci´n de densidad de la diferencia de dos variables aleatorias. x2 ) · · · p(tn − tn−1 .Bt (x. o fY −X (u) = fX. .206 ´ 8. 0. . xn−1 . u + x) dx. 0. .. . . . .. a menos que se especifique lo contrario y sin p´rdida a e . .. y). x) p(t − s. para 0 ≤ s < t. x2 − x1 ) · · · p(tn − tn−1 .Bt2 −Bt1 . . x2 − x1 .. x2 ) · · · p(tn − tn−1 . la funci´n de densidad o del vector (Bs . . . x2 + x1 ) · · · = fBt1 (x1 )fBt2 −Bt1 (x2 ) · · · fBtn −Btn−1 (xn ).. Btn − Btn−1 son independientes cada una de ellas con distribuci´n normal con los par´metros mencionados.. xn − xn−1 ) = fBt1 (x1 ) fBt2 −Bt1 (x2 − x1 ) · · · fBtn −Btn−1 (xn − xn−1 ) = p(t1 . x1 ) p(t2 − t1 . Entonces o fBt1 . 0. Entonces. u). 0. x1 )p(t2 − t1 . xn + xn−1 + · · · + x1 ) = p(t1 . x1 .1..Btn −Btn−1 (x1 .. 0. xn ) = fBt1 . xn ). .Btn −Btn−1 (x1 . = p(t1 . 0. x1 )p(t2 − t1 .Btn (x1 .Btn (x1 .. x2 . x1 + · · · + xn ) = p(t1 . x. Bt ) es fBs .. 0. 0. u + x) dx 2 2 2 1 1 √ e−u /2σ (t−s) dx e−x /2s 2 (t − s) 2s 2πσ 2πσ −∞ 2 2 1 = e−u /2σ (t−s) 2πσ 2 (t − s) = p(t − s. 0. xn ) = fBt1 .. A trav´s del a e cambio de variable τ = σ 2 t un movimiento Browniano no est´ndar puede convertira se en uno est´ndar. De acuerdo al tercer postulado. . . .Bt2 . . se obtiene fBt −Bs (u) = = ∞ −∞ ∞ p(s. . p(tn − tn−1 . Definicion de que ´stos tienen distribuci´n normal.Bt2 .. x1 + · · · + xn−1 . Bt2 − Bt1 . es decir... x. .

x. con W0 = 0. a partir de ahora supondremos que el movimiento Browniano es est´ndar. Funci´n de probabilidad de transici´n o o A la funci´n p(t. . es decir. x.1) se le llama funci´n de probabilidad de trano o sici´n del movimiento Browniano de par´metro σ 2 . e a) Wt = −Bt . u) p(s. x. y) dy. d) Wt = Bt+t0 − Bt0 . 8.2. o p(t + s. el cual se denota a veces por Bt e para recordar la posici´n de origen. a o Ejercicio. y) cumple la ecuaci´n de Chapman-Kolmogorov. x. En particular. Pueden considerarse trayectorias Brownianas que inicien en un x punto x cualquiera a trav´s del proceso x + Bt . Demuestre que los siguientes procesos tambi´n son movimientos Brownianos. y) definida por (8. Hemos hecho ´nfasis en la propiedad (5) pues ´sta tiene la ventaja de que proe e porciona una expresi´n expl´ o ıcita para la probabilidad del conjunto de trayectorias Brownianas que cumplen las condiciones de encontrarse en el conjunto A1 al tiempo t1 . Movimiento Browniano 207 de generalidad. o Integrando directamente puede comprobarse que la probabilidad de transici´n o p(t. con c constante positiva. A) = A p(t. etc´tera. la probabilidad o a de que un movimiento Browniano que inicia en x se encuentre en el conjunto A despu´s de t unidades de tiempo es e p(t. x. e La condici´n de que el movimiento Browniano inicie en el origen no es absolutao mente necesaria. Bt − Bs tiene distribuci´n N (0. b) Wt = 1 Bc2 t . con t0 ≥ 0 fijo. y) du. Sea {Bt } un movimiento Browniano. u.Cap´ ıtulo 8. t − s). c c) Wt = t B1/t . estar en el conjunto A2 al tiempo posterior t2 . y) = ∞ −∞ p(t. x.

para 0 ≤ s < t. o Demostraci´n.208 ´ 8. ∂t 2 ∂x2 Ejercicio. Esta gr´fica fue generada en a computadora y es s´lo una aproximao ci´n del modelo matem´tico. Demuestre que para cualquier t = s. y para o . e Proposici´n. t) y por lo tanto E(Bt ) = 0 y Var(Bt ) = E(Bt ) = t. o ecuaci´n de calor. El movimiento Browniano f´ ısico real se presenta en tres dimensiones y es completamente err´tico. P (Bt > Bs ) = 1/2. a En la Figura 8. e o o o ∂p 1 ∂2p = . o 2 En particular E(Bt − Bs ) = t − s. ello no sucede en el modelo te´rico.3. El movimiento Browniano es un proceso de Markov. Propiedades basicas y tambi´n cumple la ecuaci´n de difusi´n. Para cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn < tn+1 .3. Propiedades b´sicas a Tenemos entonces que para el movimiento Browniano est´ndar cada variable aleaa 2 toria Bt tiene distribuci´n N (0.2: Usando esta probabilidad de transici´n o demostraremos a continuaci´n que el o movimiento Browniano cumple la propiedad de Markov en el sentido d´bil.2 puede apreciarse una posible trayectoria Browniana cuando ´sta se proyecta sobre una de sus coore denadas. o Bt (ω) t Figura 8. 8. En la o a gr´fica pueden apreciarse algunas pea que˜ as partes en donde aparentemenn te el comportamiento es lineal y suave.

Cap´ ıtulo 8. xn−1 . xn ) p(tn+1 − tn . . . A) p(tn . o E(Bt | Fs ) = = = = E(Bt − Bs | Fs ) + E(Bs | Fs ) E(Bt − Bs ) + Bs Bs . E(Bt − Bs + Bs | Fs ) El siguiente resultado no trivial se debe a Paul L`vy y establece condiciones que e caracterizan de manera unica al movimiento Browniano en t´rminos de la propiedad ´ e de martingala. Puede demostrarse que cumple adem´s la propiedad fuerte de Markov: Si τ es un a tiempo de paro respecto de la filtraci´n del movimiento Browniano. Claramente cada variable aleatoria Bt es integrable y el proceso es o adaptado a su filtraci´n natural. x1 ) p(t2 − t1 . xn . x2 ) · · · p(tn − tn−1 . 209 P (Btn+1 ∈ A | Bt1 = x1 . 0. Como una consecuencia del hecho de que los incrementos de este proceso son independientes. . . entonces el o proceso Bt+τ − Bτ es tambi´n un movimiento Browniano y es independiente de la e σ-´lgebra Fτ = {A ∈ F∞ : A ∩ (τ ≤ t) ∈ Ft para cada t ≥ 0}. x2 ) · · · p(tn − tn−1 . demostraremos a continuaci´n la propiedad de martingala. xn−1 . xn . x1 ) p(t2 − t1 . a tomando τ = t0 constante. x1 . El movimiento Browniano es una martingala continua. A) p(tn . o Proposici´n. xn . En particular. A) = p(t1 . Movimiento Browniano cualquier evento A en R. o Demostraci´n. 0. t ≥ 0 tales que s < t. 0. xn ) = p(tn+1 − tn . el proceso Bt+t0 − Bt0 es un movimiento Browniano. . xn ) = p(tn+1 − tn . 0. xn ) = P (Btn+1 ∈ A | Btn = xn ). Para cualesquiera tiempos s. Btn = xn ) p(t1 . x1 .

El objetivo es hacer ∆t cada vez m´s peque˜ o. aunque posiblemente no sea tan evidente que el proceso Bt −t sea tambi´n e una martingala. con N entero. b) Wt = 1 Bc2 t . Use la caracterizaci´n de Paul L`vy para demostrar nuevamente que los o e siguientes procesos son movimientos Brownianos. ξ2 . El movimiento Browniano como l´ ımite de una caminata aleatoria. E(ξ) = 0 y Var(ξ) = E(ξ 2 ) = 1. a) Wt = −Bt . d) Wt = Bt+t0 − Bt0 . con c > 0 constante. Para cada n´ mero natural n defina ahora la caminata aleatoria o u √ √ Wn∆t = ∆t ξ1 + · · · + ∆t ξn . y s´lo si. . Un proceso {Xt : t ≥ 0} es un o e movimiento Browniano si. . e Es decir.3. sigue cumpli´ndose que E(Wn∆t ) = 0. sea Xn = ξ1 + · · · + ξn . m´s adelante explicaremos las razones de a a esta elecci´n. ello no es dif´ de verificar y se deja como ejercicio. . empieza en o 2 cero. Considere una caminata aleatoria sim´trica simple sobre Z que inicia en el origen. es e decir. Para lograr una versi´n discreta del movimiento Browniano es a n o necesario hacer tambi´n un cambio√ la escala en el tama˜ o de los saltos. Dada la simetr´ de la caminata. y tanto Xt como Xt − t son martingalas. La parte fuerıcil te de esta caracterizaci´n radica en que estas condiciones definen a un movimiento o Browniano. con t0 ≥ 0 fijo. c c) Wt = t B1/t . Ejercicio.3. una de cuyas trayectorias aparece en la Figura 8. El movimiento Browniano Bt cumple claramente cada una de las condiciones men2 cionadas. en donde ξ1 . tiene trayectorias continuas. ahora e en n no ser´n unitarios sino de longitud ∆t. Propiedades basicas Teorema de caracterizaci´n de Paul L`vy. con W0 = 0. La raz´n ıa e o por la que se ha tomado esa nueva escala en el tama˜ o de los saltos es que con ello n se logra similitud con el movimiento Browniano est´ndar al cumplirse tambi´n que a e . son variables aleatorias independientes e id´nticamente distribuidas tales que P (ξ = +1) = P (ξ = −1) = 1/2. Suponga que la unidad en la variable tiempo es ahora de longitud ∆t = 1/N .210 ´ 8.

es decir. . x) = E(f (Bt )). ∂t 2 ∂x2 . x). Difusi´n. Suponga ahora que esta part´ ıcula se mueve siguiendo un movimiento Browniano est´ndar unidimensional. y) dx. x) = f (t. +1}. Movimiento Browniano 211 para cualquier valor de n. A esta funci´n tambi´n se le o e x denota por E (f (Bt )). Suponga que se coloca una part´ o ıcula al azar en la recta real de acuerdo a una densidad de probabilidad f (y). . para o Figura 8. y se grafica la −2 ∆t sucesi´n de puntos (k∆t. 1. Se generan enton∆t 2∆t 3∆t 4∆t 5∆t 6∆t 7∆t 8∆t √ ces N valores independientes de la va− ∆t riable ξ con distribuci´n uniforme en o √ el conjunto {−1. Este es el mecanismo seguido para generar la gr´fica o a a de la Figura 8. y. y). x) = p(t.2 y las otras trayectorias Brownianas que aparecen en este cap´ ıtulo. x. a Esta aproximaci´n del movimiento o Browniano como l´ ımite de una cami√ 3 ∆t nata aleatoria sugiere un mecanismo √ para simular trayectorias Brownianas 2 ∆t por computadora: Se escoge ∆t pe√ ∆t que˜ o y N el n´ mero de puntos que n u se deseen graficar. El proceso l´ ımite resultante es el movimiento Browniano est´ndar. . x) = ∞ −∞ f (y) p(t. Puede demostrarse que cuando ∆t → 0 esta caminata tiende a un proceso a tiempo continuo con trayectorias continuas. En la pr´ctica suelen a generarse valores continuos para Y con distribuci´n normal est´ndar. pero ahora esta ultima expresi´n adquiere una interpretaci´n interesante ´ o o pues corresponde a la esperanza de la variable f (Bt ) para un movimiento Browx niano que inicia en x. Entonces la densidad a de probabilidad de la posici´n de la part´ o ıcula despu´s de t unidades de tiempo es e la funci´n f (t. Var(Wn∆t ) = n∆t Var(ξ) = n∆t. . x. f (t. N . x) dada por o f (t. y. en donde para la segunda igualdad se ha hecho uso de la identidad p(t. Wk∆t ). x) dx = ∞ −∞ f (y) p(t.3: k = 0. y puede demostrarse que satisface la ecuaci´n o ∂ 1 ∂2 f (t.Cap´ ıtulo 8.

. .212 8. . la variaci´n cuadr´tica es a o a n−1 l´ sup ım ∆t→0 i=0 |g(ti+1 ) − g(ti )|2 . .4. esto o es. Sea a = t0 < t1 < · · · < tn = b una partici´n del intervalo [a. La variaci´n cuadr´tica de una trayectoria del movimiento Browo o a niano sobre el intervalo [a. Propiedades de las trayectorias 8. Demostraremos a continuaci´n que sobre un intervalo de tiempo acotado [a. en el sentido L2 (P ). o o y defina ∆t = m´x {|ti+1 − ti | : i = 0. casi o todas las trayectorias del movimiento Browniano tienen variaci´n no acotada. c. b]. es decir. La variaci´n de una funci´n a o o g : [a. El hecho de que se desee definir alg´ n tipo de integral respecto del movimiento Browniano ser´ claro en el siguiente u a cap´ ıtulo cuando se estudian ecuaciones diferenciales estoc´sticas. Por otro lado dea mostraremos tambi´n que la variaci´n cuadr´tica del movimiento Browniano sobre e o a [a. b] es la longitud del intervalo. Cuando este n´ mero es finito se dice que la funci´n tiene variaci´n finita en dicho u o o intervalo. An´logamente. b].4.s. . de hecho. recordemos la definici´n de variaci´n o o de una funci´n. Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como funciones integradoras en el sentido de Riemann-Stieltjes. o Proposici´n. n−1 l´ sup ım ∆t→0 i=1 |Bti+1 − Bti |2 = b − a. Propiedades de las trayectorias Antes de establecer las siguientes propiedades. n − 1}. b] → R es el n´ mero u n−1 l´ sup ım ∆t→0 i=0 |g(ti+1 ) − g(ti )|. es la longitud del intervalo en cuesti´n. n−1 l´ sup ım ∆t→0 i=1 |Bti+1 − Bti | = ∞. b] es finita.

. c. b] tal que o n−1 l´ sup ım ∆t→0 i=1 |Bti+1 − Bti |2 = b − a. Proposici´n.s. b] es infinita. c. b].Cap´ ıtulo 8. Sea {Pn } una sucesi´n de particiones finitas del intervalo [a. n−1 l´ sup ım ∆t→0 i=1 |Bti+1 − Bti | = ∞. La variaci´n de una trao o o yectoria del movimiento Browniano sobre el intervalo [a. Por lo o tanto existe una subsucesi´n de particiones {Pnk } del intervalo [a. casi seguramente.j =E = i (∆Bi )2 (∆Bj )2 − 2(b − a)E i (∆Bi )2 + (b − a)2 (∆ti ) + (b − a)2 E(∆Bi )4 + i=j E(∆Bi )2 E(∆Bj )2 − 2(b − a) 2 i = i 3(∆ti ) + i=j 2 ∆ti ∆tj − (b − a) ∆ti )2 − (b − a)2 = i 2(∆ti )2 + ( i = i 2(∆ti ) 2 ≤ 2(b − a) m´x ∆ti → 0. Entonces E| i (∆Bi )2 − (b − a)|2 i. o o Denote por ∆ti el incremento ti+1 −ti . y sea ∆Bi la diferencia Bti+1 −Bti . es decir. a 0≤i<n Recordemos ahora el resultado que establece que toda toda sucesi´n convergente o en el sentido L2 (P ) tiene una subsucesi´n convergente casi seguramente. Movimiento Browniano 213 Demostraci´n.s. (Variaci´n del movimiento Browniano).

ım a 0≤i<nk c. Con probabilidad uno.s. es decir cada incremento ∆ti = ti+1 −ti tiene longitud (b−a)/n. c. No diferenciabilidad.214 8.2) Sea {Pnk } subsucesi´n de particiones uniformes tal que o k→∞ l´ ım nk −1 i=0 |∆Bi |2 = b − a. c. para cada n´ mero natural n existe t en el intervalo [0.s. o e es suficiente demostrar la no diferenciabilidad de Bt en t = 0. Substituyendo los ultimos dos resultados en (8. se tiene que k→∞ l´ ( m´x |∆Bi | ) = 0.s. con probabilidad uno la trayectoria t → Bt no es diferenciable en t0 . Debido a que Bt+t0 − Bt0 es tambi´n un movimiento Browniano. (8. respecto de la ´ subsucesi´n de particiones. Demostraci´n. M´s adelante se enuncia sin demostraci´n un resultado m´s fuerte acerca de esta a o a no diferenciabilidad. Para cada n natural sea Pn la partici´n uniforme del intervalo [a. como las trayectorias del movimiento Browniano son continuas casi seguramente. 1/n2] u . Proposici´n. Propiedades de las trayectorias Demostraci´n. Sea t0 ≥ 0 fijo. Demostraremos a continuaci´n que para cualquier tiempo o t0 ≥ 0 fijo. Entonces se tiene la estimaci´n o n−1 i=0 n−1 |∆Bi |2 ≤ ( m´x |∆Bi | ) a 0≤i<n i=0 |∆Bi |. De donde se sigue que el l´ ımite superior es infinito casi seguramente. el movimiento Browniano o Bt no es diferenciable en t0 . b] o o en n subintervalos.4.2) se obtiene que. Por otro lado. Demostraremos que con probabilidad uno. o l´ ım nk −1 i=0 k→∞ |∆Bi | = ∞.

Movimiento Browniano 215 tal que | 1 Bt | > n. m´s fuerte y que se enuncia sin demostraci´n. n P( | Hemos usado el hecho de que 1 Bc2 t es tambi´n un movimiento Browniano para e c cualquier c > 0 constante. otrora consideradas extra˜ as. La gr´fica n u a de la Figura 8. a . Es decir. El siguiente resultado. t para alg´ n t ∈ [0. el zigzagueo incesante del movimiento de la part´ ıcula no permite la diferenciabilidad de su trayectoria en ning´ n u punto. Con probabilidad uno. u y observe que A1 ⊇ A2 ⊇ · · · Entonces P (An ) ≥ = = = 1 B1/n4 | > n ) 1/n4 1 P ( |B1/n4 | > 3 ) n 1 2 P ( |n B(1/n4 )(1) | > ) n 1 P ( |B1 | > ) → 1 cuando n → ∞. 1/n2] }. aunque cada una de ellas tenga probabilidad uno. que son continuas pero no diferenciables en ning´ n punto. Esta propiedad implica que Bt no es diferenciable en t = 0.Cap´ ıtulo 8. Proposici´n. para cada t0 ≥ 0. el conjunto de trayectorias t → Bt que no son diferenciables en t0 tiene probabilidad uno. u Las trayectorias Brownianas son entonces ejemplos de funciones. Este tipo de resultados son los que dan la pauta para buscar desarrollar una teor´ de la diferenciabilidad de funciones un poco m´s amplia que la proporcionada ıa a por el c´lculo diferencial tradicional. Este conjunto de trayectorias puede cambiar para cada valor de t0 . el movimiento Browniano Bt no es difeo renciable en ning´ n t ≥ 0. Observe que el conjunto de u tiempos t0 ≥ 0 no es numerable y por lo tanto la afirmaci´n no se sigue de manera o obvia del resultado anterior.2 muestra una de tales trayectorias. Para t cada n´ mero natural n defina el evento u 1 An = { | Bt | > n. asegura que con probaa o bilidad uno no hay diferenciabilidad en ning´ n punto. Por lo tanto P (A1 ) ≥ P (A2 ) ≥ · · · ≥ 1. Es decir. P (An ) = 1 para cualquier n ≥ 1.

2. . e−xn /2(t−s)σn . Movimiento Browniano multidimensional El movimiento Browniano en R puede extenderse a Rn de la siguiente forma. . la funci´n de densidad del vector B(t) − B(s) es o f (x1 . . .5. el vector B(t) − B(s) tiene distribuci´n noro mal con media cero y matriz de covarianzas la matriz diagonal  2 (t − s)σ1  Var(B(t) − B(s)) =  0 1 2π(t − 2 s)σ1 2 B2 (t) B1 (t) Figura 8.5.. Bn (t)). B(0) = 0 casi seguramente. Bn (t) movimientos Brownianos independientes o unidimensionales. 3.216 8. . . . Este o proceso puede definirse de manera alternativa mediante los siguientes postulados: 1. . xn ) = e−x1 /2(t−s)σ1 · · · ··· 1 2 2π(t − s)σn 2  . El proceso tiene incrementos independientes. En la Figura 8. 2 (t − s)σn  Es decir. . . . .4: 0 . Movimiento Browniano multidimensional 8. . Sean B1 (t). Para cualesquiera tiempos 0 ≤ s < t. 4. 2 2 . El movimiento Browniano en Rn es el proceso B(t) = (B1 (t). Las trayectorias t → B(t) son continuas. Definici´n.4 puede apreciarse una simulaci´n de una trayectoria Browniana en R2 .

. x. . La evoluci´n o en el tiempo de esta funci´n est´ dada por la ecuaci´n de calor o a o ∂ d u(t. y entonces para cualquier t > 0 la probabilidad de transici´n o densidad de B(t) es o p(t. x. Es decir.Cap´ ıtulo 8. x. y d es una constante positiva. . Puede demostrarse (v´ase [1]) que el proceso de e Bessel es un proceso de Markov y que la funci´n de probabilidades de transici´n o o p(t. Sea x un punto cualquiera en o x x D y defina el tiempo τ = ´ {t > 0 : Bt ∈ ∂D}. ∂t 2 en donde △ es el operador Laplaciano. x. Sea B(t) un movimiento Browniano en Rn . y) puede escribirse en t´rminos de las funciones de Bessel. Se le llama a veces movimiento Browniano radial. x) = g(x) para x ∈ ∂D. xn ) = 2 1 e−||x|| /2(t−s) . y) du. Como en el caso unidimensional. El proceso de Bessel. . Considere a o una regi´n abierta y acotada D de Rn con frontera ∂D. Movimiento Browniano 217 Cuando los valores de los par´metros σ son todos uno. x) = f (x) para x ∈ D. x) representa la temperatura en el punto x ∈ D al tiempo t ≥ 0. y que evidentemente tiene trayectorias continuas. x). n/2 (2π(t − s)) en donde ||x|| = x2 + · · · + x2 . Suponga adem´s que se tiene una temperatura inicial u(0. en donde Bt es un movimiento ınf . u. y suponga que la funci´n o o u(t. e Ecuaci´n de calor en dominios acotados. puede considen 1 rarse un movimiento Browniano que inicie en x ∈ Rn . El proceso 2 2 de Bessel es el proceso dado por R(t) = ||B(t)|| = (B1 (t) + · · · + Bn (t))1/2 . y) = 2 1 e−||y−x|| /2t . x) = △ u(t. y la a condici´n de frontera u(t. u) p(s. y) = Rn p(t. se dice nuevamente que a el movimiento Browniano es est´ndar. y la funci´n de densidad de B(t) − B(s) a o adquiere la expresi´n compacta o f (x1 . R(t) es la distancia Euclideana que guarda un movimiento Browniano ndimensional respecto al origen al tiempo t. n/2 (2πt) que nuevamente cumple al ecuaci´n de Chapman-Kolmogorov o p(t + s. ∞). Vamos a enunciar sin demostraci´n o o un resultado que nos llevar´ a una aplicaci´n del movimiento Browniano. Se trata de un proceso con valores en [0.

x) = ım t→∞ g(x) si x ∈ ∂D. y conservando la condici´n de frontera u(x) = g(x) para x ∈ ∂D. esta funci´n cumple la ecuaci´n u′′ (x) = 0. La soluci´n es u(x) = (b − x)/(b − a). Aplicaci´n: El problema de la ruina del jugador con trayectorias Brownianas. Nos ınf o x interesa encontrar x x u(x) = P (Bτ = a) = E(1{a} (Bτ )). Este es el problema de la ruina del jugador estudiado antes s´lo que ahora el capital del jugador cambia continuamente siguiendo o un movimiento Browniano. b). x Defina nuevamente el tiempo de paro τ = ´ {t > 0 : Bt = a ´ Bt = b}. y el juego es justo pues los saltos del movimiento Browniano tienen esperanza nula. u(x) = l´ u(t. La soluci´n a esta ecuaci´n de a o o x calor con las condiciones mencionadas se puede expresar en t´rminos de Bt de la e siguiente forma x x u(t. Movimiento Browniano multidimensional Browniano de par´metro σ 2 = d. es o decir. la soluci´n estacionaria de la ecuaci´n de calor. y que inicia en x.218 8. a . x E( g(Bτ ) ) si x ∈ D. o o o que satisface △ u(x) = 0. con 0 ≤ a < b < ∞. Llegar primero al valor a se interpreta como ruina. Por lo anterior.5. para x ∈ D.5(b). para a < x < b. o cuya gr´fica se muestra en la Figura 8.5(a). x) o o se aproxime a una funci´n u(x). Suo ponga que un movimiento Browniano unidimensional inicia en el punto x dentro del intervalo (a. x) = E( f (Bt )1(τ >t) + g(Bτ )1(τ ≤t) ). (8.3) Conforme t → ∞ la estructura de la ecuaci´n de calor hace que la soluci´n u(t. ¿Cu´l es la probabilidad de que el proceso a tome el valor a antes que b? Una trayectoria Browniana que cumple tal condici´n o se muestra en la Figura 8. con o o condiciones de frontera u(a) = 1 y u(b) = 0.

6 se ilustra esta situaci´n. Este resultado adquiere su nombre debido a esta propiedad de reflexi´n y facilita el c´lculo de o a algunas probabilidades.Cap´ ıtulo 8. .6.5: 8. t]. En la Figura 8. Movimiento Browniano 219 Bt b x a t (a) 1 u(x) a (b) b x Figura 8. se descompone en dos conjuntos ajenos que son sim´tricos uno del otro y e τ t tienen id´ntica probabilidad: e Figura 8. El conjunto de trab yectorias que tocan la l´ ınea hoa rizontal y = b en alg´ n tiemu po s ∈ [0. y el conjunto de trayectorias que terminan por abajo de b. y sea b otro n´ mero tal u que b > a. El principio de reflexi´n o Este resultado tiene una interXt (ω) pretaci´n geom´trica f´cil de o e a entender. lo usaremos para demostrar la propiedad de recurrencia puntual del movimiento Browniano unidimensional. es o igualmente probable que finalice al tiempo t arriba de b o abajo de b. Una vez que una trayectoria toca el punto b. en particular. Considere un movimiento Browniano que inicia en a.6: aquel conjunto de trayectorias que finalizan en alg´ n punto u arriba de b.

a a P ( Bs ≥ b para alg´ n s ∈ [0.7.220 8. y sea b > a. Sea Bt un movimiento Browniano que o o empieza en a.4) Demostraci´n. Por otro lado. Entonces a P ( Bs ≥ b para alg´ n s ∈ [0. la variable Bt − b = Bt − Bτ tiene distribuci´n N(0. Para cualquier t > 0. u (8. 8. t] ) = 2 P (Bt ≥ b). . Sea τ el primer momento en el que el movimiento Browniano es o a igual a b. por la propiedad de Markov. a a La ultima igualdad se debe a que P (τ = t) ≤ P (Bt = b) = 0.5) en donde. Por lo o a tanto P (Bt − b ≥ 0 | τ < t) = 1/2. (8.5) se obtiene a P (τ < t) = 2 P (Bt ≥ b). Recurrencia y transitoriedad En esta secci´n encontraremos la probabilidad de que el movimiento Browniano o eventualmente regrese a su posici´n de origen. Esta variable aleatoria puede ınf tomar el valor infinito si el evento mencionado nunca ocurre. Veremos que la respuesta depende o de la dimensi´n del proceso. Recurrencia y transitoriedad a Proposici´n. (t − τ )σ 2 ). (Principio de reflexi´n). y condicionada a la ocurrencia del evento a a a (τ < t). Empezaremos estudiando una propiedad general en el o caso unidimensional. por ser Bt una ´ variable aleatoria continua. t] ) = u = = P (τ ≤ t) P (τ < t) + P (τ = t) P (τ < t). a P (Bt ≥ b) = a P (Bt ≥ b | τ ≤ t) P (τ ≤ t) = a P (Bt − b ≥ 0 | τ < t) P (τ < t). Substituyendo en (8. sea τ = ´ {t ≥ 0 : Bt = b}. es decir.7.

0. P ( Bt = 0 para alg´ n t ∈ [t1 . 2π Ahora se resuelve esta integral usando coordenadas polares. u) du P ( Bt2 −t1 ≥ u ) p(t1 . t2 ] ) u = = =4 =4 0 ∞ −∞ ∞ P ( Bt = 0 para alg´ n t ∈ [t1 . 2πt1 √ √ Haciendo el cambio de variable (x. u) du u 2 P ( Bt2 −t1 ≥ u ) p(t1 . t2 ] | Bt1 = u ) p(t1 . 0. u) du ( ∞ u ∞ u −∞ ∞ 0 ∞ ∞ 0 p(t2 − t1 . 0. Movimiento Browniano 221 Proposici´n. Entonces ıa P ( Bt = 0 para alg´ n t ∈ [t1 . Por simetr´ se tiene la misma probabilidad para el caso u < 0. Sea Bt un movimiento Browniano unidimensional que inicia en o cero y considere dos tiempos t1 y t2 tales que 0 < t1 < t2 . t2 ] ) = 1 − arctan √ u π t2 − t1 Demostraci´n. mediante argumentos de traslaci´n y por el o o principio de reflexi´n se tiene que o P ( Bt = 0 para alg´ n t ∈ [t1 .Cap´ ıtulo 8. Entonces √ 2 t1 . y) = (u/ t1 . t2 − t1 ] ) u = P ( Bt ≥ u para alg´ n t ∈ [0. t2 ] | Bt1 = u ) u = P ( Bt ≤ −u para alg´ n t ∈ [0. v) dv) p(t1 . u) du 1 2π(t2 − t1 ) e−v 2 =4 /2(t2 −t1 ) 2 1 √ e−u /2t1 dv du. o .7. 0. y) : x ≥ 0 y y ≥ x t1 / t2 − t1 } que se muestra en la Figura 8. t2 − t1 ] ) u = 2 P (Bt2 −t1 ≥ u). La regi´n de inteo √ √ graci´n {(x. Para cualquier u > 0. 0. v/ t2 − t1 ) se obtiene la expresi´n o equivalente 4 0 ∞ ∞ x t1 / t2 −t1 √ √ 1 −(x2 +y2 )/2 e dy dx.

7: Con ayuda de este resultado demostramos ahora la recurrencia puntual del movimiento Browniano unidimensional.7. Con o probabilidad uno el movimiento Browniano unidimensional es recurrente puntual. Browniano unidimensional). Proposici´n. θ) : r > 0 y θ ∈ (arctan √t2t1 1 . (Recurrencia puntual del mov. Demostraci´n. lo cual es v´lido pues la sucesi´n de a o . Recurrencia y transitoriedad √ corresponde a la regi´n polar {(r. Por lo o −t tanto la probabilidad buscada es π/2 4 √ t arctan √ 1 1 −r2 /2 e r dr dθ 2π 0 t2 −t1 √ π t1 1 = 4 ( − arctan √ ) 2 2π t2 − t1 √ 2 t1 = 1 − arctan √ . Haciendo t2 tender a infinito en la f´rmula reci´n demostrada e o o e intercambiando el l´ ımite con la probabilidad. π t2 − t1 ∞ ∞ 0 e−r 2 /2 r dr y= √ √ t1 x t2 −t1 θ = arctan √ √ t1 t2 −t1 x Figura 8. es decir. π/2)}. regresa a su posici´n de origen una infinidad de veces casi seguo ramente.222 8.

es decir. o . dado que Bt es cero para una infie nidad de valores de t en cualquier intervalo de la forma [t1 . La siguiente conclusi´n es tambi´n o e muy interesante: Hemos mencionado antes que el proceso Wt = tB1/t . Es decir. casi seguramente. √ 2 t1 P ( Bt = 0 para alg´ n t ∈ [t1 . se obtiene que para cualquier valor positivo de t1 . sin importar la u magnitud de t1 . Movimiento Browniano eventos es creciente. De esta manera regresar´ a a a cero una infinidad de veces con probabilidad uno. 1/t1 ). en cualquier vecindad de t = 0.2 cruzar´ una infinidad de veces el eje horizontal. Puede uno tama bi´n considerar que el movimiento inicia en un punto cualquiera x obteni´ndose e e la misma propiedad de recurrencia al punto x. las trayectorias del movimiento Browniano cruzan el eje horizontal una infinidad de veces. √ 2 t1 √ P ( Bt = 0 para alg´ n t ∈ (0. una vez que regresa a cero. t2 →∞ π t2 − t1 223 Esto es. ∞). por la propiedad fuerte de Markov. con W0 = 0.Cap´ ıtulo 8. ∞) ) = l´ (1 − arctan √ u ım ) = 1. es tambi´n un movimiento Browniano. se tiene entonces que Wt es cero una infinidad de veces dentro del intervalo (0. Ahora. ∞) es uno. casi seguramente. Esta propiedad de recurrencia significa que una trayectoria como la de la Figura 8. la probabilidad de que el movimiento Browniano unidimensional regrese al cero para alg´ n tiempo t dentro del intervalo [t1 . t2 ] ) = l´ (1 − arctan u ım ) = 1. inicia en ese momento otro movimiento Browniano que eventualmente regresar´ nuevamente a cero con probabilidad uno. Ahora. Esta misma conclusi´n o puede obtenerse directamente de la f´rmula reci´n demostrada tomando t2 > 0 fijo o e y haciendo t1 → 0. t1 →0 π t2 − t1 En el caso de dimensiones mayores la situaci´n es distinta.

7. La frontera de A es ∂A = {x ∈ Rn : ||x|| = r1 o ||x|| = r2 }. Cuando n ≥ 3. 2.224 8. ´ 1 2 x r1 r2 A Figura 8. Defina la funci´n f (x) o o como la probabilidad de que el movimiento Browniano que parte de x llegue a la circunferencia exterior {x ∈ Rn : ||x|| = r2 } antes que a la circunferencia interior {x ∈ Rn : ||x|| = r1 }. u 1. Es decir. es decir. con probabilidad uno el movimiento Browniano visita la vecindad D en una infinidad de tiempos no acotados. y defina la regi´n o o A = {x ∈ Rn : r1 < ||x|| < r2 } como se muestra en la Figura 8. Cuando n = 2. y sea el disco D = {x ∈ Rn : ||x|| < r}. existe una probabilidad positiva de que el proceso nunca regrese a la vecindad del punto de partida. Recurrencia y transitoriedad Proposici´n. para alg´ n r > 0. y ||x|| = x2 + x2 . Demostraci´n. el proceso es recurrente por vecindades.8. ınf . Sea B(t) un movimiento Browniano n-dimensional que inicia en o el origen. Sean r1 y r2 dos radios tales que 0 < r1 < r2 . si se define el tiempo de paro τ = ´ {t > 0 : B(t) ∈ ∂D}.8: Suponga que el movimiento Browniano inicia en el origen y que en alg´ n tiempo u posterior se encuentra en un punto x dentro de la regi´n A. el proceso es transitorio por vecindades. Esto es. Sin embargo no es recurrente puntual pues la probabilidad de que regrese exactamente al punto de partida es cero.

Usando ahora las condiciones de frontera se obtiene φ(||x||) φ(||x||) = = ln ||x|| − ln r1 ln r2 − ln r1 2−n r1 − ||x||2−n 2−n 2−n r1 − r2 si n = 2. en donde g(x) : ∂A → R es la funci´n indicadora o g(y) = La funci´n f (x) satisface o ∆f (x) = 0. r2 ).7) (8. dr2 r dr rn−1 1 Por lo tanto. Dada la simetr´ del movimiento Browniano. (8. la funci´n f (x) depende de x s´lo a ıa o o trav´s de la magnitud ||x||. si n ≥ 3. La soluci´n general o de esta ecuaci´n es o φ(r) = c1 ln r + c2 c1 r2−n + c2 si n = 2. si ||y|| = r1 . (8. la ecuaci´n (8. Movimiento Browniano 225 entonces f (x) = P ( ||B(τ )|| = r2 | B(0) = x ). y las nuevas condiciones de frontera son φ(r2 ) = 1 y φ(r1 ) = 0.6) 1 0 si ||x|| = r2 . con c1 y c2 constantes. Esta funci´n puede tambi´n escribirse o e como f (x) = E( g(B(τ )) | B(0) = x ). r para r ∈ (r1 . Sea entonces f (x) = φ(||x||) para alguna funci´n φ(r) e o con r = ||x||.Cap´ ıtulo 8. con condiciones de frontera f (y) = g(y) = 1 0 si ||y|| = r2 . En este caso particular.6) se escribe o φ′′ (r) + n−1 ′ φ (r) = 0.8) . conviene escribir al operador de Laplace en coordenadas esf´ricas adquiriendo la expresi´n e o ∆φ = = d n−1 d (r φ) dr dr n−1 d d2 φ+ φ. si n ≥ 3. si ||x|| = r1 .

la probabilidad de que el movimiento Browniano en R2 visite el disco de radio r1 alrededor del origen es uno. Para el caso n = 2. es decir. Expl´ ıcitamente. Y regresar´ a dicho disco en una infinidad de a tiempos no acotados. existe una probabilidad estrictamente positiva de que el proceso nunca visite el disco de radio r1 alrededor del origen. Es decir. la probabilidad de que el proceso tome el valor (0. la probabilidad de un retorno exacto al origen es cero pues por (8. r1 →0 ln ||x|| − ln r1 ) ln r2 − ln r1 Ahora consideremos el caso n ≥ 3.8). Este comportamiento se conoce con el nombre de recurrencia por vecindades. r2 →∞ ln ||x|| − ln r1 ln r2 − ln r1 Es decir.8).7). por (8. la probabilidad de que el movimiento Browniano que inicia en x nunca visite la bola de radio r1 alrededor del cero es. Este es el comportamiento transitorio del movimiento Browniano para dimensiones n ≥ 3. Sin embargo.7. Es decir. Recurrencia y transitoriedad Estos resultados nos permitir´n encontrar las probabilidades buscadas tomando a algunos l´ ımites sobre los radios r1 y r2 . r2 →∞ l´ ım P ( ||B(τ )|| = r2 antes que ||B(τ )|| = r1 | B(0) = x ) = l´ ım 2−n r1 − ||x||2−n 2−n 2−n r2 →∞ r1 − r2 r1 n−2 =1−( ) ||x|| > 0.226 8. 0) antes de que toque el c´ ırculo de radio r2 es r1 →0 l´ P ( ||B(τ )|| = r1 antes que ||B(τ )|| = r2 | B(0) = x ) ım = l´ ( 1 − ım = 0. la probabilidad de que el movimiento Browniano en R2 regrese exactamente al punto de origen es cero. cuando inicia en x. no se presenta la recurrencia puntual. La probabilidad de que el proceso que inicia en x nunca visite el disco de radio r1 alrededor del cero es. esta .7) al tomar el l´ ımite cuando r1 → 0. r2 →∞ l´ ım P ( ||B(τ )|| = r2 antes que ||B(τ )|| = r1 | B(0) = x ) = l´ ım = 0. por (8. Esto es consecuencia nuevamente de (8.

Nelson [24]. Este libro se encuentra disponible en formato electr´nico en la p´gina o a web del autor. Para otras primeras lecturas y mas resultados sobre el movimiento Browniano pueden consultarse. Movimiento Browniano probabilidad es r1 →0 227 l´ P ( ||B(τ )|| = r1 antes que ||B(τ )|| = r2 | B(0) = x ) ım = l´ (1 − ım r1 →0 2−n r1 − ||x||2−n 2−n 2−n ) r1 − r2 = 0. los textos de Karlin y Taylor [19].Cap´ ıtulo 8. . Notas y referencias El lector puede encontrar una muy interesante y motivadora exposici´n hist´rica o o sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward Nelson [24]. Lawler [23]. y Tudor [38]. por ejemplo.

228 8. Recurrencia y transitoriedad Norbert Wiener (USA 1894–1964). Hardy. o ıas Muri´ en Estocolmo a la edad de 69 a˜ os despu´s de sufrir un segundo ataque al o n e coraz´n. En 1903 a n la edad de 9 a˜ os ingres´ a la preparatoria Ayer en Massan o chusetts. Andrews. Inglaterra. En 1914 o viaj´ a Gottingen para estudiar ecuaciones diferenciales con David Hilbert. Norbert Wiener fue ante todo un ni˜ o prodigio. para estudiar junto a Bertrand e o Russell y en donde asisti´ a algunos cursos dictados por G. n o a o Despu´s de Harvard viaj´ a Cambridge. la cual concluy´ en 1906 para ingresar despu´s al o e colegio Tufts en donde estudi´ matem´ticas con el apoyo y o a asesor´ de su padre. o u Fuente: Archivo MacTutor. En 1909 se gradu´ del colegio Tufts ıa o a la edad 14 a˜ os e ingres´ a la universidad de Harvard n o para realizar estudios de posgrado en Zoolog´ Con ayuda ıa. Reo gres´ a los Estados Unidos dos d´ antes del inicio de la primera guerra mundial.7. Universidad de St. . de una beca ingres´ despu´s a la universidad de Cornell en o e 1910 en donde tom´ cursos de posgrado en matem´ticas y o a filosof´ pero su desempe˜ o all´ no fue del todo satisfacıa. Una universidad en el Per´ lleva ahora su nombre. o 18 a˜ os con una tesis sobre l´gica matem´tica bajo la direcci´n de Karl Schmidt. H. n ı torio y su padre lo regres´ a Harvard para continuar sus o Wiener estudios de filosof´ Se gradu´ en Harvard a la edad de ıa.

Cap´ ıtulo 8. a o y realiz´ a partir de entonces trabajos de investigaci´n en an´lisis funcional que o o a le llevaron a obtener el grado de Docteur ´s Sciences en 1912 bajo el escrutinio e ´ de E. Tambi´n imparti´ clases en la Ecole Polytechnique de e o 1920 a 1959. y asisti´ a cursos de o o ´ matem´ticas en la Sorbonne. Picard. Calcul des c probabilit´s (1925). el an´lisis funcional y las ecuaciones diferenciales parciales. En 1910 concluy´ sus estudios en la Ecole des Mines. sobresaliendo y o ganando premios no s´lo en matem´ticas sino tambi´n en o a e ´ Griego. Paul L`vy realiz´ contribuciones importantes en la teor´ de la proe o ıa babilidad. Ingres´ despu´s a la Ecole Polyo e technique y siendo all´ a´ n estudiante public´ su primer ı u o art´ ıculo en matem´ticas en 1905. e Paul L`vy naci´ dentro de una familia con tradici´n mae o o tem´tica. y otras veces descubr´ resultados importantes nuevos sin darles mucha ıa publicidad pues los cre´ ya conocidos. En 1963 fue nombrado miembro honorario n o de la London Mathematical Society. el cual tocaba temas de a series convergentes. L`vy asisti´ al Lyc´e Saint Louis en Paris. A menudo encontraba por si mismo resultados ya conocidos. Despu´s de un a˜ o de servicio militar. Movimiento Browniano 229 Paul Pierre L`vy (Francia 1886–1971). y en la Ecole Nationale Sup´rieure e ´ de Mines de 1914 a 1951. y Procese e sus stochastiques et mouvement Brownien (1948). a˜ o en el que se jubil´. Poincar´ y J. Trabaj´ como profesor en la Ecole des e o ´ Mines de Saint-Etienne en Paris de 1910 a 1913. H. Su abuelo fue profesor de matem´ticas y su padre a a ´ estudi´ geometr´ y trabaj´ en la Ecole Polytechnique. era un investigador solitario que s´lo se preocupaba por plantearse o problemas matem´ticos de su inter´s y buscaba su soluci´n a trav´s de la reflexi´n a e o e o interior. Dentro de a sus textos publicados se encuentran Le¸ons d’analyse funtionelle (1922). De o ıa o peque˜ o. en n e o e donde mostr´ ser un excelente estudiante. Universidad de St. indiferente a las escuelas y m´todos establee cidos. Paul L`vy fue uno de los m´s e a grandes matem´ticos de su tiempo. Paul L`vy fue un ejemplo de un hombre de ıa e pensamiento de originalidad profunda. . ıa Fuente: Archivo MacTutor. No participaba mayormente en los congresos internacionales excepto posiblemente hacia el final de su vida. Andrews. y quien no dudaba en lanzarse sobre nuevos caminos de pensamiento pues no tem´ de ninguna manera a la soledad intelectual. e n L`vy e ´ ingres´ en 1907 a la Ecole des Mines. Theorie de l’addition des variables al´atoires (1937). f´ ısica y qu´ ımica. Hadamard. y en 1964 fue elegido miembro de la Acad´mie e des Sciences. Como cient´ a ıfico fue un ejemplo de individualismo absoluto.

entonces los siguientes procesos son movimientos Brownianos de a par´metro σ 2 . con W0 = 0. Demuestre que la funci´n de covarianza del movimiento Browniano est´ndar o a es Cov(Bs . Bt ) = s ∧ t. demuestre que el proceso Wt = tB1/t . Sea Bt un movimiento Browniano de par´metro σ 2 . y) del movimiento Browo niano unidimensional de par´metro σ 2 satisface la ecuaci´n de difusi´n (tama o o bi´n llamada ecuaci´n de calor): e o ∂p σ ∂2p = .7. Demuestre que Wt = a Bt/σ2 es un movimiento Browniano est´ndar. b) Wt = Bσ2 t . t0 ]. y) = ∞ p(t. a a) Wt = σ Bt . u. x. 166. u) p(s. Este es un movimiento Browniano con tiempo invertido. ∂t 2 ∂y 2 169.230 8. x. Demuestre a que el proceso {Bt0 − Bt0 −t : 0 ≤ t ≤ t0 } es un movimiento Browniano en el intervalo [0. Sea σ = 0 una constante. a 165. −∞ . Demuestre que para a cualesquiera tiempos t = s. Sea Bt un movimiento Browniano de par´metro σ 2 . Demuestre que la probabilidad de transici´n p(t. 168. Demuestre que la probabilidad de transici´n p(t. Sea {Bt } un movimiento Browniano de par´metro σ 2 . Demuestre que si {Bt } es un movimiento Browniano est´ndar. Sea t0 > 0 fijo y sea Bt es un movimiento Browniano est´ndar. a 163. 167. x. x. 164. P (Bt > Bs ) = 1/2. A partir de la definia ci´n. y) du.Kola o mogorov p(t + s. es un movimiento o Browniano de par´metro σ 2 . y) del movimiento Browo niano unidimensional de par´metro σ 2 cumple la ecuaci´n de Chapman. Recurrencia y transitoriedad Ejercicios Movimiento Browniano unidimensional 162.

Cap´ ıtulo 8. o 2 e 172. x. x. o 173. Defina el tiempo τ = ´ a ınf{t ≥ 0 : x Bt = 0} y el proceso Xt = x Bt 0 si 0 ≤ t ≤ τ. El proceso Xt = |Bt | corresponde a un movimiento Browa niano que s´lo toma valores positivos pues las trayectorias son reflejadas o respecto del origen hacia la parte positiva del eje. . t}. y) es la correspondiente funci´n de probabilidad de transici´n del movimiento Browniano. el cual representa un movimiento Browniano que inicia en x con la caracter´ ıstica de que una vez que llega al cero permanece en ese estado el resto del tiempo. Sea a a una constante y defina el tiempo τ = ´ {t ≥ 0 : Bt = a}. y) = p(t. b) Var(Xt ) = (1 − 2/π)t. Sea Bt un movimiento Browniano. Demuestre que el movimiento Browniano es una martingala respecto de su filtraci´n natural. si t > τ. Encuentre la ınf funci´n de densidad de τ . c) E(Bs Bt ) = m´ ın{s. o 174. x. Sea Bt un movimiento Browniano est´ndar. −y). x 175. x. para cualesquiera valores x. Movimiento Browniano reflejado en el origen. Demuestre que Bt − t es tambi´n una martingala respecto de la misma filtraci´n. Demuestre que a a) E|Bt − Bs | = 2|t − s| . y) + p(t. en donde p(t. Movimiento Browniano con absorci´n en el origen. Compruebe o o adem´s que a a) E(Xt ) = 2t/π. y) dada por o q(t. Bs ) = 171. s/t. x. para 0 ≤ s ≤ t. 231 d ) ρ(Bt . Sea Bt un movimiento Browniano de par´metro σ 2 que inicia en cero. Sea {Bt } un movimiento Browniano est´ndar. y ≥ 0. π b) E(Bt − Bs )2 = |t − s|. Demuestre que Xt es un proceso de Markov con trayectorias continuas y que tiene funci´n de probao bilidad de transici´n q(t. Sea Bt un movimiento o Browniano est´ndar que inicia en x > 0. Movimiento Browniano 170.

y > 0. El puente Browniano en [t1 . Recurrencia y transitoriedad a) Demuestre que Xt es un proceso de Markov con trayectorias continuas. 0) = 2(1 − F (x)). un o movimiento Browniano que inicia en cero. en general. t2 − t1 (t2 − t)(t − t1 ) . o dado que Bt1 = a y Bt2 = b. Demuestre adem´s que. con t ∈ (t1 . una martingala. o c) Calcule E(Xt ) y Var(Xt ). x. q(t. para x. y) es la correspondiente funci´n para Bt . M´s espec´ a ıficamente. y − x) − p(t. para −∞ < x < ∞. 0. es N(µ. no es discreta ni continua. 1). Defina el proceso a Xt = exp ( cBt − c2 t/2 ). 0. dado que B0 = 0 y B1 = 0. 178. con t ∈ (0. a˜ adiendo un t´rmino extra este nuevo proceso puede convertirse en una n e martingala y se le llama martingala exponencial. x. Demuestre que la distribuci´n condicional de la variable a o Bt . q(t. sin embargo. 177. 1]. en donde F (x) es la funci´n o de distribuci´n de Bt . Sea {Bt } un movimiento Browniano unidimensional est´ndar. σ 2 ) con µ = σ2 = a+ t − t1 (b − a). y + x). en su parte continua. y sean t1 y t2 dos tiempos fijos tales que 0 ≤ t1 < t2 . El siguiente ejercicio generaliza este resultado. es decir. es decir. sea Bt un movimiento Browniano est´ndar y sea c una constante. t2 − t1 . Sea {Bt } un movimiento Browniano unidimensional est´ndar. 176. en donde p(t. t2 ). El puente Browniano en [0. o A este proceso condicionado se le conoce con el nombre de puente Browniano en el intervalo unitario (0. b) Observe que la variable Xt es mixta. Bt tiene distribuci´n condicional N(0.232 8. t2 ].7. La martingala exponencial. Demuestre que la funci´n de probabilidad de transici´n del proceso Xt o o es. 1). a Demuestre que la distribuci´n condicional de la variable Bt . El proceso que se obtiene al tomar la exponencial de un movimiento Browniano no es. Compruebe que Xt es efectivamente una martingala respecto de la filtraci´n natural del movimiento Browniano y verifique adem´s o a 2 que E(Xt ) = 1 y Var(Xt ) = ec t − 1. x. es f (x) = 1 2π t(1 − t) e−x 2 /2t(1−t) . t(1 − t)). y) = p(t. para a la parte discreta.

φ) = 1 ∂ ∂ 1 ∂2 1 ∂ 2 ∂ (r )f + 2 (sen θ )f + 2 f. 2 dr r dr Este resultado fue usado en la demostraci´n de la propiedad de transitoriedad o del movimiento Browniano en R3 . θ) = d2 1 d f+ f. y y z unicamente a trav´s de r = ´ e x2 + y 2 + z 2 . Sea B(t) = (B1 (t). y a sea r > 0. △f (x. r2 ∂r ∂r r sen θ ∂θ ∂θ r sen2 θ ∂φ2 Compruebe que cuando f depende de x. Bn (t)) un movimiento Browniano est´ndar en Rn . para x > 0. △f (x. Demuestre que el operator Laplaciano en R3 . . 180. Demuestre que el operator Laplaciano en R2 . θ) = d2 2 d f+ f. z) = ∂ 2 f /∂x2 +∂ 2 f /∂y 2 + ∂ 2 f /∂z 2 adquiere la siguiente expresi´n en coordenadas esf´ricas o e △f (r. . Demuestre 1 n que la funci´n de densidad de ||B(t)|| es. . 2 dr r dr Este resultado fue usado en la demostraci´n de la propiedad de recurrencia o por vecindades del movimiento Browniano en R2 . o f (x) = 1 Γ(n/2) 1 2 n/2 x2 t n/2−1 2x −x2 /2t e . 2 ∂r r ∂r r ∂θ Compruebe que cuando f depende de x y de y unicamente a trav´s de r = ´ e x2 + y 2 . el Laplaciano se reduce a la expresi´n o △f (r. 181. el Laplaciano se reduce a la expresi´n o △f (r. demuestre que para n = 2. P ( ||B(t)|| ≤ x ) = 1 − e−x 2 /2t . . y) = ∂ 2 f /∂x2 + ∂ 2 f /∂y 2 adquiere la siguiente expresi´n en coordenadas polares o △f (r.Cap´ ıtulo 8. θ. . y. t En particular. Sea ||x|| = (x2 +· · ·+x2 )1/2 la norma Euclideana en Rn . θ) = ∂2 1 ∂ 1 ∂2 f+ f + 2 2 f. Movimiento Browniano 233 Movimiento Browniano multidimensional 179.

.

0 (9. para procesos e o m´s generales. Daremos la definici´n de integral estoc´stica en varios e o a pasos. Integraci´n estoc´stica o a El objetivo de esta secci´n es presentar la definici´n de la integral de Itˆ de un o o o proceso Xt respecto del movimiento Browniano. es decir. por aproximaci´n. Definir la integral a de Itˆ a un nivel elemental nos conducir´ necesariamente a dejar sin demostraci´n o a o algunos resultados t´cnicos. a 235 . Vamos a definir la integral de Itˆ de un proceso estoc´stico respecto del o o a movimiento Browniano. como si fuera una integral de Riemann-Stieltjes de una funci´n respecto de otra o funci´n. La justificaci´n o o para desear definir este tipo de integrales ser´ evidente m´s adelante cuando estua a diemos ecuaciones estoc´sticas basadas en este tipo de integrales. Mostraremos adem´s el uso y aplicaci´n de la f´rmula de a o o Itˆ. pues en este caso la funci´n integradora es una trayectoria del movimiento o o Browniano que.Cap´ ıtulo 9 C´lculo estoc´stico a a En este ultimo cap´ ´ ıtulo se presenta una breve introducci´n al c´lculo estoc´stico o a a de Itˆ.1) Este tipo de integrales no pueden definirse trayectoria por trayectoria. y resolveremos algunos modelos sencillos de ecuaciones estoc´sticas. una integral de la forma T Xt dBt .1. primero para procesos simples y despu´s. es decir. como hemos visto antes. no tiene variaci´n finita. o a 9.

es una funci´n real o o definida sobre este espacio lineal que cumple las siguientes cuatro condiciones: a) ||X|| ≥ 0. El espacio L2 (P × dt). El espacio L2 (P ). T ]. e a la variable aleatoria Bt del movimiento Browniano pertenece a este espacio pues √ ||Bt ||L2 (P ) = (E |Bt |2 )1/2 = t < ∞. la variable aleatoria Xt es medible respecto de Ft . Consideraremos como elementos iniciales un espacio de proo babilidad (Ω. es decir. P ). A la convergencia usando esta norma se le llama e convergencia en L2 (P ). que cumplen la condici´n o ||X||L2 (P ) = (E |X|2 )1/2 < ∞. T ]-medible. a junto con su filtraci´n natural {Ft }. Denotaremos tambi´n por L2 (P × dt) al espacio lineal de e todos los procesos X = {Xt : 0 ≤ t ≤ T }. Denotaremos por L2 (P ) al espacio vectorial de variables aleatorias X que son cuadrado integrables. con T > 0 fijo. T ] e corresponde a la m´ ınima σ-´lgebra generada por el espacio producto FT × B[0. d) ||αX|| = |α| ||X||. b) ||X|| = 0 ⇔ X = 0 c. c) ||X + Y || ≤ ||X|| + ||Y ||. Puede demostrarse que la funci´n || · ||L2 (P ×dt) es efectivamente una norma y que o este espacio es completo respecto de esta norma. Se puede verificar que el espacio lineal L2 (P ) es completo respecto de esta norma. en donde el t´rmino FT ⊗ B[0.1. Supondremos dado un proceso {Xt } con eso pacio parametral el intervalo [0. es decir. T ]. a Supondremos adem´s que el proceso es adaptado. que cumplen la condici´n o T ||X||L2 (P ×dt) = (E 0 |Xt |2 dt)1/2 < ∞.s. es FT ⊗ B[0. es decir. es decir. T ]. es un espacio de Banach. La funci´n || · ||L2 (P ) define una norma en L2 (P ). para cada t en el intera valo [0. F . T ] → R. α constante. . es decir. y que visto como funci´n o X : Ω × [0. Integraci´n estoc´stica o a Primeras hip´tesis. Esto quiere decir que toda sucesi´n de Cauchy o en este espacio tiene l´ ımite en ´l. o tambi´n convergencia en media cuadr´tica. Por ejemplo.236 9. es un espacio de Banach. y un movimiento Browniano est´ndar unidimensional {Bt }.

Denotaremos por H0 al espacio de todos los procesos simples. Un o X (n−1) proceso simple es entonces un proceso X (1) constante por pedazos con trayectorias c`dl`g (continuas por la derecha. Sea 0 = t0 < t1 < · · · < tn = T una partici´n finita del intervalo o o [0.1. el movimiento Browniano B = {Bt : 0 ≤ t ≤ T } pertenece a este espacio pues T ||B||L2 (P ×dt) = (E 0 T |Bt |2 dt )1/2 = ( 0 T E |Bt |2 dt )1/2 t dt )1/2 = ( 0 = T √ < ∞.1: la Figura 9. y que son cuadrado integrables. Calculo estocastico 237 Por ejemplo. con a a X (0) l´ ımite por la izquierda). Haciendo posiblemente algunos refinamientos en las particiones. . . T ]. o k=0 La expresi´n 1[a. Definiremos primero la integral de Itˆ para o procesos que tienen la forma indicada a continuaci´n. Una trayectoria tn−1 ··· t1 t2 tn de este tipo de procesos se muestra en 2 Figura 9.b) (t) denota a la funo Xt (ω) ci´n indicadora del intervalo [a.´ ´ Cap´ ıtulo 9. dos procesos sim- . Un proceso estoc´stico simple es un proceso de la forma a n−1 Xt = k=0 X (k) 1[tk . . 2 2 El espacio H0 de procesos simples. X (n−1) es una colecci´n de variables aleatorias adaptadas o a la filtraci´n {Ftk }n−1 . y las condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias t cuadrado integrables.2) en donde X (0) . o Definici´n. .tk+1 ) (t). b). (9.

se define como la variable aleatoria T n−1 I(X) = 0 Xs dBs = k=0 X (k) (Btk+1 − Btk ). El espacio H0 es efectivamente un espacio vectorial. De e o u modo que la suma de dos procesos simples tiene sentido y resultar´ ser tambi´n un a e 2 proceso simple. b) La integral es adem´s cuadrado integrable y de hecho se cumple la siguiente a igualdad fundamental llamada Isometr´a de Itˆ: ı o ||I(X)||L2 (P ) = ||X||L2 (P ×dt) . a) Es integrable pues siendo las variables X (k) y Btk+1 − Btk independientes.2). Nuevamente por la independencia .1. (9. Definici´n. y por lo tanto la esperanza de la integral es cero. respecto del movimiento Browniano. y sea ∆tk = tk+1 − tk . Integraci´n estoc´stica o a ples pueden siempre expresarse en t´rminos de una misma partici´n com´ n. cada sumando tiene esperanza cero. La integral estoc´stica de Itˆ de un proceso simple X de la foro a o ma (9. Integral para procesos simples. Veamos algunas propiedades de esta variable aleatoria.3) Para comprobar esta identidad vamos a denotar nuevamente por ∆Bk a la diferencia Btk+1 − Btk .238 9. Esta es la definici´n intuitiva de integral y estao blece simplemente que si el integrando es constante en alg´ n subintervalo. entonces u la integral debe ser esa constante multiplicada por el incremento del movimiento Browniano en dicho subintervalo. denotada por I(X).

Calculo estocastico de X (k) y ∆Bk se tiene que n−1 239 ||I(X)||2 2 (P ) L = E( | n−1 k=0 X (k) (Btk+1 − Btk )|2 ) = j.k=0 n−1 E( X (j) X (k) ∆Bj ∆Bk ) E( (X (k) )2 (∆Bk )2 ) k=0 n−1 = = k=0 E(X (k) )2 ∆tk |Xt |2 dt) 0 ||X||2 2 (P ×dt) . se puede tomar como proceso simple X (k) = Btk . L E( T = = Esta identidad establece que tanto el proceso simple X como la variable aleatoria I(X) tienen la misma norma en sus respectivos espacios. Sea H2 el espacio de todos los procesos Xt medibles a y adaptados. Ahora extenderemos la integral estoc´stica a proo o a cesos un poco m´s generales. El espacio H2 resulta ser un subespacio lineal cerrado de L2 (P × dt).´ ´ Cap´ ıtulo 9. Extensi´n por aproximaci´n. ı n−1 k=0 Btk (Btk+1 − Btk ). es decir. ıa o Observe que se puede tomar como ejemplo de proceso simple el movimiento Browniano discretizado. De esta forma se tiene la transformaci´n o 2 lineal I : H0 → L2 (P ). Observe que la unica diferencia entre estos dos espacios es que a los elementos de H2 se les pide ´ . tales que T E 0 |Xt |2 dt < ∞. Como se ver´ m´s adea a lante. esta igualdad juega un papel primordial en la definici´n general de integral o 2 estoc´stica. y de esta forma tener la integral estoc´stica discreta del movimiento Browniano respecto a de s´ mismo. que resulta ser continua por la isometr´ de Itˆ. La integral estoc´stica asigna entonces a cada elemento del espacio H0 a a 2 una variable aleatoria en el espacio L (P ).

4) la ultima expresi´n puede hacerse tan peque˜ a como se desee. De manera gr´fica esta extensi´n se ilustra en la Figura 9. es decir. ım (9. Definici´n. Debido a (9. Se define la integral estoc´stica de X como a I(X) = l´ I(X k ). A su vez todo proceso en H2 que es acotado se puede aproximar por procesos acotados y continuos. Esto significa que para cualquier proceso X en H2 existe un sucesi´n de procesos o 2 X k en H0 tales que l´ ||X − X k ||L2 (P ×dt) = 0. No es dif´ verificar que tal definici´n ım ıcil o es correcta en el sentido de que el l´ ımite no depende de la sucesi´n aproximante. o o ||I(X k ) − I(X l )||L2 (P ) = ||I(X k − X l )||L2 (P ) = ||X k − X l ||L2 (P ×dt) ≤ ||X − X k ||L2 (P ×dt) + ||X − X l ||L2 (P ×dt) .1. Los detalles completos de esta sucesi´n de aproximaciones o pueden encontrarse en [26]. y sea X k una sucesi´n de procesos en o o 2 H0 aproximante a X. Sea X un proceso en H2 . Tenemos entonces la contenci´n de espacios H0 ⊂ H2 ⊂ L2 (P ×dt).240 9. todo proceso simple es un a 2 elemento de H2 . o . o En este punto empieza a perderse nuestra concepci´n tradicional de integral pues o ahora ´sta se encuentra definida a trav´s de una sucesi´n aproximante del proceso e e o a integrar. Usando la isometr´ de Itˆ es sencillo comprobar que ıa o la sucesi´n I(X k ) es una sucesi´n de Cauchy en el espacio L2 (P ). o 2 en donde puede probarse que H0 es denso en H2 respecto de la norma en L2 (P ×dt). Integraci´n estoc´stica o a adem´s que sean medibles y adaptados. En particular.4) k→∞ Este procedimiento de aproximaci´n puede llevarse a cabo de la siguiente forma: o Mediante la t´cnica de truncaci´n todo proceso en H2 puede ser aproximado por un e o proceso acotado. ım k→∞ en donde el l´ ımite debe entenderse dentro del espacio L2 (P ). a o La isometr´ de Itˆ se cumple tambi´n para procesos en H2 como se muestra a ıa o e continuaci´n. en efecto.2.2). to´ o n mando ´ ındices k y l suficientemente grandes. a o Esto significa que la variable aleatoria I(X) es un elemento de L2 (P ) y es tal que l´ n→∞ ||I(X) − I(X k )||L2 (P ) = 0. Y ´stos a su vez se aproximan por procesos e simples de la forma (9. se trata de la convergencia en media cuadr´tica de una sucesi´n de variables aleatorias.

An´logamente. Para cualquier proceso X en H2 se cumple o ıa o ||I(X)||L2 (P ) = ||X||L2 (P ×dt) . Sea X en H2 y sea Xn en H0 tal que ||X − Xn ||L2 (P ×dt) → 0.2: Proposici´n. 0 ≤ E 2 ( I(X) − I(X k ) ) ≤ E( I(X) − I(X k ) )2 → 0. o por la desigualdad de Jensen. E(I(X)) = l´ E(I(X k )) = 0. (9. como ||I(X)−I(Xn )||L2 (P ) → 0 se tiene que ||I(Xn )||L2 (P ) → a ||I(X)||L2 (P ) . es decir. ım k→∞ .5) 2 Demostraci´n. De donde se obtiene E( I(X) − I(X k ) ) → 0. El resultado buscado se obtiene al tomar el l´ ımite en la isometr´ de ıa Itˆ como se muestra en el siguiente diagrama: o ||I(Xn )||L2 (P ) ↓ ||I(X)||L2 (P ) = ||Xn ||L2 (P ×dt) ↓ ||X||L2 (P ×dt) .´ ´ Cap´ ıtulo 9. (Isometr´ de Itˆ). Esta o convergencia y la desigualdad | ||a||− ||b|| | ≤ ||a− b|| implican que ||Xn ||L2 (P ×dt) → ||X||L2 (P ×dt) . Calculo estocastico 241 H2 0 H2 L2 (P × dt) I L2 (P ) Figura 9. La propiedad de esperanza nula se cumple tambi´n para procesos en H2 . pues e usando probabilidad elemental.

Extensi´n por localizaci´n. y despu´s usando la f´rmula de Itˆ. y para . Este nuevo espacio conloc tiene a H2 y es tal que para cada proceso X en L2 existe una sucesi´n creciente o loc de tiempos de paro 0 ≤ τ1 ≤ τ2 ≤ · · · tales que τn ր T cuando n → ∞.6) Denotaremos por L2 el espacio de todos estos procesos. Para cada n o t en [0. primero usando esta representaci´n como l´ a o ımite en el espacio L2 (P ). T ]. (9.t] (s) dBs = 0 Xs dBs . y es posible demostrar que tal proceso puede ser aproximado en el sentido de la norma del espacio L2 (P × dt) por el proceso simple n−1 Xt = k=0 Btk 1[tk . Es claro que tal proceso no es necesariamente continuo. en donde el l´ ımite debe entenderse en el sentido de que la distancia m´xima entre a dos puntos sucesivos de la partici´n tiende a cero. Integraci´n estoc´stica o a De esta forma se tiene ahora la transformaci´n lineal y continua I : H2 → L2 (P ). T ] y para cualquier X en H2 se define el proceso T t It (X) = 0 Xs 1[0. Se tiene entonces la o siguiente integral estoc´stica particular. y su aproximaci´n como l´ a o ımite en media cuadr´tica a T n−1 k=0 Bt dBt = l´ ım 0 n→∞ Btk (Btk+1 − Btk ). o Observe nuevamente que el movimiento Browniano Bt es un ejemplo de un proceso en el espacio H2 .tk+1 ) (t). y o e que esa versi´n es una martingala respecto de la filtraci´n natural del movimiento o o Browniano.242 9. M´s adelante calcularemos esta o a integral estoc´stica de dos maneras.1. Denotaremos por el mismo s´ ımbolo a tal martingala continua. en donde 0 = t0 < t1 < · · · < tn = T es una partici´n de [0. e o o La integral como un proceso. Haremos ahora una peque˜ a extensi´n. sin embargo puede demostrarse que existe una versi´n continua de ´l. Mediante un procedimiento llamado de localizaci´n o o o es posible extender la definici´n de integral de Itˆ a procesos medibles y adaptados o o que cumplen la condici´n menos restrictiva o T P( 0 |Xt |2 dt < ∞) = 1. Este peque˜ o artificio permite ver a la integral estoc´stica no como una variable n a aleatoria sino como un proceso.

y tiene sentido la e loc expresi´n o t f (Bs ) dBs . En general. esto quiere decir que el proceso detenido It∧τn (X) es una martingala para cada natural n. Calculo estocastico 243 cada n ≥ 1 el proceso Xt · 1(τn ≥t) pertenece al espacio H2 .3. o loc Ejemplo. por lo tanto este proceso es un elemento de L2 .´ ´ Cap´ ıtulo 9. Con la ayuda de (9.7) en donde 0 = t0 < t1 < . t T Xs dBs = l´ ım 0 n→∞ 0 Xs · 1(τn ≥t) (ω) · 1[0. e o En este caso la integral ya no es una martingala sino una martingala local. (9. 0 .t] (s) dBs . Para el movimiento Browniano unidimensional Bt y para cualquier funci´n continua f . . la isometr´ de Itˆ ya no se cumple cuando la integral estoc´stica ıa o a tiene como dominio de definici´n el espacio L2 . o Con esto concluimos la serie de ideas generales bajo las cuales puede construirse la integral de Itˆ. 0 Se puede demostrar que esta integral puede ser calculada mediante el siguiente l´ ımite en el espacio L2 (P ). Se define entonces la integral estoc´stica como el siguiente l´ a ımite en el espacio L2 (P ). y que es independiente de la sucesi´n de tiempos de paro localizante. aunque tambi´n se verifica la convergencia en probabie lidad: t n−1 f (Bs ) dBs = l´ ım 0 n→∞ k=0 f (Btk ) (Btk+1 − Btk ). . y nuevamente el o l´ ımite debe entenderse en el sentido de que la distancia m´xima entre dos puntos a sucesivos de la partici´n tiende a cero. que existe una versi´n cono tinua de ´l. Las demostraciones de algunos detalles t´cnicos que hemos o e simplemente mencionado se pueden encontrar en [35]. < tn = t es una partici´n de [0. El esquema simplificado del procedimiento seguido para definir la integral estoc´stica se ilustra la Figura 9.6). el proceso f (Bt ) tiene trayectorias continuas y acotadas. a Ejemplo. t].7) calcularemos la integral estoc´stica a t Bs dBs . por lo o tanto se cumplen las condiciones de adaptabilidad y medibilidad y se cumple tambi´n (9. Nuevamente es posible demostrar que tal l´ ımite existe.

Observe que en este caso el proceso a integrar ya no es adaptado y por lo tanto queda fuera de la teor´ desarrollada antes. El cambio consiste en evaluar el integrando en el extremo derecho de cada subintervalo. 2 t 2 La primera suma es telesc´pica mientras que la segunda suma corresponde a la o variaci´n cuadr´tica del movimiento Browniano. o o Ahora veamos el cambio en la soluci´n cuando se modifica ligeramente la forma o de calcular la integral. t]. Integraci´n estoc´stica o a H2 0 Definici´n o H2 Aproximaci´n o L2 loc Localizaci´n o L2 (P ) Figura 9. Los l´ o a ımites indicados son v´lidos a 2 en el sentido de media cuadr´tica. pero aparece tambi´n el t´rmino − 2 t. es decir ti+1 − ti = o 1/n. Usando la identidad a(b − a) = se obtiene t n−1 1 2 1 (b − a2 ) − (a − b)2 2 2 Bs dBs 0 = n→∞ l´ ım j=0 n−1 Btk (Btk+1 − Btk ) = = n→∞ l´ ım 1 2 1 2 [ (Btk+1 − Btk ) − (Btk+1 − Btk )2 ] 2 2 j=0 1 2 1 B − t. Usando la ıa .3: Sea 0 = t0 < t1 < · · · < tn = t una partici´n uniforme de [0.244 9. Observe que aparece el t´rmino 1 Bt como si a e 2 1 se siguieran las reglas de integraci´n usual. o e e conocido como la correcci´n de Itˆ.1.

a e o diferencia de la integral de Riemann.´ ´ Cap´ ıtulo 9. a . a b(b − a) = t n−1 Bs dBs 0 = n→∞ l´ ım j=0 n−1 Btk+1 (Btk+1 − Btk ) = = n→∞ l´ ım 1 2 1 2 [ (Btk+1 − Btk ) + (Btk+1 − Btk )2 ] 2 2 j=0 1 2 1 B + t. pero vista como proceso deja de ser una martingala. Al considerar el promedio de las dos evaluaciones u en los extremos se obtiene la as´ llamada integral de Stratonovich. 0 La esperanza es cero pues la integral estoc´stica en este caso es una martingala. nuevamente en el sentido de media cuadr´tica. La intee o gral de Stratonovich tiene algunas ventajas operacionales pues sigue algunas reglas usuales del c´lculo integral. Calculo estocastico identidad 245 1 2 1 (b − a2 ) + (a − b)2 2 2 se obtiene. 2 0 Observe que el t´rmino adicional de la integral de Itˆ ha desaparecido. calcularemos ahora la esperanza y varianza del proceso t Bs dBs . a Ejemplo. 2 t 2 El signo del segundo t´rmino cambi´ de negativo a positivo. Esto muestra que. la integral estoc´stica es sensible al punto a donde se eval´ a el integrando. denotada de la ı forma siguiente t 1 2 Bs ◦ dBs = Bt .

246 9. Integraci´n estoc´stica o a Para la varianza se tiene que t t Var( 0 Bs dBs ) = E( 0 t Bs dBs )2 2 Bs ds) = E( 0 t = 0 t 2 E(Bs ) ds = 0 s ds 1 2 t . Sean Xt y Yt dos procesos en H2 . 2 Adem´s a 1 2 1 Var( Bt − t) 2 2 = = = = 1 2 Var(Bt ) 4 1 4 2 (E(Bt ) − E 2 (Bt )) 4 1 2 (3t − t2 ) 4 1 2 t . Entonces t t t E( 0 Xs dBs 0 Ys dBs ) = 0 E(Xs Ys ) ds.1. 2 = t 2 Alternativamente. Esta f´rmula es f´cil de comprobar usando la isometr´ de Itˆ y la igualdad ab = o a ıa o . 2 Ejemplo. Claramente E( 2 Bt − 1 t) = 0. las cantidades anteriores pueden 2 2 1 2 calcularse usando el lado derecho de esta igualdad. como 0 Bs dBs = 1 Bt − 1 t.

0 En general. la integral ya no es una martingala sino loc una martingala local. la integral es una martingala.s. d) Nuevamente restringida al espacio H2 . La integral estoc´stica de Itˆ cumple varias propiea o dades aunque s´lo mencionaremos algunas de ellas aqu´ a manera de resumen de o ı. se cumple que loc t t t (cXs + Ys ) dBs = c 0 0 Xs dBs + 0 Ys dBs . es decir. b) Tiene esperanza es cero. 2 t t E( 0 Xs dBs 0 Ys dBs ) t t t 1 1 (Xs + Ys ) dBs |2 ) − (E| Xs dBs |2 + E| Ys dBs |2 ) = E( | 2 0 2 0 0 t t 1 t 1 = E|Xs + Ys |2 ds − ( E|Xs |2 ds + E|Ys |2 ds) 2 0 2 0 0 t = 0 E(Xs Ys ) ds.s. t E| 0 Xs dBs |2 = E t 0 |Xs |2 ds. adaptada y para 0 ≤ s ≤ t. c. c. En efecto. n a) La integral It : L2 → L2 (P ) es lineal. loc t E( 0 Xs dBs ) = 0. es integrable. las caracter´ ısticas se˜ aladas antes. Calculo estocastico 1 2 (a 247 + b)2 − 1 (a2 + b2 ).´ ´ Cap´ ıtulo 9. es decir. para cualquier proceso Xs en L2 . Propiedades de la integral. es decir. ı o es decir. . se cumple t s E( 0 Xu dBu | Fs ) = Xu dBu . para procesos en L2 . c) Cuando la integral se restringe al espacio H2 . para c constante y para loc cualesquiera procesos Xs y Ys en L2 . se cumple la isometr´a de Itˆ.

una funci´n es de clase C 2 . Formula de Ito e) Existe una versi´n continua de la integral estoc´stica. o Teorema. F´rmula de Itˆ o o Usualmente una integral de Riemann no se calcula a partir la definici´n. Sea f (x) es un funci´n de clase C 2 . Una funci´n o real de variable real es de clase C 1 . o a 9. La misma situaci´n se o o presenta para integrales estoc´sticas: en muy raros casos se calculan ´stas a trav´s a e e de su definici´n. Para una funci´n f (x) sufio o cientemente suave. M´s adelante se presenta una versi´n un poco m´s general. (F´rmula de Itˆ I). La segunda igualdad se obtiene despu´s de un evidente cambio de variable. Se enuncia a continuaci´n este resultado en una versi´n simple o o y se ejemplifica su uso. Explicaremos una forma de obtener este resultado usando el teorema de Taylor pero sin dar una justificaci´n rigurosa de la prueba. en donde el residuo R(x) puede escribirse como sigue x R(x) = x0 1 f ′′ (t)(x − t) dt = 0 (1 − θ)f ′′ (x0 + θ(x − x0 ))(x − x0 )2 dθ. La famosa f´rmula de Itˆ es la herramienta fundamental para este o o o tipo de integrales. Entonces o o o t f (Bt ) − f (B0 ) = f ′ (Bs ) dBs + 0 1 2 t 0 f ′′ (Bs ) ds.248 ´ ˆ 9. se tiene que f (x) = f (x0 ) + f ′ (x0 )(x − x0 ) + R(x). Por lo e .2.2. cuando es diferenciable y su derivada es continua. en lugar de o ello existen f´rmulas bien conocidas para calcular integrales. si es dos veces diferenciable a o y su segunda derivada es una funci´n continua. An´logamente. a o a En lo sucesivo haremos referencia a las siguientes espacios de funciones.

2 Esta expresi´n debe entenderse en el sentido de su forma integral arriba enunciado. 0 Bs dBs = 1 2 1 B − t. Calculo estocastico tanto. Esta f´rmula es una versi´n estoc´stica de la regla de la cadena del c´lculo difeo o a a rencial usual. Sea f (x) = 1 x2 . o Ilustraremos su uso mediante algunos ejemplos. Entonces la f´rmula de Itˆ establece que o o 2 1 2 1 2 B − B0 = 2 t 2 Es decir. ahora lo hemos obtenido de manera ıa inmediata de la f´rmula de Itˆ. k=1 Puede comprobarse que al tomar el l´ ımite cuando n → ∞ las sumas convergen casi seguramente y entonces se obtiene la igualdad t f (Bt ) − f (B0 ) = = f ′ (Bs ) dBs + 0 1 t 0 t 0 (1 − θ) t 0 f ′′ (Bs ) ds dθ 0 f ′ (Bs ) dBs + 1 2 f ′′ (Bs ) ds. y es com´ n escribirla en su forma diferencial del siguiente modo u 1 df (Bt ) = f ′ (Bt ) dBt + f ′′ (Bt ) dt. para la funci´n f (x) = 1 x3 se o o a o 3 obtiene t t 1 3 2 Bs dBs = Bt − Bs ds.´ ´ Cap´ ıtulo 9. entonces o n 249 f (Bt ) − f (B0 ) = k=1 n [ f (Btk ) − f (Btk−1 ) ] f ′ (Btk−1 )∆Bk = k=1 1 n + 0 (1 − θ) f ′′ (Btk−1 + θ∆Bk )(∆Bk )2 dθ. 0 t t Bs dBs + 0 1 2 t 1 ds. 2 t 2 Este resultado hab´ sido encontrado antes. Ejemplo. 3 0 0 . t]. si 0 = t0 < t1 < · · · < tn = t es una partici´n de [0. De manera an´loga.

. P ) un espacio de probabilidad. o . F . Tomando esperanza y resolviendo de manera iterada se obtiene 2n E(Bt ) = = . y sea {Bt } un movimiento Browniano unidimensional adaptado a la filtraci´n {Ft }.3. tn /n! De esta forma se obtiene la f´rmula enunciada. Ecuaciones diferenciales estoc´sticas a Sea (Ω. ıcil t2 /2!. Consideremos entonces la funci´n f (x) = 2n x2n . para f (x) = a t 0 n Bs dBs = se obtiene t 0 n−1 nBs ds. . . 2n n! Los momentos impares de dicha distribuci´n se anulan pues en tal caso el integrando o 1 resulta ser una funci´n impar. De la f´rmula de Itˆ se sigue que o o 1 2n 1 2n Bt − B = 2n 2n 0 t 0 2n−1 Bs dBs + 1 2 t 0 2n−2 (2n − 1)Bs ds.250 9. No es dif´ verificar que los resultados sucesivos de estas integrales son: tn−1 . . o o para cualquier entero natural n. t3 /3!. o n−2 n−3 9. Usaremos la f´rmula de Itˆ para encontrar una expresi´n de los momentos o o o pares de una distribuci´n normal centrada. Demostraremos que o 2n E(Bt ) = (2n)! n t . 1 1 B n+1 − n+1 t 2 Ejemplo..3. . Ecuaciones diferenciales estoc´sticas a 1 n+1 n+1 x M´s generalmente. = 2n(2n − 1) t 2n−2 E(Bs ) ds 2 0 2n(2n − 1) (2n − 2)(2n − 3) 2 2 (2n)! 2n t 0 0 t1 tn−1 t 0 0 t1 2n−4 E(Bs ) ds dt1 ··· 0 1 ds dtn−1 · · · dt1 .

x) y σ(t. x) y σ(t. A la funci´n b(t. El proceso soluci´n puede o o o interpretarse como el estado de un sistema que evoluciona de manera determinista gobernado por la parte no aleatoria de la ecuaci´n (la tendencia). a o o Los elementos conocidos de esta ecuaci´n son los coeficientes b(t. Calculo estocastico 251 Definici´n. x) dos funciones de [0. a existen teoremas b´sicos de existencia y unicidad para ecuaciones estoc´sticas que a a establecen condiciones de regularidad para los coeficientes b(t. bajo las cuales la ecuaci´n (9. y con condici´n inicial la variable o aleatoria X0 que se presupone F0 -medible e independiente del movimiento Browniano. x) y σ(t.8) se interpreta como la ecuaci´n integral o o t t Xt = X0 + 0 b(s. T ]. Al proceso Xt se le llama proceso de Itˆ. El siguiente es uno de tales resultados. Xt ) dBt . (9. La ecuaci´n (9. x). x) se le o o conoce como coeficiente de tendencia (drift en ingl´s o tambi´n deriva en espa˜ ol). y la o variable aleatoria inicial X0 . mientras que la segunda es una integral estoc´stica de Itˆ.9) en donde la primera es una integral de Riemann. x) se le llama coeficiente de difusi´n. a o Para que una ecuaci´n estoc´stica tenga soluci´n se deben pedir condiciones en los o a o coeficientes.´ ´ Cap´ ıtulo 9.8) tiene soluci´n unica. Xs ) dBs . Sean b(t. La inc´gnita es el proceso Xt . (9. o o ´ . pero alterado o por un ruido aditivo dado por la integral estoc´stica (la difusi´n). Una ecuaci´n o o estoc´stica es una ecuaci´n de la forma a o dXt = b(t. T ]×R en R. x). e e n A la funci´n σ(t. Xt ) dt + σ(t.8) definida para valores de t en el intervalo [0. De manera an´loga al caso de ecuaciones diferenciales deterministas. Xs ) ds + 0 σ(s.

x) − σ(t. Mediante este e m´todo se define la sucesi´n de procesos e o Xt Xt (0) = = X0 . T ]. x) de la ecuaci´n (9. Para comprobar que tal sucesi´n de procesos es convergente o se demuestra que. para alguna constante K > 0. o y se verifica la convergencia uniforme en [0. e o Observe que el teorema anterior no establece la forma de encontrar la soluci´n a o (n) .8) que es adaptado a la filtraci´n.8) satisfacen la condici´n de Lipschitz en la variable x. tal que con probabilidad uno. Los detalles de esta demostraci´n pueden encontrarse por ejemplo en [35]. y la condici´n de crecimiento en x. y)|2 ≤ K|x − y|2 . La demostraci´n es semejante o al caso determinista. ´ En este caso a tal soluci´n se le llama soluci´n fuerte de la ecuaci´n estoc´stica. t (n+1) X0 + 0 (n) b(s. y)|2 + |σ(t. simplemente comentaremos alguo nos aspectos de los que consta la prueba completa. o o |b(t. Para que estas iteraciones tengan sentido es necesario verificar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. Adicionalmente puede demostrarse que el proceso l´ ımite es L2 -acotado (n) en [0.3. Dado lo anterior. Para ello se toma el l´ a ımite en la ecuaci´n que define las iteraciones. x) y σ(t. Si los coeficientes b(t. x) − b(t. o |b(t. entonces existe un proceso estoc´stico {Xt } a soluci´n de (9. Xt converge a Xt de manera uniforme en el intervalo [0. es decir. o o 2 es uniformemente acotado en L2 (P ). Tambi´n e a e debe demostrarse que el proceso l´ ımite es efectivamente soluci´n de la ecuaci´n o o estoc´stica. y que la convergencia Xt → Xt tambi´n es v´lida en L2 (P ). x)|2 + |σ(t. t´rmino a e t´rmino.252 9. Xs ) dBs . Xs ) ds + t 0 (n) σ(s. x)|2 ≤ K(1 + |x|2 ). Ecuaciones diferenciales estoc´sticas a Teorema de existencia y unicidad. T ]. T ]. respecto de la norma uniforme ||X|| = sup0≤t≤T |Xt |. No o o o a presentaremos la demostraci´n de este resultado. sup0≤t≤T E(Xt ) < ∞. y hace uso del m´todo de iteraciones de Picard. tiene trayectorias continuas. y adem´s a es unico en el sentido de indistinguibilidad. esta sucesi´n constituye una sucesi´n de o o Cauchy en el espacio de funciones continuas C[0. existe entonces un proceso continuo X. T ] con probabilidad uno. con probabilidad uno.

Bt ) dBt + fxx (t. Observe dBt 0 dt que como las derivadas involucradas son funciones continuas. Por la f´rmula de Itˆ. Demostraremos que 0 s dBs = tBt − Bs ds. las integrales estoc´sticas resultantes est´n bien a a Figura 9. o Ejemplo. 0 Para verificar esta f´rmula puede tomarse el proceso Xt = Bt y la funci´n f (t. Bt ) (dBt )2 2 = Bt dt + t dBt . . Xt )dXt + fxx (t. o t t Ejemplo. Bt ) dt + fx (t.´ ´ Cap´ ıtulo 9. Xt ) es tambi´n un proceso de Itˆ y satisface la ecuaci´n estoc´stica e o o a 1 dYt = ft (t.(F´rmula de Itˆ II).10) usando la siguiente tabla de multiplicaci´n o dt 0 0 de McKean que se muestra en la Figura 9. La demostraci´n de este resultado sigue las o mismas l´ ıneas que la versi´n m´s simple. Xt )(dXt )2 . Esta es la forma diferencial de la f´rmula enunciada. 2 (9. Calculo estocastico 253 una ecuaci´n estoc´stica dada.8) se substituye × dt dBt en (9. entonces el proceso o Yt = f (t. Xt )dt + fx (t. x) = o o tx. La siguiente versi´n de la f´rmula de Itˆ es un resultado bastante util o o o o ´ para resolver algunas ecuaciones estoc´sticas y generaliza la versi´n anteriormente a o enunciada.10) Los sub´ ındices indican derivada y (9.4. Teorema. Si {Xt } es un proceso de Itˆ dado por (9.4: definidas. sino que asegura unicamente la existencia de dicha o a ´ soluci´n. Ilustraremos a continuaci´n el uso de esta o a o f´rmula con varios ejemplos.8) y o o o f (t. Considere la funci´n f (x) = ex . Entonces d(f (t. Bt )) d(tBt ) 1 = ft (t. o o o eBt − eB0 = t 0 eBs dBs + 1 2 t 0 eBs ds. x) es un funci´n de clase C 1 en t y de clase C 2 en x.

x) 1 ft (t. 2 con condici´n inicial X0 = 1. Usando el m´todo de igualaci´n de coeficientes resolveremos la ecuaci´n e o o dXt = −Xt dt + e−t dBt . Bt ). Bt )dt + fx (t.3. Bt ) dt 2 Bt 1 = − dt + dBt (1 + t)2 1+t 1 Xt dt + dBt . Ecuaciones diferenciales estoc´sticas a es decir. Demostraremos que el proceso Xt = Bt /(1 + t) es soluci´n de la ecuaci´n o o estoc´stica a Xt 1 dXt = − dt + dBt . x) = x/(1 + t). e Ejemplo. con condici´n inicial X0 = 0. Sea f (t. 1+t 1+t con condici´n inicial X0 = 0. Igualando los coeficientes de esta ecuaci´n con o los de la f´rmula de Itˆ o o 1 dXt = ft (t. x) tal que el proceso soluci´n o o o pueda escribirse como Xt = f (t. = − 1+t 1+t Ejemplo. El proceso Xt = f (t. 2 se obtiene el sistema de ecuaciones fx (t. x) 2 = = e−t −f (t.254 9. A este proceso se le llama movimiento Browniano o geom´trico. x). Bt ) dt. . Se busca un funci´n f (t. Bt ) dBt + fxx (t. Bt )dt + fx (t. Bt ) o cumple la condici´n inicial y por la f´rmula de Itˆ satisface la ecuaci´n o o o o dXt 1 = ft (t. Bt ) dBt + fxx (t. el proceso Xt = eBt satisface la ecuaci´n diferencial o 1 dXt = Xt dBt + Xt dt. x) + fxx (t.

En este e o procedimiento se divide el intervalo [0. Bt ) = e−t (Bt + c) cumpla la condici´n inicial X0 = 0 forzosamente la o constante c debe ser cero. 1. y se define tj = j∆t para j = 0. y explicaremos un mecanismo para simular las trayeca torias del proceso soluci´n. En las siguientes secciones presentaremos algunos modelos particulares a de ecuaciones estoc´sticas. 9. Xt ) dt + σ(t. los m´todos num´ricos del caso determinista se han extendido al caso e e e estoc´stico. √ = Xtj + b(tj . Substituyendo en la segunda o ecuaci´n y simplificando se obtiene c′ (t) = −c(t). De esta forma la funci´n buscada es f (t. x) = e−t x. x) = e−t (x + c). . En o tal caso la f´rmula de Itˆ asegura que efectivamente o o dXt = = −e−t Bt dt + e−t dBt −Xt dt + e−t dBt . o Una trayectoria de un proceso Xt que sigue la ley de movimiento de una ecuaci´n o estoc´stica de la forma a dXt X0 = b(t. = x0 .4. Por lo tanto f (t.´ ´ Cap´ ıtulo 9. Simulaci´n o Una ecuaci´n estoc´stica ha resultado muy util para modelar sistemas que preseno a ´ tan alg´ n tipo de ruido o perturbaci´n aleatoria. x) = e−t x+c(t). Xt ) dBt . Calculo estocastico 255 De la primera ecuaci´n se obtiene f (t. . . Aplicaciones de tales modelos se u o estudian en ingenier´ finanzas y f´ ıa. a Debido a la imposibilidad de encontrar soluciones expl´ ıcitas a ciertas ecuaciones de inter´s. 2. Xtj ) ∆t Yj . ısica entre muchas otras ´reas del conocimiento. Para que el proceso Xt = f (t. cuya soluci´n es c(t) = ce−t . t] de manera uniforme en n subintervalos de id´ntica longitud ∆t = t/n. Xtj )∆t + σ(tj . puede obtenerse mediante el m´todo de discretizaci´n de Euler-Maruyama. N . . . se definen los valores o a sucesivos de la trayectoria soluci´n de la ecuaci´n estoc´stica como sigue o o a X0 Xtj+1 = x0 . en o o donde c es una constante. Suponiendo e que Yj es un valor al azar de la distribuci´n normal est´ndar.

11) Esta ecuaci´n puede interpretarse de la siguiente forma. la ecuaci´n se reduce a dXt = µXt dt.5. o Observe que los coeficientes de esta ecuaci´n satisfacen las condiciones para la o existencia y unicidad de la soluci´n. 2 (9. La soluci´n a la ecuaci´n (9. Encontraremos una funci´n f (t.12) Demostraci´n. En ausencia del t´rmino o e estoc´stico.5. suponiendo µ > 0. o Proposici´n. x) tal que al aplicar la f´rmula de o o o . Sean µ y σ > 0 dos constantes. El movimiento Browo niano geom´trico es el proceso soluci´n de la ecuaci´n estoc´stica e o o a dXt X0 = = µXt dt + σXt dBt . x0 . (9. Resolveremos esta ecuaci´n usando el m´todo o o e de igualaci´n de coeficientes. y x0 > 0. Algunos modelos particulares Movimiento Browniano geom´trico. Este modelo es de amplio uso en finanzas e y sirve para representar el precio de algunos bienes que fluct´ an siguiendo los u vaivenes de los mercados financieros Definici´n. cuya soluci´n es Xt = x0 eµt . Esta a o o funci´n representa el comportamiento en el tiempo de un capital inicial positivo o x0 que crece de manera continua y determinista a una tasa efectiva del 100µ %.11) es o o o 1 Xt = x0 exp [ (µ − σ 2 )t + σBt ]. 9.256 9. Por otro lado la parte estoc´stica corresponde a la volatilidad a de una inversi´n con riesgo sujeta a las fluctuaciones de los mercados financieros. o El modelo supone que dicha variabilidad es proporcional al valor de la inversi´n. Algunos modelos particulares M´s adelante se presentar´ una implementaci´n de este procedimiento en MATLAB a a o para simular trayectorias de soluciones de ecuaciones particulares.

Xt ) dt + fx (t. La curva creciente cox0 rresponde al crecimiento determinista de t la inversi´n cuando no hay aleatoriedad. y con par´metros a µ = 1. para alguna funci´n o o o g(t). y σ = 1/3. Calculo estocastico 257 Itˆ al proceso Xt = f (t. Bt ) adquiere la expresi´n indicada. Xt ) dBt + fxx (t. x). x) = σf (t. Este programa puede ser encontrado en la p´gina web de Desmond a J. Bt ) se obtenga la ecuaci´n (9. De la segunda ecuaci´n se obtiene que f (t. e . La funci´n randn produce un valor al azar de la distribuci´n normal o o o est´ndar.5: es cero.6 se muestra una manera de simular trayectorias de este proceso.11). o 1 2 es decir. x). junto con la implementaci´n de otros modelos y otras t´cnicas de diso e cretizaci´n.´ ´ Cap´ ıtulo 9. x) + fxx (t. 2 fx (t. y es una adaptaci´n del c´digo que apao o a o o rece en [15]. En el programa de computadora de la Figura 9. o 2 A este proceso se le llama tambi´n se e Xt (ω) le conoce con el nombre de movimiento E(Xt ) Browniano exponencial. Comparando entonces o o los coeficientes de la f´rmula general o 1 dXt = ft (t. Cuando se incrementa el valor de σ las trayectorias pueden diferir considerablemente. Higham. En la Figura 9. El valor de σ en la simulaci´n es o peque˜ o y por esa raz´n la trayectoria n o aleatoria mostrada se mantiene cerca de la trayectoria determinista.11). De donde Xt = f (t. cuando el coeficiente de difusi´n o Figura 9. a Demostraremos ahora algunas caracter´ ısticas num´ricas de este proceso. cuya soluci´n o 2 es g(t) = (µ − 1 σ 2 )t. Substituyendo en la primera ecuaci´n se obtiene g ′ (t) = µ− 1 σ 2 . x) = exp [σx+g(t)]. x) = 1 ft (t. se obtienen las igualdades µf (t. Xt ) dt 2 con los de (9. El c´digo es una traducci´n a MATLAB de la o o discretizaci´n de la ecuaci´n estoc´stica.5 puede apreciarse una trayectoria de este proceso con una inversi´n inicial x0 de o una unidad monetaria.

dt=T/N. 1.100) T=2. Cov(Xt .6: Proposici´n. o 2 1. xcero=1. sigma=1/3. Algunos modelos particulares randn(’state’. 2. MBG=zeros(1. Demostraci´n.’r-’) 10 Figura 9. Para el movimiento Browniano geom´trico se cumple lo siguieno e te. mu=1. N=300.5. para 0 ≤ s ≤ t.258 0 9. -1 dW=zeros(1.MBG]. E(Xt ) = x0 eµt . σ 2 ) es M (s) = exp(µs + 1 σ 2 s2 ). . Xs ) = x2 eµ(s+t) (eσ 0 2 2 s − 1). Usaremos el hecho de que la funci´n generadora de momentos de o o la distribuci´n N(µ. Para la esperanza se tiene que E(Xt ) 1 = E(x0 exp[(µ − σ 2 )t + σBt ]) 2 1 2 = x0 exp[(µ − σ )t] E(exp[σBt ]) 2 1 1 = x0 exp[(µ − σ 2 )t] exp[ tσ 2 ] 2 2 = x0 eµt .N). -2 for j=2:N dW(j)=sqrt(dt)*randn MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j) -3 end 0 1 2 3 4 5 6 7 8 9 plot([0:dt:T].N). dW(1)=sqrt(dt)*randn. MBG(1)=xcero+mu*dt+sigma*xcero*dW(1). Var(Xt ) = x2 e2µt (eσ t − 1). 0 3.[xcero.

Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una part´ ıcula en intervalos de tiempo peque˜ os. Calculo estocastico 2. Entonces E(Xt Xs ) 1 = E(x2 exp[(µ − σ 2 )(t + s) + σ(Bt + Bs )]) 0 2 1 2 2 = x0 exp[(µ − σ )(t + s) E(exp[σ(Bt + Bs )]) 2 1 2 = x0 exp[(µ − σ 2 )(t + s) E(e2σBs ) E(eσ(Bt −Bs ) ) 2 2 2 1 1 2 = x0 exp[(µ − σ 2 )(t + s)e2sσ e 2 (t−s)σ 2 = x2 exp[µ(t + s) + sσ 2 ]. Calcularemos primero E(Xt Xs ). siendo estos sumandos independientes. Var(Xt ) = = = = = 1 Var(x0 exp[(µ − σ 2 )t + σBt ]) 2 1 2 x2 exp[2(µ − σ )t] Var(exp[σBt ]) 0 2 1 x2 exp[2(µ − σ 2 )t] (E(exp[2σBt ]) − E 2 (exp[σBt ])) 0 2 1 1 1 2 x2 exp[2(µ − σ )t] (exp[ t(2σ)2 ] − exp[2( tσ 2 )]) 0 2 2 2 2 x2 e2µt (eσ t − 1). 0 259 3. Xs ) = E(Xt Xs ) − E(Xt )E(Xs ) 2 2 = x2 eµ(t+s)+sσ − x2 eµ(t+s) 0 0 = x2 eµ(t+s) (esσ − 1) 0 Proceso de Ornstein-Uhlenbeck. n . Ahora calcularemos la varianza. 0 Por lo tanto. Cov(Xt . Observe que Bt + Bs se puede escribir como 2Bs + (Bt − Bs ).´ ´ Cap´ ıtulo 9.

(9. las funciones a(t) y b(t) deben cumplir las ecuaciones a′ (t) = −α. Substituyendo en (9. Derivando (9.15) se obtiene (9. (9.13). o o Proposici´n.10) se obtiene o o dXt = = a′ (t) [x0 + 0 t b(s) dBs ] dt + a(t) b(t) dBt a′ (t) Xt dt + a(t) b(t) dBt .13) La variable Xt se interpreta como la velocidad de la part´ ıcula al tiempo t.15) en donde a(t) y b(t) son funciones diferenciables. Encontraremos la soluci´n de esta ecuaci´n. y el sumando σ dBt es un o ruido aleatorio. (9.260 9.13) est´ dada por o o o a Xt = x0 e−αt + σ 0 t e−α(t−s) dBs . Suponiendo a(0) = 1 se obtiene a(t) = exp(−αt). El proceso de Ornsteino Uhlenbeck es aquel proceso Xt soluci´n de la ecuaci´n estoc´stica o o a dXt X0 = = −αXt dt + σ dBt .14) Demostraci´n.5. . a(t) a(t) b(t) = σ. y b(t) = σ exp(αt). a(t) Comparando con (9.14). x0 . Algunos modelos particulares Definici´n. Considere una soluci´n de la forma o o t Xt = a(t) [x0 + 0 b(s) dBs ].15) y usando la f´rmula de Itˆ (9. La soluci´n a la ecuaci´n (9. Sean α y σ dos constantes positivas. La parte determinista −αXt corresponde a la fuerza de fricci´n.

y observar que la integral estoc´stica es una martingala que inicia en cero. o 1. 261 Xt (ω) 4 3 2 1 1 Figura 9. El proceso muestra un decaimiento conforme el tiempo avanza y ello es debido al factor de fricci´n del o modelo. Xs ) = Demostraci´n.t} (1 − e−2α m´ ). Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente. Calculo estocastico En la Figura 9. 2α σ2 ın{s. Calcularemos a continuaci´n la esperanza y variano za de este proceso. Var(Xt ) = σ2 (1 − e−2αt ). a . o 1. E(Xt ) = x0 e−αt .7: x0 = 3 α=1 σ=1 E(Xt ) t 2 Proposici´n.´ ´ Cap´ ıtulo 9. 2. Cov(Xt .7 se muestra la simulaci´n de una trayectoria o de este proceso y se compara con E(Xt ). 2α 3.14). Este resultado se obtiene al tomar esperanza en (9.

5. Xs ) = = E(Xt Xs ) − E(Xt )E(Xs ) E[(x0 e−αt + σ 0 t e−α(t−s) dBs ) e−α(s−u) dBu )] − x2 e−α(t+s) 0 s (x0 e = σ E( 2 −αs t s +σ 0 e 0 −α(t−s) dBs 0 e−α(s−u) dBu ). ıa o Cov(Xt . El c´lculo de la varianza de Xt es una aplicaci´n de la isometr´ de Itˆ. Algunos modelos particulares 2. s] y otra sobre (s. ıa o Cov(Xt . Xs ) = = = σ 2 E( σ2 0 s 0 s e−α(s−u) dBu )2 e−2α(s−u) du σ2 (1 − e−2αs ). una sobre el intervalo [0. 2α . La primera integral puede descomponerse en la suma de dos integrales. 2α 2. por la isometr´ de Itˆ. a o ıa o t Var(Xt ) = = = = = σ 2 Var( 0 e−α(t−s) dBs ) t σ 2 E( σ2 ( 0 0 t e−α(t−s) dBs )2 e−2α(t−s) ds) 1 2αs e 2α t 0 σ 2 e−2αt σ2 (1 − e−2αt ). De modo que.262 9. Nuevamente usaremos la isometr´ de Itˆ. Dada la propiedad de incrementos independientes del movimiento Browniano. Para 0 ≤ s ≤ t. el segundo sumando desaparece. t].

16) Proposici´n. El puente Browniano sobre el intervalo unitario [0. 1] es un movimiento Browniano con espacio parametral dicho intervalo y es tal que en los extremos de este intervalo el proceso se hace cero. (9. 1−t t ∈ [0. Xt (ω) 263 t 1 Figura 9.18) en donde a(t) y b(t) son dos funciones diferenciables. La soluci´n a la ecuaci´n (9. y x0 = 0.8: Definici´n. (9.´ ´ Cap´ ıtulo 9. 1] es aquel proceso {Xt } o soluci´n de la ecuaci´n estoc´stica o o a dXt X0 = = − 0.16) proponiendo nuevamente una soluci´n de o o la forma t Xt = a(t) [x0 + 0 b(s) dBs ]. Derivando se obtiene . Xt dt + dBt . Puede resolverse (9. El puente Browniano en el intervalo [0.16) es o o o t Xt = (1 − t) 0 1 dBs . Existen varias formas equivalentes de definir a este proceso. 1). Calculo estocastico Puente Browniano. 1−s (9.8. Una trayectoria de tal proceso se muestra en la Figura 9.17) Demostraci´n.

y a(t)b(t) = 1. E(Xt ) = 0. Por la isometr´ de Itˆ. Algunos modelos particulares = = a′ (t) [x0 + 0 t b(s) dBs ] dt + a(t) b(t) dBt a′ (t) Xt dt + a(t) b(t) dBt . Sea Xt un puente Browniano en [0. 3.18) se obtiene (9. Suponiendo a(0) = 1 se obtiene a(t) = 1 − t. Ejercicio. Xs ) = s(1 − t). 1 1−s t 0 t . 2.17). 2. Demuestre que efectivamente l´ Xt = 0. Substituyendo en (9. 1]. ıa o Var(Xt ) 1 dBs ) 0 1−s t 1 = (1 − t)2 E( dBs )2 1−s 0 t 1 2 2 = (1 − t) E ( ) ds 1−s 0 = (1 − t)2 Var( = (1 − t)2 = t(1 − t). Demostraci´n. varianza y covarianza de este proceso.5. para 0 ≤ s ≤ t. y por lo tanto b(t) = 1/(1 − t). o Proposici´n. por lo tanto E(Xt ) = 0. ım t→1− Vamos a calcular a continuaci´n la esperanza.264 nuevamente dXt 9. Var(Xt ) = t(1 − t). o 1.17) se cumple o 1. La integral es una martingala continua que inicia en cero. Cov(Xt . Para el puente Browniano (9. a(t) Igualando coeficientes se obtienen las ecuaciones a′ (t)/a(t) = −1/(1−t).

1−u Nuevamente la segunda integral puede descomponerse en la suma de dos integrales. Notas y referencias Para el desarrollo de la definici´n de integral estoc´stica respecto del movimiento o a Browniano hemos seguido el lineamiento general presentado en el texto de Steele [35]. Xt ) = = E(Xs Xt ) s 265 (1 − s)(1 − t)E( 0 1 dBu 1−u t 0 1 dBu ). b) Xt = B1−t − (1 − t)B1 . Ejercicio. t]. Otros trabajos en donde pueden encontrarse . el segundo sumando desaparece. Para 0 ≤ s ≤ t.´ ´ Cap´ ıtulo 9. Cov(Xs . All´ pueden encontrarse las demostraciones completas de varios de los resulı tados que hemos solamente enunciado. s] y otra sobre (s. Calculo estocastico 3. por la isometr´ de Itˆ. Observe adem´s que la varianza se ı a hace m´xima exactamente en la mitad de dicho intervalo. a) Xt = Bt − tB1 . De modo que. para t ∈ [0. 1]. una sobre el intervalo [0. Xt ) = = = = 1 dBu )2 0 1−u s 1 2 (1 − s)(1 − t) ( ) du 1−u 0 s 1 (1 − s)(1 − t) 1−u 0 s(1 − t). Dada la propiedad de incrementos independientes del movimiento Browniano. la varianza se anula en los extremos del intervalo pues all´ el proceso es cero con probabilidad uno. (1 − s)(1 − t)E( s Como era de esperarse. Demuestre que los siguientes procesos son puentes Brownianos. 1]. 1] puede representarse de varias formas como se muestra en el siguiente resultado. ıa o Cov(Xs . para t ∈ [0. El puente Browniano en a [0.

Para una exposici´n m´s completa y general puede consultarse o a por ejemplo Protter [27]. Algunos modelos particulares exposiciones elementales sobre integraci´n estoc´stica son Øksendal [26].5. y diversas aplicaciones de ecuaciones ıa e e estoc´sticas. En los trabajos de D. varios m´todos num´ricos. Kuo [22]. o Revuz y Yor [29]. J Higham como [15] pueden encontrarse algunas primeras lecturas sobre los m´todos para e simular ecuaciones estoc´sticas. En el texto de Kloeden y Platen [21] se expone a la teor´ general. a .266 9. o a o Klebaner [20].

o a 2 a) Xt = Bt . c) Xt = tBt . 0 . Calculo estocastico 267 Ejercicios Integral de Itˆ o 182.´ ´ Cap´ ıtulo 9. 0 t b) 0 1 3 B − 3 t Bs ds. dXt = t 1/3 2/3 dBt . 3 b) Xt = Bt . dXt = 3Xt dt + 3Xt Xt dt + t dBt . Use la f´rmula de Itˆ para demostrar que el proceso Xt es una soluci´n de la o o o ecuaci´n estoc´stica indicada. 0 Para el segundo inciso use la identidad x2 (y − x) + x(y − x)2 = 1 3 (y − x3 − (y − x)3 ). A partir de la definici´n de integral estoc´stica demuestre que o a t t a) 0 t s dBs = tBt − 2 Bs dBs = Bs ds. 3 F´rmula de Itˆ o o 183. Use la f´rmula de Itˆ para demostrar que o o t 0 2 Bs ds = 1 3 B − 3 t t Bs ds. 184. dXt = dt + 2Bt dBt .

.

Se dice que dos procesos {Xt : t ≥ 0} y {Yt : t ≥ 0} son equivalentes. . a puede demostrarse que cuando los procesos son continuos. . cuando sus trayectorias son funciones continuas del par´metro.. .. e Claramente la indistinguibilidad es m´s fuerte que la equivalencia. Sin embargo. Cuando el par´metro es discreto.. Distribuciones finito dimensionales. x1 .. o tambi´n se dice que uno es una versi´n o modificaci´n del otro.Ap´ndice A e Conceptos y resultados varios Igualdad de procesos. . . Las distribuciones finito dimensionales de un proceso {Xt : t ≥ 0} es la colecci´n de todas las funciones de distribuci´n o o conjuntas FXt1 . 269 . . . Se dice que una variable aleatoria X es independiente de un proceso {Xt : t ≥ 0} si para cualesquiera tiempos 0 ≤ t1 < t2 < · · · < tn . y cualquier n natural. e o o si para cada valor de t ≥ 0 fijo se cumple que P (Xt = Yt ) = 1. .. es decir. . xn ). Un tipo de igualdad m´s fuerte establece a que los procesos son indistinguibles si P (Xt = Yt para cada t ≥ 0) = 1.. Xtn ) es o el producto de las distribuciones marginales. . ambas nociones de igualdad a coinciden. la distribuci´n conjunta de la variable X y el vector (Xt1 . es decir. xn ).Xtn (x1 .s. n ∈ N. nuevamente los dos tipos de igualdad a son equivalentes.. . Esto significa que con probabilidad uno las trayectorias de los dos procesos son id´nticas.. . . FX.. si las variables Xt y Yt son iguales c..Xtn (x. . Independencia de procesos. es decir.Xt1 .. . xn ) = FX (x) FXt1 .. .Xtn (x1 . para cualesquiera tiempos 0 ≤ t1 < · · · < tn .

ym ). Xtn ∈ An ). . . se cumple que FXt1 . . .. esta condici´n significa que las distribuciones finito dimensionales cono juntas son el producto de las distribuciones finito dimensionales marginales. .. m ∈ N} una colecci´n de n´ meros reales. y tiempos 0 ≤ t1 < t2 < · · · < tn y 0 ≤ s1 < s2 < · · · < sm . . Xt1 ∈ A1 . dos procesos estoc´sticos {Xt : t ≥ 0} y {Yt : t ≥ 0} son a a independientes si para cualesquiera dos enteros naturales n y m... M´s generalmente.. . . . Entonces ım n→∞ n→∞ l´ E(Xn ) = E( l´ Xn ). ∞ k=0 b.Ysm (y1 . ım ım n→∞ . En palabras. . En Karlin y Taylor [19] puede encontrarse una demostraci´n de estos resultados.. y1 . Si la serie ∞ k=0 ak es convergente. Adem´s. . . . . si ak ≥ 0 y l´ tր1 ım ak tk ≤ ∞. entonces anm ≤ l´ sup anm .Xtn . .. . m b. . . .Ysm (x1 . . . .Ys1 . . xn .. entonces ak = l´ tր1 ım a k tk . o Lema de Fatou a. Sea X1 . e P (X ∈ A.270 o en t´rminos de conjuntos de Borel A. X2 . An . . . Entonces o u m l´ inf anm ≤ l´ inf ım ım n→∞ n→∞ m anm . Sea {anm : n. .. ym ) = FXt1 .. xn ) FYs1 . .. ım m n→∞ m Teorema de convergencia mon´tona.. Lema de Abel a.. Xtn ∈ An ) = P (X ∈ A) P (Xt1 ∈ A1 . si anm ≤ bm con a l´ sup ım n→∞ bm < ∞.. . una sucesi´n de variables o o aleatorias tales que 0 ≤ X1 ≤ X2 ≤ · · · y l´ Xn = X casi seguramente..Xtn (x1 . . .. Inversamente. entonces l´ tր1 ım ∞ k=0 ∞ k=0 a k tk = ∞ k=0 ∞ k=0 ak . A1 . .

|Xn | ≤ Y . Sea X1 . o o su distribuci´n de probabilidad. Entonces l´ E(Xn ) = E( l´ Xn ). y para cada valor de n. 2. Distribuci´n tipo reticular. . . Se usa la misma notaci´n cuando t tiende a alg´ n valor finito particular y las funciones o u se encuentran definidas y son positivas en una vecindad no trivial alrededor de ese valor. X2 . y ∞ bm < ∞. . Conceptos y resultados varios e Teorema de convergencia dominada 271 a. Sean f (t) y g(t) dos funciones que se encuentran definidas o n y son positivas para valores de t suficientemente grandes. X2 . para alguna variable Y con E|Y | < ∞. l´ ım t→∞ g(t) En particular. . .}. Se dice que una variable aleatoria discreta X. y se escribe f (t) = o(g(t)) cuando a n t → ∞. una sucesi´n de variables aleatorias tales que l´ Xn = X o ım n→∞ casi seguramente. ım ım n→∞ n→∞ b. |anm | ≤ bm . ±2. . una sucesi´n de variables aleatorias indepeno o dientes con la misma distribuci´n que X y con esperanza finita. √ F´rmula de Stirling. Sea X1 . Sea N una variable o aleatoria con valores en el conjunto {1. . . . es de tipo reticular o que es de tipo lattice si o P (X = c + nd) > 0. ım Ecuaci´n de Wald. en donde c y d > 0 son constantes reales y n = ±1. Se dice que f (t) es de orden m´s peque˜o que g(t) cuando t → ∞. cuando t se aproxima a cero a trav´s e de valores positivos. m ∈ N} una colecci´n de n´ meros reales tales que l´ n→∞ anm o u ım existe para cada m. Sea {anm : n. . n! ≈ 2π nn+1/2 e−n . .Ap´ndice A. independiente de n. Entonces m=0 n→∞ l´ ım ∞ m=0 anm = ∞ m=0 n→∞ l´ anm . o . se escribe f (t) = o(1) cuando f (t) converge a cero cuando t → ∞. si se cumple f (t) = 0. . En este texto se usa la notaci´n o peque˜ a para establecer el comportamiento o n de probabilidades dependientes del tiempo p(t). Entonces o N E( k=1 Xk ) = E(X) E(N ). con esperanza finita e independiente de la sucesi´n. Notaci´n o peque˜ a.

que cumple las siguientes tres propiedades: a) Es G -medible. P ) un espacio de probabilidad. entonces con probabilidad uno coincide con E(X | G ). Bn }) = i=1 P (A | Bi ) 1Bi . F . E(X | {∅. c) Para cualquier evento G en G . Sea X una variable aleatoria con esperanza finita. y sea G una sub σ-´lgebra de F . . 2. entonces E(1A | {∅. 3. . en estas expresiones se postula de manera impl´ ıcita que la variable aleatoria a la que se le aplica la esperanza condicional es integrable. B c . Ω} ) = E(X). puede demostrarse e que esta variable aleatoria existe y es unica casi seguramente. Mencionaremos a continuaci´n algunas propiedades o de esta variable aleatoria. 4. . . . . es una variable aleatoria denotada por E(X | G ). 1. Ω} ) = P (A | B) 1B + P (A | B c ) 1B c . entonces n E(1A | σ{B1 . . . E( X | G ) dP = X dP. Esto significa que ´ si existe otra variable aleatoria con las tres propiedades anteriores. . la esperanza condicional se escribe simplemente como E(X | Y ). Ω} ) = P (A).272 Esperanza condicional. entonces E( c | G ) = c. . Si A es un evento y B1 . Bn es una partici´n de Ω tal que P (Bi ) > 0 para o i = 1. es decir. Sea (Ω. Si c es constante. Si A y B son eventos con 0 < P (B) < 1. cuando G = σ(Y ). 5. . b) Tiene esperanza finita. La espea ranza condicional de X dado G . . . G (A. entonces E(1A | {∅.1) G Es importante enfatizar que la esperanza condicional es una variable aleatoria. n. B. Usando el teorema de Radon-Nikodym (v´ase por ejemplo [9]). Si A es un evento. Cuando la σ-´lgebra G es generada por una a variable aleatoria Y .

Si G1 ⊆ G2 . 15. 9. entonces E(E(X | G1 ) | G2 ) = E(E(X | G2 ) | G1 ) = E(X | G1 ). . Conceptos y resultados varios e 6. Si X ≥ 0.s. 20. Si G1 y G2 son independientes. 18. y s´lo si. E(E(X | G )) = E(X). Si Y es una variable aleatoria discreta con valores 0. o m m . entonces E(X | G ) = E(X). 13. E |E(X | G )| ≤ E(|X|). Si X es independiente de G . Si X ≤ Y . entonces E(c X + Y | G ) = c E(X | G ) + E(Y | G ). 16. 21. 11. entonces o E(Xn | G ) ր E(X | G ) c. entonces E(X | Y ) = 7. .Ap´ndice A. E(f (X) | G ) = E(f (X)) para cualquier o funci´n Lebesgue medible f tal que f (X) es integrable. Si XY es integrable y X es G -medible. entonces E(X | G ) ≤ E(Y | G ). 8. Teorema de convergencia mon´tona. ∞ n=0 273 E(X | Y = n) 1(Y =n) . 14. 1. entonces E(X | σ(G1 ∪ G2 )) = E(X | G1 ). X es independiente de G si. entonces E(X | σ(G1 ∪ G2 )) = E(X | G1 ) + E(X | G2 ) − E(X). tomando esperanza se a a tiene el siguiente resultado. Si X es independiente de G2 . entonces E(Xn | G ) −→ E(X | G ). 17. 12. entonces E(X | G ) ≥ 0. En particular. Si X es G -medible.. entonces E(X | G ) = X c.. entonces E(XY | G ) = X E(Y | G ). Este es un caso particular de la desigualdad de Jensen que se enunciar´ m´s adelante.s. 19. Si c es constante. 10. | E(X | G ) | ≤ E( |X| | G ). Si Xn ≥ 0 y Xn ր X c.s. . Si Xn −→ X.

. Suponga que las siguientes funciones son absolutamente convergentes α(h) β(h) = h = h ∞ n=1 ∞ n=1 αn (h). por ejemplo. es decir.a] (t) es d. y que adem´s l´ h→0 α(h) = l´ h→0 β(h). Funciones directamente Riemann integrables. ∞) → [0.274 22. y para cada n natural defina las funciones o αn (h) = ´ { H(t) : (n − 1)h ≤ t < nh }. es d. R. b) H : [0. integrable. R. ∞) → [0. ∞) una funci´n Borel medible. Sea H : [0. Desigualdad de Jensen. a) H(t) = 1[0. toda funci´n directamente Riemann o integrable es Riemann integrable. Esta condici´n de integrabilidad es m´s fuerte que o a la integrabilidad usual de Riemann. integrable. βn (h). Sea h > 0. Entonces se dice que la funci´n H es dia ım ım o rectamente Riemann integrable. ınf βn (h) = sup { H(t) : (n − 1)h ≤ t < nh }. ∞) no creciente y tal que ∞ 0 H(t) dt < ∞. Si u es convexa y u(X) es integrable. entonces u(E(X | G )) ≤ E(u(X) | G ).

E. 1910-2004. Basic stochastic processes. Vol. 2005.. Dover. Measure theory. [6] Caballero M. and August. a [9] Cohn D. y Protter P. 1983. 1956. a [10] Einstein A. 1061-1072. 161-173. [2] Bingham N. Birkh¨user. L. Stochastic Processes and their Applications. L. Journal of Applied Probability. and on the general Existence of active Molecules in Organic and Inorganic Bodies. Investigations on the theory of the Brownian movement. 1828. J. y Williams R. Serie Textos. H. 257–266. 2004. [3] Brown R. 4. July. Cadenas de Markov: un enfoque elemental. 1960. 2005. 42. Markov chains with stationary transition probabilities (Die Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen Band 104). Aportaciones Matem´ticas. Sociedad Matem´tica Mexicana. Introduction to stochastic integration. Introduction to stochastic processes. et al. [4] Brze´niak Z. Springer. a a [7] Chung K. Springer. on the Particles contained in the Pollen of Plants. K. Philosophical Magazine N. Vol. [8] Chung K. Alpha Science International Ltd. z [5] Burkholder D. 1999. S. 1827. Joseph Leo Doob. 115. Doob: a half century on. Birkh¨user. L. 2003. y Zastawniak T.Bibliograf´ ıa [1] Basu A. 275 . 29. 1980. A brief account of Microscopical Observations made in the Months of June.

Introduction to stochastic processes. 43. Chapman & Hall / CRC. Introducci´n a la teor´a de probabilidades y sus aplicaciones. A first course in stochastic processes. o ı 1973. F. Introduction to stochastic calculus with applications. An algorithmic introduction to numerical simulation of stochastic differential equations. E. [24] Nelson E. G. Stochastic processes: an introduction. Probability: a graduate course. Hougthon Mifflin Company. C. [13] Grimmett G. 1998. [17] Jones P. 1975. Stochastic integration and differential equations. 1992. No. Markov chains. pp. [19] Karlin S. 1990. [21] Kloeden P. Springer–Verlag. 2005. [25] Norris J. 1982. 2006. Oxford. M.276 Bibliograf´ ıa [11] Feller W. Dynamical theories of Brownian motion. R. y Taylor H. Numerical solution of stochastic differential equations. [15] Higham D. W. y Stirzaker D. SIAM Review Vol. [14] Gut A. Springer. 1988. 1999. Springer–Verlag. Arnold. Introduction to stochastic processes. Port S. R. [20] Klebaner F. 2006. 525-546. Oxford University Press. [27] Protter P. [22] Kuo H. J. Stochastic differential equations: an introduction with applications. C. [23] Lawler G. Limusa. 1967.. [12] Gard T. Marcel Dekker. y Platen E. Introduction to stochastic differential equations. Springer. [18] Jordan D. H. Cambridge University Press. Academic Press. 3. C. Introduction to stochastic integration. 1972. Princeton University Press. . W. Mathematical techniques. Imperial College Press. Springer. [16] Hoel P. J. y Stone C. y Smith P. y Smith P. 1997. [26] Øksendal B. 2001. Probability and random processes. 2001. Clarendon Press. 1997.

12. Macmillan Publishing Company. [38] Tudor C. [35] Steele J. SpringerVerlag. a a a [31] Ross S. Aportaciones Matem´ticas. Academic Press. 2005. Obituary: Joseph Leonard Doob. Vol. ed. Springer–Verlag.4th ed. 247–256. Stochastic calculus and financial applications. Vol. [33] Snell J. Serie Textos 2. No. Principles of random walk. Procesos estoc´sticos. a . 2006. [30] Rinc´n L. Sobre el problema del mono que escribe caracteres al azar. 2001. M. [34] Spitzer F. Statistical Science. 2001. 1994. y Yor M. Birkh¨user. 2nd. 1991. L. [36] Stirzaker D. 1997. 2005. a 277 [29] Revuz D. [32] Snell J. Stochastic processes and models. Continuous martingales and Brownian motion. Adventures in stochastic processes. A Conversation with Joe Doob. 1992. Springer. 42.Bibliograf´ ıa [28] Resnick S. Miso cel´nea Matem´tica 42. Sociedad Matem´tica Mexicana. M. [37] Taylor H. 301–311. A first course in probability . 1994. L. 4. Journal of Applied Probability. a a Sociedad Matem´tica Mexicana. 1994. An introduction to stochastic modeling. Oxford University Press. 79–90. y Karlin S.

29 e de ramificaci´n.a. 116 o Delta de Kronecker.. 14 sim´trica. 39 o estacionaria. 79 transitoria. 207 Clase —s cerradas. 39 recurrente. 27 Deriva. 31 de inventarios. 244 o o Coseno hiperb´lico. 5 asim´trica. 251 o de tendencia. 49 Caminata aleatoria. 30 de la fila de espera. 251 Desigualdad de Jensen.´ Indice Abel lema.. 270 Cadena de Markov. 38 o de dos estados. 251 Ecuaci´n o 278 . 28 del jugador. 38 comunicaci´n de edos. 32 o de v. 31 distribuci´n inicial. 65 invariante. 194 Downcrossing. 41 o Coeficiente de difusi´n. 185 Drift. 26 o erg´dica. 33 de la caminata aleatoria.. J. 271 tipo lattice. 269 Doob. 155 Correcci´n de Itˆ. 274 Distribuci´n o estacionaria. 124 accesibilidad de edos. 26 finita. 34. 271 Distribuciones finito dimensionales. 65 reticulada. 38 o aperi´dica. 52 —s de comunicaci´n. 251 Comunicaci´n. 76 reversible. 7 e del jugador. 33 de rachas de ´xitos. 7 e Chapman-Kolmogorov. 41 o peri´dica. 49 regular. 23 a tiempo continuo. 37 o Confiabilidad. 27 de Ehrenfest. L.s independientes. 24 existencia. 24 irreducible.

212 o Igualdad de procesos. 248. 212 o a variaci´n de una. 166 o continua por la derecha. 80 de calor.. 229 e . P. 239 2 H0 . 242 de Itˆ. 236 H2 . 237 2 Lloc . 269 Independencia de procesos. 145 o de Wald. 40 o recurrente. 245 extensi´n por aproximaci´n. 156 de tasa de falla. 174 Euler-Maruyama. 241 ıa proceso de. 1 Esperanza condicional. 247 Itˆ o correci´n de. 208 de Chapman-Kolmogorov. 252 o Ecuaciones de Kolmogorov. 111 de renovaci´n. 166 Funci´n o de confiabilidad. 45 recurrente nulo. 167 a natural. 155 de valor medio. 166 o can´nica. 60 recurrente positivo. 253 o integral de. 144 o de supervivencia. 189 Integral estoc´stica. 236 L2 (P × dt). P. 242 de estados. 132 Ecuaciones de Kolmogorov hacia atr´s. 45 Estrategia de juego. 243 isometr´ de. 242 o o para procesos simples. 269 Integrabilidad uniforme. 242. 270 279 Filtraci´n. 238. 60 transitorio. 271 estoc´stica. Riemann integrable. 1 parametral. 27 L`vy. 130. 248 C 2 . 239 o o extensi´n por localizaci´n. 255 F´rmula o de Stirling. 144. 39 aperi´dico. 242. 240. 208 o de renovaci´n. 238 propiedades. 27 dir. 251 a soluci´n fuerte. 271 Fatou lema. 240. 244 o f´rmula de. 235 a como un proceso. 128. 40 o peri´dico. 251 Kronecker. 130 a Espacio C 1 .´ Indice de balance detallado. 111 delta de Kronecker. 238. 248 L2 (P ). 274 hazard. 167 est´ndar. 272 Estado absorbente. 34. 155 de intensidad. 156 variaci´n cuadr´tica de una. 243 o de Stratonovich. 207 de difusi´n.

111 de ensayos independientes. 135 de nacimiento y muerte. 1 . 104 de renovaci´n. 184 u Notaci´n o peque˜ a. 107 compuesto. 76 McKean Tabla de multiplicaci´n. 251 o de L`vy. 169 de de Moivre. 3 de Bessel. 109 e simulaciones. dim. 166 con incrementos estacionarios. 204–206 a exponencial. 256 e martingala. 136 de nacimiento puro. 253 o Movimiento Browniano. 4 e de Markov. 27 o de transici´n en un paso. 205 de Yule. A. 106. 226 puntual. 212 o a N´ mero de cruces. 175 exponencial. 199 Martingalas teorema de convergencia. 1 a tiempo discreto. 98. 122 de Wiener. 198 detenida. 112 generalizado. 257 geom´trico. 1 adaptado. 205 variaci´n. 27 o de transici´n en n pasos. 142 o de saltos. 25 a estoc´stica. 271 o n ´ Indice Par´metros infinitesimales.. 213 o variaci´n cuadr´tica. 209 multidimensional. 3 de Itˆ. 113 homog´neo. 188 teorema de representaci´n. 25 a regular. 106.. 198. 98 e no homog´neo. 24 o infinitesimales. 217 de Cox. 269 espacio de estados. 129 Problema de la ruina del jugador. 131 de Ornstein-Uhlenbeck. 128 a Periodo. 270 de Fatou. 3 de muerte. 83 Martingala. 270 M´todo de discretizaci´n. 255 e o Markov. 204. 259 de Poisson. 222 reflejado en el origen. 14 Proceso. 3 con incrementos indep. 207 o radial. 217 recurrencia por vecindades. 216 probabilidad de transici´n. 173 estrategia de juego. 232 producto. 4. 193 o Matriz de prob. 231 unidimensional. 24 o doblemente estoc´stica. 1 a tiempo continuo. 203 est´ndar.280 Lema de Abel. 24. 136 detenido. A. 174. 269 equivalencia de —s. de transici´n. 40 Probabilidades de transici´n. 172 distribuciones fin.

de mart. 237 trayectoria de un —. 122 —s de interarribo. 232 Racha de ´xitos. 60 Tiempo de paro. 193 o erg´dico para cadenas. 269 modificaci´n de un —. 2 versi´n de un —. 271 Stratonovich. 99.´ Indice espacio parametral. mon´tona. 253 o Teorema de conv. 59 de vida restante. 58 o Tiempo —s de estancia. 127 Puente Browniano. 45 Variaci´n. 167 de primera visita. 4 historia de un —.. 2 o simple. 177 de representaci´n de martingalas. 98 —s de paro. 263 densidad. 148 e de semigrupo. de Doob. 29 e Recurrencia. 167 realizaci´n de un —. 271 281 de conv. 188 de conv. 270 o de convergencia mon´tona. 212 a Wald ecuaci´n de. 60 positiva. 98. 269 indistinguibilidad. 45 nula. 166 o Gausiano. 146 medio de recurrencia. 51. 43. 60 Renovaci´n o ecuaci´n de. 166 igualdad de —s. 269 o Propiedad de Markov. 3 filtraci´n de un. 245 Submartingala. 169 T´cnica de acople. 169 Supermartingala. 269 o predecible. 145 o funci´n de. 74 e Tabla de multiplicaci´n de McKean. 51. N. 3 de p´rdida de memoria. dominada. 1 estacionario. 232. 269 independencia. 169 Transitoriedad. 228 . 271 o Wiener. 116 o Stirling. 273 o de paro opcional. 212 o cuadr´tica. 144 o Seno hiperb´lico.

Sign up to vote on this title
UsefulNot useful