Cadena de Markov

UNIVERSIDAD DE BUENOS AIRES
Facultad de Ciencias Exactas y Naturales

Departamento de Matem atica
Tesis de Licenciatura
Distribuciones Cuasiestacionarias y Procesos de Ramicaci on Multitipo
Anala Soledad Ferrari
Director: Pablo Groisman
25 de agosto de 2010
2
Agradecimientos
Gracias:
A Patu, por concederme el honor de ser mi director, por darme un gran empuj on en estos ulti-
mos a nos, por conseguir que la matem atica vuelva a ser divertida e interesante, por aguantarme
por horas en su ocina y comprender cada una de mis caras, por responder cada uno de mis no
entiendo con mucha paciencia y con una sonrisa.
A Marie, por aparecer en el momento justo, por ense narme tanto sobre las probabilidades,
por sus consejos, su amistad y por todo lo que aprend gracias a ella.
A ambos, porque sin ustedes esta larga etapa de mi vida no hubiese llegado a su n.
Alos Julis, mis amigos, hermanos, y compa neros de tantas aventuras. Julieta por ponerle onda
a las materias m as espantosas, por contarme las cosas desde un lado divertido, por tranquilizarme
en mis das de locura, por empujarme para dar la pila de nales. Julicho por ayudarme en todos
estos a nos: estudiar con vos hizo que todo sea mas divertido, por tu paciencia para ense narme
como se comportan las cosas tpicamente, por estar cada vez que te necesito, por tus consejos y
tus idas y vueltas.
A mam a y pap a, por su apoyo constante durante toda la carrera, por soportar mi locura y mi
histeria antes de cada examen y por alegrarse con cada logro mo.
A Nuno y Nico, por su amistad, por empujarme para terminar y por explicarme y ser el help
de esto llamado .tex.
A Maru, por sus charlas, consejos y horas de estudio.
A Constanza, por ser una gran docente, y porque varios a nos atr as, cuando todo pareca
imposible, su paciencia fue fundamental.
A Fer, por compartirme su hogar cuando mi vida era una caos.
A Matas por su ayuda durante varios a nos.
A Sol y Dani, por compartir esos 2 a nos maravillosos, y por estar a mi lado siempre.
A las chicos de la facu: Pau, Lau, Georgi, Flor, Lu, Dany, Pablo, Marian, Iri, Carito, Ro,
Mari... por compartir esta carrera, por las horas de estudio, por hacer que ir a facultad sea m as
divertido, por las charlas, y por todas las cosas que compartimos fuera y dentro de la facu.
A la gente que trabaj o conmigo que hizo que el trabajo sea agradable y que soport o mis
congresos, mis ex amenes, y mis das de tengo mucho que estudiar, en especial a Matas y a
Lisi.
Y a muchos otros que no menciono pero forman parte de mi vida diaria.
3
4
Indice general
1. Procesos de Markov 11
1.1. Cadenas de Markov a tiempo discreto . . . . . . . . . . . . . . . . . . . . . . . 11
1.2. Propiedad de Markov Fuerte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3. Construcci on de una Cadena de Markov . . . . . . . . . . . . . . . . . . . . . . 14
1.4. Cadenas de Markov irreducibles y aperi odicas . . . . . . . . . . . . . . . . . . . 15
1.5. Distribuciones estacionarias . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.6. Promedios empricos: el Teorema Erg odico . . . . . . . . . . . . . . . . . . . . 24
2. Distribuciones Cuasiestacionarias 27
3. Procesos de Ramicaci on 33
3.1. Proceso de Galton-Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2. Procesos de ramicaci on a tiempo continuo . . . . . . . . . . . . . . . . . . . . 41
3.2.1. Construcci on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.2. Funciones generadoras . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.3. El proceso discreto inmerso . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3. Tiempo continuo, multi-tipo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.1. Construcci on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.2. Funciones generadoras . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4. Aplicaciones 65
4.1. Proceso de urna . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2. Convergencia emprica a la distribuci on
cuasiestacionaria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5. Ap endice 75
5
6

INDICE GENERAL
Introducci on
Uno de los temas centrales en el estudio de cadenas de Markov es el comportamiento de la
cadena para tiempos largos. Bajo condiciones de irreducibilidad y aperiodicidad de estas cade-
nas se tiene existencia y unicidad del comportamiento asint otico, lo cual est a dado por la medida
invariante. Esta medida es la unica con la siguiente propiedad: si el proceso comienza distribuido
seg un ella, para todo los tiempos siguientes la medida del proceso es igual a la inicial. En t ermi-
nos de la matriz de transici on, la medida invariante es caracterizada por el autovector a izquierda
asociado al autovalor 1. Un ejemplo es el paseo al azar en los v ertices de un cuadrado. Consid-
eremos entonces los siguientes cuatro puntos de R
2
: (0, 0), (1, 0), (1, 1), (0, 1). Los enumeramos
de 1 a 4 para simplicar la notaci on y construiremos un proceso de Markov en el espacio de
estados S = 1, 2, 3, 4. Nos moveremos por estos cuatro puntos pasando de un vecino al otro.
Una vez que estamos parados en un punto elegimos a uno de los dos vecinos con probabilidad
1/2 para cada uno. Para cada n, X
n
denota la esquina en la que estamos parados a tiempo n. O
sea, X
n
nN
es una cadena de Markov con probabilidad de transici on
P =
_
_
_
_
0
1
2
0
1
2
1
2
0
1
2
0
0
1
2
0
1
2
1
2
0 0
1
2
_
_
_
_
.
Por la simetra del modelo, la unica medida invariante es la uniforme, que asigna 1/4 de prob-
abilidad a cada esquina. Es f acil ver que este es el autovector a izquierda asociado al autovalor
1.
No obstante, muchos procesos tienen un estado absorbente. Esto signica que tienen un es-
tado del cual el proceso no sale, con lo cual si estudiamos el comportamiento de la cadena para
tiempos grandes, la cadena estar a en el estado absorbente. Por ejemplo, podemos considerar un
proceso de nacimiento y muerte cuyo espacio de estados son los naturales. Con probabilidad de
transici on
p(n, n+1) = p, p(n, n1) = 1p, n N
y p(0, n) = 0, n N y p(0, 0) = 1. Si p
1
2
puede verse que, con probabilidad 1, la cadena
ser a absorbida en el estado n = 0, y a partir de entonces se quedar a constante igual a cero. Este
estado corresponde a la situaci on donde murieron todos los individuos de la poblaci on.
Otro ejemplo es considerar la siguiente matriz de transici on
P =
_
1
2
1
2
1 0
_
.
7
8

INDICE GENERAL
Hay solamente dos estados S =1, 2, del primero se salta con probabilidad 1/2 para si mismo,
y con probabilidad 1/2 se salta para el segundo. En el segundo se mantiene con probabilidad 1
en si mismo. Por lo tanto la unica medida invariante es la que pone probabilidad total para el
segundo estado.
Considerando un espacio de estados nito, bajo la hip otesis de irreducibilidad de la matriz sin
el estado absorbente, este ser a alcanzado con probabilidad 1 y entonces la versi on estacionaria
del proceso carece de todo inter es ya que se trata de un proceso constantemente igual al estado
absorbente con probabilidad 1. Podemos entonces preguntarnos por la distribuci on del proce-
so a tiempos grandes condicionada a que no ha sido absorbido y analizar su comportamiento
asint otico. A este lmite lo llamamos lmite de Yaglom. Denimos una distribuci on cuasiesta-
cionaria como una medida de probabilidad que es invariante para la evoluci on condicionada a no
ser absorbida. Esta distribuci on est a dada por el autovector a izquierda asociado al autovalor de
m odulo m aximo de la matriz de transici on sin la la y columna del estado absorbente. Adem as,
probaremos que el lmite de Yaglom es la medida cuasiestacionaria.
Tratamos este problema para procesos de Markov a tiempo discreto. En espacio de estados
nito, la distribuci on cuasiestacionaria puede ser calculada usando herramientas del algebra lin-
eal, pero en el caso en que el espacio de estados sea muy grande, esto se torna impracticable.
Aldous, Flannery y Palacios propusieron un m etodo para obtener una muestra (aproximada) de
la distribuci on cuasiestacionaria.
La idea central es, dada una cadena de Markov con un estado absorbente, construir otra
cadena de Markov sin estados absorbentes, que nos ayude a aproximar la distribuci on cuasi-
estacionaria que buscamos. En palabras, esto se hace de la siguiente manera: dada la cadena de
Markov con un estado absorbente, el nuevo proceso que creamos pasea por los estados hasta que
llega al estado absorbente. En el siguiente paso se vuelve aleatoriamente a uno de los estados no
absorbentes proporcionalmente a la cantidad de veces que ha pasado por cada estado. La canti-
dad normalizada de veces que ha pasado por cada estado se dice medida emprica. Considerando
el vector aleatorio cuya primera entrada corresponde al estado que visita a tiempo n y la segunda,
la medida emprica en ese tiempo, tendremos una cadena de Markov. Hecho esto, encontraremos
una identicaci on entre la medida emprica en los tiempos de absorci on y el proceso discreto in-
merso en un proceso de ramicaci on multitipo a tiempo continuo en caso super crtico, del cual
estudiamos la distribuci on asint otica de la poblaci on. Y con esto obtendremos la convergencia
buscada.
La tesis est a estructurada de la siguiente manera:
En el Captulo 1, tratamos nociones b asicas de cadenas de Markov a tiempo discreto en
espacios de estados nito, hacemos una de las construcciones posibles, y vemos que bajo ciertas
condiciones hay existencia y unicidad de la distribuci on estacionaria. Por ultimo estudiamos la
convergencia de los promedios empricos.
En el Captulo 2, damos una introducci on al estudio de distribuciones cuasiestacionaria, ana-
lizamos existencia y unicidad.
En el Captulo 3, tratamos procesos de ramicaci on. Damos la construcci on del proceso, ana-
lizamos la extinci on de la cadena y en el caso de que esto no ocurra obtenemos el comportamiento
asint otico del proceso. Esto lo hacemos para distintos casos; comenzamos con tiempo discreto,
luego tiempo continuo y al nal analizamos el caso multidimensional a tiempo continuo.
INDICE GENERAL 9
En el Captulo 4, estudiamos los procesos de urna y su equivalencia con los procesos de
ramicaci on, ya que esto nos ayudar a a estudiar la simulaci on propuesta por para la distribuci on
cuasiestacionaria de cadenas de Markov con estados absorbentes.
10

INDICE GENERAL
Captulo 1
Procesos de Markov
Vamos a comenzar introduciendo algunas nociones sobre procesos estoc asticos. Un proceso
estoc astico es una familia de variables aleatorias (X
t
)
tT
denidas en un mismo espacio muestral
(, F , P) donde
X
t
: S.
Usualmente S se dice espacio de estados mientras que el ndice t suele representar al tiempo. En
algunos casos pensaremos en T=No T=N
0
, dando lugar a un proceso estoc astico a tiempo dis-
creto, mientras que hablaremos de procesos a tiempo continuo cuando T = [0, ). Por ejemplo,
una sucesi on (X
i
)
iN
de variables aleatorias independientes id enticamente distribuidas (en ade-
lante i.i.d.) es un proceso estoc astico. En este captulo, nos dedicaremos al estudio de procesos a
tiempo discreto tomando valores en espacios de estados nitos, consideraremos S = s
1
, .., s
k
.
Est a basado en las notas de Haggstrom [6] y en el libro de Br emaud [3].
1.1. Cadenas de Markov a tiempo discreto
Denici on 1.1. Se dice que el proceso estoc astico (X
n
)
nN
es una cadena de Markov si:
P(X
n+1
= s
n+1
[X
0
= s
0
, ..., X
n
= s
n
) = P(X
n+1
= s
n+1
[X
n
= s
n
) n N
si P(X
0
= s
0
, ..., X
n
= s
n
) ,= 0.
Es decir que si conocemos el proceso hasta tiempo n, la posici on del proceso a tiempo n+1
solo depende de la posici on a tiempo n y no de todo el pasado.
Denici on 1.2. El proceso (X
n
)
nN
se dice Markov homog eneo si adem as la probabilidad condi-
cional no depende del tiempo, es decir, para todo n N
P(X
n+1
= s
j
[X
0
= s
0
, ..., X
n
= s
i
) = P(X
n+1
= s
j
[X
n
= s
i
) = p(s
i
, s
j
) = P
i j
.
En lo que sigue, nos restringiremos a considerar procesos homog eneos.
Denici on 1.3. Sea P una matriz con entradas P
i j
con i, j 1, .., k. P se dice matriz de tran-
cisi on si verica:
11
12 CAP
ITULO 1. PROCESOS DE MARKOV

P
i j
0 para todo i, j 1, .., k.
k
j=1
P
i j
= 1 para todo i 1, .., k .
Observemos que,
P(X
0
= s
0
, ...., X
n
= s
n
) = P(X
0
= s
0
)P
01
P
12
...P
n1n
.
Denici on 1.4. Llamamos o
(0)
a la distribuci on inicial del proceso,
(0)
= (
(0)
1
,
(0)
2
, ...,
(0)
k
) = (P(X
0
= s
1
), P(X
0
= s
2
), ..., P(X
0
= s
k
)).
Conociendo la distribuci on inicial y la matriz de transici on P queda caracterizado el proce-
so.
P(X
0
= i) =
i
,
P(X
n+1
= s
j
[X
n
= s
i
) = P
i j
.
Los vectores,
(1)
,
(2)
, ... describen la distribuci on de la cadena de Markov a tiempo 1,2.. ,
donde
(n)
= (
(n)
1
,
(n)
2
, ...,
(n)
k
) = (P(X
n
= s
1
), P(X
n
= s
2
), ..., P(X
n
= s
k
))
para todo n N.
Teorema 1.1. Sea (X
n
)
n
N una cadena de Markov denida en S con distribuci on inicial
(0)
y
matriz de transici on P. Para cada n, la distribuci on
(n)
satisface:
(n)
=
(0)
P
n
.
Demostraci on. Veamos que la igualdad es cierta usando inducci on.
Para n = 1, sea s
j
S, se tiene
(1)
j
= P(X
1
= s
j
)
=
iS
P(X
1
= s
j
[X
0
= s
i
)P(X
0
= s
i
)
=
iS
(0)
i
P
i j
= (
(0)
P)
j
De donde,
(1)
=
(0)
P
Supongamos que vale para n = m, veamos que es cierto para n = m+1
1.2. PROPIEDAD DE MARKOV FUERTE 13
(m+1)
j
= P(X
m+1
= s
j
)
=
iS
P(X
m+1
= s
j
[X
m
= s
i
)P(X
m
= s
i
)
=
iS
(m)
i
P
i j
= (
(m)
P)
j
de donde,
(m+1)
=
(m)
P. Pero por la hip otesis inductiva,
(m)
=
(0)
P
m
, entonces
(m+1)
=
(0)
P
m+1
.
1.2. Propiedad de Markov Fuerte
En la secci on anterior vimos la propiedad de Markov, que nos dice que para predecir el futuro
del proceso, conocer s olo el presente nos brinda tanta informaci on como conocer toda la historia
del proceso hasta el presente. Una formulaci on m as general es la Propiedad de Markov Fuerte,
aqu s olo la enunciaremos, pero para ello son necesarias unas deniciones previas.
Denici on 1.5. Sea (, F , P) un espacio de probabilidad. Sean (F
n
)
nN
, - algebras. Se dice
que (F
n
)
nN
es un ltraci on, si
F
n
F
n+1
F n N.
La introducci on de ltraciones es importante para el estudio de procesos estoc asticos. Pode-
mos pensar que F
n
representa toda la informaci on disponible hasta tiempo n. Un proceso es-
toc astico X = (X
n
)
nN
se dice que es adaptado a la ltraci on F = (F
n
)
nN
si para cada n N,
X
n
es F
n
-medible. (Notamos, X
n
F
n
).
Denici on 1.6. Sea (, F ) un espacio medible con una ltraci on (F
n
)
nN
.
Un tiempo aleatorio T es una variable aleatoria F -medible, con valores en N+.
Un tiempo aleatorio se dice tiempo de parada con respecto a la ltraci on si n F
n
,
para todo n N.
Teorema 1.2 (Propiedad de Markov Fuerte). Sea (X
n
)
nN
una cadena de Markov homog enea
denida en un espacio de estados S y con matriz de transici on P. Sea un tiempo de parada
respecto a la ltraci on F
n
= (X
1
, .., X
n
) para n N. Dado cualquier estado s
i
S, si X
= s
i
,
entonces:
El proceso despu es de y el proceso antes de son independientes.
14 CAP

El proceso despu es de es una cadena de Markov homog enea con matriz de transici on P.
Demostraci on. Puede verse en Br emaud [3, Secci on 7.1] .
La propiedad fuerte de Markov es, una extensi on de la propiedad de Markov a tiempos de
parada. Cabe aclarar que, en general, no vale el resultado para tiempos aleatorios cualesquiera.
La estructura particular del tiempo de parada es la que permite al proceso que conocer la posici on
a tiempo , sea lo mismo que conocer toda la historia del proceso hasta .
1.3. Construcci on de una Cadena de Markov
Vimos que la distribuci on inicial y la matriz de transici on caracterizan una cadena de Markov.
Surge entonces la siguiente pregunta; C omo simulamos una cadena de Markov (X
n
)
nN
en el
espacio de estados S, con distribuci on inicial y con matriz de transici on P?
Vamos a necesitar U
0
,U
1
, ... variables aleatorias independientes con distribuci on uniforme
en el intervalo [0, 1] y dos funciones, la primera la llamamos funci on inicial; : [0, 1] S ,
asumimos que cumple lo siguiente:
particionamos el intervalo [0, 1] en varios subintervalos, y es constante en cada uno.
para cada s S, el largo total de los intervalos con =s es (s), es decir,
1
0
1
(x)=s
dx =
(s).
Con la funci on , podemos generar X
0
usando la primera de las variables uniformes. Sea X
0
=
(U
0
), esto da una correcta distribuci on de X
0
pues, para cada s S;
P(X
0
= s) = P((U
0
) = s) =
1
0
1
(x)=s
dx = (s).
Denamos la funci on inicial:
(x) =
_
_
s
1
si x [0,
(0)
(s
1
))
s
2
si x [
(0)
(s
1
),
(0)
(s
1
) +
(0)
(s
2
))
.
.
.
s
i
si x [
i1
j=1
(0)
(s
j
),
i
j=1
(0)
(s
j
))
.
.
.
s
k
si x [
k1
j=1
(0)
(s
j
), 1].
Claramente as denida verica ambas condiciones, pues es constante en cada intervalo y
adem as,
1
0
1
(x)=s
i
dx =
i
j=1
(s
j
)
i1
j=1
(s
j
) = (s
i
).
Ya sabemos como generar X
0
, nos falta generar X
n+1
a partir de X
n
para cualquier n. Para ello
vamos a usar la v.a. U
n+1
y una funci on : S [0, 1] S, es decir, la entrada de la funci on es un
elemento de S y un n umero entre 0 y 1 y la salida un elemento de S. Necesitamos que cumpla
ciertas propiedades:
1.4. CADENAS DE MARKOV IRREDUCIBLES Y APERI
ODICAS 15
para s
i
S, la funci on (s
i
, x) es constante a trozos (mir andola solo como funci on de x).
para s
i
, s
j
S el largo total de los intervalos con (s
i
, x) = s
j
es p(s
i
, s
j
).
Al igual que la primer funci on que denimos, podemos reescribir la segunda condici on:
1
0
1
(s
i
,x)=s
j
dx = P
i j
.
Si satisface esta condici on, entonces P(X
n+1
= s
j
[X
n
= s
i
) = P((s
i
,U
n+1
) = s
j
[X
n
= s
i
) =
P((s
i
,U
n+1
) = s
j
) = P
i j
. Observemos que U
n+1
es independiente de U
1
, ...,U
n
y por lo tanto es
independiente de X
n
. Luego denimos la funci on actualizadora, para s
i
S;
(s
i
, x) =
_
_
s
1
si x [0, P
i1
)
s
2
si x [P
i1
, P
i1
+P
i2
)
.
.
.
s
i
si x [
i1
j=1
P
i j
,
i
j=1
P
i j
)
.
.
.
s
k
si x [
k1
j=1
P
i j
, 1].
Por como denimos claramente cumple ambas condiciones, pues es constante a trozos
y adem as,
1
0
1
(s
i
,x)=s
j
dx =
j
l=1
P
il
j1
l=1
P
il
= P
i j
. De esta forma simulamos la cadena de
Markov,
X
0
= (U
0
)
X
1
= (X
0
,U
1
)
X
2
= (X
1
,U
2
)
.
.
.
y as sucesivamente.
Esto prueba la existencia de la cadena de Markov a partir de las variables aleatorias inde-
pendientes con distribuci on uniforme denidas en un mismo espacio y de dos funciones, a las
que llamamos funci on inicial () y funci on actualizadora (). Existen otras elecciones posibles
para las funciones , y que pueden tener distintas ventajas. Esta elecci on ser a muy util en las
siguientes secciones.
1.4. Cadenas de Markov irreducibles y aperi odicas
En la secci on siguiente vamos a estudiar el comportamiento de las cadenas a largo plazo,
para ello necesitamos hacer ciertas suposiciones sobre las cadenas de Markov. Vamos a consid-
erar cadenas irreducibles y aperi odicas, y analizar sus propiedades. Comencemos con algunas
deniciones.
16 CAP

Denici on 1.7. Una cadena de Markov (X
n
)
nN
en S con matriz de transici on P, se dice irre-
ducible si s
i
, s
j
S existe n N tal que (P
n
)
i j
> 0.
El perodo de un estado, s
i
S es d(i) = mcdn 1/(P
n
)
ii
> 0.
Un estado s
i
S se dice aperi odico si d(i)=1.
Una cadena de Markov se dice aperi odica, si todos sus estados son aperi odicos.
Lema 1.1. Sea (X
n
)
nN
una cadena de Markov aperi odica en S = s
1
, .., s
k
con matriz de
transici on P. Existe N N tal que (P
n
)
ii
> 0 para i 1, ..k,n N.
Para demostrar este lema vamos a utilizar el siguiente resultado de teora de n umeros.
Lema 1.2. Sea A =a
1
, a
2
, ... un conjunto de n umeros naturales, tal que
1. mcd =a
1
, a
2
, .. = 1,
2. si a A y a A entonces a+ a A (cerrado bajo suma).
Entonces existe N N tal que n A para todo n N.
Demostraci on. Puede verse en el ap endice de Br emaud [3].
Demostraci on del Lema 1.1. Para cada s
i
S, sea A
i
= n 1/(P
n
)
ii
> 0, es decir, A
i
son los
tiempos posibles de retorno del estado s
i
. Como la cadena de Markov es aperi odica, el estado s
i
es aperi odico: mcdn 1/(P
n
)
ii
> 0=1. Veamos que es cerrado bajo suma, sean a, a A, por
lo que P(X
a
= s
i
[X
0
= s
i
) > 0 y P(X
a+a
= s
i
[X
a
= s
i
) > 0 luego,
P(X
a+ a
= s
i
[X
0
= s
i
) P(X
a+ a
= s
i
, X
a
= s
i
[X
0
= s
i
)
= P(X
a+ a
= s
i
[X
a
= s
i
, X
0
= s
i
)P(X
a
= s
i
[X
0
= s
i
)
= P(X
a+ a
= s
i
[X
a
= s
i
)P(X
a
= s
i
[X
0
= s
i
) > 0
de donde, a+ a A. Luego A satisface las hip otesis del lema previo, por lo tanto existe N
i
tal que
(P
n
)
ii
> 0 n N
i
, tomando N = m axN
1
, N
2
, .., N
k
queda demostrado el teorema.
Corolario 1.1. Sea (X
n
)
nN
una cadena de Markov irreducible y aperi odica, en un espacio
de estados S = s
1
, .., s
k
y P matriz de transici on, entonces existe M < tal que (P
n
)
i j
> 0
i, j 1, 2, .., k y n M.
Demostraci on. Por el teorema anterior, existe N N tal que (P
n
)
ii
> 0 n N, i 1, 2, .., k.
Sean s
i
, s
j
S. Como (X
n
)
nN
es irreducible, existe n
i j
tal que (P
n
i j
)
i j
> 0. Sea M
i j
= N +n
i j
,
para m tal que mn
i j
> N
P(X
m
= s
j
[X
0
= s
i
) P(X
mn
i j
= s
i
, X
m
= s
j
[X
0
= s
i
)
P(X
mn
i j
= s
i
[X
0
= s
i
)P(X
m
= s
j
[X
mn
i j
= s
i
)
> 0.
Luego (P
m
)
i j
> 0 m M
i j
, el corolario queda demostrado, tomando M = m axM
i j
: i, j
1, 2, .., k.
1.5. DISTRIBUCIONES ESTACIONARIAS 17
1.5. Distribuciones estacionarias
Vamos a considerar una de las cuestiones principales en la teora de Markov, la distribuci on
de la cadena a largo plazo. Qu e podemos decir sobre la cadena de Markov, si la dejamos correr
un largo tiempo? Para empezar veamos la denici on de distribuci on estacionaria.
Denici on 1.8. Sea (X
n
)
nN
una cadena de Markov en S = s
1
, ..s
k
con matriz de transici on
P. El vector = (
1
, ...,
k
) se dice que es una distribuci on estacionaria de la cadena si:
1.
i
0 i =1, .., k y
k
i=1
i
= 1.
2. P = , es decir,
k
i=1
i
P
i j
=
i
j =1, .., k.
La primera condici on muestra que es una probabilidad en S y la segunda implica que si la
distribuci on inicial
(0)
es igual a entonces la distribuci on de la cadena a tiempo 1 satisface:
(1)
=
(0)
P = P = , de donde
(n)
= , para todo n.
Vamos a probar que si la cadena es irreducible y aperi odica existe una unica distribuci on
estacionaria, para ello debemos analizar ciertas propiedades de estas cadenas.
Denici on 1.9. Sea T
i j
la primera vez que la cadena visita el estado s
j
, siendo que a tiempo 0
comenz o en s
i
. Si X
0
= s
i
, denimos:
T
i j
= mnn 1/X
n
= s
j
y T
i j
= cuando la cadena nunca visita al estado s
j
. Tambi en denimos el tiempo esperado
hasta visitar el estado s
j
, como
i j
= E(T
i j
).
Lema 1.3. Sea (X
n
)
nN
una cadena de Markov irreducible y aperi odica, denida en un espacio
de estados S =s
1
, ..., s
k
, con matriz de transici on P. Para cualquier estado s
i
, s
j
S, si X
0
=s
i
,
entonces P(T
i j
< ) = 1 y adem as,
i j
es nito.
Demostraci on. Por el corolario anterior, existe M < tal que (P
M
)
i j
> 0 para todo i, j
1, ..., k. Sea = mn(P
M
)
i j
/i, j 1, ..., k. Notemos que es positivo. Sean s
i
, s
j
dos esta-
dos de S y supongamos que la cadena empieza en s
i
. Entonces,
P(T
i j
> M) P(X
0
= s
i
, X
1
,= s
j
, ..., X
M
,= s
j
)
P(X
M
,= s
j
)
1.
Tambi en, podemos acotar la probabilidad de no haber llegado a s
j
a tiempo 2M, condicio-
nando sobre lo sucedido a tiempo M;
P(T
i j
> 2M) P(T
i j
> 2M[T
i j
> M)P(T
i j
> M)
P(X
2M
,= s
j
[T
i j
> M)P(T
i j
> M)
= P(X
2M
,= s
j
[X
1
,= s
j
, ..., X
M
,= s
j
)P(T
i j
> M)
P(X
2M
,= s
j
[X
M
,= s
j
)(1)
(1)
2
.
18 CAP

Iterando este argumento, para cualquier l tenemos,
P(T
i j
> lM) P(T
i j
> M)P(T
i j
> 2M[T
i j
> M) P(T
i j
> lM[T
i j
> (l 1)M)
(1)
l
.
Tomando lmite cuando l , obtenemos que P(T
i j
= ) = 0. Veamos que
i j
es nito,
E(T
i j
) =
n=1
P(T
i j
n)
=
l=0
(l+1)M1
n=lM
P(T
i j
> n)
l=0
(l+1)M1
n=lM
P(T
i j
> lM)
= M
l=0
P(T
i j
> lM)
M
l=0
(1)
l
= M
1
1(1)
=
M
< ,
con lo cual queda demostrado el lema.
Denici on 1.10. Si X
0
= s
1
, denimos
i
, el n umero esperado de visitas al estado i antes de
regresar al estado inicial, es decir, para i = 1, .., k,
i
= E(
T
11
n=1
1
X
n
=s
i
).
Observemos que
i
=E(
T
11
n=1
1
X
n
=s
i
) =E(
n=1
1
X
n
=s
i
1
T
11
>n
) que podemos reescribirlo
como
n=1
P(X
n
= s
i
, T
11
> n) =
n=0
P(X
n
= s
i
, T
11
> n).
Denici on 1.11. Un estado i S se dice recurrente si
P(T
ii
< ) = 1.
En otro caso se dice transitorio. Un estado recurrente i S se dice recurrente positivo si E(T
ii
) <
. Una cadena de Markov se dice recurrente (positiva) si todos sus estados son recurrentes
(positivos).
Observaci on 1.1. Sea (X
n
)
nN
una cadena de Markov irreducible y aperi odica, denida en un
espacio de estados nito. Entonces, (X
n
)
nN
es recurrente positiva.
Ahora s estamos en condiciones de demostrar la existencia de una distribuci on estacionaria.
Teorema 1.3. Para cualquier cadena de Markov irreducible y aperi odica, existe por lo menos
una distribuci on estacionaria.
Demostraci on. Sea (X
n
)
nN
una cadena de Markov irreducible y aperi odica, en un espacio de
estados S =s
1
, ..., s
k
y matriz de transici on P. Supongamos que la cadena empieza en el estado
s
1
. El tiempo esperado de retorno
11
es nito, y claramente
i
<
11
, por lo tanto
i
tambi en es
nito para todo i 1, .., k. Proponemos,
= (
1
, ...,
k
) =
_
11
,

2
11
, ...,

k
11
_
.
Veamos que as denido, cumple las dos condiciones de la denici on de distribuci on estacionaria.
por como lo denimos,
i
0 para i = 1, ..., k. Veamos que
k
n=1
i
= 1;
11
= E(T
11
) =
n=0
P(T
11
> n)
=
n=0
k
i=1
P(X
n
= s
i
, T
11
> n)
=
k
i=1
n=0
P(X
n
= s
i
, T
11
> n)
=
k
i=1
i
de modo que,
k
i=1
i
=
1
11
k
i=1
i
= 1.
queremos ver que
k
i=1
i
P
i j
=
j
para todo j = 1, ..., k. Veamos primero para j ,= 1
20 CAP
j
=

j
11
=
1
11
n=0
P(X
n
= s
j
, T
11
> n)
=
1
11
n=1
P(X
n
= s
j
, T
11
> n)
=
1
11
n=1
P(X
n
= s
j
, T
11
> n1)
=
1
11
n=1
k
i=1
P(X
n1
= s
i
, X
n
= s
j
, T
11
> n1)
=
1
11
n=1
k
i=1
P(X
n1
= s
i
, T
11
> n1)P(X
n
= s
j
[X
n1
= s
i
, T
11
> n1)
=
1
11
n=1
k
i=1
P(X
n1
= s
i
, T
11
> n1)P(X
n
= s
j
[X
n1
= s
i
)
1
=
1
11
n=1
k
i=1
P
i j
P(X
n1
= s
i
, T
11
> n1)
=
1
11
k
i=1
P
i j
n=1
P(X
n1
= s
i
, T
11
> n1)
=
1
11
k
i=1
P
i j
n=0
P(X
n
= s
i
, T
11
> n)
=
1
11
k
i=1
P
i j
i
=
k
i=1
i
P
i j
.
Falta vericar esta condici on para j = 1,
1
=
n=0
P(X
n
= s
1
, T
11
> n) = P(T
11
> 0) = 1.
1
T
11
> n1 =X
1
,= s
1
, ..., X
n1
,= s
1

Vimos que P(T
11
< ) = 1, luego
1
= P(T
11
< ) =
n=1
P(T
11
= n)
=
n=1
k
i=1
P(X
n1
= s
i
, T
11
= n)
=
n=1
k
i=1
P(X
n1
= s
i
, X
n
= s
1
, T
11
> n1)
=
n=1
k
i=1
P(X
n
= s
1
[X
n1
= s
i
)P(X
n1
= s
i
, T
11
> n1)
=
n=1
k
i=1
P
i1
P(X
n1
= s
i
, T
11
> n1)
=
k
i=1
P
i1
n=1
P(X
n1
= s
i
, T
11
> n1)
=
k
i=1
P
i1
n=0
P(X
n
= s
i
, T
11
> n)
=
k
i=1
P
i1
i
por lo tanto,
1
=

1
11
=
k
i=1
i
P
i1
11
=
k
i=1
i
P
i1
.
Con lo cual, probamos que es una distribuci on estacionaria.
Nos preguntamos si esta distribuci on estacionaria es unica. Pero antes de analizar la unicidad
de la distribuci on estacionaria, podemos responder a la pregunta inicial: Qu e le pasa a la cade-
na de Markov cuando la dejamos correr un tiempo sucientemente largo? Bajo ciertas hip otesis
podemos ver que sin tener en cuenta cual sea la distribuci on inicial, la distribuci on a tiempos
grandes, se parecer a a la distribuci on estacionaria. Para ver esto, debemos usar alguna m etri-
ca para calcular la distancia entre las distribuciones de probabilidad. Existen varias m etricas,
aqu usaremos una llamada distancia de variaci on total.
Denici on 1.12. Sean los vectores
(1)
= (
(1)
1
, ...,
(1)
k
) y
(2)
= (
(2)
1
, ...,
(2)
k
) distribuciones de
probabilidad en S =s
1
, ..., s
k
. Denimos la distancia de variaci on total entre
(1)
y
(2)
como:
d
VT
(
(1)
,
(2)
) =
1
2
k
i=1
[
(1)
i

(2)
i
[.
22 CAP

Si
(1)
,
(2)
, ... y son distribuciones en S, decimos que
(n)
converge a en variaci on total
cuando,
lm
n
d
VT
(
(n)
, ) = 0.
Notaci on:
(n)
VT
n
.
Observemos que si d
VT
(
(1)
,
(2)
) = 0 =
(1)
=
(2)
. Adem as, puede verse que
d
VT
(
(1)
,
(2)
) = sup
AS
[
(1)
(A)
(2)
(A)[.
Teorema 1.4. Sea (X
n
)
nN
una cadena de Markov irreducible y aperi odica en S = s
1
, ..s
k
,
con matriz de transici on P y una distribuci on inicial
0
. Entonces para cualquier distribuci on
estacionaria para la matriz P,
(n)
VT
n
.
Demostraci on. Vimos que la cadena de Markov (X
n
), podemos obtenerla a partir de variables
aleatorias uniformes en [0, 1] y dos funciones a las que llamamos, funci on de inicializaci on(
)
y funci on de actualizaci on (). Vamos a usar el m etodo de acoplamiento, es decir, construir
varios procesos en el mismo espacio de probabilidad.
Sea (X
/
n
)
nN
otra cadena de Markov, con
la funci on iniciadora para la distribuci on inicial

, sean (U
/
1
,U
/
2
, ...) otra sucesi on de variables aleatorias uniformes en [0, 1] (independientes de
las U
i
). Simulamos X
/
n
:
X
/
0
= (U
/
0
)
X
/
1
= (X
/
0
,U
/
1
)
X
/
2
= (X
/
1
,U
/
2
)
.
.
.
Como es la distribuci on estacionaria, X
/
n
tiene distribuci on para todo n. Adem as, las
cadenas (X
1
, X
2
, ...),(X
/
1
, X
/
2
, ...) son independientes. Queremos ver que con probabilidad 1 las
cadenas se encuentran, es decir, que existe un n tal que X
n
= X
/
n
. Para ello denamos el primer
tiempo de encuentro:
T = mnn/X
n
= X
/
n
y notamos T = si las cadenas nunca se encuentran. Sabemos que existe M nito, tal que
(P
M
)
i j
> 0 para todo i, j =1, ..., k. Sea = mn(P
M
)
i j
: j, i =1, ..., k, claramente > 0.
Acotemos la probabilidad de que las cadenas se encuentren antes del tiempo M,
P(T M) P(X
M
= X
/
M
) P(X
M
= s
1
, X
/
M
= s
1
)
= P(X
M
= s
1
)P(X
/
M
= s
1
)
=
k
i=1
P(X
0
= s
i
, X
M
= s
1
)
k
i=1
P(X
/
0
= s
i
, X
/
M
= s
1
)
=
k
i=1
P(X
M
= s
1
[X
0
= s
i
)P(X
0
= s
i
)
k
i=1
P(X
/
M
= s
1
[X
/
0
= s
i
)P(X
/
0
= s
i
)
i=1
P(X
0
= s
i
)
k
i=1
P(X
/
0
= s
i
) =
2
.
Luego, P(T > M) 1
2
. De la misma forma, condicionando a lo que pas o a tiempo M,
podemos acotar P(X
2M
= X
/
2M
), luego
P(X
2M
,= X
/
2M
[T > M) 1
2
.
Por lo tanto,
P(T > 2M) = P(T > M)P(T > 2M[T > M)
(1
2
)P(X
2M
,= X
/
2M
[T > M)
(1
2
)
2
.
Iterando este argumento, para cualquier l,
P(T > lM) (1
2
)
l
.
Luego,
lm
n
P(T > n) = 0.
Es decir, que las dos cadenas se encuentran con probabilidad 1. Vamos a construir una tercer
cadena de Markov (X
//
0
, X
//
1
, ...) Sea X
//
0
= X
0
y para cada n:
X
//
n+1
=
_
_
(X
//
n
,U
n+1
) si X
//
n
,= X
/
n
(X
//
n
,U
/
n+1
) si X
//
n
= X
/
n
.
En otras palabras, esta nueva cadena es exactamente (X
0
, X
1
, ...) hasta T, y luego (X
/
0
, X
/
1
, ...).
Observemos que (X
//
0
, X
//
1
, ...) es una cadena de Markov con matriz de transici on P, pues las (U
n
)
son independientes de las (U
/
n
)
nN
.
La variable X
//
0
tiene distribuci on inicial
(0)
. Luego, para todo n, X
//
n
tiene distribuci on
(n)
.
Para cualquier i 1, .., k
(n)
i
= P(X
//
n
= s
i
) P(X
/
n
= s
i
) P(X
//
n
= s
i
, X
/
n
,= s
i
)
P(X
//
n
,= X
/
n
) = P(T > n).
24 CAP

Cambiando los roles de X
//
n
y X
/
n
, obtenemos
(n)
i
P(T > n).
Luego,
[
i
(n)
i
[ P(T > n)
n
0.
Lo que implica,
lm
n
d
VT
(
(n)
, ) = lm
n
1
2
k
i=1
[
i
(n)
i
[ = 0.
Teorema 1.5 (Teorema de Unicidad). Para cualquier cadena de Markov irreducible y aperi odica
denida en un espacio de estados nito existe una unica distribuci on estacionaria.
Demostraci on. Sea (X
n
)
nN
una cadena de Markov irreducible y aperi odica, con matriz de tran-
sici on P. Sabemos que existe al menos una distribuci on estacionaria. Sean y dos distribu-
ciones estacionarias de P, veamos que = . Si la cadena empieza con distribuci on inicial
(0)
= entonces
(n)
= , n N. Por otro lado, vimos que lm d
VT
(
(n)
, ) =0. Como
(0)
=
es lo mismo que lmd
VT
( , ) = 0, como d
VT
( , ) no depende de n,
d
VT
( , ) = 0,
y por lo tanto,
= .
1.6. Promedios empricos: el Teorema Erg odico
En esta secci on trataremos el Teorema Erg odico para cadenas de Markov. Vamos a ver condi-
ciones para garantizar la convergencia en probabilidad del promedio emprico.
Denici on 1.13. Si X
0
= s
1
, denimos el tiempo de parada T
k
11
, como la k- esima vez que la
cadena vuelve al estado s
1
, es decir,
T
k+1
11
= mnn > T
k
11
/X
n
= s
1
.
Denici on 1.14. Sea C(n) la cantidad de veces que la cadena pasa por el estado s
1
antes del
tiempo n.
C(n) =
n
i=1
1
X
i
=s
1
.
1.6. PROMEDIOS EMP
IRICOS: EL TEOREMA ERG
ODICO 25
Lema 1.4. Sea (X
n
)
nN
una cadena de Markov irreducible y recurrente en S =s
1
, .., s
k
y sea
f : S R. Para cualquier distribuci on inicial ;
lm
n
1
C(n)
n
i=1
f (X
i
) =
k
j=1
f (s
j
)
j
c.s.
Demostraci on. Sea i 1, .., k, y supongamos X
0
= s
1
. Consideremos las siguientes variables
aleatorias,
U
P
=
T
P+1
11
n=T
P
11
+1
f (X
n
),
U
P
depende de X
T
P
11
+1
, ..., X
T
P+1
11
, por lo tanto las variables aleatorias (U
P
)
P1
son i.i.d. para
cualquier distribuci on inicial. Asumimos f 0 y usando la Propiedad de Markov Fuerte 1.2,
E
(U
P
) = E(U
1
) = E
_
T
11
n=1
f (X
n
)
_
= E
_
T
11
n=1
k
j=1
f (s
j
)1
X
n
=j
_
=
k
j=1
f (s
j
)E
_
T
11
n=1
1
X
n
=j
_
.
Luego,
E
(U
P
) =
k
j=1
f (s
j
)
j
.
Como el espacio de estados es nito, y el tiempo esperado de retorno a cualquier estado tambi en
es nito, la esperanza de las U
P
es nita. Entonces, estamos en condiciones de aplicar la Ley de
los Grandes N umeros a las variables aleatorias (U
P
)
PN
y obtenemos
1
n
n
P=1
U
P
c.s.
n
k
j=1
f (s
j
)
j
.
Adem as como,
1
n
n
P=1
U
P
=
1
n
n
P=1
T
P+1
11
n=T
P
11
+1
f (X
n
) =
1
n
T
n+1
11
n=T
f (X
n
)
y como
T
C(n)
11
n T
C(n)+1
11
,
26 CAP

resulta
T
C(n)
11
j=1
f (X
j
)
C(n)

n
j=1
f (X
j
)
C(n)

T
C(n)+1
11
j=1
f (X
j
)
C(n)
.
Por otro lado, (X
n
)
nN
es recurrente por lo tanto C(n)
n
. Luego,
n
j=1
f (X
j
)
C(n)
n
j=1
f (s
j
)
j
.
En el caso de una funci on arbitraria f , se puede considerar f
+
=m ax0, f y f
=m ax0, f ,
tanto f
+
como f
cumplen el lema, y de la diferencia obtenemos el resultado requerido.

Teorema 1.6 (Teorema Erg odico). Sea (X
n
)
nN
una cadena de Markov irreducible y aperi odica,
denida en un espacio de estados S =s
1
, .., s
k
y con distribuci on estacionaria y sea f : S
R. Luego, para cualquier distribuci on inicial ;
lm
n
1
n
n
j=1
f (X
j
) =
k
i=1
f (s
i
)
i
= E
( f (X
1
)).
Demostraci on. Por el lema anterior,
lm
n
1
C(n)
n
i=1
f (X
i
) =
k
j=1
f (s
j
)
j
.
Si f 1,
n
C(n)
n
j=1
j
=
11
.
Luego,
lm
n
1
n
n
i=1
f (X
i
) = lm
n
C(n)
n
1
C(n)
n
i=1
f (X
i
) =

k
j=1
f (s
j
)
j
11
=
k
j=1
f (s
j
)
j
.
Captulo 2
Distribuciones Cuasiestacionarias
Muchos procesos estoc asticos tienen un estado absorbente, lo que signica que si el proceso
llega al estado absorbente, se queda ah para siempre. En un proceso de Markov con un estado
absorbente, buscar la distribuci on estacionaria no tiene sentido, ya que si dejamos evolucionar
el proceso un buen rato, el proceso estar a en el estado absorbente. Veremos que bajo ciertas
condiciones, si el proceso tiene un estado absorbente, con probabilidad 1 ser a absorbido. Por lo
tanto, en estos casos nos interesa estudiar qu e ocurre antes de ser absorbido. Si la cadena esta
denida en un espacio de estados S, cualquier elemento o cualquier subconjunto de S podran
ser estados absorbentes. En este trabajo el estado absorbente ser a el 0, s olo para simplicar la
notaci on.
Denici on 2.1. Dada una cadena de Markov denida en un espacio de estados S 0 con
S =s
1
, .., s
k
y matriz de transici on P, con entradas P
i j
, i, j 0, 1, .., k. Si existe j 1, .., k
tal que P
j0
> 0, decimos que 0 es un estado absorbente si P
0j
= 0 para todo j 1, .., k.
Para analizar cu ando el proceso es absorbido, debemos denir el tiempo de absorci on. Luego
veremos que las hip otesis necesarias para asegurarnos que la cadena es absorbida con probabili-
dad 1, son irreducibilidad y aperiodicidad sobre S.
Denici on 2.2. Denimos el tiempo de parada T
0
como el tiempo de absorci on, es decir:
T
0
= mnn N/X
n
= 0.
y notamos T
0
= si X
n
,= 0 para todo n N
0
.
Sea P
S
la matriz P restringida a S, es decir, la matriz P sin la la y la columna correspondi-
entes al 0.
Lema 2.1. Sea una cadena de Markov, con un estado absorbente denida en el espacio de
estados nito S 0 con matriz de transici on P y P
S
irreducible y aperi odica. Dada una
distribuci on inicial,
P
(T
0
= ) = 0.
27
28 CAP
ITULO 2. DISTRIBUCIONES CUASIESTACIONARIAS

Demostraci on. La matriz P
S
es una matriz sub-estoc astica, es decir, la suma de las coordenadas
de cada la es menor a 1, sin embargo como es irreducible y aperi odica podemos usar el Coro-
lario 1.1 pues puede verse en su demostraci on que no es necesario que sea una matriz estoc astica.
Por lo tanto existe N N tal que P
n
i j
> 0, n N, s
i
, s
j
S. Por otro lado, la probabilidad de ir
de alg un estado de S al 0 es positiva, es decir, P
j0
>0 para alg un s
j
S . Luego, existe MN tal
que P
M
i0
> 0, s
i
S. Sean = mnP
M
i0
> 0/ j = 1, .., k y la distribuci on inicial. Entonces
para n N, P
(T
0
> n) =
k
i=1
P
i
(T
0
> n)
i
. Acotemos P
i
(T
0
> M) para cada i 1, .., k
P
i
(T
0
> M) P
i
(X
1
,= 0, .., X
M
,= 0)
P
i
(X
M
,= 0) 1.
Condicionando a lo sucedido a tiempo M obtenemos:
P
i
(T
0
> 2M) = P
i
(T
0
> 2M[T
0
> M)P
i
(T
0
> M)
P
i
(X
2M
,= 0[T
0
> M)P
i
(T
0
> M)
= P
i
(X
2M
,= 0[X
M
,= 0)P
i
(T
0
> M)
(1)
2
.
Iterando,
P
i
(T
0
> lM) (1)
l
i 1, .., k.
Luego, P
(T
0
> lM) =
k
i=1
P
i
(T
0
> n)
i
(1)
l
y por lo tanto,
P
(T
0
= ) = 0.
Del lema se ve que la cadena es absorbida en un tiempo nito con probabilidad 1 y adem as
que P
(T
0
> n) tiende a cero exponencialmente.
Corolario 2.1. Todos los momentos de T
0
son nitos.
Demostraci on. Sea la distribuci on inicial,
E
(T
l
0
) =
m=1
m
l
P
(T
0
= m)
m=1
m
l
P
(T
0
> m1)
=
n=0
(n+1)
l
P
(T
0
> n)
n=0
(n+1)
l
(1)
[n/M+1]
.
De donde, para todo l N, E
(T
l
0
) es nito.
29
Para un proceso que empieza con distribuci on inicial , denimos la evoluci on del proceso
condicionada a no ser absorbido como:
j
(n) = P
(X
n
= s
j
[T
0
> n)
equivalentemente,
j
(n) =
P
(X
n
= s
j
)
P
(T
0
> n)
=
P
(X
n
= s
j
)
P
(X
n
,= 0)
=
P
(X
n
= s
j
)
k
i=1
P
(X
n
= s
i
)
=

k
z=1
P
(X
n
= s
i
[X
0
= s
z
)P
(X
0
= s
z
)
k
i=1
k
z=1
P
(X
n
= s
i
[X
0
= s
z
)P
(X
0
= s
z
)
=

k
z=1
z
(P
n
)
z j
k
i=1
k
z=1
z
(P
n
)
zi
=
(P
n
)
j
k
i=1
(P
n
)
i
.
De aqu se ve que
k
j=1
j
(n) = 1. Queremos analizar el comportamiento asint otico de
n
, es
decir, lm
n
n
.
Denici on 2.3. Cuando existe lm
n
n
y es una medida de probabilidad se lo denomina Lmite
de Yaglom para . Denotamos
j
= lm
n
j
(n).
Al igual que con las medidas invariantes, cuando este lmite existe, es invariante para la
evoluci on de la probabilidad condicionada. A estas medidas se las llama distribuciones cuasi-
estacionarias.
Denici on 2.4. El vector = (
1
, ..,
k
) se dice que es una distribuci on cuasiestacionaria si
1.
i
0 i 1, .., k y
k
i=1
i
= 1 ,
2.
j
(n) =
j
n N
0
j =1, .., k.
La primer condici on nos dice que es una medida y la segunda que es invariante para el proceso
30 CAP

condicionado. Dada una distribuci on inicial;
j
(n+1) = P
(X
n+1
= s
j
[X
n+1
,= 0) =
P
(X
n+1
= s
j
)
P
(X
n+1
,= 0)
=

k
i=1
P(X
n+1
= s
j
[X
n
= s
i
)P
(X
n
= s
i
)
k
z=1
P
(X
n+1
= s
z
)
=

k
i=1
P(X
n+1
= s
j
[X
n
= s
i
)P
(X
n
= s
i
)
k
z=1
k
i=1
P(X
n+1
= s
z
[X
n
= s
i
)P
(X
n
= s
i
)
=

k
i=1
P
i j
i
(n)
k
z=1
k
i=1
P
iz
i
(n)
=

k
i=1
P
i j
i
(n)
k
i=1
_
i
(n)
k
z=1
P
iz
_
=

k
i=1
P
i j
i
(n)
k
i=1
_
i
(n)(1P
i0
)
_ =

k
i=1
P
i j
i
(n)
1
k
i=1
i
(n)P
i0
.
Luego se tiene
j
(n+1) =
k
i=1
P
i j
i
(n) +
k
i=1
i
(n)P
i0
j
(n+1).
Por lo tanto es una distribuci on cuasiestacionaria s y solo s
j
=
k
i=1
P
i j
i
+
k
i=1
P
i0
j
.
Por otra parte si es el lmite de Yaglom, verica:
j
=
k
i=1
P
i j
i
+
k
i=1
P
i0
j
.
y por lo tanto es una distribuci on cuasiestacionaria.
Queremos analizar existencia y unicidad de la distribuci on cuasiestacionaria, para ello vamos
a utilizar herramientas de algebra lineal, ya que el comportamiento de la cadena depende de la
matriz de transici on.
Teorema 2.1 (Perron-Frobenius). Sea A una matriz no negativa e irreducible, de r r. Entonces,
existe un autovalor
1
real, positivo, con multiplicidad 1 y tal que
1
> [
j
[ para todo
j
au-
tovalor de A. Adem as sean u, v autovectores a izquierda y derecha respectivamente asociados a
1
, podemos elegirlos positivos y tal que [v[ = 1 y u
t
v = 1. Sean
2
, ..,
r
los dem as autovalores
de A, tales que
1
>[
2
[ ... [
r
[. Sea m
j
la multiplicidad de
j
. Luego,
A
n
=
n
1
vu
t
+O(n
m
2
1
[
2
[
n
), n N.
Demostraci on. Para la demostraci on ver Seneta [12].
31
Ahora s estamos en condiciones de mostrar existencia de una distribuci on cuasiestacionaria.
Teorema 2.2. Para una cadena de Markov, con un estado absorbente denida en un espacio de
estados S 0, con S = s
1
, .., s
k
y matriz de transici on P, con P
S
irreducible y aperi odica,
existe una unica distribuci on cuasiestacionaria, que es el lmite de Yaglom.
Demostraci on. Por el Teorema de Perron-Frobenius (2.1) aplicado a la matriz P
S
, existe un au-
tovalor
1
real, positivo, con multiplicidad 1 y tal que
1
> [
j
[ para todo
j
autovalor de P
S
, y
existen u y v autovectores a izquierda y derecha asociados a
1
tales que,
(P
n
S
)
i j
=
n
1
v
i
u
j
+O(n
m
2
1
[
2
[
n
) n N. (2.1)
Queremos ver que existe el lmite de Yaglom, para ello busquemos una expresi on para la proba-
bilidad condicionada usando la igualdad de (2.1). Sea la distribuci on inicial,
P
(X
n
= s
j
[T
0
> n) =
P
(X
n
= s
j
)
P
(T
0
> n)
=

k
i=1
P
i
(X
n
= s
j
)P(X
0
= s
i
)
k
i=1
P
i
(T
0
> n)P(X
0
= s
i
)
=

k
i=1
(P
n
S
)
i j
k
i=1
k
z=1
(P
n
S
)
iz
i
=

k
i=1
_
n
1
v
i
u
j
+O(n
m
2
1
[
2
[
n
)
_
k
i=1
k
z=1
_
n
1
v
i
u
z
+O(n
m
2
1
[
2
[
n
)
_
i
=

k
i=1
n
1
v
i
u
j
i
+O(n
m
2
1
[
2
[
n
)
k
i=1
k
i=1
k
z=1
n
1
v
i
u
z
i
+O(n
m
2
1
[
2
[
n
)
k
i=1
k
z=1
i
=

k
i=1
n
1
v
i
u
j
i
+O(n
m
2
1
[
2
[
n
)
k
i=1
k
z=1
n
1
v
i
u
z
i
+O(n
m
2
1
[
2
[
n
)k
=

n
1
u
j
k
i=1
v
i
n
1
(
k
z=1
u
z
)(
k
i=1
v
i
i
) +O(n
m
2
1
[
2
[
n
)k
+
O(n
m
2
1
[
2
[
n
)
k
i=1
k
z=1
n
1
v
i
u
z
i
+O(n
m
2
1
[
2
[
n
)k
=
_
(
k
z=1
u
z
)(
k
i=1
v
i
i
)
u
j
k
i=1
v
i
i
+
O(n
m
2
1
[
2
[
n
)k
n
1
u
j
k
i=1
v
i
i
_
1
+O(n
m
2
1
n
)
=
_
k
z=1
u
z
u
j
+
O(n
m
2
1
[
2
[
n
)k
n
1
u
j
k
i=1
v
i
i
_
1
+O(n
m
2
1
n
).
Expresemos de otra forma el primer t ermino,
_
k
z=1
u
z
u
j
+
O(n
m
2
1
[
2
[
n
)k
n
1
u
j
k
i=1
v
i
i
_
1
=
u
j
k
z=1
u
z
n
1
u
j
k
i=1
v
i
i
O(n
m
2
1
[
2
[
n
)k
,
32 CAP

con
_
u
j
k
z=1
u
z
,
u
j
k
z=1
u
z
+

n
1
u
j
k
i=1
v
i
i
O(n
m
2
1
[
2
[
n
)k
_
. Entonces se tiene
P
(X
n
= s
j
[T
0
> n) =
u
j
k
z=1
u
z
n
1
u
j
k
i=1
v
i
i
O(n
m
2
1
[
2
[
n
)k
+O(n
m
2
1
n
).
Luego,
lm
n
P
(X
n
= s
j
[T
0
> n) =
u
j
k
i=1
u
i
=
j
.
Por lo tanto, para cualquier distribuci on inicial, el Lmite de Yaglom es el autovector a
izquierda asociado a
1
de P
S
:
P
S
=
1
.
Veamos que es una distribuci on cuasiestacionaria. Es una probabilidad ya que,
j
> 0, j =
1, .., k y
k
j=1
j
=

k
j=1
u
j
k
i=1
u
i
=1
= 1, y es invariante para la distribuci on inicial,
j
(n) =
P
(X
n
= s
j
)
k
z=1
P
(X
n
= s
z
)
=

k
i=1
P
i
(X
n
= s
j
)
i
k
z=1
k
i=1
P
i
(X
n
= s
z
)
i
=
k
i=1
(P
n
S
)
i j
u
i
k
z=1
u
z
k
z=1
k
i=1
u
i
k
z=1
u
z
(P
n
S
)
iz
=

k
i=1
u
i
(P
n
S
)
i j
k
z=1
k
i=1
u
i
(P
n
S
)
iz
=

1
u
j
k
z=1
1
u
z
=
u
j
k
z=1
u
z
=
j
.
Con lo cual, probamos que existe una distribuci on cuasiestacionaria. Veamos que es unica.
Sean y dos distribuciones cuasiestacionarias. Si la cadena empieza con distribuci on inicial
= entonces
(n) = , n N.
Por otro lado vimos que para cualquier distribuci on inicial , como lm
n
(n) = resulta
que lm
n
d
VT
(
(n), ) = 0. Tomando = obtenemos lmd

TV
( , ) = 0, como d
TV
( , ) no
depende de n,
d
TV
( , ) = 0
y por lo tanto,
= .
Captulo 3
Procesos de Ramicaci on
Este captulo se basa en el estudio de procesos de ramicaci on, que nos ser an de mucha
utilidad para analizar el comportamiento de un m etodo para simular las distribuciones cuasiesta-
cionarias. Esta basado principalmente en los libros de Harris [7] y en Athreya-Ney [2].
El primer estudio de procesos de ramicaci on se dio porque exista la preocupaci on de que
los apellidos aristocr aticos se estaban extinguiendo. El origen de las investigaciones se atribuye
a los estudios realizados, independientemente, por Bienaym e en Francia y por Galton y Watson
en Inglaterra (1873).
Los procesos de ramicaci on han sido utilizados como modelos matem aticos para describir
procesos empricos, relacionados con la Biologa, la Fsica nuclear, la Medicina, las ciencias de
la Computaci on, la Demografa, etc.
La estructura de este captulo es la siguiente, comenzamos con el proceso de ramicaci on
llamado Galton-Watson, es un proceso a tiempo discreto que representa la cantidad de individuos
de las generaciones sucesivas. Estudiamos varias propiedades, calculamos la probabilidad de
extinci on, y analizamos el comportamiento del proceso cuando no se extingue. Seguimos con
una generalizaci on, que es considerar el tiempo de vida continuo, analizamos propiedades y
vemos la similitud con el caso discreto. Por ultimo, consideramos distintos tipos de individuos,
tratamos el tiempo continuo, y principalmente analizamos el comportamiento del proceso cuando
no se extingue. Varios de los resultados de este ultimo caso pueden encontrarse en Georgii-Baake
[5].
3.1. Proceso de Galton-Watson
Suponemos que el proceso se inicia con un individuo, el cual constituye la generaci on cero,
sus hijos forman parte de la primera generaci on, sus nietos la segunda, y as sucesivamente. De
esta manera denotamos la variable aleatoria Z
n
como el n umero de individuos de la n- esima
generaci on.
Sea p
i
la probabilidad de que un individuo deje i descendientes, con i N
0
. Para cada j
N, k N
0
,
k
j
representa el n umero de hijos del j- esimo miembro de la k- esima generaci on.
33
34 CAP
ITULO 3. PROCESOS DE RAMIFICACI
ON
Podemos expresar a Z
n+1
a partir de
k
j
, 0 k n, j 1,
Z
n+1
=
n
1
+.. +
n
Z
n
.
Asumimos que
k
j
, k 0, j 1 son variables aleatorias i.i.d., donde P(
1
1
= i) = p
i
i
N
0
. Si comenzamos con i individuos, notamos Z
(i)
n
, n N. Este proceso es la suma de i procesos
de ramicaci on independientes que se inician con un solo individuo. Para evitar situaciones triv-
iales, vamos a suponer que p
0
+p
1
< 1. Es decir, la probabilidad de tener a lo sumo un individuo
es menor que 1.
Estamos interesados en estudiar si la familia perdura en el tiempo, en este caso nos pregunta-
mos si al pasar las generaciones el apellido seguir a existiendo. Para esto tendramos que conocer
la distribuci on de Z
n
, para as poder calcular P(Z
n
= 0) para n sucientemente grande. Pero es-
to es complicado ya que la distribuci on de la cantidad de individuos en la generaci on n- esima
depende de las generaciones anteriores.
Una funci on que ser a muy util en el estudio de procesos de ramicaci on es la funci on gener-
adora de momentos de la variable Z
1
.
Sea : [0, 1] R
+
denida por (s) = E(s
Z
1
) = E(s
1
1
). Consideramos tambi en sus com-
posiciones,
0
(s) = s
1
(s) = (s), (3.1)
n+1
(s) = (
n
(s)) n N. (3.2)
Proposici on 3.1. La funci on generadora de Z
n
es
n
(s), es decir, componer n veces la funci on
generadora de Z
1
.
Demostraci on. Sea
(n)
la funci on generadora asociada a Z
n
:
(n)
(s) =

kN
0
P(Z
n
= k)s
k
.
Como (s) =
(1)
(s), basta probar que la sucesi on de funciones
(n)
cumple una relaci on de
recurrencia como (3.2). Por como la denimos,
(n+1)
(s) = E(s
Z
n+1
) = E(s
n
1
+..+
n
Z
n
) =

kN
0
E(1
Z
n
=k
s
n
1
+..+
n
k
).
La variable Z
n
es independiente de las variables
n
j
, j 1, por lo tanto,
E(1
Z
n
=k
s
n
1
+..+
n
k
) = E(1
Z
n
=k
)E(s
n
1
+..+
n
k
) = P(Z
n
= k)E(s
n
1
+..+
n
k
).
Como las variables,
n
1
, ..,
n
k
son independientes e id enticamente distribuidas
E(s
n
1
+..+
n
k
) =
k
j=1
E(s
n
j
) = (E(s
1
1
))
k
= ((s))
k
.
3.1. PROCESO DE GALTON-WATSON 35
Luego,
(n+1)
(s) =

kN
0
P(Z
n
= k)((s))
k
=
(n)
((s)).
Estas funciones nos van a ayudar para calcular los momentos del proceso. Cuando estos
existan, los podemos expresar en t erminos de las derivadas de
n
(s) para s = 1.
Teorema 3.1. Para el proceso de ramicaci on ya denido, si E(Z
1
) = m, y V(Z
1
) =
2
entonces
E(Z
n
) = m
n
,
V(Z
n
) =
_
2
m
n
(m
n
1)
m
2
m
si m ,= 1
n
2
si m = 1.
Demostraci on. Para la media de la primera generaci on tenemos,
E(Z
1
) =

jN
0
p
j
j =
/
(1) = m.
Para la generaci on n- esima,
E(Z
n
) =

jN
0
P(Z
n
= j) j =
/
n
(1) = (
n1
((1)))
/
=
/
n1
((1))
/
(1)
=
/
n1
(1)
/
(1) = ... = (
/
(1))
n
= m
n
.
Para calcular la varianza,
//
(1) =

kN
0
k(k 1)P(Z
1
= k) = E(Z
2
1
) E(Z
1
) =V(Z
1
) +m(m1).
Si
2
=V(Z
1
). Luego,
//
(1) =
2
+m(m1)
36 CAP
ON
//
n+1
(1) =
//
(1)(
/
n
(1))
2
+
/
(1)
//
n
(1)
=
//
(1)m
2n
+m
//
n
(1)
=
//
(1)m
2n
+m[
//
(1)m
2n2
+m
//
n1
(1)]
=
//
(1)m
2n
+
//
(1)m
2n1
+m
2
//
n1
(1)]
= ...
=
//
(1)[m
2n
+m
2n1
+.. +m
n+1
]
= [
2
+m(m1)]m
n+1
n
j=0
m
k
=
2
m
n+1
n
j=0
m
k
+m(m1)m
n
n
j=0
m
k
=
2
m
n+1
n
j=0
m
k
+m
n
(m
n+2
m).
Si m = 1,
//
n+1
(1) =
2
n.
Si m ,= 1,
//
n+1
(1) =
2
m
n+1
m
n+1
1
m1
+m
n
(m
n+2
m).
Como
//
n+1
(1) =V(Z
n+1
) E(Z
n+1
) +E(Z
n+1
)
2
.
Obtenemos que si m = 1, V(Z
n+1
) =
2
n. Si m ,= 1,
V(Z
n+1
) =
2
m
n+1
m
n+1
1
m1
+m
n
(m
n+2
m) +m
n+1
[m
n+1
]
2
=
2
m
n+1
m
n+1
1
m1
.
Queremos analizar el comportamiento del proceso, para ello necesitamos algunas propieda-
des de la funciones generadoras. Luego, veremos que de lo unico que depende que el proceso se
extinga es de la media. Adem as cuando no se extingue, queremos analizar el comportamiento de
la poblaci on.
Lema 3.1. La funci on cumple las siguientes propiedades:
1. es estrictamente creciente y convexa.
2. (0) = p
0
, (1) = 1.
3. Si m 1 entonces (s) > s, para todo s [0, 1).
m>1
1
1
q
1
1
m<1 m=1
4. Si m > 1 entonces (s) = s tiene una unica soluci on en [0, 1).
Demostraci on. 1. Veamos las derivadas de , como todas las sumas son absolutamente con-
vergentes para [s[ < 1 podemos intercambiar los lmites.
(s) =
k=0
p
k
s
k
,
/
(s) =
k=1
p
k
ks
k1
> 0 s (0, 1),
//
(s) =
k=2
p
k
k(k 1)s
k2
> 0 s (0, 1) (pues supusimos p
0
+ p
1
< 1).
Por lo tanto es estrictamente creciente y convexa
2. Es inmediato
3. Consideremos la funci on
g : [0, 1] R g(s) = (s) s.
Sus derivadas, g
/
(s) =
/
(s)1, g
//
(s) =
//
(s). Como es estrictamente convexa en [0, 1]
y (1) =1, la funci on g(s) tambi en es estrictamente convexa y g(1) =0. Luego la derivada
g
/
(s) es una funci on estrictamente creciente, y si suponemos m 1, g
/
(1) =
/
(1) 1 =
m1 0, por lo tanto g
/
es estrictamente decreciente en [0, 1]. Como g(1) =(1)1 =0,
g(s) > 0 para s [0, 1) y (s) > s en [0, 1).
4. Sea m>1, y g la funci on denida anteriormente. Como g
//
(s) >0 s (0, 1), g es convexa
en (0, 1) y g
/
es estrictamente creciente, por lo tanto g tiene a lo sumo un punto crtico en
(0, 1). Como g
/
(1) = m1 > 0 y g(1) = (1) 1 = 0, existe s
0
< 1 con g(s
0
) < 0. Por
otro lado, g(0) = p
0
> 0. Luego existe q (0, 1) tal que g(q) = 0, es decir, (q) = q.
38 CAP
ON
Teorema 3.2. Sea (Z
n
)
n0
un proceso de ramicaci on. La probabilidad de que la familia se
extinga es q, donde q representa la soluci on m as chica de (s) = s.
P
_
nN
Z
n
= 0
_
= q.
Demostraci on. Primero veamos que,
n
(0) q, cuando n . Observemos que (0) > 0,
y es creciente, por lo tanto, 0 < (0) < (q) = q. Aplicando nuevamente , 0 < (0) <
2
(0) < q. Repitiendo este procedimiento, obtenemos que
n
(0) es creciente y acotada. Sea
L = lm
n
n
(0), L q. Como es continua,
n+1
(L) =
_
lm
n
n
(0)
_
= lm
n
n+1
(0) = L.
Luego, L = q. Ahora s calculemos la probabilidad de extinci on,
P( n/Z
n
= 0) = P
_
nN
Z
n
= 0
_
Como Z
n
= 0 Z
n+1
= 0 y
n
(0) = P(Z
n
= 0) tenemos
P
_
nN
Z
n
= 0
_
= lm
n
P(Z
n
= 0) = lm
n
n
(0) = q.
Este teorema nos dice que si m1 el apellido de la familia se extingue en un tiempo nito con
probabilidad 1. Cuando m < 1 se lo llama caso sub-crtico, y cuando m = 1 caso crtico. Por otro
lado, si m > 1 (caso super-crtico) hay una probabilidad positiva de que los descendientes per-
manezcan en todas las generaciones futuras. Veremos que en este caso, no solo hay probabilidad
positiva de no extinguirse, sino que adem as el tama no de la poblaci on crece exponencialmente.
Para ello debemos introducir el concepto de martingala.
Denici on 3.1. Sea (X
n
)
nN
un proceso estoc astico. Se dice que X
n
es una Martingala, respecto
de la ltraci on (F
n
)
nN
si, para todo n 0
1. E([X
n
[) <
2. X
n
F
n
3. E(X
n+1
[F
n
) = X
n
.
Para abreviar, decimos que X
n
es F
n
-martingala.
Observaci on 3.1. Si X
n
es una martingala, E(X
n
) = E(X
0
) para todo n N.
Teorema 3.3. Sea (X
n
)
nN
una martingala no negativa, respecto a la ltraci on F
n
. Entonces,
casi seguramente, lm
n
X
n
existe y es nito.
Demostraci on. La demostraci on la vamos a omitir. Puede verse en Durret [4, p ag. 234-235].
Lema 3.2. Sea F
n
= (
k
i
, i 1, 1 k n), y m = E(
k
i
), entonces W
n
=
Z
n
m
n
es una F
n
martingala.
Demostraci on. Claramente, W
n
F
n
. Como m
n
es una constante, E(W
n+1
[F
n
) =
1
m
n
E(Z
n+1
[F
n
),
y
E(Z
n+1
[F
n
) = E
_
Z
n
i=1
n
1
F
n
_
= E
_
iN
1
iZ
n
n
1
F
n
_
= E
_
lm
N
N
i=1
1
iZ
n
n
1
F
n
_
.
La suma es de variables positivas, por lo tanto
E(Z
n+1
[F
n
) =

iN
E
_
1
iZ
n
n
1
[F
n
_
.
Como 1
iZ
n
F
n
y
n
1
es independiente de F
n
,
E(Z
n+1
[F
n
) =

iN
1
iZ
n
E(
n
1
) = mZ
n
.
Luego,
E(W
n+1
[F
n
) =
1
m
n+1
E(Z
n+1
[F
n
) =
1
m
n+1
mZ
n
=W
n
.
Como E(W
0
) = 1, E(W
n
) = 1 para todo n.
Corolario 3.1. Sea W
n
=
Z
n
m
n
, existe W una variable aleatoria, tal que
lm
n
W
n
=W c.s.
De esta convergencia se ve que Z
n
crece como m
n
W, si W ,= 0. Si P(W = 0) = 1 nos dice
simplemente que m
n
crece mas r apido que Z
n
. Pero en el caso en el cual estamos interesados,
podemos ver que P(W = 0) < 1.
Teorema 3.4 (Convergencia en L
p
). Sea X
n
una martingala con sup
nN
E([X
n
[
p
) < donde
p > 1, entonces existe X tal que X
n
n
L
p
X.
Demostraci on. La demostraci on puede verse en Durret [4, p ag. 252-253].
Teorema 3.5. Si m > 1, V(Z
1
) =
2
< y Z
0
= 1. Entonces,
1. lm
n
E(W
n
W)
2
= 0.
2. E(W) = 1.
40 CAP
ON
3. P(W = 0) = P(Z
n
= 0 para alg un n) = q.
Demostraci on. Por el Teorema 3.1,
E(W
2
n
) =
E(Z
2
n
)
m
2n
=
V(Z
n
) +E(Z
n
)
2
m
2n
=

2
m
n1
(m
n
1)
(m1)m
2n
+1 =

2
(1m
n
)
(m1)m
+1.
Como E(W
2
n
) es una funci on creciente en n,
sup
nN
E(W
2
n
) = lm
n
E(W
2
n
) =

2
m
2
m
+1 < .
Luego, por el Teorema 3.4 existe W
/
L
2
tal que W
n
converge a W
/
en L
2
. Por lo tanto W
n
converge casi seguramente a W
/
. Vimos que W
n
n
c.s.
W, por unicidad del lmite, P(W =W
/
) =1.
Como W
n
converge a W en L
2
, E(W
n
) E(W) y E(W
n
) = 1 para todo n as que E(W) = 1 y
W no puede ser constantemente 0, es decir, P(W = 0) < 1. Sea r = P(W = 0), tenemos
P(W = 0) = P
_
lm
n
Z
n
m
n
= 0
_
=
k=0
P
_
lm
n
Z
n
m
n
= 0[Z
1
= k
_
P(Z
1
= k).
La distribuci on de la cantidad de hijos en la n esima generaci on sabiendo que en la primer gen-
eraci on hubo k individuos, es igual a la distribuci on de la cantidad de hijos en la n 1 esima
generaci on de k familias independientes, luego
P
_
lm
n
Z
(k)
n
m
n
= 0
_
= P
_
lm
n
1
m
_
Z
1
n1
m
n1
+.. +
Z
k
n1
m
n1
_
= 0
_
= P( lm
n
W
1
n1
+.. +W
k
n1
= 0)
= P
_
k
i=1
lm
n
W
i
n1
= 0
_
=
k
i=1
P
_
lm
n
W
n1
= 0
_
= P(W = 0)
k
= r
k
.
Por lo tanto,
r = P(W = 0) =
k=0
r
k
P(Z
1
= k) = (r).
De donde, P(W = 0) = q, por el Teorema 3.2 P(Z
n
> 0 n N) = 1 q. Por otro lado,
W > 0 Z
n
> 0 n. Por lo que,
P
_
nN
Z
n
> 0W > 0
_
= P
_
nN
Z
n
> 0
_
P(W > 0) = 0.
Es decir, que para casi todo en el conjunto Z
n
> 0 n se tiene W() > 0 y por lo tanto
Z
n
m
n
.
3.2. PROCESOS DE RAMIFICACI
ON A TIEMPO CONTINUO 41
3.2. Procesos de ramicaci on a tiempo continuo
Una generalizaci on al proceso de Galton-Watson, es considerar el tiempo de vida de cada
individuo como una variable aleatoria continua, al t ermino de la cual se muere y se produce
un n umero aleatorio de individuos descendientes. En lugar de considerar la cadena de Markov
discreta, Z
n
, n N, tenemos que considerar el proceso, Z(t), t 0, donde Z(t) es el n umero
de individuos a tiempo t. Adem as, suponemos que la distribuci on del tiempo de vida de cada
individuo es la misma, exponencial de par ametro a y todos los individuos se reproducen seg un la
distribuci on de la variable aleatoria N. Cada individuo es independiente de los otros individuos
y de la historia del proceso.
Para empezar daremos la denici on de proceso de Markov a tiempo continuo, y luego de-
niremos proceso de ramicaci on unidimensional a tiempo continuo.
Denici on 3.2. Diremos que el proceso estoc astico X = (X
t
, t 0) a valores en el espacio (nito
o numerable) S es Markov si para todo 0 s t se tiene
P(X
t
= x[X
u
, u s) = P(X
t
= x[X
s
), para todo x S.
Sea P
i j
(t) la probabilidad de tener j individuos a tiempo t, siendo que a tiempo 0 haba i
individuos.
Denici on 3.3. Un proceso estoc astico Z(t, ), t 0 en el espacio de probabilidad (, F , P)
se llama proceso de ramicaci on markoviano unidimensional a tiempo continuo, si:
1. El espacio de estados es N
0
.
2. Es una cadena de Markov homog enea con respecto a la - algebra, F
t
=Z(s, ); s t.
3. La probabilidad de transici on P
i j
(t) satisface,
j=0
P
i j
(t)s
j
=
_

j=0
P
1j
(t)s
j
_
i
para todo i 0 y [s[ 1.
Esta ultima condici on nos dice que considerar un proceso de ramicaci on con i individuos
iniciales, es exactamente lo mismo que considerar la suma de i procesos de ramicaci on inde-
pendientes con un individuo inicial.
3.2.1. Construcci on
Vamos a construir el proceso de ramicaci on con un individuo inicial, por como denimos
procesos de ramicaci on, si comenzamos con varios individuos, simplemente es agarrar varias
copias de comenzar con uno solo. Cada individuo vive un tiempo exponencial de par ametro a >
0. Sea la variable aleatoria N con distribuci on p, notamos p
i
= P(N = i) con i N
0
. La cantidad
42 CAP
ON
Z(s)=9
0 s t
X(x,t)
Figura 3.1: Una realizaci on del proceso de ramicaci on. El conjunto X(s) son las intersecciones
de la linea vertical con las ramas a tiempo s. La cantidad de individuos vivos a ese tiempo es
Z(s). El conjunto X(x, t) consiste en los descendientes de x que estan vivos a tiempo t (indicados
con ). X(x, t) =(3, 1), (3, 2), (3, 3), (3, 4), (4)
.
de hijos que tiene cada individuo es una variable aleatoria con distribuci on p. Construimos el
arbol geneal ogico de la misma forma que lo construye Georgii-Baake [5] para el caso multi-tipo,
la construcci on original puede verse en Harris ([7]). Para empezar consideramos el espacio de
estados,
X =

nN
0
X
n
.
Donde X
n
describe la generaci on n- esima. Esto es, X
0
= 1, X
1
= N
0
un elemento x X
1
tiene
la forma x = l
1
, donde l
1
indica que es el l
1
- esimo descendiente de la raz. Luego para n N,
denimos X
n
=N
n
y x = (l
1
, ..., l
n
) X
n
es el l
n
- esimo hijo de x = (l
1
, ..., l
n1
) X
n1
. A cada
x X le asociamos,
un tiempo de vida aleatorio
x
, con distribuci on exponencial de par ametro a > 0, y
una variable aleatoria N
x
N
0
con distribuci on p, tal que la familia
x
, N
x
, x X es
independiente.
La variable N
x
indican cuantos descendientes tiene x X. Por lo tanto una realizaci on del proceso
es el conjunto X =
nN
0
X
n
, que queda denido recursivamente por,
X
0
= 1 X
n
=x = ( x, l
n
) X
n
/ x X
n1
, l
n
N
x
.
Para cada x X sea T
x
el momento en el que x muere y se reproduce, denido recursivamente
por T
x
= T
x
+
x
, con T
x
0
=
1
si x
0
= 1 X
0
. Luego, el intervalo de vida del individuo x es
[T
x
, T
x
). Por lo tanto, X(t) =x X/T
x
t < T
x
es la poblaci on a tiempo t. La familia completa
queda determinada por el proceso (X(t))
t0
. Cuando 0 < s < t y x X(s), denimos X(x, t)
a los descendientes de x que estan vivos a tiempo t. Consideramos Z(t) = [X(t)[, en palabras
Z(t) es la cantidad de individuos a tiempo t. Si no indicamos la cantidad de individuos iniciales,
consideramos que se inicia con un individuo.
Al igual que en el caso discreto estamos interesados en averiguar si la familia se extingue
cuando pasa el tiempo, es decir, analizar el comportamiento de Z(t) para t sucientemente
grande. Para ello debemos estudiar las probabilidades de transici on; P
i j
(t) para t > 0. Pero tener
varios individuos y que cada uno pueda tener hijos en cualquier momento, y estos volver a tener
hijos, hace que calcular las probabilidades de transici on a todo tiempo sea muy complicado. Es
por ello que vamos a estudiar las probabilidades de transici on en tiempos innitesimales, estas
son m as sencillas de calcular ya que en un tiempo sucientemente peque no solo un individuo
podr a reproducirse. Luego, podremos ver que las probabilidades de transici on para cualquier
tiempo son soluci on de las ecuaciones de Kolmogorov.
Sea P
i j
(h, t +h) la probabilidad de transici on P(Z(t +h) = j[Z(h) = i). Asumimos que el
proceso es homog eneo en el tiempo, es decir,
P
i j
(h, t +h) = P
i j
(t) t 0.
Calculemos las probabilidades innitesimales, P
i j
(h) para h sucientemente peque no, i, j N.
Si el proceso comienza con i individuos, el primer salto de la poblaci on ocurre cuando el
primero de estos i individuos muere y se reproduce. Si llamamos Y
k
a la duraci on aleatoria
del tiempo de vida del k- esimo individuo, sabemos que Y
k
tiene distribuci on exponencial de
par ametro a para todo k y son independientes, por lo tanto el primer salto de la poblaci on ocurre
con la distribuci on de la variable aleatoria mnY
1
, ...,Y
i
, es decir con distribuci on exponencial
de par ametro ia.
La probabilidad de que no muera ning un individuo en en el intervalo de tiempo (0, h), es
e
aih
. Y de que muera uno s olo es i(1e
ah
)(e
ah
)
i1
, ya que el tiempo de vida de cada individ-
uo es independiente y por lo tanto consideramos que un individuo (entre los i posibles) muera
en el intervalo (0, h) y que los dem as no mueran en ese intervalo. Esta probabilidad podemos
expresarla como iah+o(h).
Para h peque no la probabilidad mueran 2 o m as individuos en el intervalo (0, h) es 1
(e
aih
) (i(1e
ah
)(e
ah
)
i1
) que es del orden de o(h).
Por lo tanto,
P
i j
(h) = o(h)
para j < i 1.
La probabilidad de que exactamente uno muera antes de tiempo h es iah +o(h) y luego el
proceso salta al estado j i 1 con probabilidad p
ji+1
, luego
P
i j
(h) = iahp
ji+1
+o(h)
si j i 1, j ,= i y h peque no.
44 CAP
ON
Para calcular P
ii
(h) debemos considerar los siguientes eventos disjuntos, que no muera ning un
individuo en (0, h), que muera solo uno, y que mueran m as de 2. Este ultimo como dijimos an-
tes es o(h). La probabilidad de que ning un individuo muera es e
aih
= 1 iah +o(h). Cuando
consideramos que muera un individuo, para seguir teniendo i individuos este debe tener un solo
hijo. Por lo tanto,
P
ii
(h) = 1iah+iahp
1
+o(h).
Teorema 3.6 (Ecuaciones de Kolmogorov). Las probabilidades de transici on P
i j
(t), con t > 0
son soluci on de las siguientes ecuaciones:
( f orward)
d
dt
P
i j
(t) =jaP
i j
(t) +a
j+1
k=1
kP
ik
(t)p
jk+1
, (3.3)
(backward)
d
dt
P
i j
(t) =iaP
i j
(t) +ia
k=i1
P
k j
(t)p
ki+1
, (3.4)
con condiciones de contorno,
P
i j
(0
+
) =
i j
. (3.5)
Demostraci on. Para demostrar ambas ecuaciones usaremos las probabilidades de transici on in-
nitesimales ya calculadas.
P
i j
(t +h) = P
i
(Z(t +h) = j) =
k=1
P(Z(t +h) = j[Z(t) = k)P
i
(Z(t) = k)
=
k=1
P
k j
(h)P
ik
(t) =
j+1
k=1
[kahp
jk+1
P
ik
(t)] +(1 jah)P
i j
(t) +o(h).
De donde,
lm
h0
P
i j
(t +h) P
i j
(t)
h
= a
j+1
k=1
kp
jk+1
P
ik
(t) jaP
i j
(t).
Por otra parte
P
i j
(t +h) = P
i
(Z(t +h) = j) =
k=1
P(Z(t +h) = j[Z(h) = k)P
i
(Z(h) = k)
=
k=1
P
k j
(t)P
ik
(h) =
k=i1
[iahp
ki+1
P
k j
(t)] iahP
i j
(t) +o(h).
Por lo tanto,
lm
h0
P
i j
(t +h) P
i j
(t)
h
= ai
k=i1
p
ki+1
P
k j
(t) iaP
i j
(t).
Desafortunadamente, las ecuaciones de Kolmogorov siempre tienen soluci on si
j
P
i j
(t) 1,
pero esta soluci on puede que no sea unica. Este problema surge cuando es posible que el proceso
tenga innitos individuos en un tiempo nito, es decir, que explote. Esta situaci on existe cuando
las ecuaciones (3.3), (3.4) tienen soluciones tal que
j
P
i j
(t) < 1. Puede verse en Harris [7,
cap. V, sec. 3] , que si el proceso no explota, las ecuaciones de Kolmogorov tienen como unica
soluci on P
i j
(t) que satisfacen
j
P
i j
(t) = 1.
Para ver que el proceso no explota calculemos E(Z(t)), para t (0, ). Para ello consid-
eremos la variable aleatoria Y con distribuci on exponencial de par ametro a. Supongamos que
comenzamos el proceso con un solo individuo. La cantidad de individuos a tiempo t podemos
considerarla de la siguiente forma; que el individuo inicial muri o antes de tiempo t, es decir, que
Y <t, y este dej o N hijos, o que el individuo permanece con vida a tiempo t, es decir, Y >t
Z(t) = 1
Y<t
N
i=0
Z
i
(t Y) +1
Y>t
,
donde Z
i
(t Y) denota un proceso de ramicaci on a tiempo continuo con 1 individuo inicial,
observado a tiempo t Y, la potencia i nota que es el proceso de ramicaci on del i- esimo hijo.
Como cada individuo tiene hijos de forma independiente, los procesos Z
i
son independientes.
Luego la esperanza,
E(Z(t)) = E
_
1
Y<t
N
i=0
Z
i
(t Y)
_
+E(1
Y>t
)
de donde, condicionando a Y en el primer t ermino, obtenemos;
E(Z(t)) =
t
0
E
_
ae
as
N
i=0
Z
i
(t s)
_
ds +E(1
Y>t
)
=
t
0
ae
as
E
_
N
i=0
Z
i
(t s)
_
ds +P(Y >t)
=
t
0
ae
as
E(N)E(Z(t s))ds +P(Y >t)
= E(N)a
t
0
e
as
E(Z(t s))ds +e
at
,
la tercera igualdad es cierta pues la variable N es independiente de las variables (Z
k
)
k=1..i
y las
Z
k
tienen todas igual distribuci on. Es decir que E(Z(t)) es soluci on de la ecuaci on diferencial
g(t) =E(N)a
t
0
e
as
g(t s)ds+e
at
. Puede verse en Perko[11] que esta ecuaci on tiene soluci on
unica. Veamos que la soluci on es e
h
, con alguna constante adecuada.
e
t
= E(N)a
t
0
e
as
e
(ts)
ds +e
at
46 CAP
ON
e
t
= E(N)ae
t
t
0
e
(a+)s
ds +e
at
e
t
= E(N)ae
t
1e
(a+)t
a+
+e
at
1 =
E(N)a
a+
(1e
(a+)t
) +e
(a+)t
.
Por lo tanto, e
t
es soluci on de la ecuaci on s y solo s, = a(E(N) 1). Luego,
E(Z(t)) = e
a(E(N)1)t
t (0, ). (3.6)
Por lo tanto Z(t) es nito con probabilidad 1 para todo t 0.
De (3.6), podemos ver que:
1. Si E(N) < 1, E(Z(t)) decae exponencialmente (caso sub-crtico).
2. Si E(N) = 1, E(Z(t)) = 1 (caso crtico).
3. Si E(N) > 1, E(Z(t)) crece exponencialmente (caso super-crtico).
3.2.2. Funciones generadoras
Denimos la funci on generadora de Z(t),
F(s, t) =
k=0
P(Z(t) = k[Z(0) = 1)s
k
=
k=0
P
1k
(t)s
k
= E
1
(s
Z(t)
)
y las funciones f (s) =
j=0
p
j
s
j
, [s[ 1 y u(s) = a( f (s) s), donde a es la media del tiempo
de vida de un individuo y p
k
la probabilidad de que un individuo tenga k hijos.
Teorema 3.7 (Ecuaciones de Kolmogorov). La funci on F(s, t) denida anteriormente, cumple
las siguientes ecuaciones:
(backward)

t
F(s, t) = u(s)

s
F(s, t), (3.7)
( f orward)

t
F(s, t) = u(F(s, t)), (3.8)
con condici on de contorno:
F(s, 0) = s. (3.9)
Demostraci on. Primero demostremos (3.7), para ello usaremos (3.3). Para i = 1
t
P
1k
(t) =kaP
1k
(t) +a
k+1
i=1
iP
1i
(t)p
ki+1
.
Por lo tanto,
t
F(s, t) =
k=0
t
P
1k
(t)s
k
=
k=0
_
kaP
1k
(t) +a
k+1
i=1
iP
1i
(t)p
ki+1
_
s
k
=a
k=0
kP
1k
(t)s
k
+a
k=0
k+1
i=1
iP
1i
(t)p
ki+1
s
k
=a
k=0
kP
1k
(t)s
k
+a
_

i=0
p
i
s
i
__

k=0
P
1k
(t)ks
k1
_
= a
k=0
P
1k
(t)ks
k1
_

i=0
p
i
s
i
s
_
= u(s)

s
F(s, t).
Para probar (3.8), usaremos (3.4) para i = 1, y la condici on (3) de la Denici on 3.3.
d
dt
P
1k
(t) =aP
1k
(t) +a
l=0
P
lk
(t)p
l
.
Por lo tanto,
t
F(s, t) =
k=0
_
aP
1k
(t) +a
l=0
P
lk
(t)p
l
_
s
k
=a
k=0
P
1k
(t)s
k
+a
k=0
l=0
P
lk
(t)p
l
s
k
=a
k=0
P
1k
(t)s
k
+a
l=0
p
l
k=0
P
lk
(t)s
k
=a
k=0
P
1k
(t)s
k
+a
l=0
p
l
_

k=0
P
1k
(t)s
k
_
l
= a( f (F(s, t)) F(s, t))
= u(F(s, t)).
Observemos que la funci on F(s, t) cumple una f ormula de iteraci on similar a f
n
(s) en el
proceso de Galton-Watson.
F(s, t +u) =
k=0
P
1k
(t +u)s
k
,
condicionando a las posibles cantidades de individuos a tiempo u, y usando la homogeneidad de
la cadena obtenemos,
F(s, t +u) =
k=0
j=0
P
1j
(u)P
jk
(t)s
k
,
48 CAP
ON
intercambiando el orden de las sumas y usando la denici on de proceso de ramicaci on a tiempo
continuo,
F(s, t +u) =
j=0
P
1j
(u)F
j
(s, t).
Por lo tanto,
F(s, t +u) = F(F(s, t), u) [s[ 1, u 0, t 0. (3.10)
3.2.3. El proceso discreto inmerso
El proceso de ramicaci on a tiempo discreto nos va a ayudar a analizar el comportamiento
del proceso de ramicaci on a tiempo continuo. Para ello veremos en el siguiente Teorema el
proceso discreto inmerso en un proceso continuo.
Teorema 3.8. Sea Z(t, ), t 0 un proceso de ramicaci on markoviano unidimensional a
tiempo continuo. Para todo > 0 la sucesi on Z
n
() = Z(n, ) es un proceso de Galton-Watson
con funci on generadora de momentos (s) = F(s, ).
Demostraci on. Dado > 0, el proceso Z
n
nN
es una cadena de Markov con probabilidad de
transici on P(Z
n+1
= i[Z
n
= j) = P(Z(n) = i[Z(n) = j) = P
ji
(). Para ver que es un proceso de
Galton-Watson nos basta ver que la funci on generadora de Z
n
es componer n veces la funci on
generadora de Z
1
. La funci on generadora de momentos de Z
n
es
(n)
(s) = E(s
Z
n
[Z
0
= 1). Por
(3.10)
(n)
(s) = (
(n1)
(s)),
por lo tanto
(n)
(s) =
n
(s) que es la n- esima composici on de la funci on (s).
Para decir cuando se extingue el proceso a tiempo continuo usaremos el proceso discreto
inmerso con = 1, ya que si existe t
0
tal que Z(t
0
) = 0, para todo t t
0
Z(t) = 0. Y vimos
en la secci on anterior que el proceso de Galton-Watson se extingue en un tiempo nito con
probabilidad 1 en el caso sub-crtico (m < 1) y en el caso crtico (m = 1). Como E(Z(t)) =
e
a(E(N)1)
, obtenemos que el proceso se extingue en un tiempo nito si E(N) 1. En el caso
super-crtico, cuando E(N) > 1, la expresi on de la esperanza nos sugiere que la poblaci on crece
exponencialmente, para demostrarlo necesitamos usar convergencia de martingalas. Para ello,
debemos ver la versi on a tiempo continuo de las deniciones de ltraci on y martingala.
Denici on 3.4. 1. Sea (, F ) un espacio medible. Decimos que una familia (F
t
)
t0
de -
algebras contenidas en F es una ltraci on si F
s
F
t
para todo 0 s t.
2. Sea (, F ) un espacio medible, equipado con una ltraci on (F
t
)
t0
. Un proceso estoc asti-
co X denido en (, F ) se dice adaptado a la ltraci on (F
t
)
t0
si para cada t 0, X
t
es
F
t
-medible.
3. Sea X =X
t
: t 0 un proceso estoc astico denido en un espacio de probabilidad (, F , P)
y sea (F
t
)
t0
una ltraci on en dicho espacio. Decimos que X es una martingala a tiempo
continuo con respecto a la ltraci on (F
t
)
t0
si satisface las siguientes condiciones:
X es adaptado a la ltraci on (F
t
)
t0
;
E([X
t
[) < + para todo t 0;
Para todo 0 s t, se tiene E(X
t
[F
s
) = X
s
.
Al igual que en el caso discreto, para analizar el lmite de la poblaci on necesitamos resultados
de convergencia de martingalas.
Teorema 3.9 (Teorema de Convergencia de Martingalas). Sea X(t)
t0
una F
t
-martingala con-
tinua a derecha. Si sup
t0
E(X(t)) < , entonces existe X = lm
t
X(t) c.s.
Demostraci on. Puede verse en Kallenberg, [8, pag. 107].
Teorema 3.10. La familia Z(t)e
t
, F
t
= (Z(s), 0 s t), t 0 es una martingala.
Demostraci on. Claramente Z(t)e
t
F
t
. Para calcular la esperanza de Z(t), nos va a ser muy
util expresar la cantidad de individuos a tiempo t como la suma de Z(s) procesos de ramicaci on
independientes mirados a tiempo t s. Es decir, dados s y t tales que 0 < s <t,
Z(t) =
Z(s)
j=1
Z
j
(t s)
si Z(s) > 0, y Z(t) = 0 si Z(s) = 0. Por lo tanto,
E(Z(t)[F
s
) = E(Z(t)[Z
s
) = E
_
Z(s)
j=1
Z
j
(t s)
Z(s)
_
= Z(s)E(Z(t s)) = Z(s)e
(ts)
.
Luego, E(Z(t)e
t
[F
t
) =Z(s)e
s
. Como E(Z(0)) =1, E(Z(t)e
t
) =1, y por lo tanto Z(t)e
t
es una F
t
-martingala.
Corolario 3.2. Sea X(t) = Z(t)e
t
, existe X una variable aleatoria, tal que
lm
t
X(t) = X c.s.
Otra vez la cuesti on es ver si X = 0, para ello usaremos el caso discreto, ya que por el
Corolario 3.1 para todo > 0 tenemos,
W
= lm
n
Z(n)e
n
,
y para
>0 y V(Z(1)) <vimos que para casi todo en el evento Z(n, ) >0, n N
se tiene que W
() > 0. Como P(W
=W) = 1, para casi todo en Z(t, ) > 0 se tiene que

W() > 0. Concluimos que Z(t) e
t
con probabilidad 1.
50 CAP
ON
3.3. Tiempo continuo, multi-tipo
Consideremos el proceso de ramicaci on a tiempo continuo, con distintos tipos de individuos
(por ejemplo como muestra la gura, verde, rojo y azul). Al igual que en el caso anterior con-
sideramos que el tiempo de vida de cada individuo tiene distribuci on exponencial, pero en este
caso los distintos tipos de individuos podran tener distintas medias. Tambi en vamos a consid-
erar Z(t) como la cantidad de individuos a tiempo t, pero en este caso si consideramos que hay
k individuos distintos, Z(t) = (Z
1
(t), .., Z
k
(t)) donde Z
i
(t) es la cantidad de individuos de tipo i
a tiempo t. Notamos P
i
(j, t) con i = (i
1
, .., 1
k
), j = ( j
1
, .., j
k
) N
k
0
, a la probabilidad de tener j
1
individuos de tipo 1, .., j
k
individuos de tipo k, a tiempo t, dado que a tiempo 0 el proceso tena
i
1
individuos de tipo 1,.., i
k
individuos de tipo k. Comencemos dando la denici on de proceso de
ramicaci on multitipo.
Denici on 3.5. Un proceso estoc astico Z(t, ), t 0 en el espacio de probabilidad (, F , P)
se llama proceso de ramicaci on markoviano k-dimensional a tiempo continuo, si:
1. El espacio de estados es N
k
0
.
2. Es una cadena de Markov homog enea con respecto a la - algebra, F
t
=Z(s, ); s t.
3. La probabilidad de transici on P
i
(j, t) satisface,
jN
k
0
P
i
(j, t)s
j
=
k
l=1
_
_
jN
k
0
P
e
l
(j, t)s
j
_
_
i
l
para todo i N
k
0
y [s
j
[ 1, j 1, .., k, donde s = (s
1
, .., s
k
) R
k
.
Esta ultima condici on nos dice que considerar un proceso de ramicaci on con i = (i
1
, .., i
k
)
individuos iniciales, es exactamente lo mismo que considerar la suma de i
j
procesos de rami-
caci on independientes con un individuo inicial de tipo j, y la suma sobre los distintos tipos de
individuos.
3.3.1. Construcci on
Sea S =1, .., k el espacio de los distintos tipos de individuos. Cada individuo i S vive un
tiempo exponencial de par ametro a
i
> 0. Sea N la matriz con entradas aleatorias N
i j
con i, j
1, .., k donde N
i j
es el n umero de hijos de tipo j que tiene el individuo de tipo i. N
i
= (N
i j
)
jS
tiene distribuci on p
i
= (p
i1
, .., p
ik
), y media nita m
i j
= E(N
i j
), i, j S.
Asumimos que la matriz M = (m
i j
)
i, jS
es irreducible. Construimos el arbol geneal ogico.
Para empezar consideramos el espacio de estados
X =
nN
X
n
.
3.3. TIEMPO CONTINUO, MULTI-TIPO 51
Z(s)=[3,1,1]
X(s)
x
=
(v
,r;2
,1
)
N=[1,2,1]
i
0
i0
r =
0 s t
X(x,t)
Figura 3.2: Una realizaci on del proceso de ramicaci on. Donde S = r, v, a. El conjunto X(s)
son las intersecciones de la linea vertical a tiempo s. El tipo de individuos vivos a ese tiempo es
Z(t). El conjunto X(x, t) consiste en los descendientes de x que estan vivos a tiempo t (indicados
con ). X(x, t) =(v, r; 1, 1), (v, v; 1, 1), (v, v; 1, 2), (a; 1)
.
Donde X
n
es el espacio donde vive la generaci on n- esima. Esto es X
0
=S y i
0
X es la raz del
arbol. El siguiente es X
1
=S Ny el elemento x = (i
1
, l
1
) X
1
es el l
1
- esimo hijo de tipo i
1
en la
raz. Finalmente, para n > 1, X
n
=S
n
N
n
y x = (i
1
, .., i
n
, l
1
, .., l
n
) X
n
es l
n
- esimo hijo de tipo
i
n
del padre x = (i
1
, .., i
n1
, l
1
, .., l
n1
). Escribimos (x) = i
n
para el tipo de x X
n
. Observemos
que (x) S.
A cada x X le asociamos
un tiempo de vida aleatorio
x
, con distribuci on exponencial de par ametro a
(x)
,
descendencia aleatoria, N
x
= (N
x j
)
jS
N
S
0
con distribuci on p
(x)
tal que las variables
x
, N
x
: x X son independientes.
Las variables aleatorias N
x
indican como son actualizados los individuos x X. Por lo tanto el
conjunto X =
nN
X
n
esta denido recursivamente por
X
0
=i
0
X
n
=x = ( x, i
n
, l
n
) X
n
: x X
n1
, l
n
N
x,i
n
.
La variable aleatoria
x
es el tiempo de vida de x X. Sea T
x
el instante en muere y se
reproduce x. Lo denimos recursivamente por T
x
= T
x
+
x
, con T
i
0
=
i
0
si

i
0
X
0
, es decir el
tiempo en el que esta vivo x X es: [T
x
, T
x
). Por lo tanto, X(t) = x X/T
x
t < T
x
es la
poblaci on a tiempo t.
52 CAP
ON
El arbol completo esta determinado por el proceso X(0, ) = (X(t))
t0
denido en un espacio
al que llamamos . Cuando comenzamos con una distribuci on inicial , la distribuci on de X(t)
en es P
y la esperanza es E
, cuando i
0
= i notamos, P
i
y E
i
.
Para cada x X(s) consideramos, X(x, t) = y X : xy X(t), en palabras el conjunto
X(x, t) son los descendientes de x que estan vivos a tiempo t.
Por la propiedad de falta de memoria de la distribuci on exponencial, los descendientes de
X(x, [s, )) = (X(x, t))
ts
con x X(s), son independientes de X[0, s].
Consideremos las siguientes medidas,
Z(t) =

xX(t)
(x)
Z(x, t) =

yX(x,t)
(y)
Es decir, Z(t) = (Z
1
(t), .., Z
k
(t)) donde Z
i
(t) es la cantidad de individuos de tipo i que viven a
tiempo t. En particular, Z
i
(t) es el cardinal de X
i
(t) = x X(t) : (x) = i. Y la subpoblaci on
descendiente de x ; Z(x, t) = (Z
1
(x, t), .., Z
k
(x, t)) con Z
i
(x, t) la cantidad de individuos de tipo i
descendientes de x que estan vivos a tiempo t. El total de la poblaci on a tiempo t lo denotamos,
[[Z(t)[[ =
jS
Z
j
(t) =[X(t)[.
3.3.2. Funciones generadoras
Consideremos las siguientes funciones,
f (s) = ( f
1
(s), .., f
k
(s))
donde f
i
(s) =
jN
k
0
p
i
(j)s
j
y p
i
(j) la probabilidad de que un individuo de tipo i tenga j individ-
uos, es decir, j
1
individuos de tipo 1, .., j
k
individuos de tipo k.
u
i
(s) = a
i
[ f
i
(s) s
i
]
donde a
i
es el tiempo medio de vida del individuo de tipo i. Por ultimo, denimos la funci on
generadora de Z(t) cuando comenzamos con i individuos, como
F(i, s, t) =

jN
k
0
P
i
(j, t)s
j
.
Denotamos
F(s, t) = (F(e
1
, s, t), .., F(e
k
, s, t))
u(s) = (u
1
(s), .., u
k
(s))
Teorema 3.11. Las funciones F(s, t), y u(s) denidas anteriormente cumplen las Ecuaciones de
Kolmogorov:
( f orward)

t
F(e
i
, s, t) =
k
j=1
u
j
(s)

s
j
F(e
i
, s, t), (3.11)
(backward)

t
F(e
i
, s, t) = u
i
(F(s, t)), (3.12)
con i = 1, .., k. Con condiciones de contorno,
P
i
( j, 0
+
) =
i, j
(3.13)
Demostraci on. Puede verse usando el Teorema 3.7
Al igual que en los otros procesos de ramicaci on queremos calcular E(Z(t)). Para ello con-
sideramos las variables aleatorias Y
i
con i 1, .., k independientes con distribuci on exponencial
y media a
i
. Cada Y
i
es el tiempo de vida de un individuo de tipo i. Notamos Z
i
j
(t) a la cantidad
de individuos de tipo j que hay a tiempo t considerando que el proceso comenz o con un solo
individuo de tipo i.
Si comenzamos con un individuo de tipo i, la cantidad de individuos de tipo j a tiempo t
podemos expresarla de la siguiente manera,
Z
i
j
(t) = 1
Y
i
<t
k
l=1
N
il
n=1
Z
l,n
j
(t Y) +1
Y
i
>t
i j
ya que podemos separar en 2 casos; que el individuo inicial sigue vivo a tiempo t, o que el
individuo inicial muere antes de tiempo t, y este tiene N
i
hijos, donde N
i
= (N
i1
, .., N
ik
), por lo
tanto en este caso la cantidad de hijos de tipo j a tiempo t lo podemos contar como la cantidad de
hijos de tipo j a tiempo t Y de los procesos de ramicaci on Z
l,n
j
, donde l es el tipo de individuo
con el que comienza el proceso y n indica que es el n- esimo hijo de tipo l del individuo inicial i.
Tomando esperanza y condicionando a lo ocurrido con Y
i
obtenemos,
E(Z
i
j
(t)) =
t
0
a
i
e
a
i
s
k
l=1
E
_
N
il
n=1
Z
l,n
j
(t s)
_
ds +P(Y
i
>t)
i j
.
Como la cantidad de hijos del individuo inicial es independiente del comportamiento en el futuro
de estos individuos,
E(Z
i
j
(t)) = a
i
k
l=1
t
0
e
a
i
s
E(N
il
)E(Z
l
j
(t s))ds +e
a
i
t
i j
.
Si llamamos C
i j
(t) = E(Z
i
j
(t)), la matriz C(t) en lugar i, j cumple,
C
i j
(t) =a
i
k
l=1
E(N
il
)
t
0
e
a
i
s
C
i j
(t s)ds+e
a
i
t
i j
=a
i
k
l=1
E(N
il
)e
a
i
t
t
0
e
a
i
u
C
i j
(u)du+e
a
i
t
i j
.
Puede verse en Perko [11] que existe una unica soluci on de esta ecuaci on diferencial y es deriv-
able. Por lo tanto,
54 CAP
ON
d
dt
(C
i j
(t)) = a
i
k
l=1
E(N
il
)e
a
i
t
_
e
a
i
t
C
l j
(t) a
i
t
0
e
a
i
u
C
i j
(u)du
_
a
i
e
a
i
t
i j
= a
i
k
l=1
E(N
il
)C
l j
(t) a
i
a
i
k
l=1
E(N
il
)
t
0
e
a
i
u
C
i j
(u)dua
i
e
a
i
t
i j
= a
i
k
l=1
E(N
il
)C
l j
(t) a
i
C
l j
(t) = a
i
k
l=1
E(N
il
)C
l j
(t) a
i
C
l j
(t)
k
l=1
il
= a
i
k
l=1
(E(N
il
)
il
)C
l j
(t).
Si denotamos A = a(E(N) Id), la matriz C
i j
(t) cumple la siguiente ecuaci on diferencial;
d
dt
C
i j
(t) =
k
l=1
A
il
C
l j
(t).
Por lo tanto, para cada t > 0
d
dt
C(t) = AC(t),
C(0) = Id.
De la teora de ecuaciones diferenciales se desprende que C(t) = e
tA
. Para m as detalle puede
verse Norris [10, p ag. 61,62]. De donde,
E(Z(t)) = e
tA
.
La matriz E(Z(t)) tiene entradas positivas para todo t > 0, por la teora de Perron-Frobenius,
para cada t existe un autovalor (t) de C(t) estrictamente positivo tal que cualquier otro autovalor
(t) de C(t) satisface [ (t)[ < (t) y adem as (t) tiene multiplicidad 1. Como C(t) = e
At
los
autovalores de C(t) estan dados por e
i
t
, i = 1, .., k donde
1
,
2
, ..,
k
son los autovalores de A.
Los autovectores asociados de C(t) coinciden con los de A. Podemos ordenar los autovalores de
A de la siguiente manera
=
1
> Re([
2
[) .. Re([
k
[).
Adem as tiene autovectores asociados a izquierda y derecha, y h positivos, normalizados,
tal que [[ = 1 y h
t
= 1. Por lo tanto C(t) tiene a e
t
como autovalor de m odulo m aximo, de
multiplicidad 1, con autovectores asociados y h. Usando el autovector a izquierda podemos
construirnos una martingala, y esta al igual que en los casos anteriores nos ayudar a a analizar el
comportamiento de Z(t).
Teorema 3.12. La familia Z(t)e
t
, F
t
= (Z(s), 0 s t), t 0 es una martingala.
Demostraci on. Claramente Z(t)e
t
F
t
. Veamos que para todo i 1, .., k, Z
i
(t) es martin-
gala. Para calcular la esperanza de Z
i
(t), nos va a ser muy util expresar la cantidad de individuos
a tiempo t como la suma de Z
l
(s) procesos de ramicaci on independientes que comienzan con
un individuo de tipo l mirados a tiempo t s, y la suma sobre todos los tipos de individuos. Es
decir, dados s y t tales que 0 < s <t,
Z
i
(t) =
k
l=1
Z
i
l
(s)
j=1
Z
l, j
(t s)
si existe n tal que Z
i
n
(s) > 0, y Z(t) = 0 si Z
i
n
(s) = 0 para todo n 1, .., k. Por lo tanto,
E(Z
i
(t)[F
s
) = E(Z
i
(t)[Z(s)) = E
_
_
k
l=1
Z
i
l
(s)
j=1
Z
l, j
(t s)
Z(s)
_
_
=
k
l=1
Z
i
l
(s)E(Z
l
(t s)) =
k
l=1
Z
i
l
(s)
l
e
(ts)
= Z
i
(s)e
(ts)
.
Luego, E(Z
i
(t)e
t
[F
t
) = Z
i
(s)e
s
. Como E(Z
i
(0)) =
i
, E(Z
i
(t)e
t
) =
i
, y por lo
tanto Z
i
(t)e
t
es una F
t
-martingala para todo i 1, .., k.
Usando que la matriz A puede descomponerse como S+N donde S es una matriz diagonaliz-
able y N una matriz nilpotente puede verse que C(t) = e
t
h
t
+O(t
r
e
[
2
[t
) para alg un r positivo
que no depende de t. Por lo tanto,
1. Caso sub-crtico.
Si < 0, E(Z(t)) decae exponencialmente, ( cada coordenada de la matriz tiende a 0
exponencialmente). Por lo tanto, para > 0,
P([Z(t)[ > )
E([Z(t)[)
t
0.
De donde [Z(t)[ converge en probabilidad a 0. Por lo tanto, existe una sub-sucesi on de
[Z(t)[ que converge a 0 casi seguramente. Como [Z(t)[ N
0
y si existe t
0
tal que [Z(t
0
)[ =0
entonces [Z(t)[ = 0 para todo t t
0
, tenemos que lm
t
[Z(t)[ = 0 casi seguramente.
Observemos que, < 0 s y solo s el autovalor de m odulo m aximo de la matriz E(N) es
menor que 1.
2. Caso crtico.
Si = 0, E(Z(t)) = h
t
para todo t 0. No nos da informaci on suciente para analizar el
comportamiento de la poblaci on para tiempos sucientemente grandes. Sin embargo, por
el Teorema 3.12 y usando el Teorema 3.9 aplicado a cada coordenada, tenemos que existe
una variable aleatoria Z
tal que lm
t
Z(t) = Z
c.s. Este lmite no podra ser distinto

de 0, pues la probabilidad de que todos los individuos tengan un unico descendiente de
su tipo es distinta de 1 y por lo tanto el proceso cambiara de estado r apidamente. Para
analizar este caso con m as detalle puede verse Athreya [2, cap.V].
56 CAP
ON
3. Caso super-crtico.
Si > 0, E(Z(t)) crece exponencialmente. Veamos que la cantidad de individuos de cada
tipo crece exponencialmente. Si el proceso comienza con un individuo de tipo i, el proceso
Z
i
i
(t) domina el proceso de ramicaci on discreto de un solo tipo de individuo con media
mayor a 1, pues Z
i
i
(t) considera los individuos de tipo i, hijos de cualquier individuo j
S y cuando decimos el proceso de ramicaci on de un solo individuo consideramos los
individuos de tipo i descendientes de individuos de tipo i. Como la cantidad de individuos
en este ultimo proceso crece exponencialmente, tambi en lo hace Z
i
i
(t) para todo i S.
En este ultimo caso el tama no de la poblaci on tiende a innito, pero queremos analizar c omo
es la distribuci on de la poblaci on, si dividimos por la cantidad de individuos a tiempo t, es decir,
estudiar el comportamiento de
Z(t)
[Z(t)[
para t grande. En este caso,
E(Z(t)e
t
)
t
h
t
. (3.14)
Es un hecho notable que el comportamiento del arbol este determinado por , h, . Denota-
mos:
s
=X(t) ,= t > 0,
al evento en que la poblaci on sobrevive a todo tiempo. Para ver el comportamiento de la poblaci on,
lo primero que queremos estudiar es una especie de ley de los grandes n umeros para la distribu-
ci on de la poblaci on, considerando el tiempo discreto, pero donde las unidades de tiempo son:
n, para > 0. Para ello necesitamos el siguiente lema.
Lema 3.3. Sean
(n)
i
: n, i N variables aleatorias i.i.d. con valores en N, con media m > 1
y segundo momento nito. Si (V
n
)
nN
son variables aleatorias con valores en N tal que V
n+1

V
n
n=1
(n)
i
para todo n N. Entonces
lminf
n
V
n+1
V
n
m c.s.
en el evento E =lm
n
V
n
,= 0.
Demostraci on. El proceso de ramicaci on simple denido por Z
n+1
=
Z
n
i=1
(n)
i
, cumple que Z
n
crece exponencialmente si lm
n
Z
n
,= 0. Por lo tanto por comparaci on, V
n
crece exponencial-
mente en E.
Sea m
/
<m. Queremos acotar P(V
n+1
<m
/
V
n
[V
n
), para ello observemos que V
n+1
<m
/
V
n
=
V
n+1
mV
n
< (m
/
m)V
n

V
n
n=1
(n)
i
mV
n
< (m
/
m)V
n
[
V
n
n=1
(n)
i
mV
n
[ > (m
m
/
)V
n
. Por lo tanto,
P(V
n+1
< m
/
V
n
[V
n
) P
_
V
n
n=1
(n)
i
mV
n
> (mm
/
)V
n
V
n
_
E([
V
n
n=1
(n)
i
[
2
V
n
)
(mm
/
)
2
V
2
n
=
V
n
Var(
(n)
i
)
(mm
/
)
2
V
2
n
C
V
n
.
Como suponemos que ocurre E, V
n
crece exponencialmente, por lo tanto P(
n=1
c
V
n
< [E) = 1
y
n=1
P(V
n+1
< m
/
V
n
[V
n
) < tiene probabilidad total en E.
Por el Lema de Borel Cantelli condicionado (ver Ap endice 5.1),
_
k
1
P(V
n+1
< m
/
V
n
[V
n
) =
_
=
n
0
k>n
0
_
V
k+1
V
k
< m
/
_
.
Por lo tanto,
P
_
n
0
k>n
0
_
V
k+1
V
k
< m
/
_
E
_
= 0.
De donde,
1 = P
_
n
0
k>n
0
_
V
k+1
V
k
m
/
_

E
_
= P
_
lminf
k
V
k+1
V
k
m
/
E
_
.
Ahora s veamos como se comporta la distribuci on de la poblaci on, para ello vamos a seguir
el procedimiento de Georgii-Baake[5]. El caso discreto fue hecho por Kurtz, Lyons, Pemantle y
Peres ([9])
Proposici on 3.2. Sea , u > 0, i, j S y sea f una funci on medible tal que c
j
= E
j
( f X[0, u]).
Entonces,
lm
n
1
Z
j
(n)

xX
j
(n)
f X(x, [n, n+u]) = c
j
c.s. en
s
Demostraci on. Asumimos que es mayor que u y sea =E
j
(Z
j
()) >1. Tal existe porque >
0 y A es irreducible. Sea F
n
la - algebra generada por X[0, n]. Para cada n N consideremos
las variables aleatorias
n,x
= f X(x, [n, n+u])
con x X
j
(n).
n,x
es F
(n+1)
-medibles, y condicional a F
n
son i.i.d. con media c
j
. Esto implica
que si construimos la sucesi on (
l
)
l1
en
s
enumerando primero
1,x
: x X
j
() en alg un
orden, luego
2,x
: x X
j
(2), y as sucesivamente. Por la Ley de los Grandes N umeros,
lm
k
1
k
k
l=1
l
= c
j
c.s. en
s
.
58 CAP
ON
En particular, tomamos la subsucesi on,
A
n
=
1
n
l=1
l
n
l=1
xX
j
(l)
l,x
.
Donde
l
= Z
j
(l)
La sucesi on (
l
)
l1
domina el proceso de ramicaci on discreto de un solo tipo de individuo
con media > 1, pues
l
considera los individuos de tipo j, hijos de cualquier individuo i S
y cuando decimos el proceso de ramicaci on de un solo individuo consideramos los individuos
de tipo j descendientes de individuos de tipo j. Como este ultimo proceso sobrevive, tambi en lo
hace la sucesi on (
l
)
l1
.
Las variables
l
verican las hip otesis del Lema 3.3 de donde,
lminf
l
l+1
l
c.s. en
s
.
Esto implica,
lmsup
n
n
< c.s. en
s
l 1, .., n1.
Por lo tanto,
lmsup
n
n1
l=1

l
n
< c.s. en
s
.
Luego,
A
n
+(A
n
A
n1
)
n1
l=1

l
n
n
c.s. en
s
c
j
.
Veamos que esta es la convergencia que necesitamos.
(A
n
A
n1
)
n1
l=1

l
n
=
_
_
1
n
l=1
l
n
l=1
xX
j
(l)
l,x
n1
l=1

l
n1
l=1
xX
j
(l)
l,x
_
_
n1
l=1

l
n
=

n1
l=1

l
n
n
l=1
l
n
l=1
xX
j
(l)
l,x
n
n1
l=1
xX
j
(l)
l,x
,
de donde
A
n
+(A
n
A
n1
)
n1
l=1

l
n
=

n
+
n1
l=1

l
n
n
l=1
l
n
l=1
xX
j
(l)
l,x
n
n1
l=1
xX
j
(l)
l,x
=
1
n
n
l=1
xX
j
(l)
l,x
n
n1
l=1
xX
j
(l)
l,x
=
1
n

xX
j
(n)
n,x
Concluimos que,
1
n

xX
j
(n)
n,x
n
c.s. en
s
c
j
.
Por lo tanto la proposici on es cierta para sucientemente grande.
Si es arbitrario, podemos elegir k N tal que
/
= k sea tan grande como necesitemos.
Sea 0 l < k, aplicando el resultado al sub arbol X(x, [l, ]) con x X(l) y promediando,
obtenemos:
lm
n
1
nk+l

xX
j
((nk+l))
nk+l,x
= c
j
c.s. en
s
.
Luego, queda demostrada la proposici on.
Una aplicaci on de este resultado que usaremos m as adelante , es el siguiente corolario.
Corolario 3.3. Para cualquier , u > 0 y para i, j S
C
j,u
(n) =
1
Z
j
(n)

xX
j
(n)
Z(x, n+u)
n
c.s. en
s
E
j
(Z(u)).
Demostraci on. Basta con tomar f (x) =[x[ y aplicar el Lema 3.2.
Este resultado nos dice como se comporta la cantidad de individuos cuando el tiempo tiende
a innito, pero estamos considerando el tiempo discreto, lo que veremos a continuaci on son
algunas acotaciones para poder pasar a tiempo continuo. La idea de las acotaciones es ver que en
un tiempo muy peque no () el proceso no puede variar mucho.
Lema 3.4. Dado > 0 existe > 0 tal que para todo i, j S y k N, P
i
-casi seguramente en
s
lmsup
n
sup
ns(n+1)
[[Z(s)[[
[[Z(n)[[
< 1+, (3.15)
lminf
n
nf
ns(n+1)
Z
j
(s)
Z
j
(n)
> 1, (3.16)
lminf
n
nf
ns(n+1)
nf
ku(k+1)
yX
j
(s)
[[Z(y, u+s)[[
yX
j
(n)
[[Z(y, n+k)[[
> 1. (3.17)
Demostraci on. Sea n s (n+1). Podemos escribir,
[[Z(s)[[ =

xX(n)
[X(x, s)[

xX(n)
M(x, [n, (n+1)])
donde M(x, [n, (n +1)]) = m ax
ns(n+1)
[X(x, s)[. Claramente, [[Z(n)[[ m ax
jS
Z
j
(n).
Por lo tanto,
sup
ns(n+1)
[[Z(s)[[
[[Z(n)[[
m ax
jS
1
Z
j
(n)

xX
j
(n)
M(x, [n, (n+1)]).
60 CAP
ON
Por la Proposici on 3.2, la ultima expresi on converge a m() = m ax
jS
E
j
(M(0, [0, ])) c.s.
en
s
( f = M).
El proceso M(0, [0, ]) est a dominado por el tama no total a tiempo del siguiente proceso de
ramicaci on modicado: las variables aleatorias N
x,(x)
las reemplazamos por mnN
x,(x)
, 1,
para que cada individuo tenga al menos un hijo de su propio tipo. Este ultimo proceso tiene una
matriz generadora nita, que llamamos A
+
. Por lo tanto, m() m ax
jS
(e
A
+
)
0
1. Luego,
(3.15) queda demostrada.
Para demostrar 3.16, basta con tomar u = k = 0 en (3.17). Por lo tanto veamos que es cierta
(3.17).
Sea n s (n +1) y k u (k +1). Consideremos s olo los individuos y X(s)
que est an vivos a tiempo n y siguen vivos a tiempo (n+1) y s olo sus descendientes que viven
durante el perodo [(n+k), (n+k+2)], es decir, z X(y, s+u) . Podemos acotar de la siguiente
forma;
yX
j
(s)
[[Z(y, s +u)[[

xX
j
(n)
1
x,n
>
zX(x,(n+k))
1
z,(n+k)
>2
donde
x, t
=nfu > 0/x / X(t +u). Notamos
x
a
x,0
.
Luego,
yX
j
(s)
[[Z(y, u+s)[[
yX
j
(n)
[[Z(y, n+k)[[

xX
j
(n)
1
x,n
>
zX(x,(n+k))
1
z,(n+k)
>2
yX
j
(n)
[[Z(y, n+k)[[
Por la Proposici on 3.2)
xX
j
(n)
1
x,n>
zX(x,(n+k))
1
z,(n+k)>2
yX
j
(n)
[[Z(y, n+k)[[
n
c.s. en
s
E
j
(1
x
>
zX(x,k)
1
z,k>2
yX
j
(0)
[[Z(y, k)[[
.
Donde
x
es el tiempo de vida del individuo inicial, que es de tipo j. El ultimo denominador es
exactamente E
j
([X(k)[), y el numerador, es igual a
E
j
_
1
x
>
zX(x,k)
exp[2a
(z)
]
_
.
Sea a = m ax
iS
a
i
, luego esta expresi on es mayor o igual que:
exp[2a]E
j
(1
x
>
[X(k)[) = exp[2a](E
j
([X(k)[) E
j
(1
[X(k)[)).
Por lo tanto,
E
j
(1
x
>
zX(x,k)
1
z,k
>2
)
yX
j
(0)
[[Z(y, k)[[
e
2a
_
1
E
j
(1
[X(k)[)
E
j
([X(k)[)
_
. (3.18)
Analicemos por separado el ultimo cociente. En el numerador condicionamos a lo ocurrido
con la variable
x
E
j
(1
[X(k)[) =

0
E
j
(1
[X(k)[
x
= s)a
x
e
a
x
s
ds
=

0
E
j
([X(k)[
x
= s)a
x
e
a
x
s
ds.
La variable
x
es el instante en el que el individuo inicial se reproduce, este tiene N
x
= (N
x1
, .., N
xk
)
descendientes. Notamos X
n
(t) al proceso que comienza con n = (n
1
, .., n
k
) individuos iniciales,
E
j
(1
[X(k)[) =

0
a
x
e
a
x
s
nN
k
0
E([X
n
(ks)[)P(N
x
= n)ds
=

0
a
x
e
a
x
s
k
i=1
n
i
N
0
n
i
E
i
([X(ks)[)P(N
x
= n)ds
=

0
a
x
e
a
x
s
E(
k
i=1
N
xi
E
i
([X(ks)[))ds
=

0
a
x
e
a
x
s
k
i=1
E(N
xi
)E
i
([X(ks)[)ds.
Adem as como (E(N
i j
)) es nita para todo i, j 1, .., k
E
j
(1
[X(k)[) m ax
iS
E((N
xi
)a
x
k
i=1

0
e
a
x
s
E
i
([X(ks)[)ds.
Usando que h es autovector a derecha de la matriz E(Z(t)) obtenemos
E
i
([X(ks)[ ) = E
i
([[Z(ks)[[) =
k
j=1
E
i
(Z
j
(ks)) =
k
j=1
E
i
(Z
j
(ks))h
j
h
j

k
j=1
E
i
(Z
j
(ks))h
j
mn
jS
h
j
=
E
i
(Z(ks)h)
mn
jS
h
j
=
h
i
e
(ks)
mn
jS
h
j
.
Por lo tanto,
E
j
(1
[X(k)[) m ax
iS
E(N
xi
)a
x
k
i=1

0
e
a
x
s
e
(ks)
h
i
mn
jS
h
j
ds
m ax
iS
E(N
xi
)a
x
k
i=1
h
i
mn
jS
h
j

0
e
a
x
s
e
(ks)
ds
=
m ax
iS
E(N
xi
)a
x
k
i=1
h
i
mn
jS
h
j
e
k
_
1
+a
x
e
(+a
x
)
+a
x
_
.
Por otro lado el denominador
E
j
([X(k)[) =
iS
E
j
(Z
i
(k)) =
iS
E
j
(Z
i
(k))h
i
h
i
E
j
(Z(k)h)
m ax
iS
h
i
=
e
k
h
j
m ax
iS
h
i
.
62 CAP
ON
Luego para sucientemente peque no, siguiendo con la desigualdad (3.18),
E
j
(1
x
>
zX(x,k)
1
z,k
>2
)
yX
j
(0)
[[Z(y, k)[[
e
2a
_
_
_
1
m ax
iS
E(N
xi
)a
x
k
i=1
h
i
mn
jS
h
j
e
k
_
1
+a
x

e
(+a
x
)
+a
x
_
e
k
h
j
m ax
iS
h
i
_
_
_
= e
2a
_
_
1
m ax
iS
h
i
m ax
iS
E(N
xi
)a
x
k
i=1
h
i
_
1
+a
x

e
(+a
x
)
+a
x
_
h
j
mn
jS
h
j
_
_
> 1.
pues E(N
x
) < , y h
i
(0, 1).
Ahora s, estamos en condiciones de analizar el comportamiento del proceso, cuando este no
se extingue.
Teorema 3.13 (Kesten-Stigum). Consideramos el caso super-crtico > 0. Para el proceso de
ramicaci on ya denido Z(t), con Z(0) = e
j
para j S,
1
[X(t)[

xX(t)
(x)
=
Z(t)
[[Z(t)[[
t
c.s. en
s
.
Demostraci on. Sea > 0, por (3.14) existe > 0 tal que para u N sucientemente grande,
[[E
j
(Z(u)e
u
) h
j
[[ <
para todo j S. Por el Corolario 3.3, podemos elegir s N grande, tal que
[[C
j,u
(s)e
u
h
j
[[ < c.s. en
S
.
Donde C
j,u
(s) =
1
Z
j
(s)
xX
j
(s)
Z(x, s +u). Si denotamos (t) =
Z(t)
[[Z(t)[[
y a(t) =
[[Z(t)[[e
u
Z(tu),h)
,
[[a(t)(t) [[ =
e
u
Z(t)
Z(t u, h))
=
1
Z(t u, h))
e
u
Z(t) Z(t u, h))
=
1
Z(t u, h))
e
u
xX(tu)
Z(x, t)
iS
Z
i
(t u)h
i
iS
Z
i
(t u)
1
Z(t u, h))
e
u
xX(tu)
Z(x, t)
Z
i
(t u)
h
i
iS
Z
i
(t u)
1
Z(t u, h))
[[e
u
C
j,u
(t u) h
i
[[ < .
Concluimos que, [[a(t)(t) [[ < . Como y (t), son vectores de norma 1 obtenemos,
[[(t) [[ <
para todo t n sucientemente grande, casi seguramente en
S
. Falta ver que la convergencia
es para t > 0, para ello usemos las desigualdades vistas en el Lema 3.4.
Por (3.16)
Z
j
(t)
Z
j
(n)
1, por (3.15)
[[Z(n)[[
[[Z(t)[[
>
1
1+
, luego
Z
j
(t)
[[Z(t)[[
=
Z
j
(n)
[[Z(n)[[
[[Z(n)[[
[[Z(t)[[
Z
j
(t)
Z
j
(n)
>
1
1+
().
para t sucientemente grande. Es decir,
lminf
t
Z
j
(t)
[[Z(t)[[
= .
Tanto (t), como son probabilidades en un espacio de estados nito, por lo tanto el lmite
superior y el lmite inferior deben coincidir, pues si alguna coordenada del lmite superior es
mayor que la del lmite inferior, para que la suma siga siendo 1 tendra que haber alguna coorde-
nada que sea menor, y esto no puede ocurrir.
Con lo cual probamos que,
lm
t
(t) = .
64 CAP
ON
Captulo 4
Aplicaciones
4.1. Proceso de urna
Consideremos el siguiente experimento, de una urna que contiene bolitas de colores, se ex-
trae una bolita y se sustituye por un n umero aleatorio de bolitas de diferentes colores, la distribu-
ci on de cantidad de bolitas que agrego s olo depende del color de la bolita extrada. Bajo ciertas
condiciones, las proporciones de colores diferentes tendr an un lmite. Este lmite lo calcularemos
viendo que este experimento podemos pensarlo como un proceso de ramicaci on. Describamos
en detalle el experimento.
En una urna hay bolitas de k colores distintos. El vector aleatorio X(n) es la composici on de
la urna despu es de n extracciones
X(n) = (X
1
(n), .., X
k
(n)),
donde X
i
es el n umero de bolitas del color i. La distribuci on inicial X(0) es arbitraria. En la
(n+1)- esima extracci on, la probabilidad de sacar una bolita de color i, es:
X
i
(n)
k
i=1
X
i
(n)
.
Una vez que saco la bolita i repongo con N
i j
bolitas de color j, con 1 j k. Las variables
aleatorias (N
l
i j
, l N) son independientes e id enticamente distribuidas, l indica que es la l- esima
bolita que extraje de la urna. Adem as cumplen las siguientes hip otesis:
1. N
i j
N
0
para todo i, j 1, .., k.
N
ii
1 i 1, .., k, (siempre se repone una bolita del color que se extrajo).
P(
k
j=1
N
i j
>1) >0 para alg un i (excluimos el caso degenerado que es reponer siem-
pre una bolita, ya que en ese caso se estara manteniendo la cantidad de bolitas ini-
ciales).
2. E(N
2
i j
) < , para todo i, j 1, .., k.
65
66 CAP
ITULO 4. APLICACIONES
3. Sea M la matriz con entradas M
i j
= E(N
i j
). Suponemos que M es irreducible.
Teorema 4.1. Sea N = (N
i j
)
i, jS
una matriz aleatoria que satisface:
1. N
i j
N
0
para todo i, j 1, .., k, N
ii
1 i 1, .., k.
2. P(
k
j=1
N
i j
> 1) > 0 para alg un i.
3. E(N) es irreducible.
La ecuaci on
(E(N) Id) =
tiene una unica soluci on con > 0 y una medida.
Demostraci on. Puede verse en Seneta [12].
Por como denimos el proceso el generador es:
P(X(n+1) = z +ye
i
[X(n) = z) = P(N
i
= y)
X
i
(n)
k
i=1
X
i
(n)
.
Esto describe el proceso de una urna parametrizada con k vectores aleatorios N
i
= (N
i j
)
1jk
,
1 i k. Sea

X(n) el vector de proporciones despu es de n extracciones, es decir para i =1, .., k
X
i
(n) =
X
i
(n)
k
j=1
X
j
(n)
.
Para analizar la convergencia de

X
i
(n), veamos que se comporta igual que un proceso discreto
inmerso en un proceso de ramicaci on continuo multitipo. Sea Z(t) un proceso de ramicaci on
multitipo a tiempo continuo, tal que cada individuo tiene siempre un descendiente de su tipo y
adem as el tiempo de vida de cada individuo tiene distribuci on exponencial de par ametro 1 para
todo tipo de individuo. Este proceso esta dominado por debajo por un proceso de ramicaci on
continuo de un solo tipo de individuo con media mayor a 1, pues si el proceso comienza con un
individuo de tipo i, Z
i
(t) considera los individuos de tipo i descendientes de cualquier individuo
y cuando decimos el proceso de ramicaci on de un solo tipo consideramos los individuos de tipo
i descendientes de individuos de tipo i. Como supusimos que cada individuo siempre deja un
descendiente de su tipo, tenemos que la media de la cantidad de individuos en el proceso simple
es mayor a 1, por lo tanto este proceso no se extingue y tampoco lo hace Z(t). Consideremos
las variables (
n
)
nN
donde
i
es el tiempo de la i- esima ramicaci on. Como el proceso no se
extingue,
n
n
. Observemos que
n
nN
son las discontinuidades de Z(t) y adem as que
lm
n
Z(
n
)
[Z(
n
)[
= lm
t
Z(t)
[Z(t)[
pues este ultimo lmite existe c.s..
Teorema 4.2. Sean Y
n
, n N el proceso de urna y Z(t), t 0 el proceso de ramicaci on,
denidos anteriormente. Entonces los procesos Y
n
, n N y Z(
n
), n N son equivalentes.
4.2. CONVERGENCIA EMP
IRICA A LA DISTRIBUCI
ON CUASIESTACIONARIA 67
Demostraci on. Lo primero que notamos es que Y
n
nN
es un proceso a tiempo discreto y es una
cadena de Markov con probabilidades de transici on homog eneas. Por lo tanto, si ambos procesos
tienen el mismo estado inicial, nos basta con mostrar que ambos tienen igual probabilidades de
transici on. Supongamos que ambos comienzan iguales: Z(0) =Y(0) y miremos el primer paso.
El proceso de ramicaci on comienza con Z
i
(0) individuos de tipo i, con i 1, .., k. El tiempo
de vida de cada individuo tiene distribuci on exponencial de media 1. As que el proceso espera un
tiempo exponencial de media
k
i=1
Z
i
(0) y luego se ramica, la probabilidad de que se ramique
un individuo de tipo i es
Z
i
(0)
k
j=1
Z
j
(0)
. En el proceso de urna la probabilidad de elegir una bolita de
color i es
Y
i
(0)
k
j=1
Y
j
(0)
. Como ambos procesos se inicializaron iguales,
Z
i
(0)
k
j=1
Z
j
(0)
=
Y
i
(0)
k
j=1
Y
j
(0)
.
Despu es de esa ramicaci on se incrementa un n umero aleatorio de individuos o bolitas, N
i j
y el
proceso se inicializa de vuelta, por la falta de memoria del tiempo de vida de los individuos. Esto
muestra que si Y(0) = Z(0) entonces Y
1
tiene la misma distribuci on que Z
1
. Este mecanismo de
transici on es id entico para todo el proceso.
Como vimos que ambos procesos son iguales, por el Teorema 3.13
lm
n
X
i
(n)
k
j=1
X
j
(n)
= . c.s.
4.2. Convergencia emprica a la distribuci on
cuasiestacionaria
Dado (X
n
)
nN
un proceso de Markov en un espacio de estados nito nos interesa estudiar co-
mo evoluciona el proceso. Es decir queremos saber si las variables X
n
tienen alg un lmite. Vimos
que si el espacio de estados S es nito, y la matriz de transici on P es irreducible y aperi odica,
existe una unica distribuci on estacionaria que cumple:
iS

i
p
i j
=
j
j S,
j
> 0 y
jS

j
= 1.
De donde, si comenzamos con la medida invariante y dejamos evolucionar el proceso, la
distribuci on de X
n
no cambia, es decir,
P
(X
n
= s
j
) =
j
n N.
Luego, es una medida invariante s y solo s P =, es decir, es autovector a izquierda
asociado al autovalor 1.
Dada una distribuci on inicial,
lm
n
P
(X
n
= s
j
) =
j
.
68 CAP
Es decir, que no importa con qu e distribuci on comencemos, si dejamos evolucionar el
proceso, este tendr a aproximadamente la distribuci on de la medida estacionaria.
Convergencia de la distribuci on emprica
N
1
N
n=1
1
X
n
=s
j
c.s.
j
.
Esta convergencia se deduce del Teorema Erg odico 1.6 tomando f (X
n
) = 1
X
n
=j
.
Si queremos calcular la distribuci on estacionaria, tenemos varias opciones
buscar el autovector asociado al autovalor 1 de la matriz P,
simular la cadena en N pasos, y usar la convergencia de la distribuci on emprica para
estimar la distribuci on estacionaria,
usar simulaci on perfecta, no vamos a entrar en detalle sobre este m etodo pero puede verse
en: http://dimacs.rutgers.edu/ dbwilson/exact.html/
En la primera opci on calculamos exacta cual es la distribuci on, el problema es que si el espacio
de estados es muy grande, calcular los autovectores es muy engorroso. La segunda opci on es una
buena forma de aproximar la distribuci on estacionaria.
Por otro lado, consideremos el proceso de Markov (X
n
)
nN
denido en el espacio de estados
S 0 donde 0 es un estado absorbente, y P es la matriz de transici on con P
S
es irreducible y
aperi odica. Llamamos T al primer momento en que la cadena es absorbida. Por el Teorema 2.2,
existe una unica distribuci on cuasiestacionaria que satisface:
i
0 i 1, .., k,
k
i=1
i
= 1,
P
(X
n
= s
j
[T > n) =
j
n N
0
j =1, .., k.
Adem as vimos que cumple:
P
S
=, donde es el autovalor de m odulo m aximo de P
S
, es real y 0 < < 1. (Puede
verse en Seneta [12])
lm
n
P
(X
n
= s
j
[T > n) =
j
, donde es la distribuci on inicial.
Nos gustara calcular , para eso podemos hallar los autovalores y autovectores de P
S
, pero
si el espacio de estados es muy grande, no es pr actico. En este caso, usar el m etodo de rechazo
no es bueno, es decir, simular para estimar corriendo la cadena y descontando las veces que
toca al estado absorbente, es malo, pues P(T > n) tiende a cero exponencialmente. Por lo tanto,
queremos un m etodo para simular . Vamos a dar el m etodo propuesto por Aldous, Flannery y
Palacios [1]. La idea es denir un proceso donde la distribuci on emprica converja a .
Primero suponemos que conocemos a y consideramos el proceso V = (V
n
)
nN
denido en
S de la siguiente manera, V
n
es X
n
mientras que T > n, cuando T = N no contamos la transici on
y la cadena X vuelve a S en el paso N+1 con la distribuci on de .
Teorema 4.3. Consideremos los procesos (X
n
)
nN
y (V
n
)
nN
construidos anteriormente. Si
es la distribuci on cuasiestacionaria de (X
n
)
nN
entonces es la distribuci on estacionaria de
(V
n
)
nN
.
Demostraci on. Para comenzar veriquemos que (V
n
)
nN
es una cadena de Markov:
Claramente,
P(V
n+1
= s
j
[V
n
= s
i
, ..,V
0
= s
0
) = P(V
n+1
= s
j
[V
n
= s
i
).
Sea Q la matriz de transici on de V, donde las entradas de Q son:
Q
i j
= P
i j
+P
i0
j
i, j 1, .., k
pues la forma de que la cadena V salte de s
i
a s
j
es que X pase de s
i
a s
j
, o que pase de s
i
al 0, y
luego al ser redistribuida con , esta vaya a s
j
.
Luego,
P(V
n+1
= s
j
[V
n
= s
i
) = Q
i j
Como es la distribuci on cuasiestacionaria de X
n
cumple lo siguiente:
1.
i
0 i 1, .., k y
k
i=1
i
= 1,
2. P
S
=
1
.
Luego, para ver que es la distribuci on estacionaria, solo falta ver que Q =. Sea j 1, .., k,
k
i=1
i
Q
i j
=
k
i=1
i
(P
i j
+P
i0
j
)
=
k
i=1
i
P
i j
+
k
i=1
i
P
i0
j
=
1
j
+
j
k
i=1
i
(1
k
z=1
P
iz
)
=
1
j
+
j
_
k
i=1
z=1
k
i=1
i
P
iz
_
=
1
j
+
j
(1
k
z=1
z
)
=
1
j
+
j
(1
1
)
=
j
.
Con lo cual probamos que es la distribuci on estacionaria de V
n
.
70 CAP
Sabemos que la distribuci on emprica
N
converge a la distribuci on estacionaria , donde
i
(N) =
1
N
N
n=1
1
V
n
=s
i
.
Por supuesto que como no conocemos no podemos simular este proceso. Sin embargo podemos
adaptarlo; si X va al estado absorbente en el paso N, la cadena X en el paso N+1 vuelve a S usan-
do la distribuci on emprica
N
. Demos la denici on formal del proceso de Markov (V
n
, (n))
nN
,
si (n) es la distribuci on emprica de V a tiempo n.
Denici on 4.1. Sea M un conjunto de medidas en S y (V
n
, (n)) en S M una cadena de
Markov, con V
1
= i
1
y
1
= e
i
1
con transiciones:
P(V
n+1
= s
j
, (n+1) = +e
j
[V
n
= s
i
, (n) = ) = P
i j
+P
i0
j
[[
.
donde =
jS

j
.
El siguiente teorema muestra que para el proceso adaptado, la distribuci on emprica converge
a .
Teorema 4.4. Para el proceso denido anteriormente,
lm
n
n
1
n
=
donde es la distribuci on cuasiestacionaria de X
n
.
Demostraci on. A la denici on anterior le agregamos un contador. Sea C(m), el n umero de veces
que la cadena X fue absorbida por el 0 hasta el paso m,
C(m) =
m
i=1
1
X
i
=0
.
Lo inicializamos con C(1) = 0. Veamos como afecta este contador en el generador. Suponiendo
que V
n
= s
i
, y que X fue C veces absorbida, hay dos formas distintas de que V
n+1
= s
j
,
la primera es que en ese paso X no fue absorbida, y pas o de s
i
a s
j
;
P(V
n+1
= s
j
, (n+1) = +e
j
,C(n+1) =C[V
n
= s
i
, (n) = ,C(n) =C) = P
i j
,
y la segunda que X fue absorbida, y al volver a S con fue a s
j
;
P(V
n+1
= s
j
, (n+1) = +e
j
,C(n+1) =C+1[V
n
= s
i
, (n) = ,C(n) =C) = P
i0
j
[[
.
Sea S
n
= mnm/C(m) = n es decir, S
n
es el tiempo en que la cadena X fue absorbida por
n- esima vez. Sea (n) =(S
n
) la medida de conteo emprica a ese tiempo. Vimos que el proceso
de urna es equivalente a el proceso discreto inmerso en un proceso de ramicaci on multitipo a
tiempo continuo. Veamos ahora que (n) es un proceso de urna y por lo tanto podremos usar
los resultados de procesos de ramicaci on. La cadena comienza en el estado i, esto es en el
proceso de urna, que la urna se inicializa con una bolita de color i. La cadena pasea por los
estados seg un la matriz de transici on P hasta que llega al estado absorbente. Esto es equivalente a
reponer bolitas en la urna, se reponen N
i j
bolitas, donde N
i j
tiene la distribuci on de
T1
j=1
1
V
j
(n)
.
Notemos que la distribuci on de reponer bolitas en la urna solo depende de la bolita extrada. La
cadena vuelve a un estado s
j
S, usando (1), en la urna esto es elegir una bolita entre las bolitas
que estan en la urna que son (1). Ambos procesos contin uan con este mecanismo.
Queremos ver que las variables N
i j
cumplen las hip otesis del Teorema 4.1 para que el autoval-
or de m odulo m aximo de E(N) sea mayor a 1, y as estar en las condiciones del caso super-crtico
del proceso de ramicaci on.
1.
T1
n=0
1
V
n
=s
j
N
0
j 1, ..., k,
k
j=1
T1
n=0
1
V
n
=s
j
=
T1
n=0

k
j=1
1
V
n
=s
j
=
T1
n=0
1 = T 1 pues V
0
= s
i
,
P
i
(
k
j=1
T1
n=0
1
V
n
=j
> 1) = P
i
(T > 1) > 0 pues P
i0
,= 1.
2. E
i
[(
T1
n=0
1
V
n
=s
j
)
2
] E
i
(T
2
) < c.
3.
M
i j
= E(N
i j
) = E(
T1
n=0
1
V
n
=s
j
[V
0
= s
i
) = E(
n=0
1
V
n
=s
j
,T>n
[V
0
= s
i
) =
n=0
(P
n
S
)
i j
es decir,
M =
n=0
P
n
S
.
La hip otesis de irreducibilidad de P
S
implica irreducibilidad de M.
Por lo tanto ((n))
nN
esta bajo las hip otesis del Teorema 3.13, s olo nos falta vericar que es la
soluci on del Teorema 4.1, es decir la unica soluci on de R =, con positivo y una medida.
72 CAP
iS
i
r
i j
=
iS
i
(M
i j
1
i j
)
=
iS
i
M
i j
iS
i
1
i j
=
iS
n=0
(P
n
)
i j
j
=
n=0
iS
i
(P
n
)
i j
j
=
n=0
j
=
j
1
1
j
=
j
1
Como =

1
> 0, es la unica soluci on de R = . Luego por el teorema (3.13),
(n)
jS

j
(n)
n
c.s.
.
Como
j
(n) =
j
(S
n
),
j
(n) es cuantas veces la cadena X pas o por el estado s
j
antes de la
n- esima absorci on. Si sumamos sobre todos los estados de S, es la cantidad de estados por los
que pas o la cadena, es decir, S
n
.
jS

j
(S
n
) = S
n
Luego,
(S
n
)
S
n
n
c.s.
Tenemos la convergencia que buscamos pero en lugar de para todo n s olo en los momentos en los
que la cadena fue absorbida. Para ver que la convergencia es cierta para n N primero veamos
que
S
n+1
S
n
1,
P
_
S
n+1
S
n
1
>
_
E
_
_
S
n+1
S
n
S
n
_
2
_
2

E
_
(S
n+1
S
n
)
2
_
n
2
2
.
Adem as, E
_
(S
n+1
S
n
)
2
_
=E(E
_
(S
n+1
S
n
)
2
_
[S
n
) =E(E(T
2
0
)) =E(T
2
0
) que es nito. Sea
c > 0 tal que E(T
2
0
) < c. Luego,
P
_
S
n+1
S
n
1
>
_
c
n
2
2
.
Como
n=1
c
n
2
2
es nito
S
n+1
S
n
n
c.s.
1.
Sea m tal que, S
n
m S
n+1
. Con lo cual,
(S
n
) (m) (S
n+1
).
Por un lado
(m)
S
n
(S
n+1
)
S
n
=
(S
n+1
)
S
n+1
S
n+1
S
n
,
por otro lado
(m)
S
n+1
(S
n
)
S
n+1
=
(S
n
)
S
n
S
n
S
n+1
.
Finalmente vimos que,
lm
n
n
1
(n) = .
Por lo tanto demostramos que la distribuci on emprica de la cadena V converge a la distribuci on
cuasiestacionaria de X.
74 CAP
Captulo 5
Ap endice
Teorema 5.1. Sean X
1
, X
2
, .. martingalas con [X
n+1
X
n
[ < M. Sean,
C =lm
n
X
n
existe y es nito,
D =lmsup
n
X
n
= +, lminf
n
X
n
=,
Entonces, P(CD) = 1.
Demostraci on. Puede verse en Durret [4](p ag. 239).
Lema 5.1 (Borel Cantelli condicionado). Sea (F
n
, n N) una ltraci on con F
0
= / 0, y
(A
n
)
nN
una sucesi on de eventos, tal que A
n
F
n
. Entonces,
kN
nk
A
n
=
_
nN
P(A
n
[F
n1
) =
_
.
Demostraci on. Consideremos las siguientes variables aleatorias, X
0
= 0 y
X
n
=
n
j=1
1
A
j
P(A
j
[F
j1
) n N.
La variable X
n
as denida es una martingala:
F
n
F
n+1
, luego A
j
F
n
, j n y por lo tanto X
n
F
n
.
E(X
n+1
[F
n
) = E
_
n+1
j=1
1
A
j
P(A
j
[F
j1
)[F
n
_
= E
_
n+1
j=1
1
A
j
[F
n
_
n+1
j=1
P(A
j
[F
j1
)
= E
_
n
j=1
1
A
j
[F
n
_
+E(1
A
n+1
[F
n
)
n
j=1
P(A
j
[F
j1
) P(A
n+1
[F
n
)
= X
n
.
75
76 CAP
ITULO 5. AP
ENDICE
E(X
n+1
) = E(X
n
), y E(X
n+1
) = E(X
n
) = E(X
0
) = 0.
Por otro lado, [X
n+1
X
n
[ = [1
A
n+1
P(A
n+1
[F n)[ 1. Por lo tanto estamos en las condi-
ciones del teorema 5.1, lo que implica que P(C D) = 1. Si ocurre D = lmsup
n
X
n
=
+, lminf
n
X
n
=, como X
n
=
n
j=1
1
A
j
P(A
j
[F
j1
),
n
j=1
1
A
j
n
+
n
j=1
P(A
j
[F
j1
)
n
+.
Si ocurre C =lm
n
X
n
existe y es nito
n
j=1
1
A
j
n
+
n
j=1
P(A
j
[F
j1
)
n
+.
Luego, A
n
ocurre innitas veces =
j=1
P(A
j
[F
j1
) = +.
Bibliografa
[1] D. Aldous, B. Flannery, and J.L. Palacios, Two applications of urn processes: The fringe
analysis of search trees and the simulation of quasi-stationary distributions of markov
chains., Probability in the Engineering and Informational Sciences. (1988), Vol. 2, no. 3
pp. 293307. 68
[2] K. B. Athreya and P. E. Ney, Branching processes, Dover Publications Inc., Mineola, NY,
2004, Reprint of the 1972 original [Springer, New York; MR0373040]. MR MR2047480
33, 55
[3] Pierre Br emaud, Markov chains, Texts in Applied Mathematics, vol. 31, Springer-Verlag,
New York, 1999, Gibbs elds, Monte Carlo simulation, and queues. MR MR1689633
(2000k:60137) 11, 14, 16
[4] Richard Durrett, Probability: theory and examples, second ed., Duxbury Press, Belmont,
CA, 1996. MR MR1609153 (98m:60001) 39, 75
[5] Hans-Otto Georgii and Ellen Baake, Supercritical multitype branching processes: the an-
cestral types of typical individuals, Adv. in Appl. Probab. 35 (2003), no. 4, 10901110. MR
MR2014271 (2005a:60132) 33, 42, 57
[6] Olle H aggstr om, Finite Markov chains and algorithmic applications, London Mathemat-
ical Society Student Texts, vol. 52, Cambridge University Press, Cambridge, 2002. MR
MR1908939 (2003f:60002) 11
[7] Theodore E. Harris, The theory of branching processes, Dover Phoenix Editions, Dover
Publications Inc., Mineola, NY, 2002, Corrected reprint of the 1963 original [Springer,
Berlin; MR0163361 (29 #664)]. MR MR1991122 33, 42, 45
[8] Olav Kallenberg, Foundations of modern probability, second ed., Probability and its Appli-
cations (New York), Springer-Verlag, New York, 2002. MR MR1876169 (2002m:60002)
49
[9] Thomas Kurtz, Russell Lyons, Robin Pemantle, and Yuval Peres, A conceptual proof of the
Kesten-Stigum theorem for multi-type branching processes, Classical and modern branch-
ing processes (Minneapolis, MN, 1994), IMA Vol. Math. Appl., vol. 84, Springer, New
York, 1997, pp. 181185. MR MR1601737 (98j:60122) 57
77
78 BIBLIOGRAF
IA
[10] J. R. Norris, Markov chains, Cambridge Series in Statistical and Probabilistic Mathemat-
ics, vol. 2, Cambridge University Press, Cambridge, 1998, Reprint of 1997 original. MR
MR1600720 (99c:60144) 54
[11] Lawrence Perko, Differential equations and dynamical systems, third ed., Texts in Applied
Mathematics, vol. 7, Springer-Verlag, New York, 2001. MR MR1801796 (2001k:34001)
45, 53
[12] E. Seneta, Non-negative matrices and Markov chains, Springer Series in Statistics,
Springer, New York, 2006, Revised reprint of the second (1981) edition [Springer-Verlag,
New York; MR0719544]. MR MR2209438 30, 66, 68

Cadena de Markov

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cadena de Markov

Cargado por

Copyright:

Formatos disponibles

UNIVERSIDAD DE BUENOS AIRES

Facultad de Ciencias Exactas y Naturales

ITULO 1. PROCESOS DE MARKOV

ITULO 1. PROCESOS DE MARKOV

ITULO 1. PROCESOS DE MARKOV

ITULO 1. PROCESOS DE MARKOV

ITULO 1. PROCESOS DE MARKOV

1.5. DISTRIBUCIONES ESTACIONARIAS 21

ITULO 1. PROCESOS DE MARKOV

la funci on iniciadora para la distribuci on inicial

ITULO 1. PROCESOS DE MARKOV

IRICOS: EL TEOREMA ERG

ITULO 1. PROCESOS DE MARKOV

cumplen el lema, y de la diferencia obtenemos el resultado requerido.

ITULO 2. DISTRIBUCIONES CUASIESTACIONARIAS

ITULO 2. DISTRIBUCIONES CUASIESTACIONARIAS

ITULO 2. DISTRIBUCIONES CUASIESTACIONARIAS

(n), ) = 0. Tomando = obtenemos lmd

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

() > 0. Como P(W

=W) = 1, para casi todo en Z(t, ) > 0 se tiene que

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

c.s. Este lmite no podra ser distinto

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

ITULO 3. PROCESOS DE RAMIFICACI

También podría gustarte