Introduccion a los Procesos Estocasticos

Michel Mouchart
March 25, 2002

Indice
Prologo 1
Notaciones 2
1 Introducci on 3
1.1 Presentacion General . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Repaso de Calculo de Probabilidad . . . . . . . . . . . . . . . . . 4
1.2.1 Conceptos b asicos . . . . . . . . . . . . . . . . . . . . . . 4
1.2.2 Probabilidad condicional . . . . . . . . . . . . . . . . . . 5
1.2.3 Independencia estoc astica . . . . . . . . . . . . . . . . . . 6
1.2.4 Variables aleatorias . . . . . . . . . . . . . . . . . . . . . . 6
1.2.5 Esperanza Matem atica . . . . . . . . . . . . . . . . . . . . 8
1.2.6 Esperanza Condicional . . . . . . . . . . . . . . . . . . . . 8
1.2.7 Independencia entre variables aleatorias . . . . . . . . . . 9
1.2.8 Distancia de la media cuadratica (espacios L
2
) . . . . . . 9
2 Propiedades basicas 11
2.1 Conceptos b asicos . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1 Conceptos y Deniciones b asicos . . . . . . . . . . . . . . 11
2.1.2 Distintos tipos de Tiempo . . . . . . . . . . . . . . . . 12
2.1.3 Caracterizaciones de la ley de Probabbilidad . . . . . . . 12
2.2 Tipos Importantes de Procesos Estoc asticos . . . . . . . . . . . . 14
2.2.1 Procesos Independientes . . . . . . . . . . . . . . . . . . . 14
2.2.2 Procesos estacionarios . . . . . . . . . . . . . . . . . . . . 15
2.2.3 Martingalas . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.4 Procesos Markovianos . . . . . . . . . . . . . . . . . . . . 18
2.3 Algunas Preguntas Basicas . . . . . . . . . . . . . . . . . . . . . 19
3 Tiempo discreto-Estados arbitrarios 21
3.1 Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Procesos en tiempo discreto : conceptos de convergencia . . . . . 21
3.2.1 Conceptos b asicos . . . . . . . . . . . . . . . . . . . . . . 21
3.2.2 Extensi on al caso multivariado . . . . . . . . . . . . . . . 22
3.2.3 Propiedades y Teoremas . . . . . . . . . . . . . . . . . . . 23
1
3.3 Procesos independientes . . . . . . . . . . . . . . . . . . . . . . . 24
3.4 Procesos IID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4 Tiempo discreto-Estados nitos o numerables 26
4.1 Introduccion : Cadenas de Markov . . . . . . . . . . . . . . . . . 26
4.2 Probabilidades de Transici on y de Trayectorias . . . . . . . . . . 27
4.2.1 Motivaci on . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2.2 Caracterizacion de la ley de probabilidad . . . . . . . . . 27
4.2.3 Calculo de probabilidades de trayectorias . . . . . . . . . 28
4.2.4 Ejemplos y Ejercicios . . . . . . . . . . . . . . . . . . . . 28
4.3 Clasicaci on de Cadenas y de Estados . . . . . . . . . . . . . . . 28
4.4 Propiedades lmites . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.5 Casos Particulares . . . . . . . . . . . . . . . . . . . . . . . . . . 28
5 Tiempo discreto-Estados Euclidianos 29
6 Tiempo continuo-Aspectos Generales 30
7 Tiempo contnuo-Estados nitos o numerables 31
8 Tiempo contnuo- Estados Euclidianos 32
9 Tiempo no ordenado 33
Bibliografa 35
0
Prologo
Objetivos del curso
Una presentacion general de los procesos estoc asticos con el objetivo de lograr
una vision general del tema y de facilitar el consiguiente estudio individual de
materias mas avanzadas en funci on de los intereses futuros de cada uno.
Un nivel matematico intermedio, incluyendo una introduccion a algunas her-
ramientas menos elementales.
Un anhelo de aplicaciones, a un para materias elementales (no es verdad que ,
en la practica, solo se usan los temas mas difciles ...)
NO es un curso de matematica y tampoco un curso para matematicos puros:
las deniciones son razonablemente precisas y hay algunos teoremas b asicos
pero a menudo sin demostraciones rigurosas.
1
Notaciones
IR : conjunto de los n umeros reales (tambien: ( , +) )
IN : conjunto de los n umeros naturales (= 0, 1, 2, )
ZZ : conjunto de los n umeros enteros (= 0, 1, 2, )
11 : funci on indicadora, o caracterstica, de conjunto
IP : Probabilidad (de un suceso)
IE : Esperanza matematica (de una variable aleatoria)
: independencia estoc astica
[a , b) = x IR [ a x < b : el intervalo cerrado a la izquierda e abierto a
la derecha
El n de una demostracion o de una nota particular se indica con el signo
2
Captulo 1
Introduccion
1.1 Presentacion General
Los modelos estadsticos o econometricos: representacion estoc astica de un sis-
tema observable.
Consideremos algunos ejemplos
- trayectorias individuales en el mercado del trabajo
- trayectorias de cotizaciones bursatiles
- modelos de series cronologicas
- enfoque asint otico en inferencia estadstica
- curva de crecimiento de organismos vivos (animales o seres humanos)
Destaquemos algunos elementos comunes a esos sistemas:
- el estado del sistema depende a la vez del tiempo y de un elemento
aleatorio, es decir el modelo no pretende explicar completamente la evoluci on
del sistema
- si consideramos una sola realizaci on del sistema, observamos una trayec-
toria, es decir una funci on del tiempo, equivalentemente una funci on que a
cada instante hace corresponder un estado del sistema
- el estado del sistema puede tomar sus valores en un conjunto nito, nu-
merable o no numerable;
- el tiempo puede tomar valores en conjuntos siempre innitos, pero a ve-
ces numerables o a veces no numerables (como un intervalo de la recta real), a
menudo ordenado pero no siempre
Primera idea.
Recordar:
variables aleatorias unidimensionales,
multidimensionales(vectores aleatorios): familia nita ordenada de variables
aleatorias
3
Generalizacion natural : familia innita(numerable o no-numerable !) orde-
nada (o NO ordenada!) de variables aleatorias
Segunda idea
funciones aleatorias, tambien: trayectorias aleatorias
1.2 Repaso de Calculo de Probabilidad
1.2.1 Conceptos basicos
Introducci on : El tema de la Probabilidad
Probabilidad: medida de incertidumbre
El azar: lo no explicado
Conceptos fundamentales
Un Espacio de Probabilidad : (, /, P) donde:
1. es el Universo; es un conjunto cuyos elementos representan todas las
posibles realizaciones del objeto de incertidumbre. En aplicaciones a la
estadstica, el universo tambien se llama espacio muestral.
2. / es un conjunto de Sucesos, o sea un conjunto de subconjuntos de
que sea un - algebra, lo que quiere decir que satisface a las siguientes
condiciones:
(a) /
(b) A / A
c
/
(c) A
i
: i I , A
i
/, I numerable
i
A
i
/
En otras palabras, un -algebra es una familia de subconjuntos cerrada
para las operaciones numerables de union, interseccion y complemento.
3. P es una medida de Probabilidad, es decir : P : c [0 , 1] tal que :
(a) P() = 0
(b) P(A
c
) = 1 P(A) A; /
(c) A
i
: i I , A
i
/, I numerable, A
i
A
j
= i ,= j
P(
i
A
i
) =

iI
P(A
i
)
Estas propiedades generalizan las propiedades de la frecuencia relativa, conoci-
das en estadstica descriptiva, e implican, en particular:
4
1. P() = 1
2. (continuidad secuencial) A
i
A, con A, A
i
/, P(A
i
) P(A)
donde A
i
A quiere decir una sucesion mon otona creciente de conjuntos, es
decir : A
i
A
i+1
tal que lim
n

1in
A
i
=
1i<
A
i
= A.
Comentarios
1. Mencionemos dos aspectos importantes del concepto de -algebra. En
primer lugar, est a en la base de una medida de probabilidad; es decir : una
probabilidad es un n umero (entre cero y uno) relativo a sucesos y no a elemen-
tos del universo. En segundo lugar, el -algebra es la formalizaci on matematica
del concepto de informacion, en el sentido de su estructura mas bien que de
cantidad. Es decir: tener una informacion signica la capacidad de contestar
sin ambiguedad un conjunto de preguntas que tiene precisamente la estructura
de un -algebra.
2. Una medida de probabilidad es un caso particular de una medida positiva
-aditiva. M as explicitamente, una medida positiva aditiva , digamos m,
es una funci on denida sobre un -algebra , valorada en IR
+
( donde IR
+
=
IR
+
+) y que cumple con las propiedades (a) y (c) de la probabilidad. Si
la propiedad (c) se remplaza por :
(c bis) A B = P(A B) = P(A) +P(B)
se dir a que la medida es simplemente aditiva. En particular, la medida del uni-
verso, m(), puede ser un n umero real distinto de 1, e incluso puede ser innito.
Una medida es nita si existe una sucesion A
i
: i I, I numerable, tal
que m(A
i
) < y
i
A
i
= . Notemos que NO se requierre que los A
i
: i I
conformen una partici on del universo.
1.2.2 Probabilidad condicional
Dos aspectos:
reduccion del universo:
B P(A [ B) =
P(A B)
P(B)
descomposicion de una probabilidad:
P(A) =

i
P(A [ B
i
)P(B
i
) (B
i
: partici on)
5
1.2.3 Independencia estocastica
global : A | B
condicional : A | B [ C
1.2.4 Variables aleatorias
Denici on: X : (, /, P) (IR, B) tal que X
1
(B) / o equivalentemente:
() a IR [ X() a /
Motivaci on
Hacer posible la transferencia de la probabilidad P sobre a una probabilidad
P
X
sobre X() IR mediante la regla : P
X
(X A) = P(X
1
(A)) A B,
donde B es el -algebra de los borelianos de IR ; tambien se escribira : P
X
=
P X
1
. A la medida de probabilidad P
X
se la llamar a la distribuci on (de
probabilidad) de la variable aleatoria X.
Comentarios
(i) Una variable aleatoria es un caso particular de una funci on medible, es decir
una funci on f : (
1
, /
1
) (
2
, /
2
) tal que f
1
(/
2
) /
1
. Se notara que
tal concepto no depende de una medida (de probabilidad) subyacente.
(ii) Notemos tambien que cuando los B
i
1 i n conforman una partici on
(nita) del universo, se tiene que A (jo), P(A [ B
i
) puede considerarse como
una variable aleatoria de distribuci on dada por los P(B
i
).
Ejercicio
Averiguar que el -algebra generado por la familia de intervalos (, x] :
x IR es igual al -algebra de los borelianos y que, por lo tanto, la condicion
(*) es equivalente a una condicion de medibilidad.
Casos Particulares
Variables aleatorias discretas : X() ZZ o IN
Variables aleatorias continuas : X() = I, I intervalo de IR
Caracterizaciones de una distribuci on de probabilidad
Claramente no es factible dar una regla explcita de asignacion de probabil-
idad para cada boreliano. Afortunadamente no es necesario. La condicion de
medibilidad de una variablre aleatoria nos asegura la existencia de una funci on
de distribuci on , F
X
denida como:
F
X
: IR [0 , 1] x IR F
X
(x) = P
X
(X ( x]) = P
X
(X x)
6
Una funci on de distribuci on se caracteriza por las siguientes propiedades:
1. lim
x
F
X
(x) = 0
2. lim
x+
F
X
(x) = 1
3. (no decreciente) x
1
< x
2
F
X
(x
1
) F
X
(x
2
)
4. (CADLAI : continua a la derecha con lmite a la izquierda) :
F
X
(x

) = lim
xix
F
X
(x
i
) existe x IR
F
X
(x
+
) = lim
xix
F
X
(x
i
) existe y F
X
(x
+
) = F
X
(x) x IR
Cuando F
X
(x

) ,= F
X
(x
+
), se tiene que F
X
(x
+
) F
X
(x

) = P
X
(X = x).
En el caso continuo, F
X
(x

) = F
X
(x
+
) = F
X
(x) x IR, se verica que
P
X
(X = x) = 0 x IR.
En el caso absolutamente continuo, la funci on de distribuci on es diferencia-
ble, es decir que existe una funci on f
X
, llamada funci on de densidad denida
por cada una de las propiedades equivalentes:
f
X
(x) =
dF
X
(x)
dx
y

f
X
(u) du = F
X
(x)
En el caso puramente discreto existe una doble sucesion (nita o numerable)
(a
i
, f
i
) i I IN tal que i I : a
i
< a
i+1
, f
i
> 0 and

iI
f
i
= 1 y
tal que :
F
X
(x) =

iI
f
i
11
{xai}
A (a
i
, f
i
) i I se lo llama lafunci on de probabilidad. Los a
i
representan la
ubicacion de los saltos , es decir los puntos de discontinuidad, de F
X
y los f
i
el
alto de esos saltos, es decir:
f
i
= F
X
(a
i
) F
X
(a
i
) = F
X
(a
i
) F
X
(a
i1
) = P
X
(X = a
i
)
En el caso mixto, tenemos:
F
X
(x) = aF
c
(x) + (1 a)F
d
(x) con 0 < a < 1
donde F
c
(x) es una funci on de distribuci on continua y F
X
(x) es una funci on de
distribuci on discreta.
Ejemplo. La funci on de distribuci on del valor del auto pose

ido por un indi-

viduo: en este caso P
X
(X = 0) > 0 a un si para los individuos que poseen un
coche la distribuci on es continua.
7
Comentarios
1. El n umero de saltos de una funci on de distribuci on es, a lo mas, numer-
able; es decir, un continuo de saltos es imposible.
2. Notemos que f
X
(x) ,= P
X
(X = x) porque este ultimo vale zero en el caso
continuo; lo que s es correcto es:
f
X
(x) = lim
0
F
X
(x + ) F
X
(x)

= lim
0
P
X
(x < X x + )

3. Matematicamente, es posible que F

X
sea continua pero diferenciable en
ning un punto. Practicamente son situaciones patologicas de escasa ocurrencia
para funciones de distribuci on. Sin embargo, esa es una de las caractersticas de
las trayectorias de un movimiento Browniano, tal como lo veremos en el captulo
8.
4. Notemos tambien que una funci on mon otona continua a la derecha tiene
siempre lmite a la izquierda.
Vectores aleatorios
Un vector aleatorio es X = (X
1
, X
2
, X
p
) es un conjunto ordenado y nito
de variables aleatorias denidas sobre un mismo universo, es decir:
X
i
: (, /, P) (IR, B) i = 1, p
Esta condicion es necesaria y suciente para asegurar la existencia de una
funci on de distribuci on conjunta , F
X
: IR
p
[0, 1], denida mediante:
F
X
(x
1
, x
2
, x
p
) = P
X
(X
1
x
1
, X
2
x
2
X
p
x
p
)
Propiedades de una funci on de distribuci on conjunta
Caso particular: p = 2, X = (Y, Z)
1.2.5 Esperanza Matematica
Integracion de Lebesgue
Esperanza Matematica
1.2.6 Esperanza Condicional
Esperanza Condicional
8
Idea B asica : desintegraci on
Denici on
Propiedades
Probabilidad Condicional
1.2.7 Independencia entre variables aleatorias
Denicion
Propiedades
1.2.8 Distancia de la media cuadratica (espacios L
2
)
Idea basica
A partir del concepto usual de convergencia en una sucesion de n umeros
reales, se puede derivar conceptos de convergencia en espacios mas generales
dotados de un concepto de distancia: la sucesion de objetos X
i
converge hacia
el objeto Y si la distancia entre X
i
e Y tiende a cero.
Ese enfoque, natural a unque no sea el mas general, motiva la utilidad de
introducir un concepto de distancia entre variables aleatorias (denidas sobre
un mismo espacio de probabilidad, de tal manera que su distribuci on conjunta
sea bien denida).
La distancia de la media cuadratica es el ejemplo mas sencillo y, probable-
mente, mas util.
Deniciones
Consideremos variables aleatorias denidas sobre un mismo espacio de prob-
abilidad , cada una de varianza nita. Al espacio de todas las variables aleato-
rias, denidas sobre (, /) se lo denota L
2
(, /) y se lo llama ele 2 .
Ejercicio. Averiguar que L
2
(, /) es un espacio vectorial (de dimensi on in-
nita).
La norma de la variable aleatoria Z : | Z | =

E[Z
2
]
La distancia (de la media cuadr atica) de X a Y = la norma de X Y :
d
2
(X, Y ) = | X Y | =

E[(X Y )
2
]
9
Que sea una distancia ( o metrica) quiere decir:
1. (no negatividad) X, Y : d
2
(X, Y ) 0
2. (separacion) d
2
(X, Y ) = 0 X = Y
3. (simetra) X, Y : d
2
(X, Y ) = d
2
(Y, X)
4. (desigualdad triangular) X, Y, Z : d
2
(X, Y ) d
2
(X, Z) +d
2
(Z, Y )
10
Captulo 2
Propiedades basicas
2.1 Conceptos basicos
2.1.1 Conceptos y Deniciones basicos
Sean
(, /, P) un espacio de probabilidad de base
(E, c) un espacio de los posibles estados de un sistema (o, de un modelo)
T un espacio de parametros o de tiempo
E
T
el espacio de las funciones denidas sobre T y valoradas en E :
E
T
= x [ x : T E
Un proceso estoc astico X es una funci on medible denida sobre (, /, P) y
valorada en E
T
:
X : E
T
Por lo tanto, se escribira :
X() = (X(t, ) : t T)
o bien
X = (X
t
: t T)
donde cada X
t
es una variable aleatoria denida sobre , o sea :
t T X
t
: (, /, P) E X
t
() = X(t, )
Tambien se escribira X(t) en vez de X
t
.
A X() se lo llamar a una trayectoria: es una funci on T E , o sea un
elemento de E
T
. Este enfoque enfatiza el aspecto funcion aleatoria.
11
Tambien puede considerarse un proceso estoc astico como una funci on denida
sobre el espacio producto T y valorada en E:
X : T E (t, ) X(t, )
Nota. Por denicion de una variable aleatoria, est a asegurado que : t T :
X
1
t
(c) /. Sea ademas T un -algebra sobre T. Se dir a que el proceso X es
medible si la funci on (t, ) X(t, ) es medible para el -algebra producto,
es decir si X
1
(c) T / . Cuando T es numerable, se tomara T = 2
T
; en
tal caso, todo proceso es medible mientras eso no es verdad en el caso continuo
donde T es un intervalo de IR, caso para lo cual se requieren condiciones de
suavidad de las trayectorias, que se considerar an en el captulo 6.
2.1.2 Distintos tipos de Tiempo
Tiempo ordenado o no ordenado
Al origen, la teor

ia de los procesos estoc asticos se interesaba solo a procesos

cuyo par ametro t representaba el tiempo fsico. Una caracterstica esencial del
tiempo es el ser ordenado; es decir el tiempo tiene una direcci on: hay un
pasado, un presente y un futuro. En esas condiciones, se representa el conjunto
de tiempo, T , por (un subconjunto innito de) IR .
M as tarde, interesaron tambien procesos cuyo tiempo no es ordenado, por
lo menos, en forma natural. As es el caso de procesos espaciales cuyo tiempo
es el plano bidimensional o tridimensional. Tambien, en el caso de medidas
aleatorias, un enfoque de procesos estoc asticos conduce a espacios de tiempo
en la forma de un -algebra.
Tiempo discreto o continuo
Tiempo discreto: i T IN
Tiempo continuo: t T, T intervalo de IR
Nota. Para llamar la atenci on sobre la naturaleza del espacio de tiempos, se
escribira tambien X
i
o X
n
para un tiempo discreto y X
t
o X(t) para un tiempo
continuo.
2.1.3 Caracterizaciones de la ley de Probabbilidad
Introducci on
Problema b asico: caracterizar y/o construir la distribuci on de probabilidad de
una innidad de variables aleatorias.
Sistemas proyectivos- Teorema de Kolmogorov
12
Sea un proceso estoc astico X = X
t
: t T con un espacio de tiempo T y un
espacio de estados (E, c) arbitrarios.
Un sistema proyectivo es un familia de distribuciones nito-dimensionales
P
t1,t2,,tn
sobre un mismo espacio de estados (E, c) denidas para n <
, t
1
< t
2
< < t
n
(t
i
T) y que satisfaga las dos siguientes condiciones
de coherencia:
1. coherencia para las permutaciones:
t
1
< t
2
, t
n
(t
i
T), , permutacion de 1, 2, , n,
IP
t1,t2,,tn
[X(t
1
) A
1
, X(t
2
) A
2
, X(t
n
) A
n
] =
IP
t
(1)
,t
(2)
,,t
(n)
[X(t
(1)
) A
(1)
, X(t
(2)
) A
(2)
, X(t
(n)
) A
(n)
]
2. coherencia para la marginalizaci on: I, nito , la distribuci on de (X(t
i
) :
t
i
I) es la misma cualquiera sea J I , nito, que se utilice para
obtenerla como marginalizaci on de la distribuci on de (X(t
i
) : t
i
J)
Teorema de Kolmogorov: Un sistema proyectivo caracteriza en forma unica una
distribuci on de probabilidad sobre X = X
t
: t T ; esa ley se llama el lmite
proyectivo del sistema.
Comentarios
1. Este teorema da una condicion necesaria y suciente para construir o car-
acterizar la ley de probabilidad de cualquier proceso estoc astico. En particular,
no hay ninguna condicion sobre T, el espacio de los tiempos, ni siquiera la de
ser ordenado.
2. Si el espacio de estados, (E, c), es euclidiano, el teorema no requiere
otra condicion de validez. En el caso mas complejo de espacios funcionales, se
requiere una hipotesis tecnica especca para asegurar la -aditividad del lmite
proyectivo.
Transiciones de Probabilidad- Teorema de Ionescu Tulcea
Teorema
Sea un proceso estoc astico X = X
n
: n IN, es decir con un espacio
de tiempo discreto y un espacio de estados (E, c) arbitrarios. Resultar a mas
c omodo para la escritura dar ndices tambien a los espacios de estados, es decir
escribiremos:
X
n
: (, /) (E
n
, c
n
)
a un si (E
n
, c
n
) = (E, c) para todo n.
13
Sea P
0
, una medida de probabilidad sobre (E
0
, c
0
)
Sea para todo n IN, P
n
n+1
una transicion de probabilidad denida sobre
(

0in
E
i
c
n+1
):
x = (x
0
, x
1
, , x
n
)

0in
E
i
, A c
n+1
P
n
n+1
(x; A) = IP[X
n+1
A [ X
0
= x
0
, X
n
= x
n
]
entonces existe una unica medida de probabilidad sobre X = X
n
: n IN tal
que P
0
sea su distribuci on marginal sobre (E
0
, c
0
) y que las transiciones dadas
sean las correspondientes distribuciones condicionales del proceso. M as a un, se
tiene :
n IN, IP[X
0
A
0
, X
n
A
n
] =

x0A0
P
0
(dx
0
)

x1A1
P
0
1
(x
0
; dx
1
)

x2A2
P
1
2
(x
0
, x
1
; dx
2
)

xnAn
P
n1
n
(x
0
, x
1
x
n1
; dx
n
)
Comentarios
1. No hay condiciones de coherencia sobre la sucesion de las transiciones;
en otras palabras, tales sucesiones no tienen redundancia como lo tienen los
sistemas proyectivos.
2. No hay condiciones de regularidad (ni topologicas) pero s se usa el
aspecto (bien) ordenado de IN a diferencia de los sistemas proyectivos que no
requieren nada respecto al espacio de los tiempos. La extensi on al caso continuo
es mucho mas compleja.
2.2 Tipos Importantes de Procesos Estocasticos
2.2.1 Procesos Independientes
Motivacion y Ejemplos Introductorios
Motivaci on
- estructura b asica
- teora asint otica en estadstica
Ejemplos
14
- lanzamiento de una moneda, de un dedo
- muestreo aleatorio simple
Denicion
Sea X = (X
t
: t T) con T discreto o continuo y E arbitrario.
El proceso X es independiente si:
n IN, t
1
< t
2
< < t
n
: |
1in
X(t
i
)
Sea X = (X
t
: t T) con T discreto o continuo y (E, c) = (IR, B) .
El proceso X tiene incrementos independientes si:
n IN, t
1
< t
2
< < t
n
: |
2in
[X(t
i
) X(t
i1
)]
Comentarios
1. En esas deniciones, no hay condiciones sobre T . Sin embargo, en tiempo
continuo, la independencia del proceso X es mas bien una propiedad patologica
mientras la independencia de sus incrementos es un propiedad de gran relevancia
practica.
2. Cuando el tiempo es acotado a la izquierda, es decir T = IR
+
o T = IN,
se complementa la condicion de incrementos independientes con la condicion
de independencia entre el estado incial, X
0
, y los incrementos X
t
X
0
; esta
ultima condicion puede interpretarse como una prolungacion cticia del proceso
a la parte negativa del tiempo con la condicion de que X
t
= 0 c.s. t < 0, de tal
manera que el nivel X
0
corresponda a un incremento respecto a cualquier tiempo
pasado. En esas circunstancias, la condicion de incrementos independientes
tambien se escribe:
n IN, t
0
= 0 < t
1
< t
2
< < t
n
: |
0in
[X(t
i
) X(t
i1
)]
con la convencion que X(t
0
) X(t
1
) = X
0
.
2.2.2 Procesos estacionarios
Motivacion y Ejemplos Introductorios
Motivaci on
A menudo, en estadstica, se observa una sola trayectoria de un proceso es-
toc astico porque no es posible volver a repetir el tiempo. En tales casos, se
15
plantea la pregunta : permite la observaci on de una sola trayectoria hacer in-
ferencia sobre las caractersticas del proceso, tales como los par ametros de un
modelo estadstico? La respuesta es positiva en el caso estacionario, con alguna
propiedad suplementaria de ergodicidad.
Ejemplos
- impulsos electricos en teora de la comunicacion
- distribuciones espaciales de estrellas, de plantas etc.
- muchos procesos econ omicos
Denicion
Traslacion del tiempo y trasformaci on de procesos
Sea X un proceso estoc astico con espacio de tiempo T = IN, IR
+
, ZZ, o IR
Sea Y otro proceso estoc astico con mismo espacio de tiempo, denido sobre el
mismo universo y tal que: Y
t
= X
t+h
Denici on : El proceso X es estacionario (en el sentido fuerte) si la ley de Y es
la misma como la ley de X cual sea el valor de h (> 0). Equivalentemente, si :
n IN, t
1
< t
2
< < t
n
:
(X(t
1
+h), X(t
2
+h), X(t
n
+h)) (X(t
1
), X(t
2
), X(t
n
))
La estacionaridad implica:
1. Si la esperanza matematica de X(t) existe, no depende de t : IE [X(t)] =
t T
2. Si la varianza de X(t) existe, no depende de t : V [X(t)] =
2
t T.
M as a un, la covarianza entre X(t) y X(s) depende solo de [ t s [ , es decir:
cov(X(t), X(t +h)) = ([ h [). A la funci on (.) denida sobre IN o sobre IR
+
,
se la llamar a funci on de autocovarianza.
Denici on . El proceso X es estacionario en el sentido debil o estacionario
en covarianza si se cumplen les propiedades de la estacionaridad limitadas a
los primeros dos momentos, es decir t T IE [X(t)] = , V [X(t)] =

2
, cov(X(t), X(t +h)) = ([ h [)
Comentario
Las expresiones fuerte y debil son peligrosas: la estacionaridad fuerte no
requiere la existencia de ning un momento y la estacionaridad debil no impide
falla de estacionaridad en caractersticas distintas de los primeros dos momentos.
16
Denici on. El proceso X tiene incrementos estacionarios si la distribuci on de
los incrementos [X(t +h) X(t)] depende de h pero no depende de t.
Ejercicios
1. Averiguar que un proceso independiente y (fuertemente) estacionario es un
proceso I.I.D.
2. Demostrar que si los incrementos de un proceso son independientes y esta-
cionarios con T = IR
+
o T = IN, se tiene :
(i) Si IE [[ X
t
[] < , entonces IE [X
t
] = a + bt, donde : a = IE [X
0
] y
b = IE [X
1
X
0
] = IE [X
1
] a. Se notara que, en tiempo continuo, t = 1 dene
la escala del tiempo.
(ii) Similarmente, si V [X
t
] < , entonces V [X
t
] = c + dt, donde c = V [X
0
] y
d = V [X
1
] V [X
0
]
(iii) M as a un, si el proceso es tambien estacionario, entonces el proceso es
constante .
Indicacion: estudiar la solucion de la ecuaci on funcional: f(t +s) = f(t) +f(s).
Invarianza para un grupo de transformaciones
Tal como denida hasta ahora, la estacionaridad se reere a una invarianza
de la distribuci on de un proceso relativa a una familia de transformaciones
del proceso, es decir cada traslacion del tiempo determina una transformaci on
del proceso que mantiene una misma distribuci on al proceso transformado. En
espacio de tiempos mas complejos que la recta real, se podra denir otros grupos
de transformaciones que permitiran ampliar el concepto de estacionaridad. Esto
es particularmente el caso de procesos espaciales.
2.2.3 Martingalas
Denici on .
Sea X = (X
t
: t T) donde T IR y (E, c) = (IR, B)
El proceso X es una martingala si IE [[ X
t
[] < y si:
n IN, t
1
< t
2
< < t
n
:
IE [X
tn
[ X
t1
= a
1
, X
t2
= a
2
X
tn1
= a
n1
] = a
n1
Ejemplo Sea X
t
el estado de fortuna de un jugador en un juego honesto
17
Ejercicios
1. Mostrar que si Z = (Z
i
: i IN) es un proceso independiente tal que
IE [Z
n
] = 0 n, y si X
n
= Z
1
+Z
2
+ +Z
n
, entonces X = (X
n
: n IN) es
una martingala.
2. Mostrar que si X = (X
t
: t IR
+
) es un proceso con incrementos indepen-
dientes tal que IE [X
t
] = 0 t, entonces X es una matingala.
2.2.4 Procesos Markovianos
Motivaci on
Una hipotesis markoviana encuentra su interes en dos tipos de consideraciones.
Por un lado, representa una propiedad razonable en muchas situaciones de mod-
elizaci on, tanto en la ciencias de la naturaleza como en las ciencias del compor-
tamiento humano. Por otra parte, es una hipotesis que permite hacer opera-
cionales modelos que de otra manera veran su valor operacional mucho mas
problem atico.
Ejemplos introductorios
1. En fsica: sea X
t
el estado del sistema al instante t. Condicionalmente a los
estados en los instantes anteriores a un instante t a, digamos (X
th
: h > a),
la distribuci on de X
t
solo depende del instante mas reciente, es decir X
ta
, sin
que importa lo occurido antes de ese instante t a.
2. En economa, la memoria de un indivduo (o de un sistema) est a limitada en
sus capacidades; es decir: dado su comportamiento, o su estado, en el instante
pasado t a, su comportamiento en el instante t no dependera de su compor-
tamiento anterior al instante t a.
Denici on. Sea T = IN o T = IR
+
. Se dice que X = (X(t) t T ) es un
proceso markoviano si :
n IN, t
1
< t
2
< < t
n
: X(t
n
) | X
n1
1
[ X(t
n1
)
donde X
n1
1
representa (el -algebra generado por) el vector (X(t
1
), X(t
2
),
X(t
n1
)).
Clasicaci on de Procesos Markovianos
Los procesos markovianos se llaman cadena de Markov cuando el espa-
cio de los estados es nito. As se obtiene la clasicacion dada en el siguiente
cuadro, indicando tambien los correspondientes captulos de estos apuntes.
18
Clasicaci on de Procesos Markovianos
E discreto E continuo
T discreto cadena de Markov Proceso de Markov
tiempo discreto tiempo discreto
(cap. 4) (cap.7)
T continuo cadena de Markov Proceso de Markov
(T intervalo) tiempo continuo tiempo continuo
(cap. 5) (cap.8)
Caracterizaci on de la distribuci on de un Proceso Markoviano
Las leyes nito-dimensionales se caracterizan dando una ley inicial P
0
(A) =
IP(X
0
A) para cada A c y, para cada t
1
< t
2
, una transicion de probabilidad
P
t1,t2
(., .) denida sobre E c con la interpretaci on:
P
t1,t2
(x, A) = IP(X(t
2
) A [ X(t
1
) = x)
Si esas transiciones son estacionarias, es decir que dependen de (t
1
, t
2
) solo
a traves de la diferencia (t
2
t
1
), se dir a que el proceso es homogeneo. En tal
caso, se escribira :
P
t
(x, A) = IP(X(t +u) A [ X(u) = x) u T
Notemos que X markoviano homogeneo no implica que sea un markoviano esta-
cionario.
Ejercicios
Mostrar que si X = (X
n
: n IN) es un proceso con incremientos independi-
entes es markoviano. Notar que no es siempre as en tiempo continuo.
2.3 Algunas Preguntas Basicas
Propiedades de trayectorias
Por ejemplo:
1. en el caso (E, c) = (IR, B), podra interesar :
U
a
= inf
t
t [ X
t
a
19
o, cuando E = 0, 1, p,:
U
a
= inf
t
t [ X
t
= a
V
a
=

11
{Xt=a}
dt
Las preguntas relevantes seran : ?ser an U
a
o V
a
funciones medibles de las trayec-
torias? y, en el caso armativo, ?cual es su distribuci on ?
2. Evaluar la probabilidad de una trayectoria particular cuando el espacio de
estados es nito o numerable
3. Evaluar la ley de probabilidad del futuro del proceso condicionalmente a
su pasado.
Propiedades asint oticas,
20
Captulo 3
Tiempo discreto-Estados
arbitrarios
3.1 Introduccion
Motivaciones
un enfoque general para los procesos en tiempo discreto
teora asint otica en estadstica
Recordemos (section 2.1.1.) que siendo discreto el tiempo, el -algebra de T
sera c = 2
T
, asegurando as que el proceso X sea siempre medible.
3.2 Procesos en tiempo discreto : conceptos de
convergencia
3.2.1 Conceptos basicos
Motivacion
Recordemos: si a, a
n
: n IN IR se dene :
lima
n
= a > 0 N() tal que n N() [ a
n
a [>
La pregunta natural es: ?Como generalizar lmites en IRa lmites entre variables
aleatorias? La respuesta a esa pregunta es: son m ultiples las generalizaciones.
De hecho, tenemos que tomar en cuenta dos aspectos de tales generalizaciones:
pasar de una sucesion de puntos ( en IR) a una sucesion de funciones (denidas
sobre el espacio b asico) e incorporar el aspecto probabilstico.
21
Deniciones
Sean X = (X
n
: n IN) un proceso en tiempo discreto y Y una variable
aleatoria, ambos denidos sobre un mismo espacio (, /, P).
En un primer paso, se supondr a que el espacio de estados sea la recta real:
(E, c) = (IR, B). En un secondo paso, se considerar a la extensi on a espacios
euclidianos: (E, c) = (IR
p
, B
(p)
).
El proceso X converge con probabilidad 1, o converge casi seguramente hacia Y :
X
n
c.s.
Y IP[lim
n
X
n
= Y ] = 1 IP [ lim
n
X
n
() = Y () = 1
El proceso X converge en probabilidad hacia Y :
X
n
p
Y > 0 lim
n
IP[[ X
n
Y [ > ] = 0
El proceso X converge en media cuadr atica hacia Y :
X
n
m.c.
Y lim
n
IE [[ X
n
Y [
2
] = 0
El proceso X converge en distribuci on hacia Y :
X
n
d
Y lim
n
F
Xn
(t) = F
Y
(t) t donde F
Y
es continua,
es decir : t tal que : IP[Y = t] = 0
Comentarios
1. Para la convergencia en probabilidad, tambien se encontrara la notaci on:
plimX
n
= Y X
n
p
Y
2. Con alg un abuso de escritura, se har a tambien uso de la notaci on :
X
n
d
F
Y
.
3.2.2 Extension al caso multivariado
Es decir: (E, c) = (IR
p
, B
(p)
), o sea : X
n
= (X
1,n
, X
2,n
X
p,n
) y Y =
(Y
1
, Y
2
, , Y
p
). Entonces:
1. Para los modos de convergencia c.s., p, m.c. , la extensi on a la convergencia
de la distribuci on conjunta es inmediata y se puede comprobar que es equiva-
lente a la misma convergencia de la distribuci on marginal de cada una de las
coordenadas.
2. Para la convergencia en distribuci on, la convergencia de la distribuci on con-
junta es una facil extensi on del concepto univariado e implica la convergencia en
distribuci on de la distribuci on marginal de cada una de las coordenadas PERO
22
el inverso es falso; sin embargo dos casos inversos , bastante triviales, se verican:
A. Si |
j
X
j,n
n y |
j
Y
j
, entonces:
X
j,n
d
Y
j
j = X
n
d
Y
B. Si X
n
= (X
1,n
, X
2,n
) y Y = (Y
1
, Y
2
), los subvectores siendo de las mismas
respectivas dimensiones, y si IP(Y
2
= c) = 1, entonces:
[X
1,n
d
Y
1
y X
2,n
d
Y
2
] = X
n
d
Y
3.2.3 Propiedades y Teoremas
1. En el caso particular donde Y es una variable aleatoria degenerada, es decir
IP[Y = c] = 1 donde c es una constante, y por lo tanto V (Y ) = 0, el concepto
de convergencia casi segura no se queda afectado; mas a un se tiene:
X
n
p
Y X
n
d
H
c
donde H
c
representa la funci on de distribuci on
escolonada en el solo punto c
ademas:
X
n
m.c.
c lim
n
V (X
n
) = 0 y lim
n
IE (X
n
) = c
Se puede usar esta propiedad para considerar las convergencias de X
n
hacia Y
como convergencias de X
n
Y hacia 0.
2. En general, vale:
X
n
c.s.
Y = X
n
p
Y = X
n
d
Y
3. En general, vale:
X
n
m.c.
Y = X
n
p
Y
Ejercicio : Mostrar (Indicaci on: hacer uso de la desigualdad de Tchebychev)
4. Para cualquiera funci on g continua :
X
n
d
Y = g(X
n
)
d
g(Y )
Ejercicios
1. Mostrar:
plim(X
n
+Y
n
) = plimX
n
+ plimY
n
plim(X
n
Y
n
) = plimX
n
plimY
n
2. ?Bajo que condicion vale ?:
plim(X
n
/Y
n
) = plimX
n
/plimY
n
23
3.3 Procesos independientes
Empezaremos con un resultado clasico relativo a una sucesion (innita) de suce-
sos, antes de aplicarlo a un proceso independiente.
Sea (, /, P) un espacio de probabilidad y A
i
: i IN / una sucesion
(innita) de sucesos.
El conjunto de los puntos que pertenecen a una innidad de los A
i
se denota
A

y se describe de la siguiente manera:

A

=
n1

ni<
A
i
Tambien se encontrara la notaci on : A

= A
i
i.o. donde i.o. simboliza
la expresion inglesa innitely often. Puede ayudar la comprehension notar lo
siguiente. Consideremos:
B
n
=
in
A
i
Claramente, los B
n
forman una sucesion mon otona decreciente (es decir: B
n+1

B
n
) y cada uno contiene una innidad de los A
i
, lo que hace de
A

=
n1
B
n
un lmite mon otono.
Lema de Borel-Cantelli

iIN
P(A
i
) < P(A

) = 0

iIN
P(A
i
) = y |
iIN
A
i
P(A

) = 1
Ese lema es esencial en el analisis de los procesos independientes, con la especi-
cacion : A
i
(X
i
). As lo damos ahora en terminos de las variables aleatorias
que conforman un proceso estoc astico.
Ley de 0-1
Sea:
|
iIN
X
i
Y
n
= f
n
(X
n
, X
n+1
, )
Z = g
n
(Y
n
) n
Entonces : A tal que Z
1
(A) / : IP(Z A) 0, 1
Por lo tanto, c : IP(Z() = c] = 1
24
3.4 Procesos IID
Sea:
X = (X
n
: n IN) con X
n
I.I.D. y IE [X] = <
X
n
=
1
n

1 i n X
i
Se notara que el procesos de los X
n
no es n independiente n identicamente
distribuido.
Ley debil de los n umeros grandes : X
n
p

Ley fuerte de los n umeros grandes : X
n
c.s.

Teorema del Lmite Central: Si, ademas V (X
n
) =
2
< :

n(X
n
)
d
N(o,
2
)
A

n se la llama la velocidad de convergencia y a
2
se la llama la varianza
asint otica.
Teorema de Glivenko-Cantelli
Sea:
X = (X
n
: n IN) con X
n
I.I.F
X
: F
X
(x) = P(X
n
x) n
F
n
la funci on de distribuci on emprica de los X
n
:
F
n
(x) =
1
n

1in
11
{Xix}
Entonces:
sup
x IR
[ F
n
(x) F
X
(x) [
c.s.
0.
25
Captulo 4
Tiempo discreto-Estados
nitos o numerables
4.1 Introduccion : Cadenas de Markov
Sea:
X = (X
n
: n IN)
E = (E
0
, E
1
, , E
p
) o E = (E
i
i IN)
Por lo tanto: c = 2
E
; luego este captulo no planteara ning un problema de
medibilidad .
Comentarios
1. Aqu, los estados E
i
son abstractos, es decir los E
i
tienen solo un papel
de etiqueta y el conjunto de los estados E no tiene estructura matematica.
Para facilitar las formulas se escribira tambien : E = (0, 1, 2, p) o E = IN y
tambien, IP(X
n
= i) con i E. Pero nunca se har a uso de cualquiera propiedad
numerica de los estados.
2. La mayora de los resultados valen tanto cuando el espacio de estados E es
nito o innito (numerable). En caso contrario, se lo espicicar a explicitamente.
Recordemos (cap.2) que la propiedad de markovianidad quiere decir:
n IN, t
1
< t
2
< < t
n
: X(t
n
) | X
n1
1
[ X(t
n1
)
o, equivalentemente:
IP(X(t
n
) = i
n
[ X(t
1
) = i
1
, X(t
2
) = i
2
, X(t
n1
) = i
n1
)
= IP(X(t
n
) = i
n
[ X(t
n1
) = i
n1
)
26
Dado el car acter discreto del tiempo, se puede hacer uso de una forma simpli-
cada del teorema de Ionescu Tulcea (seccion 2.1.3.) para convencerse que esta
propiedad es equivalente a:
n IN, IP(X
n
= i
n
[ X
0
= i
0
, X
1
= i
1
, X
2
= i
2
, X
n1
= i
n1
)
= IP(X
n
= i
n
[ X
n1
= i
n1
)
4.2 Probabilidades de Transicion y de Trayecto-
rias
4.2.1 Motivacion
Con ambos conjuntos de tiempo y de estados discretos, interesar a calcular la
probabilidad de trayectorias nitas : IP(X
0
= i
0
, X
1
= i
1
, X
2
= i
2
, X
n
= i
n
).
Para esos c alculos , y otros de igual interes, se debe empezar por cacracterizar
la ley de probabilidad de una cadena de Markov.
4.2.2 Caracterizacion de la ley de probabilidad
Especializando al caso numerable (!para T y E !) lo ya mencionado sobre proce-
sos markovianos generales (seccion 2.2.4.), se concluye que la ley de probabilidad
de una cadena de Markov puede caracterizarse a partir de :
una probabilidad inicial:
p
(0)
= (p
(0)
i
: i E) tal que p
(0)
i
= IP(X
0
= i) 0

iE
p
(0)
i
= 1
una sucesi on de transiciones:
P
n
n+1
= [p
n
n+1
(i, j)] tal que p
n
n+1
(i, j) = IP(X
n+1
= j [ X
n
= i)
y por lo tanto:
p
n
n+1
(i, j) 0

jE
p
n
n+1
(i, j) = 1 i E
En el caso innito, las transiciones P
n
n+1
se representan por matrices innitas
de elementos no negativos y de suma de la igual a 1. En el caso nito, las
transiciones P
n
n+1
se representan por matrices cuadradas de dimensi on (p+1)
(p + 1) tales que :
P
n
n+1
e
+
= e
+
donde e
+
= (1, 1, 1)

IR
p+1
es decir: el vector e
+
es un vector propio a la derecha (!ojo! : P
n
n+1
n o es, en
general, un matriz simetrica) correspondiente al valor propio 1.
27
En el caso de una cadena de Markov homogenea, las transiciones P
n
n+1
no
dependen de n y se escribir a:
P = [p
i,j
] donde p
i,j
= IP(X
n+1
= j [ X
n
= i) n
La matriz P se llamar a la matriz de transici on de la cadena. En lo que viene a
continuacion, concentraremos la atenci on sobre el solo caso homogeneo.
4.2.3 Calculo de probabilidades de trayectorias
4.2.4 Ejemplos y Ejercicios
4.3 Clasicacion de Cadenas y de Estados
4.4 Propiedades lmites
4.5 Casos Particulares
28
Captulo 5
Tiempo discreto-Estados
Euclidianos
29
Captulo 6
Tiempo continuo-Aspectos
Generales
30
Captulo 7
Tiempo contnuo-Estados
nitos o numerables
31
Captulo 8
Tiempo contnuo- Estados
Euclidianos
Sea T IR, intervalo
Denicion : (X
t
: t T) es un proceso gausiano si todas sus distribuciones
nito-dimensionales son distribuciones normales multivariadas.
o sea:
(t
1
, t
2
, t
n
) : (X
t1
, X
t2
, X
tn
) N([(t
i
)], [cov(t
i
, t
j
)])
donde [(t
i
)] es un n-dimensional vector de esperanzas matematicas y [cov(t
i
, t
j
)]
es una matriz (n n) de varianzas -covarianzas.
Caracterizacion
Denicion
Comentarios de las hipotesis
Propiedades
Aplicaciones
32
Captulo 9
Tiempo no ordenado
Ejemplos introductivos
1. arboles en un bosque: son individuos localizados aleatoriamente en un
espacio bidimensional
2. sucesos que se realizan en un instante aleatorio
Sean:
1. (M, /): un conjunto de medidas (positivas) sobre un mismo espacio de
estados (E, c)
2. (, /, T) un espacio de probabilidad
Denici on: M es una medida aleatoria si es una funci on (medible)
M : (, /, P) (M, /) M

es decir, donde / es tal que:

A c : M / M(A) (IR
+
, B) es /medible
o bien: B B, A c, M [ M(A) B /
Nota: algunos autores tambien lo llaman un proceso puntual; no lo haremos
en estas notas.
Supondremos en adelante:
1. H(0) : M IR
E
+
o M IN
E
2. H(1) : E IR y c borelianos de E
3. H(2) : A( c) acotado m(A) < m M
33
Sea : m(A, ) = M(A)() = M(A)(notaci on !)
entonces:
1. M(A) es una variable aleatoria no negativa
2. A
i
A
j
= M(
i
A
i
) =

i
M(A
i
) c.s.
34
Bibliografa
Bailey, Norman T.J. (1964), The Elements of Stochastic Processes with Appli-
cations to the Natural Sciences, New York: Wiley and Sons.
Barra, J. -R. (1981), Mathematical Basis of Statistics, New York: Academic
Press.
Basawa, I.V. and B. L. S. Prakasa Rao (1980), Statistical Inference in Stochas-
tic Processes, London: Academic Press.
Bouleau, Nicolas (1988), Processus Stochastiques et Applications, Paris: Her-
mann.
Breiman, Leo (1968), Probability, Reading, Mass.:Addison-Wesley.
Chow, Y.S. and M.Teicher (1978), Probability Theory: Independence, Inter-
changeability, Martingales, New York: Springer Verlag
Chung, K.L. (1960), Markov Processes with Stationary Transition Probabili-
ties,Heidelberg: Springer Verlag.
Chung, K.L. (1968), A Course in Probability Theory, New York: Harcourt,
Brace and World Inc.
Cox, D.R. and H.D. Miller (1965), The Theory of Stochastic Processes, London:
Methuen.
Doob, J.L. (1953), Stochastic Processes, New York: Wiley and Sons.
Feller, W.(1970), An Introduction to Probability Theory and Its Applications,
Vol.1, New York: Wiley and Sons.
Feller, W.(1971), An Introduction to Probability Theory and Its Applications,
Vol.2, New York: Wiley and Sons.
Florens, J. -P., M. Mouchart and J. -M. Rolin (1990), Elements of Bayesian
Statistics, New York: Marcel Dekker.
Karlin, S. and H.M.Taylor (1975), A First Course in Stochastic Processes, 2a
edici on, New York: Academic Press.
35
Karlin, S. and H.M.Taylor (1981), A Second Course in Stochastic Processes,
2a edici on, New York: Academic Press.
Kemeny, J.G. and J.L.Snell (1960), Finite Markov Chains, New York: Springer
Verlag.
Kendall, M. G. and A. Stuart (1979), The Advanced Theory of Statistics, Vol.
2, Inference and Relationships, Fourth Edition, London: Grin.
Kijima, Masaaki (1997), Markov Processes for Stochastic Modelling, London:
Chapman and Hall.
Metivier, M., (1972), Notions Fondamentales de la Theorie des Probabilites,
2a edici on, cap.7, Paris: Dunod.
Parzen, Emanuel (1963), Stochastic Processes, San Francisco: Holden Day Inc.
Prakasa Rao, B. L. S. (1992), Identiability in Stochastic Models. Characteri-
zation of Probability Distributions, Boston: Academic Press.
Robert, Christian (1996), Methodes de Monte Carlo par Chanes de Markov,
Paris: Economica.
Tak acs Lajos (1960), Stochastic Processes, Problems and Solutions, London:
Methuen.
Taylor, H.M. and S.Karlin (1998), An Introduction to Stochastic Modeling, 3a
edici on, San Diego: Academic Press.
36