Mtodo Alias (Walter 1977)

Permite generar de manera eficiente v.a.d. Con soporte

finito. Supongamos que se desea generar la v.a.d. X con
funcin de cuanta P = { p
i
: i = 1,2,...,n }


donde Q
(k)
es una distribucin concentrada en a lo sumo
dos puntos {1,2,...,n}. La demostracin de esta
descomposicin se basa en:

=
1
1
) (
1
1
n
k
k
Q
n
P
Mtodo de Composicin
Caso Especial
Lema1: Sea P = { p
i
: i=1,2,...,n} funcin de cuanta
Entonces:
a) Existe i {1,2,...,n} tal que p
i
<

b) Para tal i, existe j con i = j tal que p
i
+ p
j
>

Dem : Reduccin al absurdo
( )
1
1
n
( )
1
1
n
Transformaciones
Distribucin Binomial
Para generar una v.a.d. X ~ B(n,p)
independientes
Algoritmo
P
1
: Hacer X = 0
P
2
: Efectuar n rplicas
- Generar U ~ U(0,1)
Si U < p , Hacer X = X + 1
Si U > p , Hacer X = X + 0
P
3
: Generar salida X
Observacin: Mtodo propuesto requiere de generar n
nmeros aleatorios y n comparaciones
) , 1 ( ~ ;
1
p B Z Z X
i
n
i
i
=
=
Mtodos Especficos
Un mtodo alternativo es el mtodo de inversin basado
en la relacin recursiva siguiente
[Frmula recursiva]
Sea





) (
) 1 )( 1 (
) (
) 1 ( i X P
p i
p i n
i X P =
+

= + =
) ( ; ) ( i X P F i X P P s = = =
Mtodos Especficos
Algoritmo
P
1
: Genera U ~ U(0,1)
P
2
: Hacer i = 0 , P = F = (1-p)
n
Hasta que U < F
Hacer P = P , F = F + P
i = i + 1
P
3
: Generar salida X = i
) 1 )( 1 (
) (
p i
p i n
+

Mtodos Especficos
Distribucin Poisson

Para generar la distribucin de Poisson P() con
pequeo, utilizando el mtodo de inversin.
P(X = i + 1) =
usando P = P(X = i) , F = P(X s i)
) (
) 1 (
i X P
i
=
+

Mtodos Especficos
Algoritmo
P
1
: Genera U ~ U(0,1)
P
2
: Hacer i = 0 F = P = Exp(-)
Hasta que U < F
Hacer P = P , F = F + P
i = i + 1
P
3
: Generar salida X = i
) 1 ( + i

Mtodos Especficos
Distribucin Geomtrica
Para generar una v.a.d. X ~ G(p), es posible discretizar
Y ~ exp(). Sea X = [y]
Entonces P[x = r] =P(r s Y < r +1), r=0,1,2,..
=
es la funcin de cuanta de una Geo(p=1-exp(-))
Tomando = -ln(1-p) X = ~ Geo(p)

)); 1 ( exp( ) exp( ) exp(
1
+ =
}
+
r r ds s
r
r

] [
) 1 ln(
ln
p
U

Mtodos Especficos
Distribucin Hipergeomtrica
Para generar una distribucin Hipergeomtrica H(m,n,p)
se efectan n extracciones sin reposicin de un conjunto
de m elementos de dos clases {p m e C
1
y m(1-p) e C
2
}
Algoritmo
P
1
: Hacer X = 0, C
1
= mp C
2
= m-C
1
P
2
: Repetir n veces
Generar U ~ U(0,1)
Si U s C
1
/m hacer X = X+1 , C
1
= C
1
- 1
sino , C
2
= C
2
- 1
Hacer m = m - 1
P
3
: Generar salida X
Mtodos Especficos
Distribuciones Multivariadas

Distribuciones Independientes
El caso ms simple lo constituye el de distribuciones
marginales independientes


con x = (x
1
, x
2
,...,x
p
) Basta con generar cada componente
X
i
, como distribucin univarianda y salir con
X = (X
1
, X
2
, ..., X
p
)
[
=
=
p
i
i x
x F x F
i
1
) ( ) (
Mtodos Especficos
Distribuciones Dependientes
Distribuciones Dependientes con condicionadas
disponibles. Utilizando la descomposicin
F(x) = F
1
(x
1
) F
2
(x
2
/ x
1
)... F(x
p
/ x
1
,x
2
,...,x
p-1
)
Si disponemos de las distribuciones
X
i
/
X1
, ..., X
i-1
i = 1,2,...,p
Algoritmo
P
1
: Desde i=1,2,...,p
Generar X
i
~ X
i
/ x
1
, ..., x
i-1
P
2
: Generar salida x = (x
1
,x
2
,...,x
p
)
Mtodos Especficos
Estadsticos de Orden
Para muestrear (X
(1)
, X
(2)
,...,X
(p)
), el estadstico de orden
asociado a m.a.s. X
1
,X
2
,...,X
p
de X. La forma obvia de
muestrear es hacerlo de (X
1
,X
2
,...,X
p
). Alternativamente,
podemos generar la muestra de orden. Por ejemplo, si
conocemos la inversa generalizada F, podemos generar
nmeros aleatorios (U
(1)
, U
(2)
,...,U
(p)
) y salir X
(i)
= F(U
(i)
).
Para ello es necesario generar una muestra ordenada de
nmeros aleatorios (U
(1)
, U
(2)
,...,U
(p)
) .
Mtodos Especficos
Algoritmo
P
1
: Generar U
(1)
, U
(2)
,...,U
(p)
~ U(0,1)
P
2
: Hacer U
(p)
= (U
p
)
1/p
U
(k)
= U
(k+1)
U
k
1/k
Mtodos Especficos
Distribuciones Discretas
Las distribuciones discretas multivariadas no difieren de las
univariadas. El soporte puede ser grande, pero los
mtodos, inversin, alias, etc. funcionan bien.
Ejemplo : Distribucin bivariada (X,Y) con soporte
{1,2,...,L}x{1,2,...,M} tenemos
P
xy
= P(X s x) + P(X=x, Y=y)
indexado en x.
Mtodos Especficos
Mtodos Especficos
Para generar X = (X
1
, X
2
,...,X
p
) ~ N(, E) se usa el mtodo
de descomposicin de Cholesky.
Sea E = L L
t
, para alguna matriz L.
Entonces si Z = (Z
1
, Z
2
,...,Z
p
) ~ N(0, I
p
)
la variable X = (, LZ) ~ N(, E)
Mtodos Especficos
Distribucin de Wishart
Para generar una v.a.c. W ~ W(n,E,A) para A = 0, si E = LL
t

y V = Z
i
Z
i
t
; Z
i
normales p-variantes N(0, I
p
) , i = 1,2,...,n
Entonces:
W = L V L
t
~ W (n,E,0)

=
n
i 1
Mtodos Especficos
Algoritmo
P
1
: Generar Z
ij
~ N(0,1) i = 1,2,...,n j=1,2,...,n
P
2
: Hacer V = Z
i
Z
i
t
P
3
: Hacer W = L V L
t

P
4
: Salida W

=
n
i 1
Mtodos Especficos
El algoritmo implica generar np normales estndar. Una
reduccin del esfuerzo de clculo se obtiene utilizando la
descomposicin de Bartlett.
En el caso no centrado (A = 0), A es una matriz simtrica
definida no negativa. Sea A = I I
t
su descomposicin de
Cholesky y u
1
, u
2
, ..., u
p
las filas de I.
Entonces, podemos escribir :


donde se genera W, similar al caso A = 0 usando np
normales estndares.

+ = =
+ + + =
n
p k
t t
k k
p
k
t
k k k k
L Z LZ LZ LZ W
1 1
) )( (
Mtodos Especficos
Distribucin Multinomial (p-dimensional).
Para generar la Distribucin Multinomial de parmetros
q
1
, q
2
, ..., q
p
X = (X
1
, X
2
, ..., X
p
) ~ M(n, q
1
,...,q
p
) con :


Como X
i
~ B(n, q
i
) i = 1,2,...,p
X
i
/ X
1
=x
1
,..., X
i-1
=x
i-1
, ~ B(n-x
1
...-x
i-1
, w
i
)

i = 2,3,...,p con w
i
=

p i n X q q
p
i
i
p
i
i i
,..., 2 , 1 , 0 , 1
1 1
= = > =

= =
1 2 1
...... 1


i
i
q q q
q
Mtodos Especficos
Entonces resulta el Algoritmo
P
1
: Hacer mientras m=n i=1, w=1, Xi = 0, i=1,...,p
Mientras m = 0
Generar X
i
~ B(m, q
i
/w)
Hacer m = m-X
i
, w =1 - q
i
, i = i+1
Mtodos Especficos
Generacin de Procesos Estocsticos
Generacin de Familias de v.a. {X
t
}
t eT
Comenzaremos con las cadenas de Markov homogneas.
Cadena de Markov en Tiempo Discreto
Para generar una cadena de Markov con espacio de estado S
y matriz de transicin P = [p
ij
] donde p
ij
= P(X
n+1
=j / X = i). La
forma ms simple de simular la transicin (n+1)-sima,
conocida X
n
, es generar X
n+1
~{px
nj
: j e S}
Mtodos Especficos
Alternativamente se puede simular T
n
, el tiempo hasta el
siguiente cambio de estado y, despus el nuevo estado
X
n+Tn
. Si X
n
= s, T
n
~ G(p
ss
) y X
n+Tn
tiene una distribucin
discreta con cuanta {p
sj
/ (1 - p
ss
) : j e S \ {s}}.
Para muestrear N transiciones de la cadena suponiendo
X
o
= i
o
Algoritmo
Hacer t=0, X
o
= i
o
Mientras t < N
Generar h ~ G(px
t
x
t
)
Generar X
t+h
~ {px
tj
/ (1 - px
t
x
t
) : j e S \ {s}}.
Hacer t=t+h
Mtodos Especficos
OBS. 1) La primera forma de simular una cadena de
Markov, que corresponde a una estrategia
sincrnica, es decir en la que el tiempo de simulacin
avanza a instantes iguales.
2) La estrategia asincrnica es ms complicada de
simular [Ver. B. Ripley 1996]
Mtodos Especficos
Cadenas de Markov en Tiempo Continuo
La simulacin asincrnica de cadenas de Markov en
tiempo continuo es sencilla de implantar.
- Las cadenas de Markov de Tiempo Continuo vienen
caracterizadas por los parmetros vi de las distribuciones
exponenciales de tiempo de permanencia en el estado i y
la matriz de transicin P; con p
ii
= 0; p
ij
= 1
- Sea P
i
la distribucin de la fila i-sima. Entonces si X
o
= i
o
,
para simular hasta T se tiene :

= j i
Mtodos Especficos
Algoritmo

Hacer t = 0, X
o
= i
o
, j = 0
Mientras t < N
Generar t
j
~ exp(vx
j
)
Hacer t = t + t
j

Hacer j = j + 1
Generar X
j
~ Px
j-1

Mtodos Especficos
Proceso de Poisson
En el Proceso de Poisson P(), el nmero de eventos N
T

en un intervalo (0,T) es P(T) y los N
T
~ U(0,T)
Algoritmo
- Generar N
T
~ P(T)
- Generar U
1
, ..., U
T
~ U(0,T)
Mtodos Especficos
OBS :
1) Para procesos de Poisson no homogneos, con
intensidad (t) y u(t) = (s) ds . Entonces
- Generar N
T
~ P(u(t))
- Generar T
1
, T
2
,..., TN
T
~

2) Los procesos de Poisson son un caso particular de
los procesos de renovacin. La forma de generar los
primeros se extiende a los procesos de renovacin.
}
t
0
] , 0 [
) (
T
I
t

Mtodos Especficos
- Sean S
0
= 0, S
1
, S
2
, ... Los tiempos de ocurrencia
- T
i
= S
i
- S
i-1
los tiempos entre sucesos.
- Para un proceso de renovacin, los T
i
son v.a.i.i.d. segn
cierta distribucin t.
- Simular hasta el instante T.
Hacer S
0
= 0
Mientras S
i
< T
Generar T
i
~ t
Hacer S
i
= T
i
+ S
i-1
Hacer i = i + 1
Mtodos Especficos
Procesos no Puntuales (Movimiento Browniano)
- La simulacin de procesos (no puntuales) en tiempo
continuo es ms complicada que la simulacin de procesos
puntuales.0
- Una solucin es generar procesos en suficientes
instantes discretos y aproximar la trayectoria por
interpolacin.
Mtodos Especficos
Como ejemplo, consideremos el movimiento Browniano
con parmetro o
2
- X
0
= 0
- Para s
1
s t
1
s
2
s t
2
..... s s
n
s t
n
las v.a.
Xt
1
- Xs
1
, ..., Xt
n
- Xs
n
son independientes
- Para s < t, X
t
- X
s
~ N(0, (t-s) o
2
)
- Las trayectorias son continuas
Mtodos Especficos
Entonces para At fijo,
Hacer X
0
= 0
Desde i = 1 hasta n
Generar Y
i
~ N(0, (t-s) o
2
)
Hacer X
iAt
= X
(i-1)At
+ Y
i
Interpolar la trayectoria en {(iAt, X
iAt
)}
Otros ejemplos de Simulacin de Procesos continuos [Ver
B. Ripley 1987]
Mtodos Especficos
El Proceso de Gibbs
El creciente inters en los mtodos de cadenas de Markov,
se debe al uso en Inferencia Bayesiana del Muestrador de
Gibbs. [Geman (1984)]
Ejemplo: Sean (X,Y) v.a.d. Bernoulli con distribucin
x y P(X,Y)
0 0 p
1
1 0 p
2
p
i
= 1
0 1 p
3
p
i
> 0
1 1 p
4

Mtodos Especficos
P(X=1) = p
2
+ p
4
(Marginal)
P(X/Y=1) =
P(X=1/Y=1) =
Las Distribuciones condicionales

=
=
1
0
4
3
x p
x p
4 3
4
p p
p
+
|
|
.
|

\
|
= = = =
= = = =
=
) 1 / 1 ( ) 1 / 0 (
) 0 / 1 ( ) 0 / 0 (
x y P x y P
x y p x y P
A
yx
|
|
.
|

\
|
+ +
+ +
4 2
4
4 2
2
3 1
3
3 1
1
p p
p
p p
p
p p
p
p p
p
=
yx
A
Mtodos Especficos


Algoritmo
Escoger Y
0
= y
0
, j =1
Repetir
Generar X
j
~ X/Y = y
j-1
Generar Y
j
~ Y/X = x
j
j=j+1
Entonces {X
n
} define una cadena de Markov con matriz de
transicin
A = A
yx
A
xy
|
|
.
|

\
|
+ +
+ +
4 3
4
4 3
3
2 1
2
2 1
1
p p
p
p p
p
p p
p
p p
p
=
xy
A
Mtodos Especficos
Como las probabilidades p
i
> 0, la cadena es ergdica y
tiene distribucin lmite, que es la marginal de X
X
n
X ; Y
n
Y ; (X
n
, Y
n
) (X,Y)
OBS: 1) El procedimiento descrito se llama muestrador de
Gibbs [Gibbs Sampler] y nos proporciona una
cadena de Markov, con distribucin lmite deseada y se
puede generalizar.
Para muestrear un vector aleatorio p-variante
X = (X
1
, X
2
, ..., X
p
) con distribucin t, conociendo las
distribuciones condicionadas X
s
/X
r
, r = s
Mtodos Especficos
Sea t (x
s
/x
r
, r = s) Dist. Condicionada
El [Gibbs Sampler] en este caso es
- Escoger X
1
0
, X
2
0
,..., X
p
0
; j = 1
Repetir
Generar X
1
j
~ X
1
/ X
2
j-1
,..., X
p
j-1

Generar X
2
j
~ X
2
/ X
1
j
, X
3
j-1
,..., X
p
j-1
....
Generar X
p
j
~ X
p
/ X
1
j
, X
2
j
,..., X
p-1
j
j = j+1
Mtodos Especficos
Se puede verificar que X
n
= (X
1
n
, X
2
n
,..., X
p
n
) define una
cadena de Markov con Matriz de transicin
P
g
(X
n
, X
n+1
) =
Bajo condiciones suficientemente generales [Ver Roberts
Smith (1994)]
[
=
+ +
< >
p
j
n
j
n
j
n
i
i j X i j X x
1
1 1
) , ; ; / ( t
Mtodos Especficos
Ejemplo : Muestrear la densidad
t (x
1
/x
2
) =
siendo D = R
+
R
t (x
1
/x
2
) =
t (x
2
/x
1
) =

x
1
/x
2
~
x
2
/x
1
~ N(0, o
2
=(1/2x
1
))
) , ( )] 1 ( exp[
2 1
2
2 1
1
x x I x x
D
+
t
] exp[
2
2 1
x x
)] 1 ( exp[
2
2 1 ) (
) , (
2
2 1
x x
x
x x
+ =
t
t
] 1 exp[
2
2
x +
Mtodos Especficos
El muestreador Gibbs
Escoger x
2
0
; j = 1
Repetir
Generar X
1
j
~ exp[1+(x
2
j-1
)
2
]
Generar X
2
j
~ N(0, 1/2x
1
j
)
OBS: Las secuencias podran efectuarse en forma
aleatoria en lugar de usar la secuenciacin natural
Estudiar el Algoritmo de Metropolis-Hastings.
Mtodos Especficos