Mtodo Alias (Walter 1977)

Permite generar de manera eficiente v.a.d. Con soporte

finito. Supongamos que se desea generar la v.a.d. X con
funcin de cuanta P = { p
i
: i = 1,2,...,n }
donde Q
(k)
es una distribucin concentrada en a lo sumo dos
puntos {1,2,...,n}. La demostracin de esta descomposicin
se basa en:

1
1
) (
1
1
n
k
k
Q
n
P
Mtodo de
Composicin
Caso Especial
Mtodo de
Composicin
Caso Especial
Lema1: Sea P = { p
i
: i=1,2,...,n} funcin de cuanta
Entonces:
a) Existe i {1,2,...,n} tal que p
i
<
b) Para tal i, existe j con i j tal que p
i
+ p
j

Dem : Reduccin al absurdo
( )
1
1
n
( )
1
1
n
Transformaciones Transformaciones
Distribucin Binomial
Para generar una v.a.d. X ~ B(n,p)
independientes
Algoritmo
P
1
: Hacer X = 0
P
2
: Efectuar n rplicas
- Generar U ~ U(0,1)
Si U < p , Hacer X = X + 1
Si U p , Hacer X = X + 0
P
3
: Generar salida X
Observacin: Mtodo propuesto requiere de generar n
nmeros aleatorios y n comparaciones
) , 1 ( ~ ;
1
p B Z Z X
i
n
i
i

Mtodos Especficos Mtodos Especficos

Un mtodo alternativo es el mtodo de inversin basado en
la relacin recursiva siguiente
[Frmula recursiva]
Sea
) (
) 1 )( 1 (
) (
) 1 ( i X P
p i
p i n
i X P
+

+
) ( ; ) ( i X P F i X P P
Mtodos Especficos Mtodos Especficos
Algoritmo
P
1
: Genera U ~ U(0,1)
P
2
: Hacer i = 0 , P = F = (1-p)
n
Hasta que U < F
Hacer P = P , F = F + P
i = i + 1
P
3
: Generar salida X = i
) 1 )( 1 (
) (
p i
p i n
+

Mtodos Especficos Mtodos Especficos

Distribucin Poisson
Para generar la distribucin de Poisson P() con pequeo,
utilizando el mtodo de inversin.
P(X = i + 1) =
usando P = P(X = i) , F = P(X i)
) (
) 1 (
i X P
i

+

Mtodos Especficos Mtodos Especficos

Algoritmo
P
1
: Genera U ~ U(0,1)
P
2
: Hacer i = 0 F = P = Exp(-)
Hasta que U < F
Hacer P = P , F = F + P
i = i + 1
P
3
: Generar salida X = i
) 1 ( + i

Mtodos Especficos Mtodos Especficos

Distribucin Geomtrica
Para generar una v.a.d. X ~ G(p), es posible discretizar
Y ~ exp(). Sea X = [y]
Entonces P[x = r] =P(r Y < r +1), r=0,1,2,..
=
es la funcin de cuanta de una Geo(p=1-exp(-))
Tomando = -ln(1-p) X = ~ Geo(p)
)); 1 ( exp( ) exp( ) exp(
1
+

+
r r ds s
r
r

] [
) 1 ln(
ln
p
U

Mtodos Especficos Mtodos Especficos

Distribucin Hipergeomtrica
Para generar una distribucin Hipergeomtrica H(m,n,p) se
efectan n extracciones sin reposicin de un conjunto de m
elementos de dos clases {p m C
1
y m(1-p) C
2
}
Algoritmo
P
1
: Hacer X = 0, C
1
= mp C
2
= m-C
1
P
2
: Repetir n veces
Generar U ~ U(0,1)
Si U C
1
/m hacer X = X+1 , C
1
= C
1
- 1
sino , C
2
= C
2
- 1
Hacer m = m - 1
P
3
: Generar salida X
Mtodos Especficos Mtodos Especficos
Distribuciones Multivariadas
Distribuciones Independientes
El caso ms simple lo constituye el de distribuciones
marginales independientes
con x = (x
1
, x
2
,...,x
p
) Basta con generar cada componente X
i
,
como distribucin univarianda y salir con
X = (X
1
, X
2
, ..., X
p
)

p
i
i x
x F x F
i
1
) ( ) (
Mtodos Especficos Mtodos Especficos
Distribuciones Dependientes
Distribuciones Dependientes con condicionadas
disponibles. Utilizando la descomposicin
F(x) = F
1
(x
1
) F
2
(x
2
/ x
1
)... F(x
p
/ x
1
,x
2
,...,x
p-1
)
Si disponemos de las distribuciones
X
i
/
X1
, ..., X
i-1
i = 1,2,...,p
Algoritmo
P
1
: Desde i=1,2,...,p
Generar X
i
~ X
i
/ x
1
, ..., x
i-1
P
2
: Generar salida x = (x
1
,x
2
,...,x
p
)
Mtodos Especficos Mtodos Especficos
Estadsticos de Orden
Para muestrear (X
(1)
, X
(2)
,...,X
(p)
), el estadstico de orden
asociado a m.a.s. X
1
,X
2
,...,X
p
de X. La forma obvia de
muestrear es hacerlo de (X
1
,X
2
,...,X
p
). Alternativamente,
podemos generar la muestra de orden. Por ejemplo, si
conocemos la inversa generalizada F, podemos generar
nmeros aleatorios (U
(1)
, U
(2)
,...,U
(p)
) y salir X
(i)
= F(U
(i)
). Para
ello es necesario generar una muestra ordenada de
nmeros aleatorios (U
(1)
, U
(2)
,...,U
(p)
) .
Mtodos Especficos Mtodos Especficos
Algoritmo
P
1
: Generar U
(1)
, U
(2)
,...,U
(p)
~ U(0,1)
P
2
: Hacer U
(p)
= (U
p
)
1/p
U
(k)
= U
(k+1)
U
k
1/k
Mtodos Especficos Mtodos Especficos
Distribuciones Discretas
Las distribuciones discretas multivariadas no difieren de las
univariadas. El soporte puede ser grande, pero los
mtodos, inversin, alias, etc. funcionan bien.
Ejemplo : Distribucin bivariada (X,Y) con soporte
{1,2,...,L}x{1,2,...,M} tenemos
P
xy
= P(X x) + P(X=x, Y=y)
indexado en x.
Mtodos Especficos Mtodos Especficos
Mtodos Especficos
Para generar X = (X
1
, X
2
,...,X
p
) ~ N(, ) se usa el mtodo
de descomposicin de Cholesky.
Sea = L L
t
, para alguna matriz L.
Entonces si Z = (Z
1
, Z
2
,...,Z
p
) ~ N(0, I
p
)
la variable X = (, LZ) ~ N(, )
Mtodos Especficos Mtodos Especficos
Distribucin de Wishart
Para generar una v.a.c. W ~ W(n,,) para = 0, si = LL
t
y
V = Z
i
Z
i
t
; Z
i
normales p-variantes N(0, I
p
) , i = 1,2,...,n
Entonces:
W = L V L
t
~ W (n,,0)

n
i 1
Mtodos Especficos Mtodos Especficos
Algoritmo
P
1
: Generar Z
ij
~ N(0,1) i = 1,2,...,n j=1,2,...,n
P
2
: Hacer V = Z
i
Z
i
t
P
3
: Hacer W = L V L
t

P
4
: Salida W

n
i 1
Mtodos Especficos Mtodos Especficos
El algoritmo implica generar np normales estndar. Una
reduccin del esfuerzo de clculo se obtiene utilizando la
descomposicin de Bartlett.
En el caso no centrado ( 0), es una matriz simtrica
definida no negativa. Sea =
t
su descomposicin de
Cholesky y u
1
, u
2
, ..., u
p
las filas de .
Entonces, podemos escribir :
donde se genera W, similar al caso = 0 usando np
normales estndares.

+
+ + +
n
p k
t t
k k
p
k
t
k k k k
L Z LZ LZ LZ W
1 1
) )( (
Mtodos Especficos Mtodos Especficos
Distribucin Multinomial (p-dimensional).
Para generar la Distribucin Multinomial de parmetros
q
1
, q
2
, ..., q
p
X = (X
1
, X
2
, ..., X
p
) ~ M(n, q
1
,...,q
p
) con :
Como X
i
~ B(n, q
i
) i = 1,2,...,p
X
i
/ X
1
=x
1
,..., X
i-1
=x
i-1
, ~ B(n-x
1
...-x
i-1
, w
i
)
i = 2,3,...,p con w
i
=
p i n X q q
p
i
i
p
i
i i
,..., 1 , 1 , 1 , 1
1 1
>


1 1 1
...... 1


i
i
q q q
q
Mtodos Especficos Mtodos Especficos
Entonces resulta el Algoritmo
P
1
: Hacer mientras m=n i=1, w=1, Xi = 0, i=1,...,p
Mientras m 0
Generar X
i
~ B(m, q
i
/w)
Hacer m = m-X
i
, w =1 - q
i
, i = i+1
Mtodos Especficos Mtodos Especficos
Generacin de Procesos Estocsticos
Generacin de Familias de v.a. {X
t
}
t T
Comenzaremos con las cadenas de Markov homogneas.
Cadena de Markov en Tiempo Discreto
Para generar una cadena de Markov con espacio de estado S y
matriz de transicin P = [p
ij
] donde p
ij
= P(X
n+1
=j / X = i). La
forma ms simple de simular la transicin (n+1)-sima,
conocida X
n
, es generar X
n+1
~{px
nj
: j S}
Mtodos Especficos Mtodos Especficos
Alternativamente se puede simular T
n
, el tiempo hasta el
siguiente cambio de estado y, despus el nuevo estado
X
n+Tn
. Si X
n
= s, T
n
~ G(p
ss
) y X
n+Tn
tiene una distribucin
discreta con cuanta {p
sj
/ (1 - p
ss
) : j S \ {s}}.
Para muestrear N transiciones de la cadena suponiendo X
o

= i
o
Algoritmo
Hacer t=0, X
o
= i
o
Mientras t < N
Generar h ~ G(px
t
x
t
)
Generar X
t+h
~ {px
tj
/ (1 - px
t
x
t
) : j S \ {s}}.
Hacer t=t+h
Mtodos Especficos Mtodos Especficos
OBS. 1) La primera forma de simular una cadena de
Markov, que corresponde a una estrategia
sincrnica, es decir en la que el tiempo de simulacin
avanza a instantes iguales.
2) La estrategia asincrnica es ms complicada de
simular [Ver. B. Ripley 1996]
Mtodos Especficos Mtodos Especficos
Cadenas de Markov en Tiempo Continuo
La simulacin asincrnica de cadenas de Markov en tiempo
continuo es sencilla de implantar.
- Las cadenas de Markov de Tiempo Continuo vienen
caracterizadas por los parmetros vi de las distribuciones
exponenciales de tiempo de permanencia en el estado i y la
matriz de transicin P; con p
ii
= 0; p
ij
= 1
- Sea P
i
la distribucin de la fila i-sima. Entonces si X
o
= i
o
,
para simular hasta T se tiene :

j i
Mtodos Especficos Mtodos Especficos
Algoritmo
Hacer t = 0, X
o
= i
o
, j = 0
Mientras t < N
Generar t
j
~ exp(vx
j
)
Hacer t = t + t
j

Hacer j = j + 1
Generar X
j
~ Px
j-1
Mtodos Especficos Mtodos Especficos
Proceso de Poisson
En el Proceso de Poisson P(), el nmero de eventos N
T
en
un intervalo (0,T) es P(T) y los N
T
~ U(0,T)
Algoritmo
- Generar N
T
~ P(T)
- Generar U
1
, ..., U
T
~ U(0,T)
Mtodos Especficos Mtodos Especficos
OBS :
1) Para procesos de Poisson no homogneos, con
intensidad (t) y u(t) = (s) ds . Entonces
- Generar N
T
~ P(u(t))
- Generar T
1
, T
2
,..., TN
T
~
2) Los procesos de Poisson son un caso particular
de los procesos de renovacin. La forma de generar
los primeros se extiende a los procesos de
renovacin.

t
1
] , 1 [
) (
T
I
t

Mtodos Especficos Mtodos Especficos

- Sean S
0
= 0, S
1
, S
2
, ... Los tiempos de ocurrencia
- T
i
= S
i
- S
i-1
los tiempos entre sucesos.
- Para un proceso de renovacin, los T
i
son v.a.i.i.d. segn
cierta distribucin .
- Simular hasta el instante T.
Hacer S
0
= 0
Mientras S
i
< T
Generar T
i
~
Hacer S
i
= T
i
+ S
i-1
Hacer i = i + 1
Mtodos Especficos Mtodos Especficos
Procesos no Puntuales (Movimiento Browniano)
- La simulacin de procesos (no puntuales) en tiempo
continuo es ms complicada que la simulacin de procesos
puntuales.0
- Una solucin es generar procesos en suficientes instantes
discretos y aproximar la trayectoria por interpolacin.
Mtodos Especficos Mtodos Especficos
Como ejemplo, consideremos el movimiento Browniano con
parmetro
2
- X
0
= 0
- Para s
1
t
1
s
2
t
2
..... s
n
t
n
las v.a.
Xt
1
- Xs
1
, ..., Xt
n
- Xs
n
son independientes
- Para s < t, X
t
- X
s
~ N(0, (t-s)
2
)
- Las trayectorias son continuas
Mtodos Especficos Mtodos Especficos
Entonces para t fijo,
Hacer X
0
= 0
Desde i = 1 hasta n
Generar Y
i
~ N(0, (t-s)
2
)
Hacer X
it
= X
(i-1)t
+ Y
i
Interpolar la trayectoria en {(it, X
it
)}
Otros ejemplos de Simulacin de Procesos continuos [Ver
B. Ripley 1987]
Mtodos Especficos Mtodos Especficos
El Proceso de Gibbs
El creciente inters en los mtodos de cadenas de Markov,
se debe al uso en Inferencia Bayesiana del Muestrador de
Gibbs. [Geman (1984)]
Ejemplo: Sean (X,Y) v.a.d. Bernoulli con distribucin
x y P(X,Y)
0 0 p
1
1 0 p
2
p
i
= 1
0 1 p
3
p
i
> 0
1 1 p
4

Mtodos Especficos Mtodos Especficos

P(X=1) = p
2
+ p
4
(Marginal)
P(X/Y=1) =
P(X=1/Y=1) =
Las Distribuciones condicionales

'

1
1
1
1
x p
x p
1 1
1
p p
p
+

,
_

) 1 / 1 ( ) 1 / 1 (
) 1 / 1 ( ) 1 / 1 (
x y P x y P
x y p x y P
A
yx

,
_

+ +
+ +
1 1
1
1 1
1
1 1
1
1 1
1
p p
p
p p
p
p p
p
p p
p

yx
A
Mtodos Especficos Mtodos Especficos
Algoritmo
Escoger Y
0
= y
0
, j =1
Repetir
Generar X
j
~ X/Y = y
j-1
Generar Y
j
~ Y/X = x
j
j=j+1
Entonces {X
n
} define una cadena de Markov con matriz de
transicin
A = A
yx
A
xy

,
_

+ +
+ +
1 1
1
1 1
1
1 1
1
1 1
1
p p
p
p p
p
p p
p
p p
p

xy
A
Mtodos Especficos Mtodos Especficos
Como las probabilidades p
i
> 0, la cadena es ergdica y
tiene distribucin lmite, que es la marginal de X
X
n
X ; Y
n
Y ; (X
n
, Y
n
) (X,Y)
OBS: 1) El procedimiento descrito se llama muestrador de
Gibbs [Gibbs Sampler] y nos proporciona una
cadena de Markov, con distribucin lmite deseada y
se puede generalizar.
Para muestrear un vector aleatorio p-variante
X = (X
1
, X
2
, ..., X
p
) con distribucin , conociendo
las distribuciones condicionadas X
s
/X
r
, r s
Mtodos Especficos Mtodos Especficos
Sea (x
s
/x
r
, r s) Dist. Condicionada
El [Gibbs Sampler] en este caso es
- Escoger X
1
0
, X
2
0
,..., X
p
0
; j = 1
Repetir
Generar X
1
j
~ X
1
/ X
2
j-1
,..., X
p
j-1

Generar X
2
j
~ X
2
/ X
1
j
, X
3
j-1
,..., X
p
j-1
....
Generar X
p
j
~ X
p
/ X
1
j
, X
2
j
,..., X
p-1
j
j = j+1
Mtodos Especficos Mtodos Especficos
Se puede verificar que X
n
= (X
1
n
, X
2
n
,..., X
p
n
) define una
cadena de Markov con Matriz de transicin
P
g
(X
n
, X
n+1
) =
Bajo condiciones suficientemente generales [Ver Roberts
Smith (1994)]

+ +
< >
p
j
n
j
n
j
n
i
i j X i j X x
1
1 1
) , ; ; / (
Mtodos Especficos Mtodos Especficos
Ejemplo : Muestrear la densidad
(x
1
/x
2
) =
siendo D = R
+
R
(x
1
/x
2
) =
(x
2
/x
1
) =
x
1
/x
2
~
x
2
/x
1
~ N(0,
2
=(1/2x
1
))
) , ( )] 1 ( exp[
1 1
1
1 1
1
x x I x x
D
+

] exp[
1
1 1
x x
)] 1 ( exp[
1
1 1 ) (
) , (
1
1 1
x x
x
x x
+

] 1 exp[
1
1
x +
Mtodos Especficos Mtodos Especficos
El muestreador Gibbs
Escoger x
2
0
; j = 1
Repetir
Generar X
1
j
~ exp[1+(x
2
j-1
)
2
]
Generar X
2
j
~ N(0, 1/2x
1
j
)
OBS: Las secuencias podran efectuarse en forma
aleatoria en lugar de usar la secuenciacin natural
Estudiar el Algoritmo de Metropolis-Hastings.
Mtodos Especficos Mtodos Especficos