Montecarlo basado en cadenas de

Markov

Programa de doctorado Estadstica, Anlisis de

datos y Bioestadstica
Mtodos de Montecarlo y
Estadstica Computacional
Departament dEstadstica
Divisi de Cincies Experimentals i
Matemtiques
 Contenido

Planteamiento. Posibles enfoques de

Montecarlo
Algoritmo general de Metropolis-Hastings
Algoritmo de Metrpolis
Muestreador de independencia
Metropolis-Hastings paso a paso
Condicionales completas
Muestreo de Gibbs
Algunas cuestiones abiertas
 Planteamiento

El mtodo de Montecarlo permite

determinar la distribucin, p(y), de un
estadstico, o algn aspecto de la misma
(media, varianza)
Ejemplos:
distribucin posterior en un anlisis bayesiano:

varianza de un estadstico (caso frecuentista):

 Posibles enfoques de
Montecarlo
Tpico algoritmo de Montecarlo para
aproximar esta distribucin: generar n
muestras iid, x, evaluar repetidamente
el estadstico sobre ellas t(x), y
aproximar p mediante la distribucin
emprica de valores obtenidos.
Alternativamente: generar proceso
estocstico cuya distribucin
estacionaria sea p. Despus de fase
transitoria (fase de calentamiento),
recolectar valores t(xt), t=1,...,n, no
independientes pero con distribucin,
muy aproximadamente, p.
 Algoritmo de Metropolis-
Hastings
Posible generador: proceso de Markov, p(xt+1|
Xt=xt,..., X0=x0)=p(xt+1|Xt=xt).
Algoritmo de Metropolis-Hastings: en fase t,
prximo valor Xt+1 generado a partir de Xt=xt
proponiendo valor Y a partir de densidad q(y|
Xt=xt). Este valor se acepta como el siguiente
Xt+1 con probabilidad (xt,y), o se rechaza y se
vuelve a generar un nuevo y, etc.
Ciertamente, genera una cadena de Markov.
Pero objetivo es que distribucin estacionaria
sea p.
 Algoritmo de Metropolis-
Hastings
Qu densidad q hay que utilizar?: cualquiera
sirve (bajo ciertas condiciones) siempre que

{
a ( x, y) = min 1, }
p( y) q( x y)
p( x ) q ( y x )
No todas las q igual de eficientes, compromiso:
Alta probabilidad de aceptacin
Fase de calentamiento corta
Que no sean slow mixing chains
Los distintos mtodos de Montecarlo de Markov
difieren en la eleccin de q.
 Algoritmo de Metrpolis

Densidades simtricas q(x|y)=q(y|x) para

todo x,y. Ejemplo: q(|x) normal multivariante
de media x y constante. Tambin caminata
aleatoria de Metropolis q(y|x)=q(|xy|).
Probabilidad de aceptacin:

{
a ( x, y) = min 1,
p }
p( y)
( x)
Eleccin del parmetro de escala () delicada:
si yxt tiende a ser pequeo (y,xt) grande
pero con lenta velocidad de mixtura.
 Muestreador de
independencia
Basado en q(y|x)=q(y). Conduce a

{
a ( x, y) = min 1,
p( x) q( y)
p( y) q( x) }
Suele funcionar bien cuando q es una
buena aproximacin a p, pero con colas
ms pesadas.
Tpica eleccin si aplicable TCL: q normal
multivariante de media igual a la moda de
p y matriz de covarianzas- algo
1 mayor que
2 log p( x)

-
xi xj

 Metropolis-Hastings paso a
paso (single component)
En lugar de actualizar X en bloque, mejor
considerar componentes {X1,X2,...,Xh} y
actualitzarlas una a una.
Notacin: Xi = {X1,X2,...,Xi1, Xi+1,...,Xh}
Cada iteracin dividida en h etapas.
Etapa i de tt+1 actualiza Xt.i: se
propone Yi segn qi(yi|xt.i,xt.i), con xt.i =
{xt+1.1,xt+1.2,...,xt+1.i1, xt.i+1,...,xt.h}.
Aceptado con probabilidad p( yt.i xt.i ) qi ( xt.i yt.i , xt.- i )

a ( xt.- i , xt.i , yt.i ) = min 1,

p ( xt.i xt.i ) qi ( yt.i x , x )
t.i t.- i
 Muestreo de Gibbs

Es el algoritmo de Montecarlo de Markov ms

conocido y utilizado.
Caso particular de Metropolis-Hastings paso a
paso: emplear q( y x , x ) = p( y x )
i i -i i -i
Seguridad total de aceptacin: (x,y)=1.
Existen muy buenos mtodos para generar
valores a partir de condicionales totales.
Conocido de antiguo en Mecnica estadstica
descubierto en los aos 80 por estadsticos.
 Condicionales completas

p(xi|xi) se conoce como la distribucin

condicional completa, la distribucin de xi
dadas las restantes componentes.
Algoritmo de Metropolis-Hastings continua
siendo vlido ya que el conjunto de todas las
condicionales completas determina
unvocamente p. Resultado importante en
estadstica espacial.
Algoritmo paso a paso: ventajas
computacionales, simplificacin de , ...
 Algunas cuestiones abiertas,
mal conocidas todava
Orden de actualizacin en algoritmos paso a
paso, no necesariamente actualizar siempre
en orden i=1,2,...,h. (Incluso se ha propuesto
que orden aleatorio es mejor en ciertos
casos).
Nmero de cadenas: muestrear de varias
cadenas de Markov cortas (independientes
entre ellas) o de una nica, larga?
Eleccin de valores iniciales x0. Tericamente
no importan pero pueden influir en longitud
de fase de calentamiento.
 Ms cuestiones abiertas

Longitud de la fase de calentamiento

Difcil determinarla analticamente
Criterios empricos basados en datos generados:
Diagnsticos grficos: los ms utilizados
Seran preferibles criterios de decisin ms rigurosos
(diagnsticos de convergencia): existen muchos, tema
difcil y dependiente de decisiones como una o muchas
cadenas, funciones que expresan el grado de
estacionariedad, etc
Momento de interrupcin
Vinculado a estimacin de la precisin
Difcil debido a la dependencia entre
observaciones