Diapos Bayes PDF

Introduccion a la estadstica bayesiana, aplicaciones y
metodos
Parte 1
Ana Paula Palacios y Peter Diko
Universidad Carlos III de Madrid
21 de Marzo de 2011
Instituto de Economa y Finanzas

Facultad de Ciencias Econ omicas
U.N.C.
(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 1 / 40

Programa
1 Introduccion al pensamiento bayesiano
2 Inferencia bayesiana
3 Ventajas del enfoque bayesiano

Pensamiento bayesiano
Programa

Inferencia estadstica
Procedimiento estadstico:
Formular la pregunta de investigaci
on

on
Recolectar datos

on
Recolectar datos
Construir un modelo probabilstico

on
Recolectar datos
Estimar el modelo

on
Recolectar datos
Estimar el modelo
Resumir los resultados y concluir

on
Recolectar datos
Estimar el modelo
Resumir los resultados y concluir
Objetivo
Contestar nuestras preguntas de investigaci
on y sacar conlusiones a partir
de los datos observados.

Enfoques:
Clasico: parametros fijos
Bayesiano: parametros variables

Enfoques:
Clasico: parametros fijos
Bayesiano: parametros variables
Objetivo del curso

Brindar una detallada introducci on a la estadstica bayesiana
comparandola con el enfoque clasico y focalizandonos en las etapas de
modelizacion, estimacion e interpretaci
on de los resultados.

Ejemplo
Tras una noche de fiesta, una mujer sospecha que puede estar
embarazada. Para estar segura de su estado compra un test del cual se
conoce que tiene una eficacia del 90% en detectar embarazos. La mujer se
realiza el test y obtiene un resultado positivo. Pregunta: Cual es la
probabilidad de que dicha mujer este embarazada?

Ejemplo
Tras una noche de fiesta, una mujer sospecha que puede estar
embarazada. Para estar segura de su estado compra un test del cual se
conoce que tiene una eficacia del 90% en detectar embarazos. La mujer se
realiza el test y obtiene un resultado positivo. Pregunta: Cual es la
probabilidad de que dicha mujer este embarazada?
P(emb y +)
P(emb|+) =
P(+)
P(+|emb)P(emb)
=
P(+|emb)P(emb) + P(+|no emb)P(no emb)

Ejemplo
Adicionalmente supongamos que el test da falsos positivos el 50% de las

veces y que, sin ninguna informaci
on adicional, la probabilidad de
concepcion luego de mantener una relaci
on sexual es del 15%.

Ejemplo
Adicionalmente supongamos que el test da falsos positivos el 50% de las

veces y que, sin ninguna informaci
on adicional, la probabilidad de
concepcion luego de mantener una relaci
on sexual es del 15%.
P(+|emb)P(emb)
P(emb|+) =
0.90 0.15
=
0.90 0.15 + 0.50 0.85
= 0.241

Ejemplo
Supongamos que la mujer para confirmar su estado se realiza un nuevo

test de embarazo y obtiene nuevamente un resultado positivo. Con esta
informacon adicional como cambian nuestras conclusiones? Cual es la
probabilidad de que la mujer este embarazada?

Ejemplo

P(+|emb)P(emb)
P(emb|+) =
0.90 0.241
=
0.90 0.241 + 0.50 0.759
= 0.364

Ejemplo

P(+|emb)P(emb)
P(emb|+) =
0.90 0.241
=
0.90 0.241 + 0.50 0.759
= 0.364
Si sucesivamente repetimos el test obteniendo resultados positivos, la

probabilidad de embarazo sera: test 3 = 0.507, test 4 =0.649, test 5 =
0.769, test 6 = 0.857, test 7 = 0.915, test 8 = 0.951, test 9 = 0.972, test
10 = 0.984.

Enfoque bayesiano
Probabilidad a priori: 0.15

Observacion de datos: resultado positivo en el test
Probabilidad a posteriori: 0.241
Actualizacion de las probabilidades al disponer de nueva informacion:
0.364

Teorema de Bayes para distribuciones

Los parametros del modelo son variables.
Probabilidad como incertidumbre.


Teorema de Bayes aplicado a distribuciones:
f (datos|)f ()
f (|datos) =
f (datos)
f (datos|)f ()
=R
f (datos|)f ()d


Teorema de Bayes aplicado a distribuciones:
f (datos|)f ()
f (|datos) =
f (datos)
f (datos|)f ()
=R
f (datos|)f ()d
Proporcionalidad:
f (|datos) f (datos|)f ()
Posteriori Verosimilitud Priori

Evolucion del pensamiento estadstico

Inferencia bayesiana
Programa

Un ejemplo electoral
Son las elecciones presidenciales de EEUU del ano 2004 con George W.
Bush y John F. Kerry como sus principales candidatos. Una consultora
realiza una encuesta en el estado de Ohio y obtiene que 556 personas de
los consultados elige a J. Kerry y 511 a G. Bush.
Quien ganara las elecciones?

Ejemplo electoral
Definimos a la variable X como intenci
on de voto.
Tenemos 556 + 511 = 1067 observaciones de X .
encuestado respuesta X
1 Kerry 1
X Bernoulli(p)
2 Bush 0
3 Bush 0
.. .. ..

. . . 1 p
X =
1067 Kerry 1 0 1p
datos = (x1 , x2 , . . . , x1067 ) = x

funcion de verosimilitud
1067
Y
f (x|p) = f (xi |p) = p 556 (1 p)511 = L(p; x)
i=1

Maxima verosimilitud
Funcion de verosimilitud: L(p; x) = p 556 (1 p)511

556
Estimador maximo verosmil: EMV = 1067 = 0.521
q
0.5210.479
Error estandar: 1067 = 0.015
Intervalo de confianza: IC95% = [0.492; 0.550]
Contraste de hipotesis: H0 : p < 0.5
(0.521 0.5)
t= = 1.4
0.015

Estimacion bayesiana
1 Establecer un modelo probabilstico completo: una distribucion de

probabilidad conjunta para todas las cantidades del problema,
observables y no obervables.
Funcion de verosimilitud: f (x|p)
Distribuci
on a priori: f (p)


Distribuci
on a priori: f (p)
2 Condicionar a los datos: obtener la distribucion a posteriori, es decir,
la distribucion condicionada de los parametros del modelo, dados los
datos.
Teorema de Bayes: f (p|x) f (x|p)f (p)


Distribuci
on a priori: f (p)
2 Condicionar a los datos: obtener la distribucion a posteriori, es decir,
la distribucion condicionada de los parametros del modelo, dados los
datos.
Teorema de Bayes: f (p|x) f (x|p)f (p)
3 Resumir la distribuci
on a posteriori y evaluar el ajuste del modelo.

Distribucion a priori
C
omo construimos la distribuci
on a priori?
1 Distribucion a priori informativa
-Estudios empricos previos
-Conocimiento del investigador:
Por intervalos
Estimacion de momentos y supuesto de simetra
Reparametrizacion de distribuciones. Ej.: beta(m , (1 m) )

Distribucion a priori
C
omo construimos la distribuci
on a priori?
1 Distribucion a priori informativa
-Estudios empricos previos
-Conocimiento del investigador:
Por intervalos
Estimacion de momentos y supuesto de simetra
Reparametrizacion de distribuciones. Ej.: beta(m , (1 m) )
2 Distribucion a priori no-informativa
Impropias: U(, ) o U(0, )
Jeffreys prior: p() |I ()|0.5
Distribuciones poco informativas: N(, 10000),
2 G (0.001, 0.001)

Distribucion beta como a priori
Funcion de densidad 0 p 1; , > 0
( + ) 1
f (p) = p (1 p)1
()()
p 1 (1 p)1
Estadsticos

E (p) =
+
1
moda(p) =
+2

var (p) = 2
( + ) ( + + 1)

Distribucion beta como a priori

Distribucion beta como a posteriori
A posteriori: f (p|x) f (x|p)f (p)

funcion de verosimilitud: f (x|p) = p n1 (1 p)n2
(+) 1
distribucion a priori: f (p) = ()() p (1 p)1
distribucion a posteriori:
f (p|x) p n1 (1 p)n2 p 1 (1 p)1

= p n1 +1 (1 p)n2 +1

Distribucion beta como a posteriori
A posteriori: f (p|x) f (x|p)f (p)

funcion de verosimilitud: f (x|p) = p n1 (1 p)n2
(+) 1
distribucion a priori: f (p) = ()() p (1 p)1
distribucion a posteriori:
f (p|x) p n1 (1 p)n2 p 1 (1 p)1

= p n1 +1 (1 p)n2 +1
f (p|x) beta(n1 + , n2 + )
Distribuciones Bernoulli y beta son conjugadas - la distribucion a
posteriori es de la misma familia parametrica que a priori.

Ejemplo electoral
Encuestas en 2004 de CNN/USAToday/Gallup:
fecha n % Kerry nK % Bush nB

17-20 Oct 706 49% 346 48% 339
25-28 Sep 664 47% 312 49% 325
4-7 Sep 661 43% 284 52% 344
TOTAL 2031 942 1008

Ejemplo electoral
Encuestas en 2004 de CNN/USAToday/Gallup:
fecha n % Kerry nK % Bush nB

17-20 Oct 706 49% 346 48% 339
25-28 Sep 664 47% 312 49% 325
4-7 Sep 661 43% 284 52% 344
TOTAL 2031 942 1008
f (p) p 9421 (1 p)10081

f (p|x) p 556 (1 p)511 p 9421 (1 p)10081 = p 14981 (1 p)15191
f (p|x) beta(1498, 1519)

Desplazamiento de la distribucion a priori

Distribucion a posteriori
C
omo se obtiene la distribuci
on a posteriori?
Analticamente Verosimilitud A priori conjugada

Distribuciones conjugadas Bernoulli Beta
Binomial Beta
Metodos numericos Multinomial Dirichlet
Markov Chain Monte Carlo Binomial Negativa Beta
(MCMC): Poisson Gamma
Gibbs Sampling Exponencial Gamma
Gamma(2 ) Gamma
Metropolis-Hastings
Normal Normal
Normal 2 Gamma Inversa
Pareto Gamma
Pareto Pareto

Estimacion puntual
Problema de decision selecci

on de criterio.
Elegimos como estimador de tal que minimice la funcion de perdida

L(, )
Sin embargo, es desconocido, tan solo tenemos su distribucion a

posteriori f (|x).

Estimacion puntual
Problema de decision selecci

on de criterio.
Elegimos como estimador de tal que minimice la funcion de perdida

L(, )
Sin embargo, es desconocido, tan solo tenemos su distribucion a

posteriori f (|x).
Minimizaremos la perdida esperada a posteriori
Z

min E [L(, )|x] = min (|x)d
L(, )f

El estimador bayesiano sera el argumento
= arg min E [L(, )|x]


Ejemplos de la funcion de perdida

Perdida cuadratica
= ( )
L(, ) 2


Perdida cuadratica
= ( )
L(, ) 2
el estimador bayesiano es la media a posteriori

Z
E (|x) = f (|x)d.



Perdida cuadratica
= ( )
L(, ) 2

Z
E (|x) = f (|x)d.

Perdida de error absoluto

= | |
L(, )


Perdida cuadratica
= ( )
L(, ) 2

Z
E (|x) = f (|x)d.

Perdida de error absoluto

= | |
L(, )
el estimador bayesiano es la mediana a posteriori

Z
: f (|x)d = 0.5.


Error absoluto asimetrico

si >

= s ( )
Lr ,s (, )
r ( ) si

Error absoluto asimetrico

si >

= s ( )
Lr ,s (, )
r ( ) si
s
el estimador bayesiano es el cuantil r +s a posteriori
Z
s
: f (|x)d = .
r +s

Estimador MAP
Una alternativa a la funcion de perdida es el estimador del maximo a

posteriori (MAP)
= arg max f (|x) = arg max f (x|)f ()

que corresponde a la moda a posteriori de f (|x).

Estimador MAP
Una alternativa a la funcion de perdida es el estimador del maximo a

posteriori (MAP)
= arg max f (|x) = arg max f (x|)f ()

que corresponde a la moda a posteriori de f (|x).
El estimador MAP es una generalizaci

on del estimador clasico de maxima
verosimilitud.
on a priori no informativa f () 1, el estimador

Si suponemos la distribuci
MAP coincide con el estimador de maxima verosimilitud clasico.
= arg max f (x|)


Estimacion por intervalos
Intervalo de credibilidad
R qL R
f (|x)d = /2 qU f (|x)d = 1 /2
Pr (qL < < qU |x) = 1

Estimacion por intervalos
Intervalo HPD (highest posterior density):
Sea R una region de contenido 1 , es decir Pr ( R) = 1 .

R se llama region de maxima densidad a posteriori si para cualquier
1 R y 2
/ R se cumple f (1 |x) f (2 |x).

Ejemplo electoral
f (p|x) beta(1498, 1519)

Media=0.497
Moda=0.496
Mediana=0.497
Pr {p [0.479, 0.514]} = 95%
Clave: Cual es la probabilidad de ganar las elecciones?

Ejemplo electoral
f (p|x) beta(1498, 1519)

Media=0.497
Moda=0.496
Mediana=0.497
Pr {p [0.479, 0.514]} = 95%
Clave: Cual es la probabilidad de ganar las elecciones?
Pr (p > 0.5) = 0.351

Modelo normal-normal con 2 conocido

La distribucion normal es una de las mas utilizadas.
funcion de verosimilitud f (x|, 2 ) N(, 2 )
n
(xi )2

Y 1
f (x|) exp
2 2 2 2
i=1
a priori - N(m, 2 )
( m)2

1
f () = exp
2 2 2 2
a posteriori
Pn
( m)2 )2

1 i=1 (xi
f (|x) exp
2 2 2 2 2 2

Modelo normal-normal con 2 conocido
El exponente
Pn
( m)2 i=1 (xi )2

2 2 2 2
se puede transformar en
2 2
2 2 nm+n
2 + 2
x
2 2
n 2 + 2
y completando los cuadrados obtenemos la distribucion a posteriori para el

parametro
2
m + 2 n 2 2

x
f (|x) N ,
n 2 + 2 n 2 + 2

Modelo normal generalizado

funcion de verosimilitud f (x|, 2 ) N(, 2 )
n
(xi )2

2
Y 1
f (x|, ) exp
2 2 2 2
i=1
ahora los dos parametros , 2 son desconocidos.

Distribucion a priori f (, 2 ) = f () f ( 2 ) asumiendo independencia.
Introducimos distribuciones a priori no informativas
f () 1
1
f (log ( 2 )) 1 f ( 2 )
2
estas distribuciones son el caso lmite de N(m, 2 ), 2 IG (a, b)
2)
f ( 2 ) ( 2 )(a+1) e b/(

La densidad a posteriori
(xi )2
P
2 1
f (, |x) 2 n/2+1 exp
( ) 2 2
se puede expresar en forma
f (, 2 |x) = f (| 2 , x)f ( 2 |x).
Suponiendo 2 fijo
n2 2n ( x)2

2 x
f (| , x) exp 2
exp
2 2 2 /n

La densidad a posteriori se puede factorizar como

P 2
( x)2 x2

2 1 1 xi n
f (, |x) exp exp .
2 2 /n ( 2 )(n+1)/2 2 2
de d
onde podemos identificar
n 1 (n 1)var (x)
f ( 2 |x) IG ( , )
2 2
El muestreo de la distribuci
on conjunta se puede realizar en dos pasos:
1 generar 2 de la distribuci
on f ( 2 |x)
2 on f (| 2 , x)
generar correspondiente de la distribuci

Distribucion predictiva a posteriori
Para la prediccion se emplea la distribucion predictiva a posteriori

Z
f (y |x) = f (y |) f (|x)d

Es el valor esperado del modelo especificado, ponderando los posibles

valores del parametro por su densidad a posteriori.
La distribucion predictiva a posteriori es la alternativa correcta al plug-in

f (y |x) = f (y |)

Comparacion de modelos
DIC: Este indicador eval
ua tanto el ajuste del modelo como la complejidad
del mismo. Evalua el poder explicativo del modelo. Menores valores del
DIC indican mejor ajuste del modelo.
DIC + pD
= D
D()
= 2D
siendo D el estadstico de desvo

D() = 2 log f (x|)

Comparacion de modelos
DIC: Este indicador eval
ua tanto el ajuste del modelo como la complejidad
del mismo. Evalua el poder explicativo del modelo. Menores valores del
DIC indican mejor ajuste del modelo.
DIC + pD
= D
D()
= 2D
siendo D el estadstico de desvo

D() = 2 log f (x|)
PPLC: Este indicador tambien penaliza por complejidad del modelo.
Eval
ua el poder predictivo del modelo.
n n
k X X
PPLP = (i xi )2 + i2
k +1
i=1 i=1
siendo i = E (xirep |x)

y = i2 Var (xirep |x) y k es el peso que le damos al
primer termino del indicador.
Ventajas del enfoque bayesiano
Programa

Diferencias entre clasicos y bayesianos
Figure: Frecuentistas Figure: Bayesianos

Diferencias entre clasicos y bayesianos
Frecuentistas Bayesianos
Parametro fijo Parametro variable
Datos variables (repeticion) Datos fijos (observados)
Probabilidad como frecuencia lmite Probabilidad como incertidumbre
No incluye informacion previa Inclusi

on de informacion previa
Intervalos de confianza Intervalos de credibilidad
Contraste de hipotesis Distribuci

on a posteriori del
parametro

Provee una completa caracterizaci

on del parametro a traves de una
funcion de distribucion.


Provee un modo sistematico y explcito de incorporar conocimientos
previos.


previos.
Formaliza el proceso de aprendizaje a partir de los datos al actualizar
los resultados probabilsticos a medida que se conoce nueva
informacion.


previos.
informacion.
Mejora la precision de la estimaci
on al incluir informacion extra y
acumular conocimiento.


previos.
informacion.
Mejora la estimacion en casos de datos espaciados y datos faltantes a
traves de borrowing strength.


previos.
informacion.
No asume infinitas muestras ni normalidad.


previos.
informacion.
No asume infinitas muestras ni normalidad.
Interpretacion mas directa que los intervalos de confianza, contrastes
de hipotesis y p-valor.

Diapos Bayes PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Diapos Bayes PDF

Cargado por

Copyright:

Formatos disponibles

Introduccion a la estadstica bayesiana, aplicaciones y

Ana Paula Palacios y Peter Diko

Universidad Carlos III de Madrid

Instituto de Economa y Finanzas

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 1 / 40

1 Introduccion al pensamiento bayesiano

3 Ventajas del enfoque bayesiano

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 2 / 40

1 Introduccion al pensamiento bayesiano

3 Ventajas del enfoque bayesiano

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 3 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 4 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 4 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 4 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 4 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 4 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 4 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 5 / 40

Objetivo del curso

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 5 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 6 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 6 / 40

Adicionalmente supongamos que el test da falsos positivos el 50% de las

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 7 / 40

Adicionalmente supongamos que el test da falsos positivos el 50% de las

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 7 / 40

Supongamos que la mujer para confirmar su estado se realiza un nuevo

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 8 / 40

Supongamos que la mujer para confirmar su estado se realiza un nuevo

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 8 / 40

Supongamos que la mujer para confirmar su estado se realiza un nuevo

Si sucesivamente repetimos el test obteniendo resultados positivos, la

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 8 / 40

Probabilidad a priori: 0.15

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 9 / 40

Teorema de Bayes para distribuciones

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 10 / 40

Teorema de Bayes para distribuciones

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 10 / 40

Teorema de Bayes para distribuciones

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 10 / 40

Evolucion del pensamiento estadstico

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 11 / 40

1 Introduccion al pensamiento bayesiano

3 Ventajas del enfoque bayesiano

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 12 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 13 / 40

datos = (x1 , x2 , . . . , x1067 ) = x

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 14 / 40

Funcion de verosimilitud: L(p; x) = p 556 (1 p)511

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 15 / 40

1 Establecer un modelo probabilstico completo: una distribucion de

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 16 / 40

1 Establecer un modelo probabilstico completo: una distribucion de

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 16 / 40

1 Establecer un modelo probabilstico completo: una distribucion de

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 16 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 17 / 40

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 17 / 40

Distribucion beta como a priori

Funcion de densidad 0 p 1; , > 0

(Univ. Carlos III de Madrid) Estadstica bayesiana 21-03-11 18 / 40

Distribucion beta como a priori