Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Escuela de Estadística
Licenciatura en Estadística
Tesina
“Introducción a la
Inferencia Bayesiana”
Diciembre 2013
Indice
1. Introducción 111
II
2.5 Ejemplo: simulación de una cadena de Markov 137
4. Aplicación 153
6. Bibliografía 184
7. Anexo 188
III
7.1.4 Modelo de Categorías Adyacentes 192
IV
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
1. Introducción
1
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (A j ) ⋅ P (B / A j )
P (A j / B) = m
.
∑ P (A ) ⋅ P (B / A )
j =1
j j
división.
La popularidad de las ideas derivadas de los trabajos de Bayes
y Laplace, agrupadas bajo el nombre de “Probabilidad Inversa”, tuvo
con el transcurrir de los años sus altos y bajos. En las décadas de
1920 y 1930 la aparición de autores como Ronald Fisher, Jerzy
Neyman, Egon Pearson y Abraham Wald revolucionaron la forma de
pensar y aplicar la estadística, inclinando la balanza a favor de las
escuelas frecuentista y fisheriana. Fue a partir de 1950 cuando, con
el renacimiento del bayesianismo (Fienberg, 2006), comenzaron a
utilizarse los adjetivos “clásico” y “bayesiano” para diferenciar ambos
paradigmas. La metodología frecuentista derivada de los trabajos de
Neyman y Pearson, aparecida un siglo después del surgimiento de la
Probabilidad Inversa, recibió paradójicamente el mote de clásica.
2
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
3
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (y / θ) ⋅ P (θ)
P (θ / y) = ,
P (y)
siendo:
4
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
∑ P (y / θ) ⋅ P (θ) si Θ es discreto
Θ
P (y) =
∫Θ P (y / θ) ⋅ P (θ) dθ si Θ es continuo
5
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
6
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
7
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
∂ 2 log p (y / θ)
p (θ) ∝ I (θ) = − Eθ .
∂ θ2
θ
prior uniforme para la función logit f (θ) = log = ψ. La
1 − θ
distribución a priori “implícita” para esta transformación,
∂ −1 eψ
g (ψ) = f (ψ) = , favorece ciertos valores de Ψ por sobre
∂ψ (1 + eψ )2
1
distribuye según una Beta , 1 ; esta densidad es claramente
2
8
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
9
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
∫ p (θ) dθ = + ∞ ,
Θ
2.1.4 Conjugación
Una distribución a priori se llama conjugada cuando, combinada
con cierta función de verosimilitud, otorga una distribución a
posteriori perteneciente a la misma familia que aquella utilizada a
priori. Esta característica resulta extremadamente útil en la práctica,
ya que realizar inferencias a partir de distribuciones a posteriori con
forma conocida simplifica en gran medida los cálculos e
interpretaciones a realizar. Además, es un excelente ejemplo de la
filosofía subyacente en el Teorema de Bayes: la distribución a
posteriori difiere de aquella a priori únicamente en el valor de los
parámetros, gracias a que éstos han sido actualizados utilizando los
datos observados. Esto permite apreciar fácilmente cómo influyen la
10
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
∑ yj n
e− λ ⋅ λ
n yj
e − nλ ⋅ λj=1 ∑ yj
P (Y / λ) = ∏ = n
∝ e − nλ ⋅ λ j =1 .
y j!
j =1
∏y !
j =1
j
1
P (λ) = µr ⋅ ⋅ λr − 1 ⋅ e − µλ ∝ λr − 1 ⋅ e − µλ .
Γ(r)
P (λ / Y) ∝ P (Y / λ) ⋅ P (λ) ∝
n n
∑ y j r −1 −µλ r −1 + ∑ y j
∝ e − nλ ⋅λj =1
⋅λ ⋅e =e − λ (µ + n)
⋅ λ j =1 .
11
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
n
r+ ∑y
j =1
j
r
λ̂ Bayes = E (λ / Y) = =κ⋅ + (1 − κ) ⋅ y , (2.1)
µ+n µ
µ
con κ = . Teniendo en cuenta que el estimador máximo-
µ+n
n
∑y
j =1
j
lím λ̂ Bayes = y = λ̂ MV .
n→∞
12
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
Credibilidad.
Los tradicionales valores P frecuentistas para un test de
hipótesis estadístico encuentran su análogo bayesiano en las
probabilidades bajo la densidad a posteriori. Por ejemplo, una
hipótesis nula del tipo H0 ) θ ≤ θ* puede examinarse calculando
13
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (C / y) = ∫ P (θ / y) dθ = 1 − α .
C
14
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
15
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
DIC = D (θ) + p D .
16
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
17
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (y / H j ) ⋅ P (H j )
P (H j / y) = para j = 0, 1 ⇒
P (y / H0 ) ⋅ P (H0 ) + P (y / H1 ) ⋅ P (H1 )
P (H0 / y) P (y / H0 ) P (H0 )
= ⋅ , siendo:
P (H1 / y) P (y / H1 ) P (H1 )
P (H0 / y)
• el odds a posteriori,
P (H1 / y)
•
P (y / H0 )
=
∫ P (y / θ , H ) ⋅ P (θ
0 0 0 / H0 ) dθ0
el Factor de Bayes, donde
P (y / H1 ) ∫ P (y / θ , H ) ⋅ P (θ
1 1 1 / H1 ) dθ1
P (H0 )
• el odds a priori.
P (H1 )
P (H0 / y)
P (y / H0 ) P (H1 / y)
B 01 = = .
P (y / H1 ) P (H0 )
P (H1 )
18
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
los cuales representa una cierta hipótesis (Kass & Raftery, 1995).
Tomando a M0 como el modelo de referencia contra el que se llevarán
a cabo las comparaciones, la probabilidad a posteriori del modelo Mk
viene dada por:
P (Mk )
Bk 0 ⋅
P (M0 )
P (Mk / y) = ,
K P (M j )
∑B
j=0
j0 ⋅
P (M0 )
19
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
20
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
21
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
∫ g (x) dx = Ω .
0
1 1
E [g (y)] = ∫ g (y) ⋅ f (y) dy = ∫ g (y) dy = Ω .
0 0
22
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
∑ g (y )
j =1
j
lím → E [g (y)] = Ω .
N→ ∞ N
Ω= ∫∫ K ∫ g (x 1 , x 2 , K , x n ) dx 1 dx 2 K dx n .
∑ g (y
j =1
j
1 , y 2j , K , y nj )
Ω̂ = .
N
23
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
24
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
• La cadena deberá ser irreducible; esto implica que para todo par
de valores (i,j) deberá existir un número t≥0 tal que
pij (t) = P (θ(n + t ) = j / θ(n) = i) > 0 . Esta propiedad asegura que la cadena
vj = ∑v
i
i ⋅ pij (t) ∀ t ≥ 0,
25
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
siendo además ∑v
j
j = 1 . Para cualquier cadena que cumpla con las
∑ f (θ
t =1
(t )
)
• lím = E V [f (θ)] .
N→ ∞ N
26
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (θ* / y) Q (θ( j) / θ* )
ς = mín 1, ( j)
⋅ * ( j)
.
P (θ / y) Q (θ / θ )
( j + 1)
θ* si u < ς
θ = ( j)
θ en otro caso
P (θ* / y)
probabilidad de aceptación se convierte en ς = mín 1, ( j) . De
P (θ / y)
esto se deduce que cualquier propuesta es aceptada si
P (θ* / y) > P (θ( j) / y) , ya que en este caso ς = 1 y en consecuencia:
27
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
resultando:
P (θ( j + 1) = θ* ) = P (u < ς) = ς .
p (θ( j) , T) = p (θ( j + 1) ∈ T / θ( j) ) =
28
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
= ∫T ς ⋅ Q (θ ( j + 1)
/ θ ( j)
) dθ ( j + 1)
+ I (θ ( j)
∈ T ) ⋅ 1 − ∫ ς ⋅ Q (θ ( j + 1)
/ θ ( j)
) d θ ( j + 1)
.
T
P (θ( j + 1) / y) Q (θ( j) / θ( j + 1) )
• La probabilidad ς = mín 1, ( j)
⋅ ( j + 1) ( j)
de aceptar
P (θ / y ) Q (θ / θ )
ese valor propuesto.
P (θ( j + 1) / y) Q (θ( j) / θ( j + 1) )
influyen únicamente sobre ς = mín 1, ⋅ . Al
P (θ( j) / y) Q (θ( j + 1) / θ( j) )
P (y / θ( j + 1) ) ⋅ P (θ( j + 1) )
P (θ( j + 1) / y) P (y) P (y / θ( j + 1) ) ⋅ P (θ( j + 1) )
= = .
P (θ( j) / y) P (y / θ( j) ) ⋅ P (θ( j) ) P (y / θ( j) ) ⋅ P (θ( j) )
P (y)
29
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
30
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
31
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
32
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
n−k
1
⋅ ∑ (θ( j) − θ) ⋅ (θ( j + k ) − θ)
n − k j =1
ρ̂k = .
1 n
⋅ ∑ (θ − θ)
( j) 2
n j =1
para realizar inferencias las muestras θ(1) , θ(6) , θ(11) , K , θ(96) . De esta
33
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
θI − θIII
Z= ,
Vâr (θI − θIII )
34
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
35
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
36
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
E (θ / Y) = ω C ⋅ µθ + (1 − ω C ) ⋅ y . (2.4)
37
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
1
100 0,01
ωC = = ≅ 0,0002 ⇒
1 + 50 50,01
100 1
E (θ / Y) = ω C ⋅ 0 + (1 − ω C ) ⋅ y ≅ 0,9998 ⋅ y
38
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
39
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
40
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
41
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
42
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
43
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
44
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
45
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
46
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
47
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
H0 ) p = 1 / 2 Vs H1 ) p > 1 / 2
48
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
y 12 − y
1 12
12 1 1
P Y ≥ 9 /p = =
2
∑ ⋅ ⋅ ≅ 0,073 .
y =9 y 2 2
49
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
y 3
1 ∞
y + 2 1 1
P Y ≥ 9 /p = =
2
∑ ⋅ ⋅ ≅ 0,0327 .
y =9 y 2 2
Caso II) {9C y 3X; 10C y 3X; 11C y 3X; 12C y 3X; etc.}
50
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
Densidades a Posteriori
51
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
52
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
4. Aplicación
53
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
54
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
55
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
4.2 Software
1
R Core Team (2012). R: A language and environment for statistical computing.
R Foundation for Statistical Computing, Vienna, Austria.
ISBN 3-900051-07-0, URL http://www.R-project.org/.
2
Lunn, D.J., Thomas, A., Best, N., y Spiegelhalter, D. (2000)
WinBUGS -- a Bayesian modelling framework: concepts, structure, and extensibility
Statistics and Computing, 10: 325-337.
56
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
57
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
58
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (Y ≤ j)
Logit P (Y ≤ j) = log = β 0 j + β1 ⋅ cond + β 2 ⋅ vic + β 3 ⋅ emp
P (Y > j)
59
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
π1 P (Ganar)
• Si j=1: Logit P (Y ≤ 1) = log = log ;
π2 + π3 P (No Ganar)
π + π2 P (No Perder)
• Si j=2: Logit P (Y ≤ 2) = log 1 = log .
π3 P (Perder)
60
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
6 3 (nij − µ̂ij )2
• Chi-Cuadrado de Pearson: X =2
∑∑
i =1 j =1 µ̂ij
;
61
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
6 3 nij
• Deviance: G2 = 2 ⋅ ∑ ∑ nij ⋅ ln .
µ̂
i =1 j =1 ij
grados de libertad.
Analizando la Tabla 4.4 se observa que las probabilidades
asociadas a las estadísticas son en ambos casos mayores a 0,8. Este
resultado lleva a no rechazar la hipótesis nula, concluyendo que el
ajuste del modelo puede considerarse aceptable.
62
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
63
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
64
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
65
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
66
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
67
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
68
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
69
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
70
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (Y ≤ j)
Logit P (Y ≤ j) = log = β 0 j + β1 j ⋅ cond + β 2 j ⋅ vic + β 3 j ⋅ emp
P (Y > j)
π1 P (Ganar)
• Si j=1 : Logit P (Y ≤ 1) = log = log ;
π2 + π3 P (No Ganar)
π + π2 P (No Perder)
• Si j=2 : Logit P (Y ≤ 2) = log 1 = log .
π3 P (Perder)
71
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (Y = j)
log = β 0 j + β1 ⋅ cond + β 2 ⋅ vic + β 3 ⋅ emp
P (Y = j + 1)
72
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
π P (Ganar)
• Si j=1 : log 1 = log ;
π2 P (Empatar)
π P (Empatar)
• Si j=2 : log 2 = log .
π3 P (Perder)
73
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
74
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
75
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
E (β / y) ≅ ω A ⋅ β̂ MV + (1 − ω A ) ⋅ E (β) , (4.1)
Var (β)
con ω A = , siendo E (β) y Var (β) la esperanza y
Var (β) + Vâr (β̂MV )
Markov.
76
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
∧
• RO cond = exp (β̂1 ) = exp (0,7296) = 2,07 ⇒ La chance de obtener un
∧
• RO vic = exp (β̂ 2 ) = exp (3,0576) = 21,28 ⇒ La chance de obtener un
∧
• RO emp = exp (β̂ 3 ) = exp (1,2873) = 3,62 ⇒ La chance de obtener un
77
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
78
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (RO cond > 2) = P [exp (β1 ) > exp(0,693)] = P (β1 > 0,693) ≅ 0,605 .
H0 ) β1 ≥ 0,5
con P (H0 ) = P (H1 ) = 1
H ) β < 0,5 2
1 1
P (H0 / y)
P (y / H0 ) P (H1 / y) P (H0 / y) P (β1 ≥ 0,5 / y)
B 01 = = = = .
P (y / H1 ) P (H0 ) P (H1 / y) P (β1 < 0,5 / y)
P (H1 )
79
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
37.925
P (β1 ≥ 0,5 / y) = 39.600 ≅ 0,9577
1.675
P (β1 < 0,5 / y) = ≅ 0,0423
39.600
80
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
5. Consideraciones finales
81
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
82
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
respuesta, para cada uno de los perfiles definidos por las variables
explicativas.
La elección entre un paradigma u otro dependerá generalmente
de las características particulares del problema a resolver, siendo
inapropiado utilizar invariablemente un único enfoque. Por ejemplo, si
se cuenta con cierto grado de información a priori, resultará mucho
más natural emplear técnicas bayesianas. Caso contrario, deberá
evaluarse cuál es el enfoque más adecuado para dar respuesta a las
preguntas planteadas y, además, si se cuenta con los recursos
computacionales necesarios para aplicar el método bayesiano.
Este trabajo constituye un primer acercamiento a una teoría de
inferencia estadística de escasa difusión en el área, sentando las
bases para lograr un mayor desarrollo de la temática a futuro.
83
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
6. Bibliografía
Best N.G. & Cowles M.K. & Vines S.K. (1996). CODA: Convergence
Diagnosis and Output Analysis Software for Gibbs sampling output -
Version 0.30. MRC Biostatistics Unit.
Brooks S.P. (1998). Markov Chain Monte Carlo method and its
application. Journal of the Royal Statistical Society: Series D, Vol. 47
- Nº 1.
Celeux G. & Forbes F. & Robert C.P. & Titterington D.M. (2006).
Deviance Information Criterion for missing data models. Bayesian
Analysis, Vol. 1 - Nº 4.
84
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
Gelman A. & Carlin J.B. & Stern H.S. & Rubin D.B. (2004). Bayesian
Data Analysis - Second Edition. Chapman & Hall/CRC.
Gilks W.R. & Richardson S. & Spiegelhalter D.J. (1996). Markov Chain
Monte Carlo in Practice. Chapman & Hall/CRC.
Jordan M.I. (2010). Jeffreys priors. Stat 260: Bayesian modeling and
inference, Lecture 6.
Kass R.E. & Raftery A.E. (1995). Bayes Factors and model
uncertainty. Journal of the American Statistical Association, Vol. 90 -
Nº 430.
Laplace P.S. (1774). Mémoire sur la probabilité des causes par les
événements. Mémoires de mathématique et de physique, présentés à
85
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
l'Académie Royale des Sciences par divers sçavans, et lus dans ses
assemblées, Vol. 6.
Lindley D.V. & Phillips L.D. (1976). Inference for a Bernoulli Process
(a Bayesian view). The American Statistician, Vol. 30 - Nº 3.
Lunn D.J. & Jackson C.H. & Best N.G. & Thomas A. & Spiegelhalter
D.J. (2012). The BUGS Book: A Practical Introduction to Bayesian
Analysis. Chapman & Hall/CRC.
Lunn D.J. & Spiegelhalter D.J. & Thomas A. & Best N.G. (2009). The
BUGS project: evolution, critique and future directions. Statistics in
Medicine, Vol. 28 - Nº 25.
Metropolis N.C. & Rosenbluth A.W. & Rosenbluth M.N. & Teller A.H. &
Teller E. (1953). Equation of state calculations by fast computing
machines. Journal of Chemical Physics, Vol. 21 - Nº 6.
Plummer M. & Best N.G. & Cowles M.K. & Vines S.K. (2006). CODA:
Convergence Diagnosis and Output Analysis for MCMC. R News, Vol.
6.
Raftery A.E. & Lewis S.M. (1992). How many iterations in the Gibbs
sampler?. Bayesian Statistics 4 - Oxford University Press.
Spiegelhalter D.J. & Best N.G. & Carlin B.P. & Van Der Linde A.
(2002). Bayesian measures of model complexity and fit. Journal of
the Royal Statistical Society: Series B, Vol. 64 - Nº 4.
Spiegelhalter D.J. & Thomas A. & Best N.G. & Lunn D.J. (2007).
WinBUGS User Manual - Version 1.4.3. MRC Biostatistics Unit.
86
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
Thomas A. & O'Hara B. & Ligges U. & Sturtz S. (2006). Making BUGS
Open. R News, Vol. 6.
Yee T.W. (2010). The VGAM Package for Categorical Data Analysis.
Journal of Statistical Software, Vol. 32 - Nº 10.
87
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
7. Anexo
J
n!
⋅ ∏ πj j .
y
f (y 1 , y 2 , K , y J / n, π 1 , π 2 , K , π J ) = J
∏y !
j =1
j
j =1
J
En este contexto, n = ∑y
j =1
j es el número total de pruebas
∑π
j =1
j = 1.
88
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
πj
log = x' ⋅ β j = ηj
para j = 2, 3, L , J .
π
1
89
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
1
J
para j = 1
1 + ∑ exp (η̂ j )
j=2
π̂ j =
exp (η̂ j )
para j = 2, 3, L , J
J
1 + ∑ exp (η̂ j )
j=2
P (Y ≤ j) π1 + π 2 + K + π j
log it P (Y ≤ j) = log = log = x' ⋅ β j = ηj
P (Y > j) π j +1 + π j + 2 + K + π J
para j = 1, 2, L , J − 1 .
90
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (Y ≤ j) π1 + π 2 + K + π j
log it P (Y ≤ j) = log = log = β0j + x ' ⋅ β = ηj
P (Y > j) π j+1 + π j+ 2 + K + π J
para j = 1, 2, L , J − 1 . (I)
91
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
P (Y ≤ j / X = x1 ) P (Y ≤ j / X = x1 )
1 − P (Y ≤ j / X = x ) = P (Y > j / X = x1 )
= exp (β 0 j + β1 ⋅ x1 )
1
P (Y ≤ j / X = x ) P (Y ≤ j / X = x2 )
2
= = exp (β 0 j + β1 ⋅ x 2 )
1 − P (Y ≤ j / X = x 2 ) P (Y > j / X = x2 )
exp (β 0 j + β1 ⋅ x1 )
RO j (x1 vs x 2 ) = = exp [β1 ⋅ (x 1 − x 2 )] .
exp (β 0 j + β1 ⋅ x 2 )
92
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
πj
log = x ' ⋅ β j = η j con j = 1, 2, L , J − 1 .
π
j +1
respuesta, verificando P̂ (Y ≤ 1) ≤ P̂ (Y ≤ 2) ≤ K ≤ P̂ (Y ≤ J) .
J −1
exp ∑ η̂k
k = j para j = 1, 2, L , J − 1
J −1
J −1
1 + ∑ exp ∑ η̂k
t =1 k =t
ˆj =
π
1
para j = J
J −1
J −1
1 + ∑
t =1
exp ∑ η̂k
k =t
πj π π
log = log j − log j + 1 .
π π
π
j +1 J J
93
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
πj J −1
πk
log
π
=
∑ log π .
J k=j k +1
94
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
model {
for (i in 1:6) {
# Probabilidades
p[i,1] <- max(0.00001,exp(eta[i,1])/(1+exp(eta[i,1])));
p[i,2] <- max(0.00001,(exp(eta[i,2])/(1+exp(eta[i,2]))) - p[i,1]);
p[i,3] <- max(0.00001,1 - p[i,1] - p[i,2]);
# Predictores Lineales
eta[i,1] <- int1 + cond*local[i] + vic*pg[i] + emp*pe[i];
eta[i,2] <- int2 + cond*local[i] + vic*pg[i] + emp*pe[i];
# Frecuencias Estimadas
victorias[i,1] <- n[i]*p[i,1];
empates[i,1] <- n[i]*p[i,2];
derrotas[i,1] <- n[i]*p[i,3];
# Priors
int1~dnorm(0,0.001);
int2~dnorm(0,0.001);
cond~dnorm(0,0.001);
vic~dnorm(0,0.001);
emp~dnorm(0,0.001);
95
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
96
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
97
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
98
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
Intercepto Logit 1
-2.0
-2.5
-3.0
Intercepto Logit 2
-0.4
-0.6
-0.8
-1.0
-1.2
99
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
Empate
2.0
1.5
1.0
0.5
Victoria
4.0
3.5
3.0
2.5
Local
1.0
0.8
0.6
0.4
100
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
Cadena 1
Cadena 2
Cadena 1
Cadena 2
101
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
Cadena 1
Cadena 2
Cadena 1
Cadena 2
102
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
Cadena 1
Cadena 2
103
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
104
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
105
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
106
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
model {
for (i in 1:6) {
# Probabilidades
p[i,1] <- max(0.00001,exp(eta[i,1])/(1+exp(eta[i,1])));
p[i,2] <- max(0.00001,(exp(eta[i,2])/(1+exp(eta[i,2]))) - p[i,1]);
p[i,3] <- max(0.00001,1 - p[i,1] - p[i,2]);
# Predictores Lineales
eta[i,1] <- int1 + cond1*local[i] + vic1*pg[i] + emp1*pe[i];
eta[i,2] <- int2 + cond2*local[i] + vic2*pg[i] + emp2*pe[i];
# Priors
int1~dnorm(0,0.001);
int2~dnorm(0,0.001);
cond1~dnorm(0,0.001);
vic1~dnorm(0,0.001);
emp1~dnorm(0,0.001);
cond2~dnorm(0,0.001);
vic2~dnorm(0,0.001);
emp2~dnorm(0,0.001);
107
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
model {
for (i in 1:6) {
# Probabilidades
p[i,1] <- max(0.00001,exp(eta[i,1]+eta[i,2])/(1+exp(eta[i,1]+eta[i,2])+exp(eta[i,2])));
p[i,2] <- max(0.00001,exp(eta[i,2])/(1+exp(eta[i,1]+eta[i,2])+exp(eta[i,2])));
p[i,3] <- max(0.00001,1/(1+exp(eta[i,1]+eta[i,2])+exp(eta[i,2])));
# Predictores Lineales
eta[i,1] <- int1 + cond*local[i] + vic*pg[i] + emp*pe[i];
eta[i,2] <- int2 + cond*local[i] + vic*pg[i] + emp*pe[i];
# Priors
int1~dnorm(0,0.001);
int2~dnorm(0,0.001);
cond~dnorm(0,0.001);
vic~dnorm(0,0.001);
emp~dnorm(0,0.001);
108
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
# MUESTRA SIMULADA
n <- 50
mu <- 3
sigma <- 1
y <- rnorm(n,mean=mu,sd=sigma)
# CADENA
burnin <- 100
inicio <- burnin+1
iter <- 1000
N <- burnin + iter
# PRIOR
mup <- 0
sigmap <- 10
# POSTERIOR
rho <- (1/sigmap^2)/((1/sigmap^2)+(n/sigma^2))
media <- (1-rho)*mean(y)
desvio <- sqrt(1/((1/sigmap^2)+(n/sigma^2)))
for (j in 1:largo) {
tita <- matrix(0,N+1,1)
titae <- matrix(0,N+1,1)
ptita <- matrix(0,N+1,1)
ptitae <- matrix(0,N+1,1)
alfa <- matrix(0,N+1,1)
rech <- 0
#PROPOSAL
titae[1] <- qnorm(runif(1),mean=tita[1],sd=sdprop[j])
#PROBABILIDAD DE ACEPTACION
alfa[1] <- min(1,ptitae[1]/ptita[1])
for (i in 2:N+1) {
if (runif(1)<alfa[i-1]) {
tita[i]=titae[i-1]
} else {
tita[i]=tita[i-1]
rech <- rech+1
}
titae[i] <- qnorm(runif(1),mean=tita[i-1],sd=sdprop[j])
ptita[i] <- prod(dnorm(y,mean=tita[i],sd=sigma))*dnorm(tita[i],mean=mup,sd=sigmap)
ptitae[i] <- prod(dnorm(y,mean=titae[i],sd=sigma))*dnorm(titae[i],mean=mup,sd=sigmap)
alfa[i] <- min(1,ptitae[i]/ptita[i])
}
109
Diego Marfetán Molina - Introducción a la Inferencia Bayesiana 2013
if (j==26) {
for (k in 1:1000) {
sd2[k]=tita[k+100]
}
}
if (j==176) {
for (k in 1:1000) {
sd3[k]=tita[k+100]
}
}
}
110