Priori de Jeffreys

PRIORI DE JEFFREYS
Estadistica Bayesiana

UNI-FIEECS-ESCUELA DE ESTADISTICA

GRUPO 4

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 1 / 22

Priori de Jeffreys

CONTENIDO

Introducción Jeffreys Multivariado

Definición Problema 3
Problema 1 Colorario
Lema Problema 4
Demostración Problema 5
Problema 2 Aplicación

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 2 / 22

Priori de Jeffreys

Introducción

Distribución Priori:

Herramienta que resume la informacion priori disponible, así

como la incertidumbre relacionada a esta.

Priori no informativas (objetivas):

1 Distribuciones prioris que surguen por la poca o nula
información acerca del parametro.
2 Casi toda la información será solo de la muestra.
3 Son útiles cuando deseamos que la inferencia no se vea
afectada por información que no provenga de los datos
presentes.

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 3 / 22

Priori de Jeffreys

Definición

Priori no informativa de Jeffreys

Considere una observación X = (x1 , . . . , xn )0 con función de
densidad P(x|θ). ”θ” es un parametro desconocido. Entonces la
distribución priori de Jeffreys está definida como:
p
p(θ) ∝ I(θ)
=⇒ Donde I(θ) es la Información esperada de Fisher.

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 4 / 22

Priori de Jeffreys

Problema 1

Caso Binomial
Sea Xi |θ ∼ Bin(n, θ) una muestra de tamaño n. Calcule la
distribución priori de Jeffreys para θ.
 
n x
P(x|θ) = θ (1 − θ)n−x
x

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 5 / 22

Priori de Jeffreys

Solución

Tomando el logaritmo se deduce que:

 
n!
log p(x|θ) = ln + xlnθ + (n − x)ln(1 − θ)
x!(n − x)!

Tomando la primera y segunda derivada respecto a θ :

∂log p(x|θ) x (n − θ) x (n − x)
= + (−1) = −
∂θ θ (1 − θ) θ (1 − θ)
∂ 2 log p(x|θ) x n−x
2
=− 2 −
∂θ θ (1 − θ)2

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 6 / 22

Priori de Jeffreys

La información de fisher será:

∂ 2 log p(x|θ)
 
I(θ) = E −
∂θ2
I(θ) = nθ−1 (1 − θ)−1

El priori no informativo de Jeffreys es:

1
π(θ) ∝ [I(θ)] 2
1
π(θ) ∝ [θ−1 (1 − θ)−1 ] 2
1 1
π(θ) ∝ θ− 2 (1 − θ)− 2

1 1
∴ Se distribuye como una Beta ( , )
2 2

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 7 / 22

Priori de Jeffreys

Lema

Invarianza de la Priori de Jeffreys

p
La priori no informativa de Jeffreys p(θ) ∝ I(θ) es invariante frente
a transformaciones biyectivas, es decir, si φ = φ(θ) es una transfor-
mación biyectiva de θ. Entonces la distribución priori de Jeffreys para
φ dada por:
p
p(φ) ∝ I(φ)

=⇒ Comentario: Favorecer valores de θ para los cuales I(θ) es

grande es equivalente a minimizar la influencia de la distribución
priori.

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 8 / 22

Priori de Jeffreys

Demostración
Sea φ = φ(θ) una transformación de θ. Entonces la información
esperada de fisher esperada Iφ (φ) de φ es:
 2
∂θ
Iφ (φ) = Iθ (θ)
∂φ

Según la distribución priori de Jeffreys se tiene:

 
1  ∂θ  1
P(φ) ∝ I (θ(φ))  = I 2 (φ)
2
∂φ

Tambien se denota como:

   
 ∂θ 
  ∝ I− 12 (θ) =⇒  ∂φ  ∝ I 12 (θ)
 
 ∂φ   ∂θ 

Finalmente: Z θ
1
φ∼ I 2 (u)du
0
UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 9 / 22
Priori de Jeffreys

Problema 2

Modelo de locación
Si X tiene el modelo de locación entonces:
∂log p(x|θ) ∂log f (x − θ) f 0 (x − θ) ∂f
= =− donde f 0 =
∂θ ∂θ f (x − θ) ∂θ
 2 
0
Entonces por el último lema, I(θ) = EX |θ − ff (x−θ)(x−θ)
. Haciendo la
 
0
 2
transformación U = X − θ, entonces EU − ff (U) (U)
no depende de
θ. Entonces, I(θ) = k y luego p(θ) ∝ k .

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 10 / 22

Priori de Jeffreys

El resultado anterior es válido para un vector de parámetros θ. Una

forma de justificar este a priori es directamente a través de la inva-
riancia del modelo. Trabajando con una observación del vector X y
parámetro de locación θ es equivalente a trabajar con observación
vector Y = X + c y parámetro de locación η = θ + c para cualquier
constante dada c. Entonces podemos insistir en la misma especifi-
cación previa no informativa tanto para θ como para η. No es difícil
demostrar que la única distribución que satisface este requerimiento
tiene densidad p(θ) ∝ k .

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 11 / 22

Priori de Jeffreys

Distribución Priori de Jeffreys Multivariado.

Definición
Se tiene una observación X = (x1 , . . . , xn )0 con función de densidad
P(x|θ). θ = (θ1 , . . . , θn )0 es un vector. Entonces en este caso
MULTIVARIADO la distribución priori de Jeffreys está definida como:
p(θ) ∝ |I(θ)|1/2

=⇒ Donde I(θ) es la Información esperada de Fisher.

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 12 / 22

Priori de Jeffreys

Problema 3
Distribucion priori de Jeffreys multivariada Considere una observa-
0
cion X = (X1 , X2 . . . , Xn ) con funcion de densidad (probabilidad)
0
p(x|θ) donde θ = (θ1 , θ2 , . . . , θk ) .En elcaso multivariado , la distribu-
cion priori de Jeffreys viene dada por :
p(θ) ∝ |I(θ)|1/2 ;
donde I(θ) es la matriz de informacion esperada de Fisher.
Ejemplo
Sea una muestra tal que Xi |(µ, σ) ∼ N(µ, σ 2 ).Si ambos parametros
son desconocidos, calcule la distribucion priori de Jeffreys para θ =
0
(µ, σ)

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 13 / 22

Priori de Jeffreys

Problema 3
La funcion de densidad de las 2
observaciones es:
Qn −1 (xi −µ)
1
P(X |θ) = i=1 √2πσ e 2 σ

Tomando el logaritmo y derivando :P

n
lnP(X |θ) = − n2 ln(2π) − nlnσ − 2σ1 2 i=1 (xi − µ)2
∂ 1
Pn 2
∂µ lnP(X |θ) = σ 2 i=1 (xi − µ)
∂2
∂µ2
lnP(X |θ) = − σn2
Pn
∂2 −2 i=1 (xi −µ)
∂µθ lnP(X |θ) = σ3

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 14 / 22

Priori de Jeffreys

I11 = (µσ) = E[ σn2 ] = n

σ2
Pn
2 (x i −µ)
I21 = I12 = E[ i=1σ3 ]=0
3 n (x −µ)
P
I22 = E[ i=1σ4 i − σn2 ] = σ2n2
 −2 
σ 0
In (θ) = n
0 2σ −2

Hallando el determinante : |In (θ)| = 2nσ −4

⇒ Finalmente tenemos la distribucion no informativa de Jeffreys
√
−4
Q
Q ∝ 2nσ
(θ)
−2
(θ) ∝ σ

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 15 / 22

Priori de Jeffreys

Colorario
1 Para el caso Multivariado, el priori de Jeffreys es invariable bajo
transformaciones.
2 Es inapropiado usar priori de Jeffreys cuando I(θ) no existe.
3 Otro incoveniente es que no satisface el principio de
verosimilitud similares, ya que puede producir resultados
posteriori diferentes.

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 16 / 22

Priori de Jeffreys

Problema 4

Ensayo de bernoulli
Se realizan n ensayos de Bernoulli con probabilidad de éxito θ. Si n
es conocido y se observa que el número X de éxitos observados.
Entonces se tiene X ∼ Bin(n, θ).
Suponer que el esquema de muestras consiste en observar el
número de replicaciones hasta que se obtengan los éxitos. La
observación ahora es Y ∼ BN(s, θ) con:
 
y −1 s
P(y |θ) = θ (1 − θ)y −s ; para y = s, s + 1
s−1

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 17 / 22

Priori de Jeffreys

Solución
Lo que implica que el 1er y 2da derivada respecto a θ sea:

∂log p(y |θ) s y −s

= −
∂θ θ 1−θ
2
∂ log p(y |θ) s y −s
=− 2 −
∂θ2 θ (1 − θ)2

La información esperada es:

s E[y − s|θ]
IBN (θ) = 2
+
θ (1 − θ)2
s s − sθ
IBN (θ) = 2 +
θ θ(1 − θ)2
s
IBN (θ) = 2
θ (1 − θ)

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 18 / 22

Priori de Jeffreys

Priori no informativa de Jeffreys es:

1
PBN (θ) ∝ IBN (θ) 2
1
PBN (θ) ∝ θ−1 (1 − θ)− 2

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 19 / 22

Priori de Jeffreys

Problema 5

Modelo de escala
Si X tiene el modelo de escala, entonces:

∂log p(x|σ) ∂log [σ −1 f (x|σ)]

=
∂σ ∂σ
∂ h  x i
= − log σ + log f
∂σ  σ 
1 ∂log f (x|σ) x
=− + − 2
σ ∂σ σ
x f 0 (x|σ)
 
1 ∂f
=− 1+ donde f 0 =
σ σ f (x|σ) ∂σ

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 20 / 22

Priori de Jeffreys

Por lo tanto, la medida de información sobre σ será:

" 2 #
1 X f 0 (X|σ) 
I(σ) = 2 EX|σ 1 + σ
σ σ f (x|σ)
2
f 0 (U)

1
= 2E 1 + U
σ f (U)

Después de la transformación U = X/σ. Dado que la distribución de

U no depende de σ, entonces I(σ) = k × σ −2 y p(σ) ∝ σ −1 es una
distribución priori no informativa.
Una vez más, la invariancia del modelo se pueden invocar directa-
mente asumiendo equivalencia entre un modelo con observación X y
parámetro de escala σ y un modelo con observación Y = cX y pará-
metro escala η = cσ . Insistiendo en lo mismo la priori no informativa
para σ y η nos lleva a p(σ) ∝ σ −1 .

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 21 / 22

Priori de Jeffreys

GRACIAS!!!
Integrantes:
-Ruben Angel Yauri Mendoza
-Javier Paucar Camilo
-Jairo Valverde
-Angie Fiorella Torres
-Martin Atagua Paredes

UNI-FIEECS-ESCUELA DE ESTADISTICA ESTADISTICA BAYESIANA 22 de maio de 2021 22 / 22