ESTADÍSTICA BAYESIANA

Jennyfer Portilla Yela

Correo:
Jennyfer.portilla@correounivalle.edu.co

Universidad del Valle

Santiago de Cali
2019
 Distribución a priori
La distribución a priori cumple un papel importante en el análisis bayesiano ya que mide el
grado de conocimiento inicial que se tiene de los parámetros en estudio. Si bien su
influencia disminuye a medida que más información muestral es disponible, el uso de una u
otra distribución a priori determinará ciertas diferencias en la distribución a posteriori.

Si se tiene un conocimiento previo sobre los parámetros, este se traducirá en una

distribución a priori. Así, será posible plantear tantas distribuciones a priori como estados
iniciales de conocimiento existan.

Las distribuciones a priori son parte fundamental de la inferencia bayesiana.

Indudablemente, es el punto más criticado del análisis bayesiano, la elección de la
distribución a priori es lo más importante para realizar inferencias y, hasta cierto punto, es
también difícil.

En la inferencia clásica, la muestra es seleccionada aleatoriamente mientras que el

parámetro poblacional es considerado fijo, en el análisis bayesiano, los parámetros siguen
una distribución de probabilidad, conocimiento que (Antes de considerar los datos) es
simplificado en una distribución a priori 𝝅 𝜽 .
 Representación de la información a priori
Una información a priori que se pretende incorporar a un análisis es una
información probabilística de alguien, el cual se identifica como un especialista
(Experto) que contiene la información sobre la variable y/o problema concreto
antes de la ejecución del experimento. Está información es considerada “Externa” a
la experimentación y precisa ser cuantificada o por lo menos expresada en términos
de una distribución de probabilidad (Función de masa o función de densidad).

Generalmente el experto contiene elementos subjetivos muchas veces soportados

en fuentes objetivas (Datos históricos, problemas análogos, etc.) lo que permite
construir creencias sobre aspectos desconocidos inherente al fenómeno o
problema de interés.

Recuerde que una probabilidad subjetiva es una medida del grado de creencia
personal especifico de un individuo, como tal puede variar de un individuo a otro.
Especificar estas probabilidades, que representan los juicios de los expertos (o
nuestro propio juicio) puede ser muy difícil, esto se realiza a través del proceso de
Elicitación.
 ¿Qué es elicitación?
Es el proceso que permite representar la información externa (A priori) de un experto o
especialista sobre una o más cantidades inciertas en forma de distribución de probabilidad
(Distribución a priori). En el contexto del análisis bayesiano, surge como un método para
especificar la distribución a priori para una o más parámetros desconocidos de un modelo
estadístico.

En este contexto la distribución a priori será combinada con la verosimilitud (Información de los
datos) a través del Teorema de Bayes para derivar la distribución a posteriori, la cual se puede
interpretar como una distribución única.

Es conveniente pensar en la tarea de la elicitación como una participación entre un facilitador

que ayuda al experto (Quien tiene el conocimiento) a formular su conocimiento en forma
probabilística. Si el experto, es un estadístico o está muy familiarizado con los conceptos
estadísticos, entonces puede ser que no haya necesidad de un facilitador, pero en la práctica
es muy difícil encontrar dicha situación.

Una meta razonable del proceso de elicitación es capturar el “gran mensaje” en la opinión del
experto. La elicitación alienta al experto y al facilitador para considerar el significado de los
parámetros a elicitar (Los parámetros sobre los que necesitamos información y sobre los cuáles
se quieren hacer inferencias).
 ¿Quién es el experto?
Se ha presentado la elicitación como el proceso de formulación en términos probabilísticos de
las creencias de un experto, pero surge la pregunta: ¿Quién es el experto?...

El uso del término experto sugiere un énfasis en las personas a que la sociedad y/o compañeros
atribuyen un conocimiento especial sobre el fenómeno o problema a tratar. En la práctica, a
menudo tratamos de identificar el mejor conocimiento disponible sobre las cantidades de
interés. En síntesis, un experto es la persona cuyo conocimiento deseamos obtener. El término
"experto" no significa necesariamente más que eso.

Ejemplo: Usted es el estadístico de una empresa embotelladora de gaseosa, el ingeniero de

producción le pide su ayuda para establecer los estándares de producción en término de la
cantidad de líquido permitida.

¿A quién podríamos considerar como experto?

Unos expertos que se pueden considerar en este caso es:

• El jefe de producción.
• El técnico que opera la máquina embotelladora.
Pues son ellos los que conocen el proceso de embotellado por sus años de trabajo.
 Etapas del proceso de elicitación
• Identificar los aspectos del problema sobre los cuáles se va a pedir
Preparación información.
• Establecer criterios para definir el experto.
En la preparación de un proceso de elicitación, se deben definir las cantidades a elicitar, los
objetivos del estudio (¿Qué se quiere medir? y ¿Por qué?), durante esta etapa también se define la
estructura de las preguntas que se van a formular al experto, dichas preguntas deben ser acerca de
cantidades que sean significativas para el experto.

Adicional, en esta etapa un punto importante es la identificación del experto (Expertos), Hora
(2007) da los siguientes criterios para medir la experiencia de un experto:

• Investigaciones en el área que hallan sido publicadas.

• Trabajos e investigaciones citadas.
• Recomendación por parte de grupos de interés público u organizaciones profesionales.
• Entre otros.

Es importante que el experto esté libre de cualquier sesgo motivacional causado por interés político
o económico.

El experto podría, por ejemplo, creer firmemente en una determinada hipótesis. Al preguntarle por
ella, dirá con alta probabilidad que la hipótesis es cierta, incluso si el resto de la comunidad
considera la ocurrencia de la hipótesis con baja probabilidad.
 Etapas del proceso de elicitación
• Identificar los aspectos del problema sobre los cuáles se va a pedir
Preparación información.
• Establecer criterios para definir el experto.

• Definir las medidas asociadas a los aspectos identificados (Media,

Elicitar moda, mediana, varianza, intervalo, etc.). Considerado el núcleo
del proceso.

La cantidad incierta a elicitar debe ser claramente especificada y la escala de medida

definida. Pensar acerca de la variabilidad y la incertidumbre como probabilidades
puede ser nuevo y bastante incómodo a los expertos (Walker et al., 2001).

Muchos especialistas de diferentes áreas desconocen la definición de la mayoría de

términos estadísticos (Podría darse una capacitación para familiarizar al experto en la
interpretación de la probabilidad y con los conceptos que se requieran).
 Etapas del proceso de elicitación
• Identificar los aspectos del problema sobre los cuáles se va a pedir
Preparación
información.
• Establecer criterios para definir el experto.

• Definir las medidas asociadas a los aspectos identificados (Media,

Elicitar moda, mediana, varianza, intervalo, etc.). Considerado el núcleo del
proceso.

Ajustar • Consiste en ajustar una distribución probabilística a las medidas

definidas.

Evaluación • Consiste en la evaluación de la adecuación de la elicitación.

En un proceso de elicitación un cuestionamiento importante a abordar es qué significa tener

una elicitación exitosa; una elicitación exitosa es aquella que logra representar fielmente la
opinión del experto, esto sin importar si el conocimiento del experto es cierto o no, es
importante diferenciar entre la calidad del conocimiento del experto y la exactitud con la
que la distribución de probabilidad construida refleja el conocimiento elicitado.
 Métodos de elicitación
En muchas situaciones resulta útil cuantificar información subjetiva que tiene una o varias
personas acerca de un tema de interés, para esto se han desarrollado técnicas o métodos de
elicitación cuyo objetivo es extraer y cuantificar las creencias de un individuo al cual se le
denomina experto.

Un método de elicitación es el puente entre las evaluaciones de un experto y la expresión de

estas evaluaciones en una forma estadísticamente útil (Garthwaite et al., 2005) y es por esto
que se debe prestar especial atención no sólo a las cantidades que se elicitan, sino en el cómo
estas cantidades son elicitadas (Kynn, 2008). Existen diferentes métodos de elicitación:

• El enfoque directo, también llamado estructural, elicita información específica sobre los
parámetros; se elicita directamente el conocimiento de un experto sobre el parámetro de
interés, es por esto que suele aplicarse en la elicitación de parámetros que se entienden de
forma intuitiva como el promedio o la proporción, con esta técnica y a pesar de su
naturaleza simple, se pueden producir los peores resultados, sobre todo cuando el experto
no está familiarizado con los conceptos de probabilidad (Denham y Mengersen, 2007).

• El enfoque indirecto, también llamado predictivo, puede facilitar el proceso de elicitación

de parámetros que requieran mayor conocimiento de la teoría de probabilidad (Correa,
2011). Es usado en casos donde es difícil para el experto expresar su conocimiento en
respuesta a preguntas directas acerca de un parámetro específico.
 Métodos de elicitación
Enfoque directo- Histograma

Se considera una partición del espacio paramétrico Θ en k intervalos de tal forma que
Θ = ‫=𝑖𝑘ڂ‬1 Θ𝑖 y se le pide al experto la probabilidad que le atribuye al parámetro 𝜃 de
pertenecer a cada intervalo (𝑝𝑖 ∀𝑖=1,2,3,…,𝑘 ) y entonces se representa el histograma. A
partir del histograma puede esquematizarse una densidad 𝜋(𝜃) suave. Se debe hacer
retroalimentación con el experto para averiguar si está conforme con lo obtenido.
 Métodos de elicitación
Enfoque directo- Función de distribución acumulada (CDF)

Para este método se hacen preguntas al experto del tipo ¿Qué porcentaje de valores
del parámetro de interés están por debajo de un valor dado, digamos 𝑞𝑖 ?, se repite el
procedimiento para diferentes valores de 𝑞𝑖 y con estos se ajusta un modelo
paramétrico o un modelo empírico.

Enfoque directo- Función de densidad (PDF)

Con el método PDF se traza la función de densidad en vez de la distribución

acumulada (Jenkinson, 2005). Aunque este procedimiento puede resultar un tanto
más complejo que el anterior, puesto que determinar valores de densidad puede no
ser tan fácil y resultaría mejor trabajar con histogramas.
 Métodos de elicitación
En muchas situaciones hay un relativo consenso de cual es la forma funcional de la
distribución a priori para una situación en particular y el problema de su
especificación se resume a elicitar sus parámetros, llamados hiperparámetros.

Este enfoque es el más empleado. Consiste en asumir que 𝜋(∙) tiene una forma
funcional, por ejemplo:

• Si queremos estimar la proporción de defectuosos 𝜃 podemos decir que: 𝜋(𝜃)

puede ser una distribución Beta(a,b) (Ya que la distribución Beta toma valores
entre 0 y 1 como la proporción).

Una forma de determinar subjetivamente los hiperparámetros, es calcularlos a partir

de los momentos iniciales estimados. Así:

𝜇 = 𝐸 𝜃 𝜎 2 = 𝑉𝑎𝑟(𝜃)

Por ejemplo, para el caso de la distribución Beta(a,b), sería:

𝑎 𝑎𝑏 Algunas veces los momentos iniciales no existen

𝜇 = 𝜎2 = (Distribución t student con un 1 grado de libertad).
𝑎+𝑏 𝑎 + 𝑏 2 (𝑎 + 𝑏 + 1)
 Métodos de elicitación
En el ámbito de las pruebas diagnósticas, diferentes autores han propuesto métodos
para elicitar distribuciones a priori Beta (a,b). Por ejemplo, Joseph et al. (1995), esto
es:

Se formula un intervalo (Revisión de literatura o conversación con el experto) entre

el cual se considera se encuentra el parámetro 𝜃, asume que la cuarta parte del
intervalo es la desviación estándar (𝑃 𝜃 < 𝑄1 = 0.25) y el punto medio del
intervalo propuesto (𝜃0 ) es el valor esperado de la distribución Beta, así:

𝑎 𝑎𝑏
𝜃0 ≅ 𝑄1 ≅
𝑎+𝑏 𝑎 + 𝑏 2 (𝑎 + 𝑏 + 1)

Por ejemplo:

De acuerdo con la literatura revisada, se ha observado que entre el 52% y el 60% de

las veces que una persona responde a una pregunta de cultura general, lo hace
correctamente. Asuma que la distribución a priori es una Beta(a,b), según el método
anterior que valores tiene los hiperparámetros a y b.
 Métodos de elicitación
Sea 𝜃 la proporción de personas que responden a una pregunta de cultura general
correctamente.
𝜃 ∈ [0.52; 0.60]

0.52 + 0.60 0.60 − 0.52

𝜃0 = = 0.56 𝑄1 = = 0.02
2 4

𝑎 𝑎𝑏
0.56 ≅ 0.02 ≅
𝑎+𝑏 𝑎 + 𝑏 2 (𝑎 + 𝑏 + 1)
Resolviendo el sistema anterior:
𝑎 = 344.4 𝑏 = 270.6

𝜃 ∼ 𝐵𝑒𝑡𝑎(𝑎 = 344.4, 𝑏 = 270.6)

20
15
Densidad

10
5
0

0.50 0.55 0.60

 Métodos de elicitación
Otros métodos de elicitación para una distribución Beta(a,b) que aparecen en la
literatura son:

• Método de Weiler (1965).

• Método de Fox (1966).
• Método de Gross (1971).
• Método de Waterman (1976).
• Método de Tovar (2012).
• Entre otros.

Otros métodos para determinar los hiperparámetros subjetivamente es estimando

varios percentiles de la distribución inicial y entonces, elegir los hiperparámetros de
la forma funcional dada para obtener una densidad que coincida con los percentiles
estimados.
 Métodos de elicitación
Algunos métodos indirectos para elicitar los parámetros de una distribución son:

Método de cuantiles o intervalo creíble: Cuando un intervalo viene acompañado de una

probabilidad (La probabilidad de que la temperatura del día de mañana esté entre 30 y 35
grados centígrados es de 0.8) es comúnmente llamado intervalo creíble.

El objetivo general consiste en preguntar al “experto” su estimación promedio del parámetro

𝜃 y varios cuantiles (Por lo general al menos dos) de su distribución subjetiva de 𝜃. Estos son
graficados bajo una distribución acumulada suave que pasa por ellos y se selecciona una
distribución 𝜋 𝜃 conocida cuyos cuantiles son similares a los que el experto dio (Garthwaite
et al., 2005).

Muestras hipotéticas futuras (HFS): Una vez el experto ha hecho su evaluación de la cantidad
o parámetro 𝜃, el método HFS examina el efecto que tendría un conocimiento adicional de
una muestra aleatoria sobre su probabilidad original (Hipotética).

Por ejemplo, suponga que se quiere evaluar la proporción π de estudiantes que son hombres,
se pueden realizar preguntas del tipo: "Suponga que se toma una muestra al azar de 100
estudiantes de clase y 60 fueron hombres. Ahora ¿Cuál es la probabilidad que un estudiante
elegido al azar sea hombre?". En general, el experto se enfrenta a varias muestras hipotéticas
en las que varían el número de estudiantes y la proporción de los que son hombres. Cada una
da una estimación por separado de los hiperparámetros y se utiliza alguna forma de promedio
para unirlas.
 Bayes empírico (Empirical Bayes)
Uno de los desafíos prácticos con los métodos de inferencia bayesiana es que requiere que se
tenga alguna creencia previa del parámetro que está tratando de estimar. Entonces:

¿Cómo podríamos ir especificando nuestras creencia previas sino no conoce sobre el

parámetro?

Una forma podría ser asignar una distribución a priori donde se especifica que cada valor del
parámetro es igualmente probable (Uniforme). Otra forma es usar Empirical Bayes, donde sus
datos se utilizan para estimar al distribución a priori (La cual se le puede dar una interpretación
frecuencia).

Se puede enfatizar entonces que la diferencia fundamental entre el método de Bayes y el

método de Bayes Empírico radica en que el método de Bayes supone el conocimiento total de
la distribución a priori 𝜋 𝜃 y el método de Bayes Empírico estima la distribución a priori 𝜋 𝜃 .
 ¿Qué hacer cuando se cuenta con múltiples expertos?
Es muy común que al tomar decisiones o al hacer inferencias se desee aprovechar la experiencia de
varios expertos. En la literatura se han propuesto diferentes enfoques a manera de obtener y sintetizar
el conocimiento de múltiples expertos. Se puede presentar dos situaciones:

Los expertos no interactúan

Distribuciones de probabilidad separadas se generan a partir de los expertos, en sesiones de elicitación
separadas. Se han formulado dos alternativas que son conocidas como Piscinas de opinión.
• Piscinas de opinión lineal: Promedio ponderado de las probabilidades individuales.
• Piscinas de opinión logarítmica: Promedio ponderado geométrico de las probabilidades individuales.
Un enfoque alternativo es suponer las opiniones de cada experto como una entrada de datos.

Los expertos interactúan (Obtención grupal)

El método Delphi es una técnica formal para la gestión de la interacción grupal. El método procede en
una primera obtención de las opiniones de los expertos por separado y luego alimentar los puntos de
vista de cada uno de los expertos a todos los demás expertos, junto con la explicación del razonamiento
de este experto. Los expertos luego son invitados a revisar sus propias opiniones. El método es iterativo.

En este caso se requiere de un facilitador muy experto, puede pasar que no se llegue a consenso. La
calidad de los resultados depende, sobre todo, del cuidado que se ponga en la elaboración del
cuestionario y en la elección de los expertos consultados.
 Distribución a priori no informativa
Muchas veces no se tiene información a priori o el estado de conocimiento es “Vago” o “difuso”, lo que
lleva a tener que usar una distribución a priori mínimamente informativas que en algún sentido
expresan o representan el estado de ignorancia previa, a estas distribuciones a priori las llamaremos
distribuciones a priori no informativas (Distribuciones de referencia).

Una distribución sobre el parámetro 𝜃 se dice que es no informativa si no contiene información alguna
sobre 𝜃, es decir, no establece ninguna preferencia sobre algunos valores de 𝜃. Estas distribuciones
sirven para:

• Deducir creencias a posteriori para quien tiene poco conocimiento previo.

• Permitir la comparación con los resultados de la inferencia clásica que sólo usa información muestral
o parte de ella (La distribución a priori no informativa busca que sean los datos los que tengan el
claro dominio en la distribución a posteriori).
• Estudiar el efecto de la distribución a priori informativa sobre las inferencias al compararlas con las
obtenidas usando una distribución a priori no informativa.
• En problemas de alta dimensión, se puede esperar obtener buenas distribuciones subjetivas para
algunos parámetros y a los parámetros que no son de interés se les asigna distribuciones no
informativas.
• Con frecuencia la elicitación de las distribuciones a priori es imposible, por múltiples razones, por
ejemplo, limitaciones de costo o tiempo.
 Distribución a priori no informativa
Las distribuciones no informativas se reúnen en dos grupos:

Distribuciones a priori propias Distribuciones a priori impropias

Es una distribución que satisface las
condiciones de función de probabilidad o
masa. Por ejemplo:
Para el caso de la distribución Binomial, su
parámetro 𝜃, que representa la probabilidad
de éxito en una población, podemos asumir
como distribución a priori la distribución
𝑈𝑛𝑖(0,1), la cual refleja total ignorancia, al
asumir que cualquier valor en el intervalo [0,1]
es igualmente probable.
Una distribución a priori es impropia si:
න 𝜋 𝜃 𝑑𝜃 = ∞
Θ
Estas distribuciones son útiles como expresión
general de la ignorancia a priori (Puede interpretarse
como un caso extremo donde la información a priori
ha desaparecido complemente). Dentro de los
subjetivistas la ignorancia total no existe.
Observaciones:

𝜋 𝜃 =1 𝜃 ∈ 0,1
1 1. Una distribución a priori impropia puede
terminar en una distribución a posteriori
න 1 𝑑𝜃 = 1
impropia y por lo tanto no se podrían hacer
0 inferencias.
2. Una distribución a priori impropia puede
terminar en una distribución a posteriori propia.
 Distribución a priori no informativa
Ejemplo:

Asumamos que 𝑌1 , 𝑌2 , … , 𝑌𝑛 son variables aleatorias independientes con distribución de probabilidad

normal con media 𝜃 y varianza conocida 𝜎 2 . Asuma que 𝜋(𝜃) ∝ 1 es la distribución a priori Uniforme
(Impropia) sobre los números reales. Deduzca la distribución a posteriori para 𝜃.

2
𝑛 𝜃 − 𝑦ത
𝐿 𝜃 𝑌1 , 𝑌2 , … , 𝑌𝑛 ∝ exp − 𝜋 𝜃 ∝1
2 𝜎2

2
𝑛 𝜃 − 𝑦ത
ℎ 𝜃 𝑌1 , 𝑌2 , … , 𝑌𝑛 ∝ exp − ∗1
2 𝜎2

2
𝑛 𝜃 − 𝑦ത
ℎ 𝜃 𝑌1 , 𝑌2 , … , 𝑌𝑛 ∝ exp −
2 𝜎2

2
1 𝜃 − 𝑦ത
ℎ 𝜃 𝑌1 , 𝑌2 , … , 𝑌𝑛 ∝ exp −
2 𝜎2
𝑛

𝜎2
𝜃|𝑌1 , 𝑌2 , … , 𝑌𝑛 ∼ 𝑁𝑜𝑟𝑚𝑎𝑙 𝑦,
ത
𝑛
A pesar que 𝜋 𝜃 sea una distribución impropia la distribución a posteriori es propia.
 Referencias
• Correa J., 2011, Elementos de Estadística Bayesiana, Notas de clase.

• Cuevas, J. R. T. (2012). Eliciting beta prior distributions for binomial sampling. Rev. Bras. Biom, 30(1), 159-172.

• Denham R., Mengersen K., 2007, Geographically assisted elicitation of expert opinion for regression models,
Bayesian Analysis, Vol 2, 99-136, No. 1.

• Garthwaite P., Kadane., O'Hagan A., 2005, Statistical Methods for Eliciting Probability Distributions, Journal of
the American Statistical Association, Vol 100, 680-700, No. 470.

• Hora S., 2007, Advances in Desicion Analysis: From Foundations to Applications, Cambridge University
Press,129-153.

• Jekinson D., 2005, The Elicitation of Probabilities - A Review of the Statistical Literature.

• Kynn M., 2008, The Heuristics and Biases Bias in Expert Elicitation,Journal of the Royal Statistical Society, Vol
171, 239-264, No 1.

• Qunitero, Jenny Andrea Tangarife; Morales, Juan Carlos Correa. Elicitación de una distribución a priori para el
modelo logístico. Comunicaciones en Estadística, 2017, vol. 10, no 2, p. 225-246.

• Walker KD., Evans JS., MacIntosh D., 2001, Use of expert judgment in exposure assessment - Part I.
Characterization of personal exposure to benzene, Journal of Exposure Analysis and Environmental
Epidemiology Vol. 11, 308-322.