UNIVERSIDAD POLITÉCNICA SALESIANA SEDE QUITO

Nombre : Eddy Fabián Corrales Bastidas

Carrera : Maestría en Electrónica y Automatización
Fecha : 28 de Marzo del 2019
Tema : ANÁLISIS BAYESIANO
INSTRUMENTACIÓN VIRTUAL
Introducción
El estudio del análisis bayesiano constituye un completo paradigma tanto para la
inferencia estadística como para la toma de decisiones bajo incertidumbre; por lo que es
necesario abarcar conceptos relacionados a estimación, inferencia, prueba de hipótesis,
predicciones, etc., los mismos que se detallarán a continuación.

Estadística Bayesiana
La teoría Bayesiana a nivel conceptual tiene como una de las principales ventajas la
facilidad con la que las ideas básicas se ponen en marcha, apoyadas en la inferencia,
predicción, toma de decisiones, etc.
Dentro de los objetivos en los que se basa la Estadística Bayesiana está en encontrar
parámetros de una o más 𝜃, a fin de recopilar una muestra de datos como 𝑥 =
(𝑥1, 𝑥2, . . . , 𝑥𝑛), los mismos que permitan describir fenómenos estocásticos en base a
funciones de probabilidad y fuentes de información externas proporcionadas por
expertos generalmente basadas en experiencias o estudios previos denominado
distribución previa 𝑓(𝜃); por lo que combinando ambos mediante el Teorema de Bayes
proporciona la distribución posterior 𝑓(𝜃|𝑥) que representa la distribución del
parámetro 𝜃 de los datos observados de 𝑥.
𝑓(𝜃)𝑓(𝑥|𝜃)
𝑓(𝜃|𝑥) = ∝ 𝑓(𝜃)𝑓(𝑥|𝜃)
∫ 𝑓(𝜃)𝑓(𝑥|𝜃)𝑑𝜃
Mediante dicha distribución se puede resolver problemas estadísticos estándar, como
intervalo de estimación, prueba de hipótesis, predicción, etc.

Estimación de Parámetros
La estimación de parámetros es el proceso de atribuir una descripción paramétrica a un
objeto, un proceso físico o un evento basado en mediciones que se obtienen de ese
objeto (o proceso, o evento).
La estimación de parámetros y la clasificación de patrones son procesos similares
porque ambos pretenden describir un objeto utilizando medidas; sin embargo, en la
estimación de parámetros la descripción es en términos de un escalar o vector de valor
real, mientras que en la clasificación la descripción está en términos de una sola clase
seleccionada de un número finito de clases.
El uso de la distribución posterior radica en conocer el punto de estimación, el mismo
que viene dado por la distribución a través de la media posterior, es decir:

𝐸[𝜃|𝑥] = ∫ 𝜃𝑓(𝜃|x)𝑑𝜃

O en el caso univariado a través de una mediana posterior, es decir:

𝜃𝑚𝑒𝑑 ∈ {𝑦: 𝑃(𝜃 ≤ 𝑦│𝑥) = 1/2; 𝑃(𝜃 ≥ 𝑦│𝑥) = 1/2}
O a través de un modo posterior, es decir:
𝜃𝑚𝑜𝑑𝑒 = arg 𝑚𝑎𝑥 𝑓(𝜃|x)

Prueba de Hipótesis
Considerar que se tiene que decidir entre dos hipótesis con contenido de probabilidad
positiva, es decir:
𝐻0 ∶ 𝜃 ∈ 𝜗0 𝑦 𝐻1 ∶ 𝜃 ∈ 𝜗1 .

En este caso la elección de que hipótesis aceptar se lo analiza en función a un problema

de decisión.

 Si se acepta 𝐻0 (𝐻1 ) cuando es verdad, entonces no se pierde nada.

 Si se acepta 𝐻0 cuando 𝐻1 es verdadero, entonces se pierde una cantidad 𝐼01 .
 Si se acepta 𝐻1 cuando 𝐻0 es verdadero, entonces se pierde una cantidad 𝐼10 .
Luego, dadas las probabilidades posteriores, 𝑃(𝐻0 |𝑥) 𝑦 𝑃 (𝐻1 |𝑥), la pérdida esperada
si aceptamos 𝐻0 viene dada por 𝑃(𝐻1 |𝑥)𝑙01 y la pérdida esperada si aceptamos que
𝐻1 𝑒𝑠 𝑃(𝐻0 |𝑥)𝑙10.
En muchos casos donde existe problemas de selección de modelos o se tiene pruebas de
hipótesis múltiples un procedimiento alternativo es utilizar la herramienta del Factor de
Bayes.
Ejemplo
Suponer que 𝐻0 y 𝐻1 son dos hipótesis con probabilidades previas 𝑃(𝐻0 ) y 𝑃(𝐻1 ) y
probabilidades posteriores 𝑃(𝐻0 |𝑥) 𝑦 𝑃 (𝐻1 |𝑥), respectivamente.
Entonces, el factor de Bayes a favor de 𝐻0 es:
 𝑃(𝐻1 )𝑃(𝐻0 |𝑥)
𝐵10 =
𝑃(𝐻0 )𝑃(𝐻1 |𝑥)
El factor de Bayes se reduce a la relación de probabilidad marginal, es decir:
𝑓(x|𝐻0 )
𝐵10 =
𝑓(x|𝐻1 )
que es independiente de los valores de 𝑃(𝐻0 ) y 𝑃(𝐻1 ) y es, por lo tanto, una medida de
la evidencia a favor de 𝐻0 proporcionada por los datos.

𝑓(x|𝐻0 ) = ∫ 𝑓(x|𝐻0 , 𝜃0 )𝑓(𝜃0 |𝐻0 )𝑑𝜃0

𝜗0

No es totalmente independiente de la información previa ya que depende de la densidad

previa bajo 𝐻0 , y de manera similar para 𝑓(x|𝐻1 ).
En problemas computacionales complejos, el Factor de Bayes puede ser difícil de
evaluar, por lo que una alternativa es utilizar un criterio de selección de modelo
comúnmente denominado criterio de información de desviación.

Predicción
En el caso de los procesos estocásticos es necesario tomar en consideración la
predicción de futuras observaciones de la variable de interés, como el comportamiento a
corto y largo plazo del proceso.
Para predicciones de valores futuros, sea Y se usa la predicción de distribución, para
hacer esto, dados los datos actuales x, si se conociera el valor de θ, se usaría la
distribución predictiva condicional 𝑓(y|x). Sin embargo, desde allí hay incertidumbre
acerca de θ, para lo cual se integra para calcular la densidad predictiva.

𝑓(y|x) = ∫ 𝑓(𝑦|𝜃, 𝑥) 𝑓(𝜃|𝑥)𝑑𝜃

La densidad predictiva puede usarse para proporcionar puntos o establecer pronósticos y

realizar pruebas de hipótesis sobre observaciones futuras.

Análisis de Sensibilidad y Métodos Bayesianos Objetivos

La información previa a menudo puede obtenerse de uno o más expertos basados en
experiencias denominado distribución previa.
En caso de que diferentes expertos no se encuentren de acuerdo, se puede generar una
incertidumbre acerca de la distribución previa, por lo que es importante evaluar la
sensibilidad de cualquier resultado posterior a cambios de distribuciones anteriores.
Cuando hay poca información previa disponible, o con el fin de promover un análisis
más objetivo, se puede intentar aplicar una distribución previa que proporcione poca
información donde todos los datos hablan por sí mismo.
Sin embargo, cuando es continuo, una distribución uniforme no es necesariamente la
mejor elección. En el caso univariado, el enfoque más común es usar el método de
Jeffreys
Ejemplo
Suponga que 𝑋|𝜃 ∼ 𝑓(|𝜃). El Jeffreys anterior para θ está dado por:

𝑓 (𝜃) ∝ √𝐼 (𝜃) ,
Donde:
𝑑2
𝐼(𝜃) = −𝐸𝑥 [𝑑𝜃2 𝑙𝑜𝑔𝑓(x|𝜃)], es la información esperada de Fisher.

Análisis de Decisión Bayesiana

La toma de decisiones constituye ser el objetivo final de la investigación estadística, si
las consecuencias de las decisiones o las acciones de un tomador de decisiones
dependen de los valores futuros de las observaciones se da el siguiente caso:
 Para cada acción viable 𝑎 𝜖 𝐴, con el espacio de acción y cada futuro resultado,
se asocia una consecuencia c(a,y).
En la mayoría de los contextos estadísticos, normalmente se habla de pérdidas, en lugar
de utilidades, y el objetivo es minimizar la pérdida esperada posterior (o predictiva). Se
debe tomar en cuenta que todos los enfoques estadísticos estándar mencionados
anteriormente pueden justificarse dentro de este marco.
Si se está interesado en la estimación de puntos a través de la media posterior, se puede
ver fácilmente que esta estimación es óptima, en términos de minimizar la pérdida
esperada posterior, cuando se usa la función de pérdida cuadrática.
Computación Bayesiana
En el caso de que el Análisis Bayesiano sea simple, existen procedimientos
computacionales que facilitan la implementación del análisis bayesiano, enfocado en los
métodos de simulación.
Estadística Bayesiana Computacional
La integración es la operación clave en la implementación práctica de los métodos
bayesianos. De la distribución posterior se reduce a simplemente modificar los
parámetros de la anterior distribución. Sin embargo, es importante tener en cuenta que
las distribuciones anteriores conjugadas están asociadas con distribuciones de muestreo
de familias exponenciales (generalizadas), y, por lo tanto las distribuciones previas
conjugadas no siempre existen.
Por ejemplo, si se consideran datos generados a partir de una distribución de Cauchy,
entonces se sabe que ningún conjugado anterior existe.
La idea clave es la integración de Monte Carlo, que sustituye a una integral por una
media muestral de un número suficientemente grande, sea N, de valores simulados a
partir de una distribución posterior relevante. 𝑆𝑖 𝜃1 , . . . , 𝜃 𝑁 es una muestra de 𝑓(𝜃|𝑥),
entonces se tiene que, para alguna función, 𝑔(𝜃), con media y varianza posterior finita,
entonces:
𝑁
1
∑ 𝑔(𝜃 𝑖 ) ≅ 𝐸[𝑔(θ) |x]
𝑁
𝑖=1

La varianza de la aproximación de Monte Carlo proporciona orientación sobre la

precisión de la estimación.
Sin embargo, las técnicas más intensamente utilizadas en la inferencia bayesiana
moderna son: Métodos de la cadena de Markov, Monte Carlo (MCMC); estos métodos
se basan en la suposición que se puede encontrar una cadena de Markov 𝜃(𝑛) con
estados θ y distribución estacionaria igual a la distribución (posterior) de intereses.

Análisis de Decisión Bayesiana Computacional.

La toma de decisiones bayesianas conlleva algunos problemas computacionales tales
como:
1. Integración para obtener utilidades esperadas de alternativas.
2. Optimización para determinar la alternativa con la máxima utilidad esperada.
Por ejemplo, en un problema de estimación con pérdida de valor absoluto, la estimación
óptima será la mediana posterior.
Se refiere aquí a problemas con funciones de utilidad general donde primero se describe
dos simulaciones basadas en métodos y luego se presenta un principio de optimización
clave en problemas secuenciales.
La alternativa de utilidad máxima esperada coincide con el modo marginal de la
distribución artificial ℎ(𝑎, 𝜃) en el espacio de alternativas.
Esto sugiere que se puede resolver problemas con los siguientes procedimientos basado
en la simulación:
1. Generar una muestra ((𝜃1 , 𝑎1 ), … . . , (𝜃 𝑚 , 𝑎𝑚 )), de la densidad ℎ(𝑎, 𝜃).
2. Convierta esto a una muestra (𝑎1 , . . . , 𝑎𝑚 ) de la densidad marginal ℎ (𝑎).
3. Encuentra el modo de muestra de la muestra marginal.
El principio de optimalidad de Bellman, con un problema estadístico relevante se refiere
a muestreo secuencial. Las decisiones rara vez se toman individualmente, pero se anidan
más a menudo dentro de una serie de decisiones relacionadas, especialmente cuando se
trata de procesos estocásticos.

Bibliografía:
 Rios Insua, D., Ruggeri, F., &Wiper, M. (2012). Bayesian Analysis of
Stochastic Process Models. New Delhi, India. Págs: 16-40