Está en la página 1de 53

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin

o Teor de la decisin robusta a o

Teor de la Decisin a o
Alvaro J. Riascos Villegas Universidad de los Andes y Quantil

Enero 30 de 2012

Mtodos Bayesianos - Banco de Guatemala e

Alvaro Riascos

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

1 2 3

4 5 6 7

Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o
Mtodos Bayesianos - Banco de Guatemala e Alvaro Riascos

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Introduccin o
La teor clsica utiliza la informacin muestral para hacer a a o inferencias sobre los parmetros de inters. a e La importancia de la informacin muestral se pone de o maniesto en este ejemplo de Savage (1961). Example (Savage (1961)) Uso de la informacin muestral. o
1

Una mujer adiciona te a una tasa de leche y arma poder diferencia que ingrediente se utiliz primero. En 10 experimentos acierta en o todos. Un msico arma poder diferenciar entre un partitura de Mozart y u una de Hayden. En 10 experimentos siempre acierta. Untodos Bayesianos - Banco arma poder Alvaro Riascos lado que cae una amigo borracho de Guatemala predecir el M e

Introduccin o

Usualmente existe informacin incial sobre los parmetros de o a un modelo estructural. Probabilidad = Incertidumbre. En la teor Bayesiana el a concepto de probabilidad tiene una interpretacin distinta a la o teor clsica o frecuentista. El concepto de probabilidad es a a una medida de la incertidumbre sobre la ocurrencia de un evento. A diferencia de la teor clsica es posible dar a a interpetaciones sobre la incertidumbre de un parmetro que a no estn basadas en la repeticin bajo condiciones iguales de a o un experimento (intervalos de conanza). Por ejemplo es posible cuanticar en trminos probabil e sticos el grado de incertidubre con la cul se hace un pronstico. a o

Introduccin o

Permite condicionar a los datos observados. En el anlisis a clsico se promedia sobre los los datos, aun los no observados. a Distribuciones exactas. La teor clsica se basa en muchas a a ocasiones en teor asinttica. a o Coherencia y racionalidad: La teor Bayesiana es una a aproximacin general al problema de inferencia consistente o con la teor de la decisin. a o Las reglas de decisin en un contexto Bayesiano son ptimas o o desde un punto de vista clsico. a Mcanica Bayesiana: Siempre se sabe qu hacer. e e Computacionalmente es dif cil.

Introduccin o

Razones tcnicas: e
1 2

3 4

Permite hacer inferenecia estad stca en modelos no regulares. Permite introducir incertidumbre en los parmetros para hacer a prediciciones. Permite hacer pruebas de modelos no anidados. Se pueden analizar modelos jerrquicos de forma a conceptualmente muy coherente.

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

El concepto de probabilidad

Existen por lo menos tres interpretaciones del concepto: objetiva (Fermat, Pascal, Huygens, etc), subjetiva (Ramsey, de Finetti, Savage), lgica. o Axiomas de Kolmogorov.

Mtodos Bayesianos - Banco de Guatemala e

Alvaro Riascos

El concepto de probabilidad
Riesgo e incertidumbre: La paradoja de Ellsberg: Una urna contiene 90 bolas donde 30 son rojas. El resto de las bolas son amarillas o negras y su distribucin es desconocida. Algunas o personas fueron sometidas a una apuesta. Apuesta A: Quien saque una bola roja gana una cantidad monetaria, las amarillas y las negras pierden. Apuesta B: Quien saque una bola amarilla gana, el resto pierde. La mayor de las personas a optan por la A. Despus cambiamos las apuestas de una e manera que en ambos casos, las bolas negras son desde ahora ganadoras. Apuesta C: Quien saque una bola roja o negra gana, las amarillas pierden. Apuesta D: Quien saque una bola amarilla o negra gana, las rojas pierden. En este caso, la mayor de las personas escogen la D. Lo cual entra en a contradiccin con la desicin anterior de escoger la apuesta A, o o a pesar de que la bola negra es ganadora en ambas C y D, lo cual no aporta diferencia alguna.

El concepto de probabilidad

Ellsberg explica ste resultado en trminos de la diferencia e e entre el riesgo e incertidumbre. Las personas sometidas a estas escogencias suponen prudentemente que la distribucin o desconocida entre bolas rojas y amarillas pueden traerles desventaja y por lo tanto escogen en ambas ocasiones bajo el riesgo conocido (1/3 en la primera prueba, 2/3 en la segunda). Llama la atencin sobre la necesidad de una teor para o a modelar la incertidumbre.

El concepto de probabilidad

Una forma de interpretar el concepto de probabilidad desde un punto de vista lgico es de acuerdo al concepto de o razonamiento plausible (Jaymes): cuano en el mundo real observamos un evento B que t picamente es consecuencia de un evento A, decimos que A es plausible pero usalmente no es posible deducir que A ha sucedido. La idea predominante es que A es plausible dado que observamos B. La lgica es que si o B ha ocurrido, esto arroja evidencia en favor de A. Al fundamentar la teor de la probabilidad de esta forma se a obtiene una formalizacin de la idea del grado de o incertidumbre sobre la ocurrencia de un evento (plausibilidad del evento).

El concepto de probabilidad

Luego la interpretacin de la probabilidad de un evento no o est relacionada con la frecuencia de un evento repetido sino a con el grado de incertidumbre del evento. Esta es la interpreatcin subjetivista del concepto de probabilidad. o Para de Finetti la probabiidad (objetiva) de un evento no existe. Es algo tan cticio y en contradicin con laevidencia o cuanto la existencia del ter. e Cul es la probabilidad de cada nmero cuando se lanza un a u dado al aire? La idea de aprendizaje en un ambiente incierto puede ser sutil.

El concepto de probabilidad

La paradoja del gato I. Una persona est frente a tres puertas a cerradas. Se sabe que detrs de alguna de las puertas hay un a gato. La persona se le pide escoger una puerta. Antes de abrir cualquier puerta, una segunda persona que sabe exactamente que hay detrs de cada puerta y conoce tambin cul fue la a e a puerta elegida por la primera persona, ste abre una de las e puertas que sea la elegida por la primera persona y en la que no est el gato. Ahora, con una puerta abierta en la que no e est el gato, se le pregunta a la primera persona si desear a a cambiar de puerta.

El concepto de probabilidad

El sentido comn dice que no hace diferencia. Pero la teor u a de la probabilidad dice otra cosa. La probabilidad de encontrar el gato en alguna de las dos puertas al cambiar la eleccin o original es mayor que la probabilidad de que el gato est en la e primera puerta elegida.

El concepto de probabilidad

Denicin probabiidad condicional. Dados dos evento A y B, o tal que P(B) > 0 denimos la probabilidad condicional de A dado B como: P(A |B) = P(A B) . P(B) (1)

El teorema de Bayes (o regla de Bayes) arma que: P(A |B) = P(B |A) P(A) . P(B) (2)

Este resultado es la base de toda la estad stica Bayesiana.

El concepto de probabilidad
La paradoja del gato II: Para formalizar este problema, supongamos que la primera eleccin fue la tercera puerta. o Sean A1 , A2 y A3 los eventos en los cuales el gato est detrs a a de la puerta 1, 2 o 3 respectivamente. Sean B1 y B2 los eventos en los cuales el segundo jugador abre la puerta 1 o 2 reespectivamente. Nuetro objetivo es calcular P (Ai |Bj ) . Entonces dada la informacin del problema es natural suponer: o 1 P(Ai ) = , P (B1 |A1 ) = P (A2 |B2 ) = 0 3 P(B1 |A2 ) = P(B2 |A1 ) = 1 y 1 P(B1 |A3 ) = P(B2 |A3 ) = . 2 Entonces si la segunda persona abre la puerta 2 es fcil a 2 calcular, usando la regla de Bayes, P A1 |B2 ) = 3 .

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones

La Aproximacin Bayesiana a la Estad o stica


Sea un espacio de parmetros o estados de la naturaleza y a un espacio de datos observables. En trminos de funciones de densidad el teorema se puede e expresar como: f( |y ) =
f (y |)f () f (y )

donde f (y ) es la distribucin marginal de la variable aleatoria o Y (o distribucin marginal de los datos): o f (y ) =

Mtodos Bayesianos - Banco de Guatemala e

f (y |)f ()d,
Alvaro Riascos

f ( |y ) es la distribucin expost (posteriori) del parmetro o a

La Aproximacin Bayesiana a la Estad o stica

La funcin L(|y )= f (y |) , como funicin de se llama la o o funcin de verosimilitud. o f () es la distribucin inicial (prior) sobre los parmetros. o a

La Aproximacin Bayesiana a la Estad o stica


Obsrvese que no se ha hecho ninguna hiptesis sobre la e o forma de la distribucin muestral. En general suponemos que o y es un vector de obsrevaciones y f (y |) es la distribucin o conjunta o distribucin del vector aleatorio Y . o En pocas palabras la estad stica Bayesiana es un modelo formal de aprendizaje en un ambiente incierto aplicado a la inferencia estad stica. La mecnica Bayesiana es siempre la misma. Formule un a distribucin inicial para lo parmetros y calcule la distribucin o a o expost. El resultado nal del anlisis Bayesiano es la distribucin a o expost. En el anlisis clsico, el obejetivo nal es un estimador a a que si bien es una variable aleatoria es, conceptualmente, muy distinto.

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones

Teor de la decisin a o
En la teor de decisin la idea es combinar la informacin a o o muestral con informacin no muestral con el objeto tomar una o decisn ptima. o o El anlisis Bayesiano comparte con la teor de la decisin el a a o uso de informacin no muestral. o Recordemos que es el espacio de parmetros o estados de la a naturaleza. es un estado de la naturaleza. Sea A el espacio de acciones del tomador de decisiones. a A es una accin. o

Mtodos Bayesianos - Banco de Guatemala e

Alvaro Riascos

Teor de la decisin a o

Un problema de decisin es una funcin D : A C , o o donde C es un espacion de consecuencias. Suponemos que el agente tiene preferencias sobre el conjunto de consecuencias que las representamos mediante una funcin de (des)utilidad. o A continuacin denimos la funcin de prdida como la o o e composicin de la funcin D y la funcin de (des)utilidad. o o o

Teor de la decisin a o

Un problema de desicin est bien puesto cuando el conjunto o a la especicacin del conjunto de acciones, estados de la o naturaleza y consecuencias son tales que las preferencias del tomador de decisiones sobre las consecuencias son totalmente independientes de las acciones o estados de la naturaleza.

Teor de la decisin a o

Sea L(, a) una funcin de prdida. o e Denimos la perdida esperada expost o prdidad esperada e Bayesiana cuando se toma una decisin a A como: o (a |y ) =

L(, a)f ( |y )d

Dada una funcin de prdida y una distribucin expost, o e o denimos el estimador Bayesiano de como: B (y ) = argminaA (a |y )

Teor de la decisin a o

Example (Funciones de prdida) e Algunas funciones de prdida estndar son: e a


1 2

Prdida cuadrtica. e a Error absoluto.

Los respectivos estimadores son el valor esperado y la mediana expost del parmetro respectivamente. Vericar el primer caso es a inmediato.

Teor de la decisin a o

Example (Distribucin inicial y muestral normal) o Supongamos que tenemos una muestra de n observaciones y1 , ..., yn , yi i.i.d N(, 1) entonces la distribucin muestral o (funcin de verosimilitud) es: o
n

p(y |) = (2) 2 n exp(

1 2 2

(yi )2 )
i

(3)

2 Ahora supongamos que la distribucin inicial p() N 0 , 0 o donde los parmetros de esta distribucin son conocidos (estos se a o denominan hiperparmetros). Obsrvese que antes de observar los a e datos, si el agente tiene una funcin de prdida que es cuadrtica, o e a entonces el estimador Bayesiano (exante) de es 0 .

Teor de la decisin a o

La distribucin expost es: o p( |y ) p(y |) p() 1 exp( 2 ( )2 ) 2 n 1 y + 2 0 2 0 = n 1 + 2 2


0

(4) (5) (6) (7)

2 =

n 2

1 +

1 2 0

Teor de la decisin a o

Cuando la funcin d prdida es la funcin de error o e e o cuadrtico. Entonces el estimador Bayesiano (expost) es: a E [ |y ] = (8)

Es decir, el valor esperado expost de es una combinacin o convexa del estimador clsico y de los datos observados y la a media inicial. Cuando el nmero de observaciones es grande o la u incertidumbre de la distribucin inicial es grande, el estimador o Bayesiano se aprxima al estimador clsico. o a

Teor de la decisin a o

: A es una regla de decisicin. o Un tipo de reglas de decisin importante son las reglas de o decisin aleatorias. o Para un problema sin datos, una regla de decisicin es o simplemente una accin. o

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones

Riesgo frecuentista
Denition (Funcin de Riesgo Clsica) o a Dada una regla de decisin y una funcin de prdida denimos la o o e funcin de riesgo (clsica) como: o a

R(, ) = EY [L(, )] =

L(, (y ))dF (y |)

(9)

Obsrvese que la funcin de riesgo clsica promedia sobre e o a todas las realizaciones posibles de los datos (aun aquellas que no han ocurrido!). Esta es una funcin del estado y la regla de decisin (la regla o o de desicin es t o picamente un estimador).
Mtodos Bayesianos - Banco de Guatemala e Alvaro Riascos

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones

A diferencia de la prdida esperada Bayesiana que es un e nmero, el riegso frecuentista depende del estado. Esto u diculta el problema de escoger una regla de decisin para o minimizar el riesgo ya que sta va depender del estado. e La siguiente denicin acota el universo razonable de reglas de o decisin. o Denition (Admisibilidad) Dada una funcin de pridida. Decimos que una regla de decisin o e o es inadmisible si existe otra regla de decisin que la (domina o dbilmente) para toda realizacin posible de los estados. De lo e o contrario se llama admisible.

Mtodos Bayesianos - Banco de Guatemala e

Alvaro Riascos

Riesgo frecuentista

Bajo condiciones dbiles se puede mostrar que los estimadores e Bayesianos son admisibles. Existe un teorema converso llamado teorema de completo de clases. En la teor clsica estad a a stica existen algunas formas de resolver el problema de decisin: o
1 2 3 4 5

Mxima verosimilitud. a M nima varianza. M nimos cuadrados ordinarios. Sesgo nulo. Solucin minimax. o

Riesgo frecuentista

Una regla de decisin M satisface el principio minimax si: o sup R(, M ) = inf(D) sup R(, ) (10)

donde (D) denota e conjunto de reglas de decisin o aleatorias (que tienen como rango las acciones mixtas). Intuitivamente, una regla de decisin satisface el principio o minimax si permite asegurar el m nimo riesgo en el pero de los casos (peor estado). Invarianza: Este principio arma que las reglas de decisin o deben ser las mismas cuando los problmeas de decisin tienen o la misma estructura.

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones

Riesgo Bayesiano
Denition (Riesgo Bayesiano) Dada una regla de decisin , una funcin de pridida L y una o o e distribucin inicial de los parmetros p denimos la funcin de o a o riesgo Bayesiana como:

r (, p) = Ep [R(, )] =

R(, )dp()

(11)

Obsrvese que el riesgo Bayesiano promedia sobre el espacio e de parmetros y es una funcin unicamente de la regla de a o decisin y la idstribucin inicial de los parmetros. o o a
Mtodos Bayesianos - Banco de Guatemala e Alvaro Riascos

Riesgo Bayesiano

Asociado a el riesgo Bayesiano hay un principio de decisin. o Una regla de decisin B es una regla de decisin Bayesiana si: o o r (, B ) = infD R(, ) donde D es el espacio de reglas de decisin. o (12)

Riesgo Bayesiano

En la teor de la decisin, la forma estndar de resolver el a o a problema de decisin es usando el principio condicional de o Bayes. Una regla de decisin condicional Bayesiana CB es o una regla de decisin tal que: o (, CB (y )) = infaA (, a) (13)

Obsrvese que en un problema sin datos, la regla de decisin e o condicional coincide con la regla de desicin de Bayes. o En general se cumple que la decisin usando la regla o condicional es igual a decisin usando la regla de Bayes. o

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones

Familias Conjugadas

Dada una familia de de distribuciones muestrales F, decimos que una familia de distribuciones iniciales P es una familia conjugada para F si la distribucion expost es siempre un elemento de P. Decimos que natural conjugada si es conjugada y si est en la familia de distribuciones muestrales. a

Mtodos Bayesianos - Banco de Guatemala e

Alvaro Riascos

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones

Estimadores

El estimador de mximaverosimilitud generalizado de es aquel a que maximiza la distribucin expost. o Este es el el valor ms probable dado la idstribucin inical del a o parmetro y la muestra y . a El error de un estimador se dene como la desviacin o cuadrtica promedio de los parmetros con respecto al a a estimador utilizando la distribucin expost. o

Mtodos Bayesianos - Banco de Guatemala e

Alvaro Riascos

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones

Prueba de hiptesis o
Un subconjunto C de es crible con un nivel de conanza e 1 (condicional a y ) si: 1 P(C |y ) (14)

Un conjunto creible tiene un signicado probabil stico (aunque subjetivo). Esto no ocurre siempre en la teor clsica. a a Un problema con la nocin Bayesiana de conjunto cre (o o ble intervalo de conanza) es que pueden existir mucho onjunto cre bles. Una forma, adhoc, de selecionar uno es calculando conjunto cre de mayor densidad de expost. ble
Mtodos Bayesianos - Banco de Guatemala e Alvaro Riascos

Prueba de hiptesis o

Sea k el mayor k tal que: P( : f ( |y ) k |y ) 1 (15)

Entonces denimos el conjunto cre CHPD con un nivel de ble conanza 1 como: CHPD = { : f ( |y ) k } (16)

Prueba de hiptesis o
La prueba de hiptesis en estad o stica clsica consiste en a estudiar los errores tipo I y II (probabilidad que la muestra observada resulte en la hiptesis incorrecta siendo aceptada). o En estad stica Bayesiana la prueba de hiptesis es o conceptualmente sencillo: comparar la probabilidad expost P(1 |y ) y P(2 |y ) donde las pruebas de hiptesis son: o H0 : 0 y H1 : 1 . La razn entre estas dos probabilidades se llama posterior o odds ratio. La misma razn pero con las probabilidades o iniciales se llama prior odd ratios. La razn entre el posterior y el prior odds se llama factor de o Bayes (Berger). Cuando las hiptesis son simples, el factor de Bayes es o simplemente la razn de las funciones de verosimilitud. o

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin a o Riesgo frecuentista Riesgo Bayesiano Familias Conjugadas Estimadores Prueba de hiptesis o Predicciones

Predicciones
Supongams que queremos pronsticar una variable z basado o en la variable bservable y . En estad stica Bayesiana el objeivo es determinar p(z |y ) . Esto se puede escribir: p(z |y ) =

p (z, |y ) d

(17) (18)

p(z |y ) =

p (z |y , )p( |y ) d

p(z |y ) se denomina la densidad predictiva de z dado los datos observables y . El anlisis Bayesiano trata de forma simtrica, parmetros, a e a observables y predicciones: son todas variables aleatorias.
Mtodos Bayesianos - Banco de Guatemala e Alvaro Riascos

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Comparacin de modelos o
Un modelo se dene formalmente como una distribucin o inicial y una distribucin muestral. o Supongamos que tenemos m modelos que buscan explicar los datos observado y . Usando la distribucin inicial y muestral de cada modelo o calculamos la distribucin expost de los datos. o P(y |, M) P( |M) P( |y , M) = (19) p(y |M) donde p(y |M) es la distribucin marginal de los datos o condicional al modelo. Esta tambin se denomina la e verosimilitud marginal y se puede obtener mediante la integracin obvia. o
Mtodos Bayesianos - Banco de Guatemala e Alvaro Riascos

Comparacin de modelos o

Ahora podemos tener una distribucin inicial de cada uno de o los modelos (grado de conanza que tenemos en el modelo) y esto nos permite calcular la distribcuin expost sobre nuestra o conanza en el modelo condicional a los datos observados: P(M |y ) = P(y |M)P(M) p(y ) (20)

donde P(M) el la distribucin inicial del modelo. o Obsrvese que la verosimilitud marginal se obtiene mediante e integraciny en principio, con sta, se puede calcular la o e distribucin expost del modelo (dados la distribucin inical de o o los modelos y la distribucin marginal de los datos). o

Comparacin de modelos o

Como usualmente es dicil determinar la distribucin marginal o de los datos lo que se hace es comparar la razn entre las o distribuciones expost: POij = P(M i |y ) P(M j |y ) (21)

denominado posterior odds ratio.

Comparacin de modelos o

Cuando la prior sobre cada modelo es la misma, el posterior odds ratio se reduce a la razn entre las verosimilitudes o marginales. BFij = P(y M i P(y |M j ) (22)

El caso de comparar dos modelos lineales bajor normalidad es posibels hacerlo a mano.

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Propiedades clsicas de la aproximacin Bayesiana a o


Consideremos el problema de consistencia. Supongamos que existe una distribucin poblacional f (y ). o Sea p(y |) la distribucin muestral. o Denamos la distancia entre ambas distribuciones como la distancia de Kullback - Leibler. Sea el valor que minimiza la distancia entre la distribucin o poblacional y la distribucin muestral. Uno puede mostrar que o si existe un parmetro verdadero tal que la distribucin a o muestral es igual a la distribucin poblacional entonces es o el parmetro verdadero. En este caso decimos que el modelo a muestral est bien especicado. a
Mtodos Bayesianos - Banco de Guatemala e Alvaro Riascos

Propiedades clsicas de la aproximacin Bayesiana a o


Theorem (Consistencia) Supongamos que es espacio de estados es compacto y sea 0 una vecindad del verdadero parmetro 0 con probabilidad inicial a difeerente de cero. Entonces,

p( 0 |y ) 1 cuando el tamao de la muestra crece hacia el innito. n Es decir, si el modelo est bien especicado (distribucin a o muestral es igual a la poblacional para algn parmetro) u a entonces la distribucin expost se va concetrar o asintticamente alrededor del verdadero parmetro siempre el o a verdadero parmetro est en el soporte de la distribucin a e o inicial.

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Discusin o
Obsrvese que la principal diferencia entre el anlisis clsico y e a a el Bayesiano se deriva de la forma radicalmente de intepretar los parmetros, modelos y pronsticos de un modelo. Estos a o tres se intepretan como variable aleatorias y en ese sentido se les da un tratamiento simtrico con los datos observados. e La diferencia fundamental entre ambas aproximaciones es el uso de informacin inicial en el proceso de inferencia. La o teor clsica responde a a
1 2

Antes de observar los datos, qu podemos esperar. e Antes de observar los datos, qu tan precisos son los e estimadores. Dado que la hiptesis a estudiar es verdadera, que probabilidad o existe de que los datos indiquen que es verdadera.

M aproximaci Banco de Guatemala Alvaro Riascos Laetodos Bayesianos -on Bayesiana considera que las preguntas

Discusin o

Example (Distribucin inicial y muestral normal) o Considere la distribucin expost cuando la distribucin inical no es o o informativa. Es fcil mostrar que el estimador Bayesiano ms o a a menos una distribucin estndar (de la distribucin expost) es: o a o =y n (23)

a Ahora la distribucin del estimador clsico y ms o menos una o a desviacin estndar es igual. Sin embargo, la intepretacin es o a o completamente distinta. En el primer caso la interpretacin es: o Qu tan preciso es la estimacin de mu dado que hemos observado e o ciertos datos.

Discusin o
Una cr tica estndard al anlisis Bayesiano es la necesidad de a a denir una distribucin inicial de los estados. o Bajo condiciones dbiles, siempre existe una prior natural. e Decimos que la distribucin marginal conjunta de los datos es o intercambiable si es invariante frente a permutaciones de los sub ndices de los datos. Suponga que los datos toman valores cero o uno unicamente. Entonces el Teorema de deFinetti arma que los datos se pueden interpeetar como distribuidos condicional i.i.d con yi distribuido Bernoulli con parmetro . Ademas caracteriza la a distribucin asinttica del parmetro en trminos del la o o a e media muestral. El converso tambin vale. e Luego la intercambiabilidad es una hiptesis natural en ciertas o circunstancias que racionaliza la escogencia de un modelo de mixtura de Bernoulli dejando como grado de libertad la distribucin asinttica del para lo cal basta con expresar o o nuestra distribucin inicial sobre la distribucin de la media o o muestral.

Discusin o

Example (Laboratorios) Una sustancia debe ser analizada y existen dos laboratorios igualmente buenos para hacerlo. Para tomar una decisin se lanza o una moneda al aire. Al recibir los resultados del laboratorio escogido el agente se pregunta: Deber amos de llevar en consideracin que estos resultados dependen de que se lanzo al aire o una moneda que hubiera podido indicar que fuera el otro laboratorio el que hiciera el examen? De acuerdo a la visin clsica o a deber amos de promediar sobre todos los posibles resultados incluyendo los del laboratorio que no hizo la prueba.

Discusin o
Example (Diferentes distribuciones muestrales) Suponga que se lanza de forma independiente 12 monedas al aire y se obervan 9 caras y 3 sellos. Esta informacin no especica o completamente el experimento puesto que pudo ser el resultado de dos procedimientos: (1) Se jo en 12 el nemro de lanzamientos y u se lanzo la moneda y (2). La moneda se lanzo hasta que aparecio la tercer sello. En ambos casos la distribucin muestral es o completamente distinta. En el primer caso es Binomial y el el segundo es Negativa Binomial. Ahora suponga que queremos probar la hiptesis de que la probabilidad de que salga cara es 1 o 2 1 contra la hiptesis de que sea mayor que 2 . Se disea una prueba o n que es de la siguinete forma, si el nemro de caras observadas es u superior a algun umbral c, entonces se se rechaza la hiptesis de o que estados (probabilidad de que salga) sea 1 . Por denicin el o 2 p-valor de esta hiptesis es la probabilidad de observar 9 o ms o a caras en el experimento. Si calculamos el p-valor bajo para los dos procedimientos en el primero aceptamos la hiptesis nula y en el o

Discusin o

La forma como en la teor clsica se eliminan parmetros es a a a mediante la sustitucin de los mismos por un parmetro. En el o a anlisis Bayesiano se promedia sobre todos sus posibles a valores.

Contenido Introduccin o El concepto de probabilidad La Aproximacin Bayesiana a la Estad o stica Comparacin de modelos o Propiedades clsicas de la aproximacin Bayesiana a o Discusin o Teor de la decisin robusta a o

Teor de la decisin robusta a o

Mtodos Bayesianos - Banco de Guatemala e

Alvaro Riascos

También podría gustarte