Tema 1: Introduccin a la Estadstica Bayesiana

Introduccin
El anlisis estadstico consiste en separar los efectos sistemticos del ruido inherente a cualquier tipo de medicin. Una de las maneras de plantear dicho esquema es mediante una metodologa bayesiana, que consta de tres pasos fundamentales: 1. Especicar un modelo de probabilidad que incluya algn tipo de conocimiento previo (a priori) sobre los parmetros del modelo dado. 2. Actualizar el conocimiento sobre los parmetros desconocidos condicionando este modelo de probabilidad a los datos observados. 3. Evaluar el ajuste del modelo a los datos y la sensibilidad de las conclusiones a cambios en los supuestos del modelo. La diferencia fundamental entre la estadstica clsica (frecuentista) y la bayesiana es el concepto de probabilidad. Para la estadstica clsica es un concepto objetivo, que se encuentra en la naturaleza, mientras que para la estadstica bayesiana se encuentra en el observador, siendo as un concepto subjetivo. De este modo, en estadstica clsica slo se toma como fuente de informacin las muestras obtenidas suponiendo, para los desarrollos matemticos, que se puede tomar tamaos lmite de las mismas. En el caso bayesiano, sin embargo, adems de la muestra tambin juega un papel fundamental la informacin previa o la historia que se posee relativa a los fenmenos que se tratan de modelizar. El concepto bsico en estadstica bayesiana es el de probabilidad condicional: Para dos sucesos A y B, P (A|B) = P (A B) P (B)

Se puede aplicar la denicin tambin a variables discretas o continuas. Desde el punto de vista de los bayesianos, casi todas las probabilidades son condicionales porque siempre existe algn conocimiento previo o historia de los sucesos. Un concepto importante es el expresado por la ley de la probabilidad total: Para un suceso A y una particin B1 , . . . , Bk ,
k

P (A) =
i=1

P (A|Bi )P (Bi )

Se puede aplicar el teorema a variables discretas: f(x) =

y

f (x|Y = y)P (Y = y)

o a variables continuas: f (x) = E : En una fbrica se embalan (en cajas) galletas en 4 cadenas de montaje; A1 , A2 , A3 y A4 . El 35 % de la produccin total se embala en la cadena A1 y el 20 %, 24 % y 21 % en A2 , A3 y A4 respectivamente. Los datos indican que no se embalan correctamente un porcentaje pequeo de las cajas; el 1 % de A1 , el 3 % de A2 , el 2.5 % de A3 y el 2 % de A4 . Cul es la probabilidad de que una caja elegida al azar de la produccin total sea defectuosa? Deno D = defectuosa. Luego,
4

f (x|y)f (y) dy.

P (D) =
i=1

P (D|Ai )P (Ai )

= 0,01 0,35 + 0,03 0,20 + 0,025 0,24 + +0,02 0,21 = 0,0197 E : Supongamos que Y Exp(), una distribucin exponencial f (y) = exp(y) para y > 0, de modo que X|Y Pois(Y ), una distribucin Poisson, P (x|y) = 2 y x y e x!

para x = 0, 1, 2, Entonces, la distribucin marginal de X es

P (x) =

P (x|y)f (y) dy y x y e exp(y) dy x!

=
0

= x! = x!

y x exp(( + 1)y) dy
0

y (x+1)1 exp(( + 1)y) dy

0

Para resolver la integral, se observa que el integrando est relacionado con una distribucin gamma Ga(x + 1, + 1) : NOTA: Si X Ga(a, b) su funcin de densidad es f (x; a, b) = de este modo
0

ba a1 x exp[bx], (a)

ba a1 x exp[bx]dx = 1 = (a)

xa1 exp[bx]dx =
0

(a) ba

Luego P (x) = (x + 1) x! ( + 1)(x+1) x! = x! ( + 1)(x+1) = ( + 1)(x+1)

Otra manera de hacerlo sera usando Maxima: integrate((y^x)*exp(-(b+1)*y), y, 0, inf); Is Is x+1 b+1 positive, negative, or zero? positive; positive, negative, or zero? positive; 3

Is "Is

an integer? no; positive, negative, or zero?" negative;

"x-1"

(b+1)^(-x-1)*gamma(x+1)

Se denota como p = /(1 + ), luego 0 < p < 1 y despejando = P (x) = p 1 + p 1p = p(1 p)x ,
x

p , 1p

=p

1 1p

para x = 0, 1, 2, . . . Se observa que es una distribucin geomtrica con parmetro p. E : Si X| Exp() y Ga(, ), la distribucin marginal es

f (x) =
0

ex

1 e d () e(+x) d

= () = ()

(+1)1 e(+x) d
0

y el integrando est relacionado con otra distribucin gamma, Ga( + 1, + x):

(+1)1 e(+x) d =
0

( + 1) . ( + x)+1

Entonces, ( + 1) () f(x) = = +1 () ( + x) () ( + x)+1 = , ( + x)+1 donde se ha utilizado la propiedad bsica de la funcin gamma, ( + 1) = (). 4

No es una distribucin estndar, pero si se dene la v.a. Z = X + , se puede ver que Z tiene una distribucin de Pareto. NOTA: Ver, por ejemplo, http://en.wikipedia.org/wiki/Pareto_distribution Para ello aplicamos el teorema del cambio de variable: NOTA: Sea X una v.a. con funcin de densidad px y sea g una funcin diferenciable, montona e invertible. Denimos otra v.a como Y = g(X), entonces la funcin de densidad de Y es pY (y) = pX g 1 (y) O bien pY (y) = pX (x) donde x = g 1 (y). Ver demostracin, e.g,. en http://www.stat.duke.edu/~michael/screen.pdf En el caso del ejemplo, fZ (z) = fX (z ) 1 = z 1 , para Z > . Luego Z PA(, ). La distribucin de Pareto se aplic inicialmente a la modelizacin del reparto de riqueza. Es la llamada ley 80-20 que arma que el 20 % de la poblacion posee el 80 % de la riqueza. dg 1 (y) dy dx dy

El teorema de Bayes
Se tiene que, para dos sucesos A y B, P (A|B) = E : 5 P (B|A)P (A) . P (B)

Volviendo al ejemplo de las galletas, supongamos que descubrimos que una caja es defectuosa. Queremos calcular la probabilidad de que la caja proceda de A1 .

P (A1 |D) =

P (D|A1 )P (A1 ) P (D) 0,01 0,35 = 0,0197 0,18

: Supongamos un juego televisivo en el que tienes que elegir entre tres puertas cerradas, A,

B o C. Detrs de dos de las puertas hay una calabaza y en la otra hay un coche, con igual probabilidad en los tres casos. Por tanto, la probabilidad de ganar el coche en cada una de las puertas es p(A) = 1 , p(B) = 1 , p(C) = 1 . 3 3 3 Despus de que hayas elegido una puerta, digamos A, antes de mostrarte lo que hay detrs de la puerta, el presentador (Jorge Javier Vazquez) abre otra puerta, digamos B, que tiene una calabaza. En este punto te ofrece la opcin de cambiar de la puerta A a la puerta C . Qu deberas hacer? Intuitivamente parece que t has elegido la puerta adecuada, pero Jorge Javier Vazquez te quiere liar y que desde un punto de vista inocente la probabilidad de encontrar el coche entre las dos puertas que quedan es 1 . Pero esto es falso... 2 Asumimos que Jorge Javier Vazquez va en tu contra (cobra de la productora de televisin) y calculamos cul es la probabilidad de que el coche aparezca cuando l abre la puerta B, una vez que t hayas abierto la puerta A: (i) La probabilidad de que Jorge Javier Vazquez abra la puerta B dado que el coche est detrs de la puerta A es p (BJJV |A) = ya que le es indiferente abrir la puerta B o C. (ii) La probabilidad de que Jorge Javier Vazquez abra la puerta B dado que el coche est detrs de la puerta B es p (BJJV |B) = 0 6 1 2

porque supones que no es estpido. (iii) La probabilidad de que Jorge Javier Vazquez abra la puerta B dado que el coche est detrs de la puerta C es p (BJJV |C) = 1 Aplicando la denicin de probabilidad condicionada se obtienen las siguientes distribuciones conjuntas: 1 1 1 = 2 3 6 1 p (BJJV , B) = p (BJJV |B) p (B) = 0 = 0 3 1 1 p (BJJV , C) = p (BJJV |C) p (C) = 1 = 3 3 p (BJJV , A) = p (BJJV |A) p (A) = Por otro lado, dado que los sucesos son mutuamente excluyentes, por la ley de probabilidad total p(BJJV ) = p (BJJV , A) + p (BJJV , B) + p (BJJV , C) = Finalmente, aplicando el teorema de Bayes, se tiene que p (BJJV |A) p (A) p (A|BJJV ) = = p(BJJV )
1 2

1 1 1 +0+ = 6 3 2

1 2

1 3

1 3

1 1 p (BJJV |C) p (C) 2 p (C|BJJV ) = = 13 = p(BJJV ) 3 2 Luego es mucho mejor que elijas la puerta C . Se puede aplicar el teorema de Bayes a variables discretas y continuas. En el caso de que la v.a. X sea continua se tiene f (x|y) = f (y|x)f (x) = f (y) f (y|x)f (x) , f (y|x)f (x)dx R

como el denominador f(y) es independiente de x, entonces se puede escribir el teorema en la forma de proporcionalidad (): f (x|y) f (y|x)f (x). Este resultado es til para los clculos porque implica que se pueden olvidar las constantes multiplicativas hasta el nal de los clculos en modelos complicados. 7

: Retomando el ejemplo de la Poisson, se tena que Y Exp() y X|Y Pois(Y ).

Calculamos la distribucin de Y |x, sabiendo que la distribucin marginal de X era una geomtrica: f (y|x) = = = P (x|y)f (y) P (x)
yx ey ey x! (+1)x+1 x+1

( + 1) y x e(+1)y x! ( + 1)x+1 (x+1)1 (+1)y = y e (x + 1) que es la densidad de una variable gamma: Ga(x + 1, + 1). E : Volviendo al ejemplo de la distribucin de Pareto, donde X| Exp() y Ga(, ), calculamos la distribucin de dada una observacin x.

f (|x) f(x|)f() 1 ex e () (+1)1 e(+x) que est relacionado con una distribucin gamma, es decir, |x Ga( + 1, + x).

La media y varianza condicional.

Dadas dos variables X e Y , denimos la media y varianza de X cuando Y = y como E [X|Y = y] = V ar [X|Y = y] = xf(x|y) dx (x E[X|Y = y])2 f (x|y) dx

El siguiente teorema nos proporciona la relacin entre la esperanza y varianza marginal y la esperanza y varianza condicional. Teorema 1 Para dos variables X e Y , se tiene 8

( i) Ex [X] = Ey [Ex [X|Y ]] ( ii) V arx [X] = Ey [V arx [X|Y ]] + V ary [Ex [X|Y ]] Demostracin: (i) Se tena que , en general, E(g(x)) = por ello, como E[X|Y ] es una funcin de Y, Ey [Ex [X|Y ]] = = = = x Ex (X|y)f(y) dy xf (x|y)dx f (y) dy f(x, y)dy dx g(x)f(x) dx

xf(x) dx = Ex [X]

(ii) La demostracin se puede ver, por ejemplo, en el libro de Lee (2004) Secc. 1.5. E : Volviendo al ejemplo de la Poisson, se tena que Y Exp() y X|Y Pois(Y ).Supongamos que queremos calcular la media y varianza de X (y que no sabemos nada acerca de la distribucin marginal de X que sigue una geomtrica).

Ex[X] = Ey [Ex [X|Y ]] = Ey [Y ] [porque X|Y Pois(Y )] 1 = [la media de la exponencial] V arx [X] = Ey [V arx [X|Y ]] + V ary [Ex [X|Y ]] = Ey [Y ] + V ary [Y ] [porque media = varianza = Y ] 1 1 = + 2 +1 = 2 9

Sustituyendo p =

1+

y despejando = E[X] =

p , 1p

se obtiene que

q 1p = p p 1p 1p V ar[X] = + p p 1p q = = 2, 2 p p

que son los momentos que se obtienen directamente para la distribucin geomtrica. E : Retomando el ejemplo de la distribucin de Pareto, donde X| Exp() y Ga(, ), se tiene que E[X] = E [Ex [X|]] = E [1/] 1 1 d = e () 0 = (1)1 e d () 0 El integrando es el ncleo de una distribucin gamma; Ga( 1, ). Entonces, E[X] = ( 1) () 1 = , 1

es decir, la esperanza slo existe si > 1. Hemos visto anteriormente que Z = X + PA(, ). De este modo, podemos calcular la media de X utilizando tambin la frmula para la media de una distribucin Pareto:

E[X] = E[Z] = 1 = . 1

[para > 1]

10