Suficiencia y familia exponencial

Programa de doctorado en Estadística,

Análisis de datos y Bioestadística
Fundamentos de Inferencia
Estadística
Jordi Ocaña
Departament Rebull
d’Estadística
Divisió de Ciències Experimentals i
Matemàtiques
 Puntos a tratar

 Idea intuitiva de suficiencia

 Definición de suficiencia
 Teorema de factorización de Neyman
 Suficiencia en términos de
verosimilitudes equivalentes
 Estadístico suficiente minimal
 Familias o modelos exponenciales
 Propiedades de los modelos
exponenciales
 Idea intuitiva de suficiencia

 Un estadístico T es suficiente para un

parámetro q si, para cualquier muestra
y, el valor t = T(y) contiene toda la
información relevante sobre q que
contenía y
 En este sentido, T es “buen resumen”
de la información de la muestra
 ¿Qué significa “la información que
contiene una muestra”?
 Definición de suficiencia

 Dado un modelo
F == {f (; q ) : q Î Q Ì Rk }
el estadístico T (posiblemente
multidimensional) es suficiente para el
parámetro q sii la distribución de Y
condicionada al valor observado de T,
f(y|T=t), no depende de q
 Conocido T, la probabilidad asociada a
la muestra ya no depende del
parámetro
 Teorema de factorización de
Neyman
 Definición anterior equivalente a poder
escribir.
f (y ; q ) = h (y )g (T (y ); q )

 o, equivalentemente,
L (q; y ) µ g (T (y ); q )
es decir, la muestra solamente
interviene en la función de verosimilitud
a través del valor del estadístico
 Estadísticos suficientes, ejemplos
Estadístico suficiente trivial. Caso Poisson

 Caso trivial: la propia muestra, T(y)=y

 Parámetro l de una Poisson para una
m.a.s. y=(y1, ..., yn) y los estadísticos:
– frecuencias de los valores presentes en y:
( )
T 1 (y ) = n 0 , n 1, K , n max {y ,K ,y }
1 n
– suma: T 2 (y ) = å n
yi
i= 1
– promedio:T 3 (y ) = T 2 (y )/ n = y
todos son suficientes
– pero los dos últimos de menor dimensión
 Estadísticos suficientes, ejemplos
Parámetros de la normal univariante

 Caso en el que y es m.a.s. de tamaño n

de normal N(m,s2), q = (m,s2)’
– muestra ordenadaT 1 (y ) = (y(1 ), y(2 ), K , y n)
( )
– suma y suma de cuadrados
T 2 (y ) = ( å i = 1 yi , å i = 1 yi2 )
n n

– media muestral y varianza muestral

1
T 3 (y ) = (y , s ) s = å i = 1 (y i - y )
2 2 n 2
n
todos son suficientes
 Estadísticos suficientes, ejemplos
Parámetro p en experimentos de Bernouilli

 y1, ..., yn Bernouilli b(1,p) iid, indicadores

de ocurrencia de suceso A, Pr(A)=p,

Õi= 1
n 1- yi
L ( p; y ) µ p 1- p
yi
( )
å yi n - å yi
= p (1 - p )
frecuencia absoluta n
A ) =p å y i
# n (para
estadístico suficiente
i= 1
(o también frecuencia relativa)
 Estadísticos suficientes, ejemplos
Experimentos de Bernouilli multinomiales

 Generalizable al caso multinomial, cada

yi será ahora (yi1, ..., yik), yij=0 ó 1 (con
un solo 1 y (k-1) 0), indicadores de k
sucesos mutuamente excluyentes (A1,
..., Ak) con probabilidades (p1, ..., pk),
å j = 1 pj = 1
k

 El estadístico suficiente es ahora

(# n (A1 ), K , # n (Ak - 1 ))
 Suficiencia en términos de
verosimilitudes equivalentes
 Para el modelo F un estadístico T(y) es
suficiente para el parámetro q sii toma
los mismos valores en dos puntos y, z 
 del espacio muestral sólo si tienen
verosimilitudes equivalentes, es decir:
T (y ) = T (z ) Þ L (q; y ) µ L (q; z )
para t odo q Î Q
 Podría servir de definición de suficiencia
 Concepto dependiente del modelo
 Comentarios sobre el sentido
del concepto de suficiencia. I
 El resultado final de los experimentos, y,
concebible como obtenido en dos fases:
– Seleccionar el valor de t a partir de
densidad g(t,q) (dependiente de q)
– Equivalente a haber escogido el conjunto
de las muestras que podrian conducir a t: At
= {y:T(y)=t}. De él se extrae finalmente un
elemento y  At según ley de probabilidad
que no depende de q
 Comentarios sobre el sentido
del concepto de suficiencia. II
 y, z  At T(y)=T(z)=t  L(q;y) 
L(q;y)
 Más importante que valor concreto t es
el conjunto de muestras At asociadas:
estadístico suficiente parte el espacio
muestral  en clases de equivalencia, L
única dentro de cada una ellas
  cualquier estadístico U función
monótona de T también es suficiente
 Estadístico suficiente minimal
 Estadístico suficiente puede no ser
“suficientemente resumido”: demasiados
valores posibles, no todos informativos
 T es suficiente minimal para q sii es
suficiente y toma valores distintos sólo
para verosimilitudes no equivalentes:
para t odo y , z Î Y
T (y ) = T (z ) Û L (q; y ) µ L (q; z )
para t odo q Î Q
 Comentarios sobre el
estadístico suficiente minimal
 Siempre existe, cualquiera asociado a
la partición de  según L equivalentes
– el valor concreto que tome no importa, lo
importante es que cada valor distinto debe
representar L distinta
– esencialmente el mismo, invariante
respecto de transformaciones biyectivas
 Criterio práctico para identificarlos:
L (q; y )
T (y ) = T (z ) Û no depende de q
L (q; z )
 Familias o modelos
exponenciales
 Un modelo F es exponencial sii sus
elementos se pueden escribir de la
forma: ær ö
f (y ; q ) = q (y )exp çç å y i (q )t i (y ) + t (q )÷
÷
çè i = 1 ÷
ø
t i , q no dependen de q
y i , t no dependen de y

 Por lo tanto, æ
forma
r
de la verosimilitud:ö
L (q; y ) µ exp çç å y i (q )t i (y ) + t (q )÷
÷
çè i = 1 ÷
ø
 Ejemplos de modelos
exponenciales: binomial
æn ö y
q = p f (y ; p ) = çç y ÷ n- y
çè ÷
p (1 - p )
÷
ø
æn ö
t (y ) = y q (y ) = çç y ÷÷
çè ø ÷
p
y ( p ) = log t ( p ) = - log (1 - p )
1- p
æ p ö
f (y ; p ) = exp ççy log + n log (1 - p )÷
÷
è 1- p ø
 Ejemplos de modelos
exponenciales: normal
n æ n
1 2ö
2 -
exp çç- å 2s 2 (yi - m) ø÷÷÷
n
- 1
f (y ; q ) = (s ) 2
(2p ) 2
çè 2
i= 1
q = ( m, s 2 )

t 1 (y ) = å yi t 2 (y ) = å y 2i
m 1
y 1 (q ) = 2 y 2 (q ) = -
s 2s 2
- n n m2 n 2
q (y ) = (2p ) 2 t (q ) = + log s
2s 2 2
 Propiedades
 Reproducible
 Soporte independiente del parámetro
 Si modelo reducido (no q redundantes),
(t1, ..., tr) suficiente minimal para q
 Diferenciable de cualquier orden
respecto de q si i lo son
 Integral y derivada intercambiables en
ds
s ò g (y ) f (y ; q ) d n (y )
dq Y