Suficiencia y familia exponencial

Programa de doctorado en Estadstica,

Anlisis de datos y Bioestadstica

Fundamentos de Inferencia
Estadstica
dEstadstica
JordiDepartament
Ocaa
Rebull
Divisi de Cincies Experimentals i
Matemtiques

Puntos a tratar
Idea intuitiva de suficiencia
Definicin de suficiencia
Teorema de factorizacin de Neyman
Suficiencia en trminos de verosimilitudes

equivalentes
Estadstico suficiente minimal
Familias o modelos exponenciales
Propiedades de los modelos
exponenciales

Idea intuitiva de suficiencia

Un estadstico T es suficiente para un

parmetro si, para cualquier

muestra y, el valor t = T(y) contiene
toda la informacin relevante sobre
que contena y
En este sentido, T es buen resumen
de la informacin de la muestra
Qu significa la informacin que
contiene una muestra?

Definicin de suficiencia
Dado un modelo

F = { f ( ; q) : q Q Rk }

el estadstico T (posiblemente
multidimensional) es suficiente para el
parmetro sii la distribucin de Y
condicionada al valor observado de T,
f(y|T=t), no depende de
Conocido T, la probabilidad asociada a
la muestra ya no depende del
parmetro

Teorema de factorizacin
de Neyman
Definicin anterior equivalente a

poder escribir.

f ( y; q) = h ( y ) g( T ( y ) ; q)
o, equivalentemente,

L ( q;y ) g( T ( y ) ; q)

es decir, la muestra solamente

interviene en la funcin de
verosimilitud a travs del valor del
estadstico

Estadsticos suficientes,
ejemplos
Estadstico suficiente trivial. Caso
Poisson

Caso trivial: la propia muestra, T(y)=y

Parmetro de una Poisson para una m.a.s.

y=(y1, ..., yn) y los estadsticos:

frecuencias de los valores presentes en y:
suma:
T ( y)

= n0, n1,K , nmax{ y ,K ,y }

n
1
n
promedio:
T 2 ( y ) = i =1yi
1

todos son suficientes

( ) deTmenor
( ) dimensin
=y
pero los dos T
ltimos
3 y =
2 y /n

Estadsticos suficientes,
ejemplos
Parmetros de la normal univariante

Caso en el que y es m.a.s. de tamao

n de normal N(,), = (,)

muestra ordenadaT ( y ) = ( y , y ,K , y n
( 1)
( 2)
1
(

suma y suma de cuadrados

T2 ( y ) = (

y,
i =1 i

2
y
i =1 i )

media muestral y varianza muestral

1
T 3 ( y ) = ( y, s ) s =
n
todos son suficientes
2

( yi - y )

i =1

Estadsticos suficientes,
ejemplos
Parmetro p en experimentos de
y1, ..., Bernouilli
yn Bernouilli b(1,p) iid, indicadores

de ocurrencia de suceso A, Pr(A)=p,

L ( p;y )

i =1

1- yi
(
)
p 1- p
yi

yi
yi ( 1 - p) n- estadstico
frecuencia
= pabsoluta
n
suficiente para p
#n ( A )
(o tambin frecuencia relativa)

yi
i =1

Estadsticos suficientes,
ejemplos
Experimentos de Bernouilli
Generalizable
al caso multinomial, cada
multinomiales

yi ser ahora (yi1, ..., yik), yij=0 1 (con

un solo 1 y (k1) 0), indicadores de k
sucesos mutuamente excluyentes
(A1, ..., Ak) con probabilidades (p1, ...,
pk),k

p
=
1
j
j =1

El estadstico suficiente es ahora

( #n ( A1 ) ,K ,#n ( Ak- 1 ) )

Suficiencia en trminos de
verosimilitudes
Para el equivalentes
modelo un estadstico T(y) es
suficiente para el parmetro sii toma los
mismos valores en dos puntos y, z del
espacio muestral slo si tienen
verosimilitudes equivalentes, es decir:

T ( y ) = T ( z ) L ( q;y ) L ( q;z )
Podra
servir
de suficiencia
para
todode
q definicin
Q
Concepto dependiente del modelo

Comentarios sobre el
sentido del concepto de
suficiencia.
I
El resultado
final de los experimentos,
y, concebible como obtenido en dos
fases:
Seleccionar el valor de t a partir de
densidad g(t,) (dependiente de )
Equivalente a haber escogido el conjunto
de las muestras que podrian conducir a t:
At = {y:T(y)=t}. De l se extrae finalmente
un elemento y At segn ley de
probabilidad que no depende de

Comentarios sobre el
sentido del concepto de
II L(;y) L(;y)
y, z suficiencia.
At T(y)=T(z)=t
Ms importante que valor concreto t es

el conjunto de muestras At asociadas:

estadstico suficiente parte el espacio
muestral en clases de equivalencia, L
nica dentro de cada una ellas
cualquier estadstico U funcin
montona de T tambin es suficiente

Estadstico suficiente
minimal
Estadstico suficiente puede no ser

suficientemente resumido: demasiados

valores posibles, no todos informativos
T es suficiente minimal para sii es
suficiente y toma valores distintos slo
para verosimilitudes no equivalentes:

para todo y, z Y
T ( y ) = T ( z ) L ( q;y ) L ( q;z )
para todo q Q

Comentarios sobre el
estadstico suficiente
Siempre
minimal
existe, cualquiera asociado a
la particin de segn L equivalentes
el valor concreto que tome no importa,
lo importante es que cada valor distinto
debe representar L distinta
esencialmente el mismo, invariante
respecto de transformaciones biyectivas

Criterio prctico para identificarlos:

L ( q;y )
T ( y) = T ( z)
no depende de q
L ( q;z )

Familias o modelos
exponenciales
Un modelo es exponencial sii sus

elementos se pueden escribir de la

forma:
r

(
)
(
)
(
)
f ( y;q) = q( y ) exp
y
q
t
y
+
t
q

i
i

i =1
ti ,q no dependen de q
yi , t no dependen de y

Por lo tanto, forma

r de la verosimilitud:

(
)
(
)
(
)
L ( q;y ) exp
y
q
t
y
+
t
q

i
i

i =1

Ejemplos de modelos
exponenciales: binomial

n- y
y

(
)
q = p f ( y; p ) =
p
1
p

t( y) = y
q( y ) =

p
y ( p ) = log
t ( p ) = - log( 1 - p )
1- p
p

( 1- p)
f ( y; p ) = exp
y
log
+
n
log

1- p

Ejemplos de modelos
exponenciales: normal
f ( y; q) = ( s

2 -

n
2

( 2p )

n
2

exp

1
2

1
2

2s 2 ( yi - m)

i =1

q = ( ms
, 2)

t1 ( y ) = yi

t2 ( y ) = y2i

m
y1 ( q) = 2
s

1
y2 ( q) = 2s 2
nm2 n
t ( q) = 2 + logs 2
2
2s

q( y ) = ( 2p )

n
2

Propiedades
Reproducible
Soporte independiente del parmetro
Si modelo reducido (no redundantes),

(t1, ..., tr) suficiente minimal para

Diferenciable de cualquier orden

respecto de si i lo son
Integral y derivada intercambiables en

ds
s g( y ) f ( y; q) dn( y )
dq Y