Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Suficiencia y Completitud. Estimadores IMVU.

Graciela Boente1
1 Universidad

de Buenos Aires and CONICET, Argentina

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Definicion
X P con .

Se dice que T = t(X) es suficiente para si:

la distribucion de X | T = t es independiente de para todo

t T tal que
P (T
/ T ) = 0 para todo

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Rao Blackwell
Sea X un vector de una distribuci
on perteneciente a la familia
P = {P : }. Sea T un estadstico suficiente para
y (X) un estimador de q().
Sea R(, ) = E L(, (X)) con L(, d) convexa en d.
Supongamos E |(X)| < . Definamos un nuevo estimador
(T) = E((X)|T).
Luego se tiene
(i) R(, ) R(, ),
(ii) Cuando L(, d) es estrictamente convexa en d, la igualdad en
(i) se satisface si y s
olo si
P ((T) = (X)) = 1
(iii) Si (X) es insesgado, entonces (T) tambien lo es.
3

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema de Factorizacion

Sea X un vector aleatorio con funci

on de densidad o funcion de
probabilidad puntual p(x, ), .
El estadstico T = t(X) es suficiente para si y s
olo si existen dos
funciones g y h tales que
p(x, ) = g (t(x), )h(x)

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Otros resultados
Corolario.
Sea X un vector aleatorio con funci
on de densidad o funcion
de probabilidad puntual p(x, ), . Supongamos que la
familia P = {p(x, )} tiene soporte com
un, independiente de
.
Entonces, una condici
on necesaria y suficiente para que T sea
suficiente para es que fijados 1 y 2 el cociente
p(x, 1 )
p(x, 2 )
sea funcion de T.

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Otros resultados
Corolario.
Sea X un vector aleatorio con funci
on de densidad o funcion
de probabilidad puntual p(x, ), . Supongamos que la
familia P = {p(x, )} tiene soporte com
un, independiente de
.
Entonces, una condici
on necesaria y suficiente para que T sea
suficiente para es que fijados 1 y 2 el cociente
p(x, 1 )
p(x, 2 )
sea funcion de T.
Lema. Si X es un vector aleatorio con una distribucion F (x, ),
con si T = t(X) es un estadstico suficiente para y si m es
una funcion biunvoca de T entonces el estadstico V = m(T)
tambien es suficiente para .

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Minimal suficiente
Definici
on: Sea X un vector aleatorio con distribucion P con
.
Se dice que un estadstico T = t(X) es minimal suficiente para
si:
T es suficiente para .
Dado cualquier otro estadstico U = g (X) suficiente para

existe una funcion H tal que T = H(U).

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Resultados

Teorema. Supongamos que X tiene una distribucion perteneciente

a una familia finita de distribuciones P = {P i 1 i k} con
densidades o probabilidades puntuales pi , 1 i k todas con el
mismo soporte.
Entonces el estadstico

T(X) =

p2 (X)
pk (X)
,...,
p1 (X)
p1 (X)

es minimal suficiente.

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Resultados
Teorema. Supongamos que X tiene una distribucion perteneciente
a una familia de distribuciones P = {P } con soporte
com
un.
Sea P0 P.
Supongamos que
T = t(X) es un estadstico minimal suficiente para P0
T = t(X) es suficiente para P,

entonces T es minimal suficiente para P.

8

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Completitud

Definici
on. Sea X un vector aleatorio cuya distribucion pertenece
a una familia P = {P : }.
Un estadstico T = t(X) se dice completo si
E (g (T)) = 0

implica que
P (g (T) = 0) = 1

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Resultados
Teorema. Supongamos que X tiene una distribucion perteneciente
a una familia de distribuciones P = {P }.
Supongamos que
existe un estadstico minimal suficiente para P
T = t(X) es suficiente y completo para P,

entonces T es minimal suficiente para P.

10

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Resultados
Teorema de Basu. Supongamos que X tiene una distribucion
perteneciente a una familia de distribuciones P = {P }.
Supongamos que
T = t(X) es suficiente y completo para P.

Entonces,
Dado cualquier estadstico U = g (X) anciliario, o sea, tal que su
distribucion no depende de , se tiene que
U es independiente de T.
11

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema de Lehmann-Scheffe
Sea X un vector aleatorio de cuya distribuci
on pertenece a la

familia de distribuciones P = {P

}.

Sea T un estadstico suficiente y completo para .

Luego, dada una funci

on q : R, se tiene que
(i) Existe a lo sumo un estimador insesgado de q(), basado en
T.
(ii) Si (T) es un estimador insesgado de q(), entonces (T) es
IMVU.
(iii) Si (X) es un estimador insesgado para q(), luego
(T) = E((X)|T) es un estimador IMVU para q().
12

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema
Sea X un vector aleatorio de cuya distribuci
on pertenece a la

familia de distribuciones P = {P

}.

Sea T un estadstico suficiente y completo para .

(a) Para cada funcion Uestimable q() existe un estimador

insesgado que minimiza uniformemente el riesgo
R(, ) = E L(, ) para cualquier perdida L(, d) convexa
en d.
En particular, ese estimador es IMVU.
(b) El estimador IMVU de (a) es el u
nico estimador insesgado que
es funcion de T y es el u
nico estimador insesgado con mnimo
riesgo si el resgo es finito y L(, d) es estrictamente convexa
en d.

13

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Definici
on.
Se dice que una familia de distribuciones continuas o discretas en
Rq , P , donde Rp es una familia exponencial a k
parametros si su densidad o probabilidad puntual se puede escribir
como
Pk
(1)
p(x, ) = A()e j=1 j ( ) tj (x) h(x)
donde
j : R,
A : R+
tj : Rq R
h : Rq R+ .

14

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Resultados
Teorema. Una familia exponencial a k parametros cuya funcion de
densidad viene dada por (1) tiene como estadstico suficiente para
el vector T = t(X) = (t1 (X), . . . , tk (X)).
Teorema. Sea X1 , X2 , . . . , Xn una muestra aleatoria de una
distribucion que pertenece a una familia exponencial a k
parametros, cuya funci
on de densidad viene dada por (1).
Luego,
la distribuci
on conjunta de X1 , . . . , Xn tambien pertenece a

una familia exponencial a k parametros y

el estadstico suficiente para es el vector

T =

(T1 , . . . , Tk ),

donde

Tj

n
X

tj (Xi ),

1j k

i=1
15

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Resultados
Teorema. Sea X un vector cuya distribuci
on pertenece a una
familia exponencial a k parametros cuya funci
on de densidad
satisface (1).
Luego, la funcion de densidad de los estadsticos suficientes
T = (t1 (X), . . . , tk (X)) es de la forma
pT (t1 , t2 , . . . , tk , ) = A()e

Pk

j=1

j ( )tj

h (t1 , . . . , tk )

Por lo tanto, la familia de distribuciones de T tambien forma una

familia exponencial a k parametros.

16

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Lema
Sea X = (X1 , . . . , Xq ) un vector aleatorio cuya distribucion
pertenece a una familia exponencial a un parametro continua
p(x, ) = A()e ()t(x) h(x)
R, abierto
() infinitamente derivable.

Luego, si m(x) es un estadstico tal que

Z
|m(x)|p(x, )dx <

entonces, la expresion
Z
Z
. . . m(x)e ()t(x) h(x)dx1 . . . dxq
es infinitamente derivable y se puede derivar dentro del signo
integral.
En el caso discreto, se reemplazan las integrales por sumatorias.

17

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema
Sea X = (X1 , . . . , Xq ) un vector aleatorio cuya distribucion
pertenece a una familia exponencial a un parametro con densidad
dada por
p(x, ) = A()e ()t(x) h(x)

con abierto y () infinitamente derivable. Luego se tiene:

(i) A() es infinitamente derivable.
(ii)
E (t(X)) =

A0 ()
A() 0 ()

Var (t(X)) =

E (t(X))

0 ()

(iii)

18

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema
Sea una familia exponencial a k parametros, discreta o continua
con funcion de densidad dada por
p(x, ) = A()e

Pq

j=1

j 1( ) tj (x)

h(x)

y sea
= { = (1 , 2 , . . . , k )t Rk : j = j (); }

a) Si contiene k + 1 puntos (1) , . . . , (k+1) tales que

{(j) (1) , 2 j k + 1} son linealmente independientes,
entonces el estadstico suficiente T = (t1 (X), . . . , tk (X)) es
minimal suficiente.
b) Si contiene una esfera en Rk , entonces el estadstico
suficiente T = (t1 (X), . . . , tk (X)) es completo.

19

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Caracterizacion

Lema. Sea 0 un estimador insesgado de q().

Dado cualquier otro estimador insesgado de q(), se cumple que
= 0 U
con
E (U) = 0

20

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Caracterizacion
Teorema. Supongamos que X es un vector aleatorio de cuya
distribucion pertenece a la familia P = {P }.
Sean
= {(X) : E 2 (X) < }
U = {{(X) : E (X)} = 0 } .
Una condicion necesaria y suficiente para que , insesgado,
sea IMVU para q() es que
Cov(, U) = E (U) = 0

U U

21

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema
Supongamos que
X es un vector aleatorio de cuya distribuci
on pertenece a la

familia P = {P

}.

q() es Uestimable, o sea, existe un estimador insesgado

(X) de q().
L(, d) es tal que
L(, d) M, para todo y d.
L(, q()) = 0, para todo .

Sea 0 un valor arbitrario. Luego, existe una sucesion n de

estimadores insesgados tales que
lim R( 0 , n ) = 0

22

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Hipotesis
Supongamos que X f (x, ), con ; un conjunto abierto
de R.
(A) El conjunto S = {x : f (x, ) > 0} es independiente de .
(B) Para todo x, f (x, ) es derivable respecto de .
(C) Si h(X) es un estadstico tal que E [|h(X)|] < para todo
entonces se tiene
Z
Z

f (x, )
h(x)p(x, )dx = h(x)
dx

(D)
"
0 < I () = E

log f (X, )

2 #
<

I () se denomina n
umero de informaci
on de Fisher.
23

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Lema
Supongamos que se cumplan las condiciones A, B, C y D. Sea
(x, ) =

log(f (x, ))

Entonces,
(i) E (X, ) = 0 y Var (X, ) = I ().
(ii) Si ademas existe la derivada segunda de f (x, ) respecto de
y si para todo estadstico h(X) tal que, E [|h(X)|] < para
todo , se cumple que
Z
Z
2 f (x, )
2
h(x)f
(x,
)dx
=
h(x)
dx
(2)
2
2
entonces
I () = E

2 log f (X, )
(X, )
= E
2

24

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema
Sea X = (X1 , . . . , Xq ) un vector aleatorio cuya distribucion
pertenece a una familia exponencial a un parametro con densidad
dada por
f (x, ) = A()e ()t(x) h(x)

con un abierto en R.
Supongamos que
= E (t(X))
() es derivable.

Luego, si T = t(X)
I () =

1
= 0 ()
Var (T )
25

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema
Sea X1 , . . . , Xn una muestra aleatoria de una distribucion con
densidad f (x, ) con R.
Luego, si se denomina
In () al n
umero de informaci
on de X1 , X2 , . . . , Xn y
I1 () al n
umero de informaci
on de X1 ,

entonces se tiene
In () = nI1 ()

26

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema de RaoCramer

Bajo las condiciones A, B, C y D, si (X) es un estimador

insesgado de q() tal que E 2 (X) < se tiene
(a)
Var ((X))

|q 0 ()|2
I ()

(b) La desigualdad en (a) es una igualdad si y s

olo si (X) es un
estadstico suficiente de una familia exponencial, es decir, si y
solo si
f (x, ) = A()e ()(x) h(x)

27

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Sea P = {P , } una familia de distribuciones.

Supongamos que para cada n se tiene un estimador n (X1 , . . . , Xn )
de q() basado en una muestra aleatoria de tama
no n.

28

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Sea P = {P , } una familia de distribuciones.

Supongamos que para cada n se tiene un estimador n (X1 , . . . , Xn )
de q() basado en una muestra aleatoria de tama
no n.
Definici
on. n (X1 , . . . , Xn ) es una sucesi
on fuertemente
consistente de estimadores de q() si
lim n (X1 , . . . , Xn ) = q()

c.t.p.

o sea si P (n (X1 , . . . , Xn ) q()) = 1 para todo .

28

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Sea P = {P , } una familia de distribuciones.

Supongamos que para cada n se tiene un estimador n (X1 , . . . , Xn )
de q() basado en una muestra aleatoria de tama
no n.
Definici
on. n (X1 , . . . , Xn ) es una sucesi
on fuertemente
consistente de estimadores de q() si
lim n (X1 , . . . , Xn ) = q()

c.t.p.

o sea si P (n (X1 , . . . , Xn ) q()) = 1 para todo .

Definici
on. n (X1 , . . . , Xn ) es una sucesi
on debilmente consistente
de estimadores de q() si
p

n (X1 , . . . , Xn ) q()
o sea, si para todo > 0 y
lim P (|n (X1 , . . . , Xn ) q()| > ) = 0 .

28

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Propiedades
Teorema. Sea, para todo n, n = n (X1 , . . . , Xn ) un estimador de
q() basado en una muestra aleatoria de tama
no n. Si
Var (n ) 0
E (n ) q(),

entonces n (X1 , . . . , Xn ) es debilmente consistente para q().

29

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Propiedades
Teorema. Sea, para todo n, n = n (X1 , . . . , Xn ) un estimador de
q() basado en una muestra aleatoria de tama
no n. Si
Var (n ) 0
E (n ) q(),

entonces n (X1 , . . . , Xn ) es debilmente consistente para q().

Teorema. Sea n (X1 , . . . , Xn ) una sucesi
on de estimadores IMVU
para q(), donde X1 , . . . , Xn es una muestra aleatoria de una
distribucion perteneciente a la familia P = {P , }. Luego,
Var (n (X1 , . . . , Xn )) 0 para todo

de donde n (X1 , . . . , Xn ) es debilmente consistente para q().

29

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Consistencia de los estimadores de los momentos

Sea X1 , . . . , Xn una muestra aleatoria de una distribuci
on

perteneciente a la familia P = {P , R},

h(x) una funci
on continua con valores en R
Supongamos que g () = E (h(X1 )) es, como funci
on de ,

continua y estrictamente mon

otona.
Sea el estimador de momentos bn definido como la solucion de
n

1X
h(Xi ) = E (h(X1 )).
n

(3)

i=1

Luego con probabilidad 1 existe n0 tal que para todo n n0 la

ecuacion (3) tiene una soluci
on, bn , y bn es fuertemente
consistente para .

30

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Consistencia de los estimadores de los maxima verosimilitud

Sea X1 , . . . , Xn i.i.d. Xi f (x, ) con , donde es un

intervalo abierto de R.
Supongamos que:
f (x, ) es derivable respecto de
el conjunto S = {x : f (x, ) 6= 0} es independiente de .
1 6= 2 implica que f (x, 1 ) 6= f (x, 2 ).

Sea bn el estimador de maxima verosimilitud de , que satisface

n
X
log f (xi , bn )
i=1

=0

(4)

Supongamos ademas que la ecuaci

on (4) tiene a lo sumo una
solucion. Entonces,
a.s.
bn
o sea, bn es una sucesi
on de estimadores fuertemente consistente.

31

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Sea P = {P , } una familia de distribuciones.

Supongamos que para cada n se tiene un estimador n (X1 , . . . , Xn )
de q() basado en una muestra aleatoria de tama
no n.

32

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Sea P = {P , } una familia de distribuciones.

Supongamos que para cada n se tiene un estimador n (X1 , . . . , Xn )
de q() basado en una muestra aleatoria de tama
no n.
Definici
on. Supongamos que
Xi f (x, )
El conjunto S = {x : f (x, ) > 0} es independiente de .
Para todo x, f (x, ) es derivable respecto de .

Se dice que n (X1 , . . . , Xn ) es una sucesi

on de estimadores
asintoticamente normal y eficiente (A.N.E.) si



[q 0 ()]2
D
n(n (X1 , . . . , Xn ) q()) N 0,
I1 ()
donde

0 < I1 () = E

log f (X, )

2
<
32

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema
Supongamos que X1 , . . . Xn son i.i.d. Xi f (x, ), con
R,
abierto

y que se cumple
(A) El conjunto S = {x : f (x, ) > 0} es independiente de .
(B) Para todo x, f (x, ) es tres veces derivable respecto de y
3 f (x, )
3
es continua en .
(C) Si h(X) es un estadsticoR tal que E |h(X)| < para todo
entonces g () = h(x)f (x, )dx es dos veces
diferenciable y para s = 1, 2
Z
Z
s
s f (x, )
h(x)f
(x,
)dx
=
h(x)
dx
s
s

33

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema


log f (X, ) 2
<

(E) Para cada 0 fijo, existen c > 0 y una funci

on M(x) > 0 tales
que
 3
 

 log f (x, )   2 (x, ) 

=

M(x)

  2 
3
E M(X1 )
<


(D) 0 < I1 () = E

para todo x S y para todo { : |0 | < c}

34

Suficiencia

Completitud

Familias Exponenciales

IMVU

Desigualdad de RaoCramer

Consistencia

Estimadores A.N.E

Teorema

Sean
bn un estimador de m
axima verosimilitud de consistente y
0
q() derivable con q () 6= 0 para todo .

Entonces, q(bn ) es A.N.E. para estimar q(), o sea,





[q 0 ()]2
D
b
n q(n ) q() N 0,
I1 ()

35