Estimación Puntual

Estadstica 2 I.
- Estimacin Puntual
Prof.: Dr. Marco Riquelme A.
Primer Semestre - 2014. UCM
Prof.: Dr. Marco Riquelme A. (UCM)
Pgina web: www.mriquelme.com
Primer Semestre - 2014
1 / 32
Estimadores Puntuales
Denicin (Estimacin puntual)
La estimacin puntual, es un mtodo inferencial, en la cual se calcula un nico valor (estadstico) con los datos muestrales para estimar un parmetro poblacional.
2 / 32
Denicin (Estimacin puntual)
La estimacin puntual, es un mtodo inferencial, en la cual se calcula un nico valor (estadstico) con los datos muestrales para estimar un parmetro poblacional.
Denicin (Estimador)
Un estimador
de un parmetro
es una funcin de la ma( )
que proporciona una estimacin puntual de
Un estimador es en s mismo
n X1 , X2 , ..., Xn
una v.a. y por consiguiente tiene una distribucin muestral (terica).
Denicin (Espacio Paramtrico; )

Conjunto de los posibles valores de un parmetro.
2 / 32
Observacin:
puede ser un vector
k dimensional, k = 2.
digamos
= (1 , 2 , . . . , k )t .
Ejemplos: Normal, Gama;
3 / 32
I Mtodo de los Momentos
Sea
variable aleatoria
f (x ; ); = (1 , 2 , . . . , k )t Rk ,
X
una funcin de densidad de una
X1 , . . . , Xn una muestra aleatoria de tamao n de una distribucin con f (x ; ). El mtodo de los momentos para encontrar estimadores de ; (M )
consiste en resolver k-ecuaciones de la forma:
la cual depende de un parmetro k-dimencional. Sea
r () = Mr , r = 1, . . . , k ,
donde del 0
r () = E (X r ) denota el r simo momento poblacional alrededor n r 1 y Mr = n i =1 Xi el r simo momento muestral alrededor del 0.
4 / 32
Ejemplo:
Sea
distribucin Normal
X1 , . . . , Xn
es una muestra aleatoria de tamao n desde una
(; 2 ).
Solucin.
M1 M2
X
i n
= =
X 1 1
n i
2 =1 X
= =
n i
2 =1 X
= =
n i
2 + 2
2
E (X) E (X2 )
X2
i
2 =
=1
=1 (Xi X)
= 2 =
( 1)
n S n
X = 2 = = 2. (n 1)S 2
n i
=1
X2 nX
M = X
2M =
5 / 32
II Mtodo de Mxima Verosimilitud

Def. Funcin de Verosimilitud (F.V). La F.V. de n variables aleatorias
conjunta de las n variables aleatorias, denotada por,
X1 , . . . , Xn
se dene como la
f .d .p
fX1 ,...,X (x1 , . . . , xn ; ),

n
la cual es considerada como funcin de
y no de los
hecho, la funcin de verosimilitud se anotar por:
xi .
Para denotar este
L() = L(; x1 , . . . , xn ) = fX1 ,...,X (x1 , . . . , xn ; ),

n
para
En particular, si n desde
x1 , . . . , xn .
fX (x , ),
X1 , . . . , Xn
constituye una muestra aleatoria de tamao
entonces la F.V est dada por:
L() =
n i =1
fX (xi ; ).
(1)
6 / 32

Estimador de Mxima Verosimilitud (E.M.V). Sea
L()
la F.V para las variables aleatorias
de las observaciones) es el valor de entonces:
X1 , . . . , Xn . Si (una funcin R que maximiza L(),
= (X1 , . . . , Xn ) es
el E.M.V de
(2)
Muchas funciones de verosimilitud satisfacen ciertas condiciones de regularidad de manera que el E.M.V es la solucin de la ecuacin (en este caso)
L() = 0. Tambin L( ) y l ( ) = log L( ) = (log-verosmilitud, usaremos Ln ) tienen su mximo en el mismo valor de y esto muchas veces facilita el clculo de
un E.M.V.
Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 7 / 32

Estimador de Mxima Verosimilitud (E.M.V). A la expresin
l ( ) = U (), = (1 , 2 , . . . , k )t ,
es llamada en la literatura Funcin Score.
En general, si la F.V. contiene
parmetros,
es decir:
L() =
entonces los E.M.V de aleatorias, valores en
n i =1
f (xi ; 1 , 2 , . . . , k ),
1 , 2 , . . . , k son, respectivamente, las variables 1 (X1 , . . . , Xn ), . . . , k (X1 , . . . , Xn ), en que 1 , . . . , k son los Rk , que maximizan L() y el punto de Rk donde la F.V es
mxima, es una solucin de las siguientes ecuaciones:
8 / 32
L() = 0, 1
. . .
L() = 0. k
Nota
Tambin en este caso se puede usar el
ln
L() = l ().
9 / 32
Propiedad de Invarianza de los E.M.V
Sea
= (X1 , . . . , Xn ) el E.M.V de , en la densidad f (x ; ), R. g () es una funcin cualquiera, entonces el E.M.V de g () es:
Si
g () = g ()
Observacin:
La propiedad de invarianza, se puede generalizar para
= (1 , 2 , . . . , k )t .
10 / 32
Propiedades deseables los estimadores puntuales

Hasta el momentos hemos vimos algunos mtodos para obtener estimadores. La pregunta que surge ahora es: existen estimadores mejores que otros, en algn sentido?.
A continuacin deniremos algunas propiedades, las cuales puede o no poseer un estimador, que nos ayudarn a decidir cuando en estimador es mejor que otro en algn sentido.
11 / 32

Hasta el momentos hemos vimos algunos mtodos para obtener estimadores. La pregunta que surge ahora es: existen estimadores mejores que otros, en algn sentido?.
A continuacin deniremos algunas propiedades, las cuales puede o no poseer un estimador, que nos ayudarn a decidir cuando en estimador es mejor que otro en algn sentido.
Denicin (Error Cuadrtico Medio, ECM)

Sea Cuadrtico Medio de
T = T (X1 , . . . , Xn ) T
un etimador de a la expresin:
g ().
Se dene como Error
ECM (T ) = E ({T g ()}2 ).

Nota: El sub-ndice
(3)
en
indica desde cual densidad en la familia bajo
consideracin proviene la muestra aleatoria.


Denicin (Estimador Insesgado, E.I)
Un estimador de
g ()
si y solo si:
T = T (X1 , . . . , Xn )
se dene como un estimador insesgado
E (T ) = g (), .
(4)
Propiedad
ECM (T ) = V (T ) + {g () E (T )}2 .
Nota:
Si
{g () E (T )} =SESGO. T es un E.I de g (), entonces:
ECM (T ) = V (T ).
Demostracin Propiedad:
ECM (T ) = E ({T g ()}2 ) = E ({(T E (T )) (g () E (T ))}2 ) = E ({T E (T )}2 ) 2{g () E (T )}E ({T E (T )}) + {g () E (T )}2 = E ({T E (T )}2 ) + {g () E (T )}2 = = V (T ) + {g () E (T )}2 .
(5)
13 / 32
Consistencia
Hasta el momento hemos denimos conceptos para tamaos de muestras jas. A continuacin deniremos un concepto para un tamao de muestra creciente. En la notacin usaremos
En realidad se considerar una sucesin de estimadores, digamos;
Tn = Tn (X1 , . . . , Xn )
como estimador de
g ( ).
T1 = T1 (X1 ); T2 (X2 ); . . . ; Tn = Tn (X1 , . . . , Xn ); . . .
14 / 32
Consistencia
Denicin (Consistencia en Error Cuadrtico Medio)

Sea est basado en una muestra aleatoria de tamao n. en E.C.M. de estimadores de
T1 , T2 , . . . , Tn , . . .
una sucesin de estimadores de
g ( ),
donde
Tn
Esta sucesin de estimadores est denida como una sucesin consistente
g ()
ssi:
E ({Tn g ()} nlim

Observacin: Consistencia en E.C.M.
) = 0
que el SESGO y la VARIANZA
(Tn )
tienden a 0.
15 / 32
Consistencia
Ejemplo
Sea una muestra aleatoria de tamao n desde una distribucin normal
S2
con media
n = n 1
2 y varianza , sea Xn una sucesin de estimadores de y n (Xi Xn ) una sucesin 2 de estimadores de . i =1

2
ECM (Xn ) = E ({Xn }2 ) = V(Xn ) =

lo tanto, la sucesin estimadores de
{X}n
es una sucesin consistente en E.C.M. de
, cuando
n .
Por
2 ECM (S2 n ) = E ({S2 n 2 }2 ) = V(S2 n) = n 1 0 cuando n . lo tanto, la sucesin {Sn } es una sucesin consistente en E.C.M. de
4
Por
estimadores de
2.
Observacin: Es posible demostrar, de manera general, la consistencia en
E.C.M. del promedio y la varianza muestral bajo cualquier f.d.p asociada a la poblacin.
Familia Exponencial (F. exp.)
Denicin
Una familia uniparamtrica de densidades como sigue:
f (x ; )
que puede ser expresada
f (x ; ) = a()b(x )ec ()d (x ) , x R,

y para elecciones convenientes de las funciones
a(); b(); c ()y d (),
se
dene como que pertenece a la Familia exponencial. Notacin:
f (x ; ) F .exp .
17 / 32
Familia Exponencial (F. exp.)

Ejemplo
1
X exp(); f (x ; ) = ex I(0,) (x ),
donde:
a() = ; b(x ) = I(0;) (x ) c () = ; d (x ) = x

f (x ; ) F .exp .
2
X Poisson; f (x ; ) = e x ! I{0,1,...} (x ),
x
donde:
a() = e ; b(x ) =
f (x ; ) F.exp.
x!
I{0,1,...} (x ) ; c () = ln ; d (x ) = x
18 / 32
Familia Exponencial K-paramtrica
Denicin
Una familia de densidad
f (x ; 1 , 2 , . . . , k )
que puede ser expresada como:

k j
f (x ; 1 , . . . , k ) = a(1 , . . . , k )b(x )e
para elecciones convenientes de las funciones:
=1
c ( ,..., )d (x ) ,
j
a(, . . . , ) ; b() ; cj (, . . . , ) y dj () ; j = 1, . . . , k ,
se dene como que pertenece a F.exp. k paramtrica.
19 / 32
Familia Exponencial K-paramtrica

Ejemplo
1
X N(; 2 );
f (x ; ; 2 ) =
=
1 2 1 2 1 2
e 22 (x ) ; x R
1 2
e 22 e 22 + 2 ; e 22 ; b(x ) = 1;
2
x 2
a(; 2 ) =
2
c1 (; ) = 1/2 2 ; c2 (; 2 ) = / 2 ; d1 (x ) = x 2 ; d2 (x ) = x ;
f (x ; ; 2 ) F.exp.
bi-paramtrica.
20 / 32
Suciencia
Antes de continuar con nuestro propsito de hallar buenos estimadores, introduciremos el concepto de suciencia. En muchos problemas de estimacin que encontraremos, nos ser posible resumir la informacin en la muestra muestra que nos diga tanto cerca de
X1 , X2 , . . . Xn ,
e.d, nos ser posible hallar alguna funcin de la
como de la muestra misma.
Denicin (Estadstico Suciente)

Sea
distribucin condicional de cualquier valor
S = S(X1 , X2 , . . . , Xn )
f (x ; ) (
X1 , X2 , . . . , Xn
una muestra aleatoria de tamnao(n) desde una se dene como un estadstico suciente ssi la no depende de
f .d .p .
puede ser vector k-dimensional). Un estadstico
(X1 , . . . , Xn ) dado S = s s = s(x1 , x2 , . . . , xn ) de S.
para
21 / 32
Suciencia
Ejemplo
Considere una muestra aleatoria de tamao los estadsticos:
(3)
desde Bernoulli( ). Sean
S = X1 + X2 + X3 y T = X1 X2 + X3 .
A continuacin probaremos que
es suciente y
no lo es:
22 / 32
Suciencia
(x1 , x2 , x3 )
(0,0,0) (0,0,1) (0,1,0) (1,0,0) (0,1,1) (1,0,1) (1,1,0) (1,1,1)
Rec S
0 1 1 1 2 2 2 3
Rec T
0 1 0 0 1 1 1 2
fX1 ,X2 ,X3 /S=s

1 1/3 1/3 1/3 1/3 1/3 1/3 1
fX1 ,X2 ,X3 /T=t

1
/1 + 1 /1 + 2 /1 + /1 + 1 + /1 + 2 1 + /1 + 2 1 + /1 + 2
1
23 / 32
Suciencia
El clculo de
en la tabla es rutinario; por ejemplo ;
( )fX1 ,X2 ,X3 /S=s (0, 1, 0/1) = P(X1 = 0, X2 = 1, X3 = 0/S = 1) = = P(X1 = 0, X2 = 1, X3 = 0, S = 1) P(S = 1)
3 1
Como : S Bin(3; ) = P(S = 1) =
(1 )2 y
P(X1 = 0, X2 = 1, X3 = 0, S = 1) = P(X1 = 0, X2 = 1, X3 = 0). fX1 ,X2 ,X3 /S=s (0, 1, 0/1) = = P(X1 = 0, X2 = 1, X3 = 0) = P(S = 1)
P(X1 = 0)P(X2 = 1)P(X3 = 0) (1 )(1 ) = = 1/3. P(S = 1) 3 (1 )2 .

Idem los otros).
Primer Semestre - 2014 24 / 32 Pgina web: www.mriquelme.com
(Resultado que no depende de

Suciencia
( )fX1 ,X2 ,X3 /T=t (0, 1, 0/0) = =
donde
P(X1 = 0, X2 = 1, X3 = 0, /T = 0) P(T = 0)
P(X1 = 0, X2 = 1, X3 = 0) , P(T = 0)
P(T = 0) = P(X1 = 0, X2 = 1, X3 = 0) + P(X1 = 0, X2 = 0, X3 = 0) +P(X1 = 1, X2 = 0, X3 = 0) = (1 )2 + (1 )3 + (1 )2 .

As,
fX1 ,X2 ,X3 /T=t (0, 1, 0/0) =

(Resultado que depende de resultados de la tabla.
(1 )2 = (1 )2 + (1 )3 + (1 )2
. +
Idem los otros). Vericar los dems

Primer Semestre - 2014 25 / 32
Suciencia
Teorema (Factorizacin de Neyman-Fisher)
Sea X1 , X2 , . . . , Xn una muestra aleatoria de tamao (n) de una distribucin con f .d .p dada por f (x , ) con = (1 , . . . , k )t Rk . Un estadstico p-dimensional T = T (X1 , . . . , Xn ) = = [T1 (X1 , . . . , Xn ), T2 (X1 , . . . , Xn ), . . . , Tp (X1 , . . . , Xn )]t es suciente para (por lo general k = p) si y solo si la f .d .p . conjunta de X1 , . . . , Xn puede factorizarse como sigue: fX1 ,...,X (x1 , . . . , xn , ) = g (T (x1 , . . . , xn ); )h(x1 , . . . , xn ),
n
donde g depende de (x1 , . . . , xn ) solo a travs de T y h es totalmente independiente de y puede ser constante.
Observacin: Es posible demostrar que una funcin 1-1 de un estadstico
genera otro estadstico suciente.
26 / 32
Suciencia
Nota
Si f (x ; 1 ; . . . ; k ) F .exp k-paramtrica = por teorema factorizacin de N-F: T (X1 , . . . , Xn ) =
n i =1
d1 (Xi );
n i =1
d2 (Xi ); . . . ;
n i =1
dk (Xi )
es un esadstico suciente para (1 , . . . , k )t .
27 / 32
Estimador insesgado de varianza uniformemente mnima:(E.I.V.U.M.)

Sea
X1 , . . . , Xn una muestra aleatoria de tamao (n) desde f (x ; ). Un estimador T = T (X1 , . . . , Xn ) de g ( ) se dene como un estimador insesgado de varianza uniformemente mnima de g ( ) si y solo si:
i.
E (T ) = g (), . V (T ) V (T ), para cualquier otro estimador T = T (X1 , . . . , Xn ) de g () y .

insesgado
i.
28 / 32

Sea
X1 , . . . , Xn una muestra aleatoria de tamao (n) desde f (x ; ). Un estimador T = T (X1 , . . . , Xn ) de g ( ) se dene como un estimador insesgado de varianza uniformemente mnima de g ( ) si y solo si:
i.
E (T ) = g (), . V (T ) V (T ), para cualquier otro estimador T = T (X1 , . . . , Xn ) de g () y .

insesgado
i.
A continuacin se presenta una cota inferior para la varianza de estimadores insesgados y mostraremos como sta puede ser til algunas veces en la bsqueda de E.I.V.U.M.
28 / 32
Teorema (Desigualdad de Cramer-Rao (C-R))

Bajo ciertas condiciones de regularidad (Ver MGB), se tiene que: V (T )
(g ())2
nE
ln f
(X; )
(6)
donde T = T (X1 , . . . , Xn ) es un estimador insesgado de g ().
29 / 32
Teorema (Desigualdad de Cramer-Rao (C-R))

Bajo ciertas condiciones de regularidad (Ver MGB), se tiene que: V (T )
(g ())2
nE
ln f
(X; )
(6)
donde T = T (X1 , . . . , Xn ) es un estimador insesgado de g (). El lado derecho de la desigualdad anterior es llamado Cota inferior de Cramer-Rao para la varianza de los estimadores insesgados de g ().
29 / 32
Observacin
El teorema anterior tiene 2 usos: Primero, ste entrega una cota inferior para la varianza de los estimadores insesgados. Segundo, si un estimador insesgado cuya varianza coincide con la cota inferior de Cramer-Rao puede ser encontrado, entonces ste es un E.I.V.U.M.
30 / 32
Identidad: Bajo ciertos supuestos (condiciones de regularidad) de existencia de 2das derivadas:
ln f (X; )
= E
2 ln f (X; ) 2
La igualdad anterior es, a veces, de gran ayuda en el clculo de la cota inferior de C-R.
31 / 32
Teorema (Lehmann-Sche)
Sea X1 , . . . , Xn una muestra aleatoria de tamao (n) desde f (x ; ) F.exp. Sea S = n i =1 d (Xi ) un estadstico suciente (tambin es completo; asumiremos que esta propiedad se cumple en la familia exponencial) y si T (S), una funcin de S, es un estimador insesgado de g (), entonces: T es el nico E.I.V.U.M para g ()
32 / 32

Estimación Puntual

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Estimación Puntual

Cargado por

Copyright:

Formatos disponibles

Estadstica 2 I.

Primer Semestre - 2014. UCM

Prof.: Dr. Marco Riquelme A. (UCM)

Pgina web: www.mriquelme.com

Primer Semestre - 2014

Prof.: Dr. Marco Riquelme A. (UCM)

Pgina web: www.mriquelme.com

Primer Semestre - 2014

es una funcin de la ma( )

que proporciona una estimacin puntual de

una v.a. y por consiguiente tiene una distribucin muestral (terica).

Denicin (Espacio Paramtrico; )

Prof.: Dr. Marco Riquelme A. (UCM)

Pgina web: www.mriquelme.com

Primer Semestre - 2014

puede ser un vector

Ejemplos: Normal, Gama;

Prof.: Dr. Marco Riquelme A. (UCM)

Pgina web: www.mriquelme.com

Primer Semestre - 2014

I Mtodo de los Momentos

una funcin de densidad de una

la cual depende de un parmetro k-dimencional. Sea

Prof.: Dr. Marco Riquelme A. (UCM)

Pgina web: www.mriquelme.com

Primer Semestre - 2014

es una muestra aleatoria de tamao n desde una

Prof.: Dr. Marco Riquelme A. (UCM)

Pgina web: www.mriquelme.com

Primer Semestre - 2014

II Mtodo de Mxima Verosimilitud

conjunta de las n variables aleatorias, denotada por,

fX1 ,...,X (x1 , . . . , xn ; ),

la cual es considerada como funcin de

hecho, la funcin de verosimilitud se anotar por:

Para denotar este

L() = L(; x1 , . . . , xn ) = fX1 ,...,X (x1 , . . . , xn ; ),

En particular, si n desde

constituye una muestra aleatoria de tamao

entonces la F.V est dada por:

Pgina web: www.mriquelme.com

II Mtodo de Mxima Verosimilitud

la F.V para las variables aleatorias

de las observaciones) es el valor de entonces:

X1 , . . . , Xn . Si (una funcin R que maximiza L(),

II Mtodo de Mxima Verosimilitud

es llamada en la literatura Funcin Score.

En general, si la F.V. contiene

mxima, es una solucin de las siguientes ecuaciones:

Prof.: Dr. Marco Riquelme A. (UCM)

Pgina web: www.mriquelme.com

Primer Semestre - 2014

II Mtodo de Mxima Verosimilitud

Prof.: Dr. Marco Riquelme A. (UCM)

Pgina web: www.mriquelme.com

Primer Semestre - 2014

Propiedad de Invarianza de los E.M.V

= (X1 , . . . , Xn ) el E.M.V de , en la densidad f (x ; ), R. g () es una funcin cualquiera, entonces el E.M.V de g () es:

La propiedad de invarianza, se puede generalizar para

Prof.: Dr. Marco Riquelme A. (UCM)

Pgina web: www.mriquelme.com

Primer Semestre - 2014

Propiedades deseables los estimadores puntuales

Denicin (Espacio Paramtrico; )

es una muestra aleatoria de tamao n desde una

conjunta de las n variables aleatorias, denotada por,

En particular, si n desde

Denicin (Error Cuadrtico Medio, ECM)

Se dene como Error

se dene como un estimador insesgado

Denicin (Consistencia en Error Cuadrtico Medio)

Esta sucesin de estimadores est denida como una sucesin consistente

dene como que pertenece a la Familia exponencial. Notacin:

Denicin (Estadstico Suciente)