Clase 7 Estimaci N Puntual

Métodos de Estimación.
Propiedades del estimador.

Teoremas de Crämer,Rao, Blackwell.
Estimación Puntual
Enzo Hernández
1 Departmento de Matemáticas
Universidad Técnica Federico Santa María
Diciembre, 2018
Enzo Hernández Short Paper Title

Métodos de Estimación.
Propiedades del estimador.
Teoremas de Crämer,Rao, Blackwell.
Estimación Puntual
1 Métodos de Estimación.
Método de los Momentos.
Método de Máxima Verosimilitud.
Intervalos de Conanza.
2 Propiedades del estimador.
Insesgamiento
Eciencia
Suciencia.
3 Teoremas de Crämer,Rao, Blackwell.
Teorema de Rao- Blackwell.
Teorema de Crämer-Rao.
Problemas interesantes.

Métodos de Estimación. Método de los Momentos.
Propiedades del estimador. Método de Máxima Verosimilitud.
Teoremas de Crämer,Rao, Blackwell. Intervalos de Conanza.
Sean y1 , y2 , y3 , ..., yn datos provenientes de n variables aleatorias

− →
→ − →
−
− ( x , θ ), donde θ es el parámetro
X1 , X2 , X3 , ..., Xn distribuidas f→
X
o los parámetros a encontrar. La idea es tratar de estimarlos con la
información y1 , y2 , y3 , ..., yn .

Outline
Insesgamiento
Eciencia
Suciencia.

Denición.
Se llama momento de orden r muestral a n1 · ∑ni=1 yir .

El método de los momentos iguala el momento muestral con el
momento teórico, es decir
1 n
E (X r ) = · ∑ yir
n i=1
Observación.
→
− →
−
.Si f→
− ( x , θ ) consta de p parámetros entonces se deben igualar los
X
primeros p momentos, tal que con ellos se obtiene un sistema de
ecuaciones para los parámetros. Su solución representará los
→
−
estimadores de θ .
Si los datos son independientes y provienen de una función de

→
− − →
→ − →
−
cuantía o densidad fX (x, θ ) entonces f→
− ( x , θ ) = ∏n
X i=1 fX (yi , θ )


Ejemplo.
Sean y1 , y2 , y3 , ..., yn datos independientes provenientes de una fun-

1
ción densidad uniforme fX (x, a, b) = b−a · I[a,b] (x), entonces
→
−
− ( x , a, b) =
f→ 1
· I[a,b]n (→
−
x ) su función densidad conjunta.
X (b−a)n
b r +1 −ar +1
E (X r ) = (b−a)·(r +1)
Como hay dos parámetros se deben igualar los dos primeros momen-
tos:
b+a 1 n
= · ∑ yi
2 n i=1
b 2 + ab + a2 1 n
= · ∑ yi2
3 n i=1
Quedando ese sistema de ecuaciones que se debe resolver para a y

b.

Outline
Insesgamiento
Eciencia
Suciencia.

Denición.

X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuantía
conjunta f→ − →
→ −
− ( x , θ ). Se llama función de verosimilitud a la función
X
f→ − →
→ −
−(y , θ )
X
→
− →
−
Es decir, es la función densidad o cuantía conjunta f→− ( x , θ ) eval-
X
uada en los datos . Por tanto, f→ − →
→ −
− ( y , θ ) es una función de los
X
parámetros.

Denición.

X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuantía
→ −
− ( x , θ ). Se llama estimador máximo verosímil del o de
X
→
− →
− →
−
los parámetros θ , que denotamos por θ̂ , al valor de θ que maxi-
→
− →
−
miza la función de verosimilitud, f→ − ( y , θ ).
X
Observación.
0
1.- d(ln(f
dx
(x))
= ff (x)
(x)
, lo que signica que los ceros de ln(f (x)) son
los mismos quelos de f .
2.- Se dene la función log-verosímil por
ln(f→ − →
→ −
−(x , θ )
X
En general usaremos esta función para maximizar.

Ejemplo.
Sean y1 , y2 , y3 , ..., yn datos independientes provenientes de una fun-

1
ción densidad uniforme fX (x, a, b) = b−a · I[a,b] (x), entonces
→
−
− ( x , a, b) =
f→ 1
· I[a,b]n (→
−
x ) su función densidad conjunta
X (b−a)n
→
−
− ( y , a, b) =
f→ 1
· I[a,b]n (→
−
y ) su función de verosimilitud.
X (b−a)n
Como hay un problema para utilizar el método de optimización us-
ando el cálculo diferencial, entonces vamos a hacerlo de otra forma.
Debemos observar que f→ →
−
− ( y , a, b) es constante en [a, b], 1
X (b−a)n , y
fuera del intervalo es 0. Entonces el máximo valor que puede tomar
la función f→ →
−
− ( y , a, b) es 1
X (b−a)n , y eso se logra cuando los datos
están todos en [a, b]. Luego los valores de â = mı́n {y1 , y2 , ..., yn } y
b̂ = máx {y1 , y2 , ..., yn }.

Ejercicios.
Sean y1 , y2 , y3 , ..., yn datos independientes provenientes de una

función densidad o cuantía
x
a) Poisson, es decir, fX (x, a, b) = e −λ · λx! · I{0,1,2,...} (x). Mostrar
que el estimador que arroja el método de máxima verosimilitud y el
de los momentos es el mismo y es λ ˆ = 1 ∑n yi
n i=1
b) exponencial, es decir, fX (x, a, b) = λ · e −λ ·x · I[0,∞[ (x). Mostrar
que el estimador que arroja el método de máxima verosimilitud y el
de los momentos es el mismo y es λ ˆ = ( 1 ∑n yi )−1
n i=1
1
c) Uniforme, es decir, fX (x, a, b) = b−a · I[a,b] (x). Mostrar que el
estimador que arroja el método de máxima verosimilitud y el de los
momentos no coinciden.

Outline
Insesgamiento
Eciencia
Suciencia.

A pesar que esta técnica no revela un valor para los parámetros, da

una región donde encontrarlos con una cierta probabilidad. Si
miramos los métodos anteriores y, a la luz de las características que
debe cumplir un estimador para ser escogido, como que tenga
varianza mínima, entonces eso signica que encontramos, con esos
métodos, una región donde nuestro parámetro está.
Ejemplicaremos el procedimiento por pasos.

Ejemplo.
Sean x1 , x2 , ..., xn datos provenientes de una N(µ, 1) queremos en-

contrar una región para µ , con el 90% de probabilidad, es decir, que
nos equivoquemos en un 10% . La probabilidad de acierto se describe
en general con la notación (1 − α)%, que sería en este caso 90%, se
llama nivel de signicancia.
Paso 1. Denicion del Pivote ( entendido como apoyo).
Se busca una variable aleatoria que dependa del parámetro, pero

cuya distribución no dependa del parámetro.
Si x1 , x2 , ..., xn provienen de la variable aleatoria X ∼ N(µ, 1) y son

datos independientes entonces la media es un estimador de µ . Ahora
µ̂ = n1 ∑ni=1 xi al ser los datos considerados provenientes de n variables
aleatorias independiente X1 , X2 , ..., Xn entonces
1
n t
n
ϕµ̂ (t) = E (e n ·∑i=1 t·xi ) = ∏ E (e n ·xi )
i=1
n n
t t
ϕµ̂ (t) = ∏ E (e n ·xi ) = ∏ ϕX ( )
i=1 i=1 n
t2
y como ϕX (t) = e µ·t+ 2 entonces
n t2
t
ϕµ̂ (t) = ∏ ϕX ( ) = e µ·t+ n
i=1 n
Como ϕû (t) es del mismo tipo que la f.g.m de la normal entonces
µ̂ ∼ N(1, n1 )
Luego el pivote buscado puede ser:
µ̂ − µ
Q= ∼ N(0, 1)
√1
n

Paso 2. Determinación de un intervalo para el pivote Q con (1 −α)%

de signicancia.
Acá el nivel de signicancia es 90%. Como concemos la distribución

de Q, sabemos cuál es la función de probabilidad:
PQ (|Q| < q) = 0, 9
Es decir:
PQ (−q < Q < q) = 0, 9
o mejor
PQ (Q < q) = 0, 95
Y la medida de probabilidad es la Normal N(0, 1). Buscamos con
nuestra calculadora el valor de q, el cual es q = 1, 645

Paso 3. Determinación de un intervalo para el estimador.

Como
−1, 645 < Q < 1, 645
y
µ̂ − µ
Q=
√1
n
Obtenemos que
1 1
µ̂ − 1, 645 · √ < µ < µ̂ + 1, 645 · √
n n
Con lo cual µ está en ese intervalo con un 90% de probabilidad.

Métodos de Estimación. Insesgamiento
Propiedades del estimador. Eciencia
Teoremas de Crämer,Rao, Blackwell. Suciencia.
Como es posible tener muchos estimadores es necesario encontrar

cuáles son las características que ha de tener un estimador para ser
escogido.
Enzo Hernández Propiedades del estimador.

Outline
Insesgamiento
Eciencia
Suciencia.

Denición.
→
− →
−
− ( x , θ ) una familia de funciones densidad o cuantía conjunta
Sea f→
X
→
−̂ →
− →
−̂
y sea θ un estimador de θ . Diremos que θ es un estimador
→
−
insesgado de θ si se satisface
→
−ˆ →
−
E( θ ) = θ
.
Ejemplo.
Sabemos que si y1 , y2 , y3 , ..., yn datos independientes provenientes

de una función cuantía Poisson, P(λ ), entonces λ ˆ = 1 ∑n yi . Si
n i=1
determinamos si es o no insesgado E (λ ˆ ) = 1 · ∑n E (yi ) y como
n i=1
E (yi ) = λ , entonces E (λ
ˆ ) = λ , luego es insesgado.

Outline
Insesgamiento
Eciencia
Suciencia.
Denición.
→
− →
−
− ( x , θ ) una familia de funciones densidad o cuantía conjunta
Sea f→
X
→
−̂ →
−̂ →
− →
−̂
y sea θ1 y θ2 dos estimadores de θ . Diremos que θ1 es un estimador
→
−̂ →
−̂ →
−̂
más eciente que θ2 sí y sólo sí V (θ2 ) > V (θ1 ).

Ejemplo.
Sabemos que si y1 , y2 , y3 , ..., yn datos independientes provenientes de

una función cuantía Poisson, P(λ ), entonces λ cn = 1 ∑n yi ; si λc
m=
n i=1
1 m
m ∑i=1 yi es otro estimador de λ usando una muestra más grande, es
decir m > n. Entonces al ser datos provenientes de variables aleatorias
independientes entonces:
cn ) = 1
n
λ
V (λ 2 ∑ V (yi ) =
n i=1 n
De igual forma
1 m λ
V (λc
m) = 2 ∑ V (yi ) =
m i=1 m
−̂
→ −̂
→
Como m > n entonces V (λn ) > V (λm ) y con lo cual λc
m es un esti-
mador más eciente que λn .
c

Outline
Insesgamiento
Eciencia
Suciencia.

Denición.
Sea X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuantía

→ −
− ( x , θ ).
X
1) Un estadístico es una expresión funcional en términos de la mues-
tra.
→
− →
−
2) Un estadístico T = T ( X ) se dice que es suciente ssi P( X /T = t)
no depende de θ .
Proposición. ( Criterio de factorización de Neyman-Fisher)
Sea X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuan-

tía conjunta f→ − →
→ −
− ( x , θ ).
X
Un estimador θ̂ de θ se dice que es suciente para el parámetro θ
ssi existe una función g y h tal que f→ →
− →
−
− ( x , θ ) = g (θ̂ , θ ) · h( x )
X

Observación.
1) g y h son funciones tal que h dependa exclusivamente de la

muestra y no del parámetro θ .
2) Los dominios de g y h son dados por la función f→
−.
X
Ejemplo.
Sean X1 , X2 , ..., Xn ∼ P(λ ) i.i,d y sea T = ∑ni=1 Xi entonces

a) Cálculo de la conjunta es
→
− ∑n
− ( x ,λ) = λ n
f→ i=1 Xi
· e −nλ · I{0,1,2,...}n (→
−
x)
X ∏ i=1 xi !
b) f→ →
− →
−
− ( x , θ ) = g (θ̂ , θ ) · h( x ) ; donde h( x ) =
→
− 1
;
X ∏ni=1 xi
g (T , λ ) = λT · e −nλ
Luego T = ∑ni=1 Xi es un estimador o estadístico suciente.

Métodos de Estimación. Teorema de Rao- Blackwell.
Propiedades del estimador. Teorema de Crämer-Rao.
Teoremas de Crämer,Rao, Blackwell. Problemas interesantes.

Outline
Insesgamiento
Eciencia
Suciencia.
Teorema.
Sea X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuan-

tía conjunta f→ − →
→ −
− ( x , θ ) y sean θ̂ y T un estimador insesgado y un
X
estadístico suciente de θ respectivamente. Se dene el estadístico
g (T ) = E (θ̂ /T ) entonces
1 g (T ) es insesgado .
2 g (T ) es más eciente que θ̂ .

Outline
Insesgamiento
Eciencia
Suciencia.

Teorema.
Sea X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuantía

→ −
− ( x , θ ) y sean θ̂ un estimador insesgado de θ . Entonces
X
V (θ̂ ) ≥ ∂ lln(f1X (x.θ ) 2 tal cota inferior se llama cota de Crämer-Rao.
E ( ∂θ )
Observación.
− (→
∂ ln(f→ −
x ,θ )) 2 ∂ 2 ln(f→
− (→
−
x ,θ ))
1 E (( X
) ) = −E ( X
)
∂θ ∂θ2
2 Si θ̂ tiene una varianza igual a la cota de Crämer Rao, es decir

V (θ̂ ) = ∂ lln(f1X (x.θ ) 2 , entonces θ̂ se dirá que es eciente.
E ( ∂θ )

Corolario de Crämer - Rao.

Sea θ̂ un estimador máximo verosímil de θ insesgado, parámetro
de la función densidad o cuantía f (x, θ ). Si la derivada de la
función log-verosímil se puede escribir de la forma:
∂ ln(f (→
−
x ,θ)
= a(θ )(θ̂ − θ )
∂θ
donde a(θ ) no puede depender de los datos, entonces θ̂ es un

estimador eciente.
Outline
Insesgamiento
Eciencia
Suciencia.

1.- Sea X1 , X2 , ..., Xn i.i.d f (~x, θ ) y sea θ̂ un estimador

máximo verosímil de θ . Sea τ una función biyectiva con
derivada no nula. Demuestre que el estimador máximo
verosimil de d),
τ(θ de τ(θ ) ,es τ(θ̂ ).
2.- a) Pruebe que E (E (X /Y )) = E (X ) y pruebe que

V (Y ) = V (E (Y /X )) + E (V (Y /X ))
b) Si θ̂ es un estimador insesgado de θ , demuestre que
E (θ̂ /T ) es un estimador insesgado de θ y que satisface
V (E (θ̂ /T )) < V (θ̂ )
( Use la parte b))
3.- Sean X1 , X2 , ..., Xn variables aleatorias con función densidad

− (→
conjunta f→
−x ,θ)
X
Demuestre que
 !2 
∂ 2 lnf→ − (→
−
!
− (x, θ ) ∂ lnf→ x , θ )
X X
E = −E 
∂θ2

∂θ
4.- Sean
X1 , X2 , ..., Xn variables aleatorias con función densidad
− (→
conjunta f→
−
x ,θ)
X
Si θ̂ es un estimador insesgado de θ y
∂ ln(f→− (→
−x ,θ)
X
= a(θ ) · θ̂ − θ
∂θ
2
∂ lnf→
− (x,θ )
Demuestre que E X
∂θ2
= −a(θ ) y que
1
V (θ̂ ) =
a(θ )

Clase 7 Estimaci N Puntual

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Clase 7 Estimaci N Puntual

Cargado por

Copyright:

Formatos disponibles

Métodos de Estimación.

Propiedades del estimador.

Enzo Hernández Short Paper Title

Enzo Hernández Short Paper Title

Sean y1 , y2 , y3 , ..., yn datos provenientes de n variables aleatorias

Enzo Hernández Short Paper Title

Enzo Hernández Short Paper Title

Se llama momento de orden r muestral a n1 · ∑ni=1 yir .

Si los datos son independientes y provienen de una función de

Enzo Hernández Short Paper Title

Enzo Hernández Short Paper Title

Sean y1 , y2 , y3 , ..., yn datos independientes provenientes de una fun-

Quedando ese sistema de ecuaciones que se debe resolver para a y

Enzo Hernández Short Paper Title

Enzo Hernández Short Paper Title

Sean y1 , y2 , y3 , ..., yn datos provenientes de n variables aleatorias

Enzo Hernández Short Paper Title

Sean y1 , y2 , y3 , ..., yn datos provenientes de n variables aleatorias

En general usaremos esta función para maximizar.

Sean y1 , y2 , y3 , ..., yn datos independientes provenientes de una fun-

Enzo Hernández Short Paper Title

Sean y1 , y2 , y3 , ..., yn datos independientes provenientes de una

Enzo Hernández Short Paper Title

Enzo Hernández Short Paper Title

A pesar que esta técnica no revela un valor para los parámetros, da

Ejemplicaremos el procedimiento por pasos.

Enzo Hernández Short Paper Title

Sean x1 , x2 , ..., xn datos provenientes de una N(µ, 1) queremos en-

Paso 1. Denicion del Pivote ( entendido como apoyo).

Se busca una variable aleatoria que dependa del parámetro, pero

Si x1 , x2 , ..., xn provienen de la variable aleatoria X ∼ N(µ, 1) y son

Enzo Hernández Short Paper Title

Paso 2. Determinación de un intervalo para el pivote Q con (1 −α)%

Acá el nivel de signicancia es 90%. Como concemos la distribución

Enzo Hernández Short Paper Title

Paso 3. Determinación de un intervalo para el estimador.

Con lo cual µ está en ese intervalo con un 90% de probabilidad.

Enzo Hernández Short Paper Title

Como es posible tener muchos estimadores es necesario encontrar

Enzo Hernández Propiedades del estimador.

Enzo Hernández Propiedades del estimador.

Sabemos que si y1 , y2 , y3 , ..., yn datos independientes provenientes

Enzo Hernández Propiedades del estimador.

Enzo Hernández Propiedades del estimador.

Sabemos que si y1 , y2 , y3 , ..., yn datos independientes provenientes de

Enzo Hernández Propiedades del estimador.

Enzo Hernández Propiedades del estimador.

Sea X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuantía

Sea X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuan-

Enzo Hernández Propiedades del estimador.

1) g y h son funciones tal que h dependa exclusivamente de la

Sean X1 , X2 , ..., Xn ∼ P(λ ) i.i,d y sea T = ∑ni=1 Xi entonces

Enzo Hernández Propiedades del estimador.

Enzo Hernández Propiedades del estimador.

Sea X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuan-

2 g (T ) es más eciente que θ̂ .

Enzo Hernández Propiedades del estimador.

Enzo Hernández Propiedades del estimador.

Sea X1 , X2 , X3 , ..., Xn distribuidas según la función densidad o cuantía

2 Si θ̂ tiene una varianza igual a la cota de Crämer Rao, es decir

Enzo Hernández Propiedades del estimador.

Corolario de Crämer - Rao.

Ejemplicaremos el procedimiento por pasos.

Paso 1. Denicion del Pivote ( entendido como apoyo).

Acá el nivel de signicancia es 90%. Como concemos la distribución

2 g (T ) es más eciente que θ̂ .