2.2.estimadores (Probbilidad y Estadistica)

8.
Estimacion puntual
Estadstica
Ingeniera Inform
atica
Curso 2009-2010
Estadstica (Aurora Torrente)
8. Estimaci
on puntual
Curso 2009-2010
1 / 30
Contenidos
Introduccion
Construccion de estimadores
Metodo de los momentos
Metodo de maxima verosimilitud
Propiedades de los estimadores

Estimadores insesgados o centrados
Estimadores eficientes
Propiedades de los EMV
Consistencia y eficiencia asint
oticas
Invarianza
8. Estimaci
on puntual
Curso 2009-2010
2 / 30
Introducci
on
puntual
on
estimaci
por intervalos
de confianza
Inferencia estadstica
sobre parametros
otesis
constrastes de hip
de Bondad de Ajuste
estimaci
on de los parametros de una distribuci
on: elegir el valor
(desconocido) de un parametro de la poblaci
on
constrastes de hipotesis: decidir entre rechazar o no una hipotesis
I
sobre par
ametros - para determinar si un parametro de una
distribuci
on toma o no un determinado valor
de Bondad de Ajuste - para definir si un conjunto de datos se puede
modelar mediante una determinada distribuci
on o no
8. Estimaci
on puntual
Curso 2009-2010
3 / 30
Introducci
on
Estimacion puntual
Estimacion mediante un solo valor de los parametros de una distribucion.
La estimaci
on puntual consiste en utilizar el valor de un estadstico para
inferir el parametro de una poblaci
on.
para estimar la media de una poblacion
usamos la media muestral X
usamos la proporci
on de una muestra p para estimar la proporcion
poblacional p
Un estimador de un par
ametro es un estadstico T = T (X1 , ..., Xn )
usado para estimar el valor del parametro de una poblacion.
El valor observado del estadstico t = T (x1 , ..., xn ) es la estimaci
on de ,
y la representamos por .
puede ser un solo parametro o un conjunto de parametros desconocidos
= (1 , ..., k )
8. Estimaci
on puntual
Curso 2009-2010
4 / 30
Introducci
on
Los estimadores son variables aleatorias

tienen una distribucion de probabilidad, correspondiente a las
distribuciones muestrales
su distribucion (media, varianza, etc.) le confiere una serie de
propiedades estadsticas (sesgo, mnima varianza, consistencia,
eficiencia, suficiencia):
I
I
se puede definir la calidad del estimador

se puede comparar con otros estimadores
no hay ning
un estimador perfecto: siempre habra alg
un error en el
proceso de estimacion
deben estudiarse las distintas propiedades de los estimadores para
decidir cual es el m
as apropiado...
Como construir un estimador?
8. Estimaci
on puntual
Curso 2009-2010
5 / 30
Construcci
on de estimadores
M
etodo de los momentos
Construccion de estimadores
Objetivo: construir un estimador del parametro poblacional = (1 , ..., k )
1. Metodo de los momentos

los momentos caracterizan una distribuci
on de probabilidad
si dos variables aleatorias tienen los mismos momentos, entonces
dichas variables tienen o siguen la misma funci
on de densidad
Podemos emplear los momentos muestrales para estimar los parametros,
basandonos en la intuicion de que los momentos de la poblacion, r , se
pareceran a los respectivos momentos de la muestra, ar
Igualamos los k primeros momentos ordinarios de una poblacion
a los correspondientes momentos de una muestra
8. Estimaci
on puntual
Curso 2009-2010
6 / 30
Construcci
on de estimadores
M
1. Metodo de los momentos (cont.)

r -esimo momento ordinario ar de una muestra aleatoria (X1 , ..., Xn )
n
X
ar =
Xir
i=1
Entonces si una distribucion tiene k parametros desconocidos, para su

estimacion se tendra lo siguiente:
a1 = 1
a2 = 2
...
ak = k
8. Estimaci
on puntual
Curso 2009-2010
7 / 30
Construcci
on de estimadores
M
Ejemplo 1. X Exp():
Sea una variable aleatoria con distribuci
on exponencial de
par
ametro ; queremos encontrar el estimador del par
ametro
usando el m
etodo de los momentos.
Como solo existe un parametro, sera : 1 = a1
1
El primer momento es la media, y en la exponencial es , por lo que:
n
X
1
=
i=1
Xi
n
n
X
Xi
1
= ,
X
i=1
es decir, el estadstico usado para estimar el parametro es el inverso de

la media muestral
8. Estimaci
on puntual
Curso 2009-2010
8 / 30
Construcci
on de estimadores
M
Ejemplo 2. X N(, ):
Estimar por el m
etodo de los momentos los par
ametros y 2 de
una distribuci
on normal.
Necesitamos estimar dos parametros usaremos los dos primeros
momentos ordinarios de la distribuci
on normal:
1 = ;
2 = 2 + 2 .
Igualando los dos primeros momentos poblacionales con sus respectivos

momentos muestrales y despejando tenemos que:
n
X
i=1
n
X
Xi
;
=X
2 =
8. Estimaci
on puntual
Xi2
i=1
2
X
Curso 2009-2010
9 / 30
Construcci
on de estimadores
M
Ejemplo 3. X BN(r , p):

Queremos estimar por el m
etodo de los momentos los par
ametros r
y p de una distribuci
on binomial negativa. Sabemos que E [X ] = r 1p
p
(1p))
y V (X ) = r 1p
E [X 2 ] = V (X ) + E [X ]2 = r (1p)(1+r
. Igualando
p2
p2
los momentos poblacionales y muestrales resulta:
P 2
P
Xi
Xi
1p
r (1 p)(1 + r (1 p))
=r
=
n
p
n
p2
Resolviendo el sistema:
p =
1P
X
2
Xi2 X
r =
1P
2
X
2 X
Xi2 X
Para una muestra de tama

no 3, con los valores (20, 19, 22), se obtiene la
estimacion p = 13,1 y r = 22...
El metodo de los momentos puede presentar inconvenientes, como que la
estimacion obtenida este fuera del espacio parametrico.
8. Estimaci
on puntual
Curso 2009-2010
10 / 30
Construcci
on de estimadores
M
etodo de m
axima verosimilitud
2. Metodo de maxima verosimilitud

Se utiliza la funcion de masa p o densidad f (conjunta) de la muestra
como una funcion de = (1 , ..., k ) (funci
on de verosimilitud)

L() = L(|x1 , ..., xn ) =
p(x1 ) ... p(xn ),

f (x1 ) ... f (xn ),
en el caso discreto
en el caso continuo
Se maximiza la funci
on de verosimilitud.
El EMV de es el formado por los valores (1 , ..., k ) que maximizan
la funcion de verosimilitud de la muestra (x1 , ..., xn ) obtenida.
8. Estimaci
on puntual
Curso 2009-2010
11 / 30
Construcci
on de estimadores
M
etodo de m
axima verosimilitud
L() expresa la probabilidad (o densidad) que los diferentes valores de

dan a la muestra obtenida (maximizamos dicha probabilidad o
densidad).
El metodo permite construir buenos estimadores, de utilizacion
universal, denominados estimadores de maxima verosimilitud (EMV).
El estimador de maxima verosimilitud es siempre un valor del espacio
parametrico.
En la practica, es frecuente considerar la funci
on logL() a la hora de
maximizar, ya que presenta los mismos maximos y mnimos y suele ser mas
facil de manejar.
Propiedad de invarianza:
Si es el EMV de , y g es una funci
on biyectiva y diferenciable, entonces
g () es el EMV de g ().
8. Estimaci
on puntual
Curso 2009-2010
12 / 30
Construcci
on de estimadores
M
etodo de m
axima verosimilitud
Ejemplo 1. X P():
Vamos a calcular el EMV del par
ametro de una distribuci
on de
Poisson P(), para una muestra de tama
no n.
Construimos la funcion de verosimilitud de la muestra:
P
n
n
Y
n ni=1 xi
xi
Y
e
e
=
L
p(xi ) =
= Qn
xi !
i=1 xi !
i=1
i=1
Tomando logaritmos resulta:

n
n

X
X
log L = n + log
xi
log xi !
i=1
i=1
Derivando respecto al parametro e igualando a 0, se obtiene:

n
n
X
X

xi
xi
log L
i=1
i=1
=
= n +
=0
n
8. Estimaci
on puntual
Curso 2009-2010
13 / 30
Construcci
on de estimadores
M
etodo de m
axima verosimilitud
Ejemplo 1. X P() (cont.):

Debemos comprobar que efectivamente es un maximo; para ello,
calculamos la derivada segunda, que resulta
n
X

2 log L
2
xi
i=12
< 0,
por lo que el EMV de viene dado por la media muestral.
8. Estimaci
on puntual
Curso 2009-2010
14 / 30
Construcci
on de estimadores
M
etodo de m
axima verosimilitud
Ejemplo 2. X Unif (, + 1):

Calculemos ahora el EMV del par
ametro que define una
distribuci
on uniforme en el intervalo (, + 1).
Funcion de densidad para la uniforme en (, + 1) :
f (x) = 1, x (, + 1)
Funcion de verosimilitud (utilizando funciones indicadoras):
L() =
n
Y
I{<xi <+1)} = I{<mni xi } I{>maxi xi 1} = I{maxi xi 1<<mni xi }
i=1
que toma el valor constante 1 en el intervalo (max xi 1, mn xi ),

i
cualquier punto de este intervalo maximiza la funci

on de verosimilitud y
puede ser escogido como EMV.
8. Estimaci
on puntual
Curso 2009-2010
15 / 30
Construcci
on de estimadores
M
etodo de m
axima verosimilitud
Ejemplo 3. X N(, ):
Vamos a calcular el EMV del par
ametro = (, 2 ) de una N(, ).
La verosimilitud de la muestra (x1 , . . . , xn ) es:

n
n
P
Y
2
1
1
1
2
L() = L(, ) =
... =
e 22 (xi )
2
2
2
2
i=1
Su logaritmo es:
n
n
1 X
log(L()) = log( 2 ) log(2) 2
(xi )2
2
2
2
Las derivadas parciales con respecto a los parametros y 2 son:
log(L(x1 , . . . , xn , ))
1 X
= 2
(xi )
log(L(x1 , . . . , xn , ))
n
1 X
= 2 +
(xi )2
2
2
2( 2 )2
que se anulan en:
b=
xi
n
c2 =
P
(xi
b)2
n
8. Estimaci
on puntual
Curso 2009-2010
16 / 30
Construcci
on de estimadores
M
etodo de m
axima verosimilitud
Ejemplo 3. X N(, ): (cont.)

Las derivadas parciales segundas son:
2 log(L(x1 , . . . , xn , ))
n
= 2
2
X
log(L(x1 , . . . , xn , ))
1
= 2 2
(xi )
2
( )
log(L(x1 , . . . , xn , ))
n
1 X
=
2 3
(xi )2
2
2
2
2
( )
2( )
( )
H =
n
c
2
0
n
2
c
2 2
(Matriz hessiana en )
c2 ) es un
Determinante positivo y autovalores negativos el punto (b
,
maximo Si (X1 , . . . , Xn ) N(, ), los EMV de y 2 son
respectivamente la media y la varianza empricas de la muestra (como era
de esperar)
8. Estimaci
on puntual
Curso 2009-2010
17 / 30
Estimadores insesgados
Un estimador es insesgado para si

h i
E =
propiedad muy deseable: establece que, en media, esperamos que el
valor de sea
no evita otras propiedades indeseables: es importante tener presente
que la calidad global del estimador no reside en una u
nica
propiedad, sino en un conjunto de ellas
8. Estimaci
on puntual
Curso 2009-2010
18 / 30
Ejemplo 1.
Sabemos que, en cualquier poblaci
on:

= ,
E X
n1 2
,
E sn2 =
n
2
E sn1
= 2,
la media muestral es un estimador insesgado para el parametro

la varianza muestral es sesgada para 2
la cuasivarianza muestral es insesgada para la 2
Sabemos que cuando estudiamos la proporci
on p de una poblacion que
presenta cierta caracterstica:
E [
p] = p
la proporcion muestral es insesgada para la proporcion poblacional p
8. Estimaci
on puntual
Curso 2009-2010
19 / 30
Ejemplo 2. X Unif (0, ):

Consideremos el estimador T (X1 , ..., Xn ) = max{X1 , ..., Xn } = X(n)
para estimar el extremo superior del intervalo. Queremos determinar
si es un estimador insesgado. Necesitamos conocer su distribucion para
calcular su esperanza...
1
La densidad de una uniforme en (0, ) es f (x) =
R x 1, para 0x < x < , y su
funcion de distribucion es F (x) = P(X x) = 0 dt = , para
0 < x < . La distribucion de X(n) es, para 0 < x < :
ind.
FX(n) = P(X(n) x) = P(X1 x, ..., Xn x) = P(X1 x) ... P(Xn x) =
xn
n
y por tanto, la funcion de densidad de la v.a. X(n) es

x n1
fX(n) = n n , para 0 < x <
Finalmente, calculamos su esperanza:

Z
nx n1
n
E [X(n) ] =
x n dx =
< es sesgado
n+1
0
8. Estimaci
on puntual
Curso 2009-2010
20 / 30
Estimadores eficientes (I)

Una medida de la calidad de un estimador para no debe ser solo que su
media sea el parametro, sino que haya una alta probabilidad de que los
valores observados de sean pr
oximos a (varianza lo mas peque
na
posible)
Dado insesgado para , se dice que es insesgado de mnima varianza
para si para cualquier otro estimador insesgado de se verifica

V V
dados dos estimadores insesgados, es preferible el que tiene menor
varianza (los valores observados del estimador seran mas proximos a
la media = ).
no existen estimadores insesgados con varianza tan peque
na como
quisieramos (cota inferior para la varianza)
8. Estimaci
on puntual
Curso 2009-2010
21 / 30
Estimadores eficientes (II)

Teorema de Cramer-Rao:
Sean (X1 , ..., Xn ) una muestra aleatoria simple de una poblacion X con
funcion de masa o densidad f (x; ), siendo el parametro que queremos
estimar, y un estimador insesgado de . Entonces, la varianza de
satisface la desigualdad
1

V
"
nE
log f (X ; )
cota de Cramer-Rao
2 #
Expresion equivalente, mas c

omoda computacionalmente:
1

V

nE
2 log f (X ; )
8. Estimaci
on puntual
Curso 2009-2010
22 / 30
Estimadores eficientes (III)

el cociente entre la cota de
Dado un estimador insesgado para ,
Cramer-Rao y su varianza se denomina eficiencia de
la eficiencia de un estimador insesgado es siempre menor o igual que 1
Un estimador insesgado con eficiencia igual a 1 se denomina eficiente
los estimadores eficientes existen s

olo bajo determinadas condiciones
8. Estimaci
on puntual
Curso 2009-2010
23 / 30
Ejemplo:
Consideremos una poblaci
on Bernouilli de par
ametro desconocido.
Supongamos que tenemos dos estimadores 1 y 2 dados por
+1
nX
2 =
.
n+2
,
1 = X
Por una parte:
h i
E 1 =
h i n + 1
E 2 =
n+2
1 es insesgado y 2 es sesgado
Por otra parte:
(1 )
V 1 =
n
n(1 )
V 2 =
(n + 2)2

V 1 > V 2
8. Estimaci
on puntual
Curso 2009-2010
24 / 30
Ejemplo (cont.):
Calculemos la cota de Cramer-Rao (CCR): como f (X ; ) = x (1 )1x :
log f (X ; ) = x log + (1 x) log(1 )
Derivando dos veces:
2 f (X ; )
x
1x
= 2
,
2
(1 )2
y tomando esperanzas:

2
1
1
1
f (X ; )
=
=
,
E
2
1
(1 )
1
CCR =

nE
2 f (X ; )
=
(1 )
= V (1 )
n
1 es eficiente pero 2 tiene menor varianza

8. Estimaci
on puntual
Curso 2009-2010
25 / 30
Se llama error cuadr

atico medio del estimador a
= E [( )2 ]
ECM()
Si llamamos sesgo del estimador a
= E []
B()
se tiene que

2
= V ()
+ B()
ECM()
Exigir un estimador con ECM peque
no implica minimizar
simultaneamente su sesgo y su varianza.
Para los estimadores insesgados, el criterio coincide con minimizar la
varianza (acotada por CCR), es decir, se busca el estimador eficiente.
8. Estimaci
on puntual
Curso 2009-2010
26 / 30

El uso extendido del metodo de maxima verosimilitud para la construccion
de estimadores de se debe a las
optimas propiedades que estos poseen
cuando el n es suficientemente grande.
Sea el EMV de , para la verosimilitud f (x; ). Entonces,
h i
1
1

lm E = , y lm V () =
2
n
n
n
log f (X ;)
E
Cuando n crece, la distribuci

on del EMV es aproximadamente
normal.
Puesto que la varianza del estimador tiende a la cota de Cramer-Rao,
cuando n crece, el EMV es asint
oticamente eficiente.
Propiedad de Invarianza: Si es el EMV de , y g es una funcion

es el estimador de maxima
biyectiva y diferenciable, entonces g ()
verosimilitud de g ().
Por ejemplo, si es el EMV de , entonces 2 es el EMV de 2
8. Estimaci
on puntual
Curso 2009-2010
27 / 30
Ejemplo:
Vamos a calcular el EMV de para la distribuci
on uniforme en
(0, ), utilizando una muestra aleatoria de tama
no n.
n
n
1
1
I{0Xi , i} =
I{X(n) } I{X(1) >0} ,
L(X1 , ..., Xn ; ) =
n
1
que toma el valor
en el intervalo [ X(n) , +) y toma el valor 0
fuera de dicho intervalo.

n
1
decreciente con el maximo se alcanza en = X(n)
8. Estimaci
on puntual
Curso 2009-2010
28 / 30
Ejemplo (cont.):
Como vimos anteriormente, la funci
on de distribuci
on del estimador X(n)
es:
FX(n) (x) = P(X(n) < x) = P(X1 < x, ..., Xn < x) =
0,
x <0

x n
n
, 0x
= P(X1 < x) P(Xn < x) = [P(X1 < x)] =

1,
x >
y su densidad es:
x n1
,
n
fX(n) (x) =
0,
0x
en el resto
8. Estimaci
on puntual
Curso 2009-2010
29 / 30
Ejemplo (cont.):
Tambien sabemos que:
Z

E X(n) =
xn
n
x n1
dx =
n
n+1
Calculemos la varianza de X(n)

V X(n) =
0
x n1
x n n dx
n
n+1
2
=
n2
0
(n + 1)2 (n + 2)
El EMV para no es insesgado, pero s asint

oticamente eficiente.
8. Estimaci
on puntual
Curso 2009-2010
30 / 30

2.2.estimadores (Probbilidad y Estadistica)

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

2.2.estimadores (Probbilidad y Estadistica)

Cargado por

Copyright:

Formatos disponibles

8.

Estadstica (Aurora Torrente)

Propiedades de los estimadores

Estadstica (Aurora Torrente)

Estadstica (Aurora Torrente)

Los estimadores son variables aleatorias

se puede definir la calidad del estimador

Estadstica (Aurora Torrente)

1. Metodo de los momentos

Estadstica (Aurora Torrente)

1. Metodo de los momentos (cont.)

Entonces si una distribucion tiene k parametros desconocidos, para su

Estadstica (Aurora Torrente)

es decir, el estadstico usado para estimar el parametro es el inverso de

Estadstica (Aurora Torrente)

Igualando los dos primeros momentos poblacionales con sus respectivos

Estadstica (Aurora Torrente)

Ejemplo 3. X BN(r , p):

Para una muestra de tama

2. Metodo de maxima verosimilitud

p(x1 ) ... p(xn ),

Estadstica (Aurora Torrente)

L() expresa la probabilidad (o densidad) que los diferentes valores de

Tomando logaritmos resulta:

Derivando respecto al parametro e igualando a 0, se obtiene:

Ejemplo 1. X P() (cont.):

por lo que el EMV de viene dado por la media muestral.

Estadstica (Aurora Torrente)

Ejemplo 2. X Unif (, + 1):

I{<xi <+1)} = I{<mni xi } I{>maxi xi 1} = I{maxi xi 1<<mni xi }

que toma el valor constante 1 en el intervalo (max xi 1, mn xi ),

cualquier punto de este intervalo maximiza la funci

Estadstica (Aurora Torrente)

Ejemplo 3. X N(, ): (cont.)

Propiedades de los estimadores

Estimadores insesgados o centrados

Un estimador es insesgado para si

Estadstica (Aurora Torrente)

Propiedades de los estimadores

Estimadores insesgados o centrados

la media muestral es un estimador insesgado para el parametro

Propiedades de los estimadores

Estimadores insesgados o centrados

Ejemplo 2. X Unif (0, ):

FX(n) = P(X(n) x) = P(X1 x, ..., Xn x) = P(X1 x) ... P(Xn x) =

y por tanto, la funcion de densidad de la v.a. X(n) es

Finalmente, calculamos su esperanza:

Propiedades de los estimadores

Estimadores eficientes (I)

Propiedades de los estimadores

Estimadores eficientes (II)

Expresion equivalente, mas c

Estadstica (Aurora Torrente)

Propiedades de los estimadores

Estimadores eficientes (III)

la eficiencia de un estimador insesgado es siempre menor o igual que 1

Un estimador insesgado con eficiencia igual a 1 se denomina eficiente

los estimadores eficientes existen s

Estadstica (Aurora Torrente)

Propiedades de los estimadores

Estadstica (Aurora Torrente)

Propiedades de los estimadores

1 es eficiente pero 2 tiene menor varianza