Está en la página 1de 22

Universidad Técnica Federico Santa María

Capítulo 7

Estimación de Parámetros

Estadística Computacional

II Semestre 2007

Prof. Carlos Valle


Página : www.inf.utfsm.cl/~cvalle
e-mail : cvalle@inf.utfsm.cl

C.Valle

Estimación de Parámetros
El objetivo de la estimación de parámetros es proveer de
métodos que permitan determinar con cierta precisión, el
vector de parámetros desconocidos ϑ, de un modelo
estadístico f(x ; ϑ) a partir de una muestra aleatoria de
una población bajo estudio.

1. Método de estimación Puntual


2. Método de estimación por Intervalos

1
Universidad Técnica Federico Santa María

Estimación de Parámetros

1. Método de estimación Puntual:


Se busca un estimador ϑ que, con base en los
datos muestrales, dé origen a una estimación
univaluada del valor del parámetro.

2. Método de estimación por Intervalos:


Se determina un intervalo aleatorio I(ϑ), donde
con cierta probabilidad, se encuentra el valor del
parámetro ϑ.
3

Estimación Puntual

La idea detrás de la estimación puntual es bastante


simple. Cuando muestreamos desde una población
descrita por su función de densidad o cuantía, f ( x | θ )
conocer θ significa conocer la población entera.

Por lo tanto, es natural contar con métodos para


encontrar buenos estimadores del parámetro θ .

2
Universidad Técnica Federico Santa María

Definición de Estimador
Un estimador es una regla que nos indica cómo obtener un
parámetro de un modelo, basándose en la información
contenida en una muestra ( M={ f ( x | θ ) : θ ∈ Θ } modelo )
T : χ τ⊂Θ
x T (x) = T (X1, X2,...., Xn)
T (x) : Estimador de θ, variable aleatoria, función de la
muestra, que no depende del parámetro θ.
(T (x) es una estadística basada en la Información χ)
χ={x : x es una muestra aleatoria} Espacio de Información
♦ En lo que sigue θˆ = T (X1, X2,..., Xn) estimador de θ.
5

Métodos de Estimación Puntual

♦ Método de Momentos

♦ Método de Máxima Verosimilitud

3
Universidad Técnica Federico Santa María

Método de Momentos
Momentos Observados Momentos Observados
n
(centrados en cero)
m1 = 1 / n ∑ X i1 , µ1 = E[ X 1 ]
i =1
n
m2 = 1 / n ∑ X i2 , µ2 = E[ X 2 ]
i =1
Μ Μ Μ
n
mk = 1 / n ∑ X ik , µk = E[ X k ]
i =1

y resolvemos el sistema de ecuaciones:


mr = µ r , r = 1,..., k
7

Método de Máxima Verosimilitud


El método de MV es la técnica más popular para
derivar estimadores. Sea X1,X2,…,Xn, una muestra
desde una población con función de densidad
f ( x | θ1 ,θ 2 ,...,θ k )

La función de verosimilitud se define como:


n
L( x | θ ) = L( x1 , x1 ,.., xn | θ1 , θ 2 ,.., θ k ) = ∏i =1 f ( xi | θ1 , θ 2 ,.., θ k )
)
Para cada punto Xi de la muestra, θ es el estimador
de los parámetros en el cual L( x | θ ) alcanza su valor
máximo como función del verdadero valor θ .
8

4
Universidad Técnica Federico Santa María

Método de Máxima Verosimilitud


Si la función de verosimilitud es diferenciable (en) θ ),
el estimador de máxima verosimilitud (EMV) θ del
verdadero valor θ es aquel que resuelve:

L( x | θ ) = 0, i = 1,..., k
∂θ i
No obstante, habría que chequear que se cumple:
 ∂2 
 L( x | θ ) θ =θˆ , < 0 i, j = 1,..., k
 ∂θ i ∂θ j 

Método de Máxima Verosimilitud


Dependiendo de la p.d.f, puede resultar muy
complicada la función de verosimilitud, es por ello que
es más fácil trabajar con la función de log-
verosimilitud, definida como:
λ( x | θ ) = ln L( x | θ ) = ∑i =1 ln f ( xi | θ1 ,θ 2 ,...,θ k )
n

Equivalentemente, el EMV θˆ es el valor de θ para el


cual se cumple:

λ( x | θ ) = 0, i = 1,..., k
∂θ i
10

5
Universidad Técnica Federico Santa María

Métodos de Evaluación de E.Puntual


Error Cuadrático Medio (ECM):

El ECM de un estimador T ≡ θˆ del parámetro es E[(T − θ ) 2 ]

El ECM mide el promedio de la diferencias cuadrática entre el


estimador y el verdadero valor del parámetro, y ha sido por
mucho tiempo una medida razonable del desempeño de todo
estimador puntual.

Una medida alternativa podría ser E[| T − θ |] . No obstante, la


medida cuadrática que utiliza ECM tiene ventajas sobre otras
medidas: primero que es tratable analíticamente, y segundo que
tiene la siguiente interpretación ( dilema sesgo/ variancia):
11

Métodos de Evaluación de E.Puntual


Error Cuadrático Medio (ECM):
ECM (T ) = E [T − θ ]2 = E[T 2 − 2Tθ + θ 2 ]
= E[T 2 ] − 2θE[T ] + θ 2
= V [T ] + ( E[T ]) 2 − 2θE[T ] + θ 2
= V [T ] + ( E[T ] − θ )2
= V [T ] + ( Sesgo(T )) 2

Donde se define el Sesgo (Bias) de un estimador puntual


como:
Sesgo(T ) = E[T ] − θ
12

6
Universidad Técnica Federico Santa María

Métodos de Evaluación de E.Puntual


Error Cuadrático Medio (ECM):

El ECM incorpora dos componentes, una que mide la


variabilidad del estimador (precisión) y la otra que mide su
sesgo (cercanía al verdadero valor).

Un buen estimador tiene un ECM pequeño, i.e. tiene


varianza y sesgo pequeños. Pareceθ razonable entonces
escoger como el mejor estimador de , la estadística que
tenga el ECM másθ pequeño posible de entre todos posibles
los estimadores

13

Métodos de Evaluación de E.Puntual


Error Cuadrático Medio (ECM): No obstante, no existe
ningún estimador que minimice el ECM para todos los
posibles valores de θ . Es decir, un estimador puede tener
un ECM mínimo para algunos valores de θ , mientras que
otro estimador tendrá la misma propiedad, pero para otros
valores de θ .

Ejemplo: Considere la m.a. X1,X2,…,Xn de alguna


distribución tal que E [X i ] = µ y V [X i ] = σ 2 . Considere
las estadísticas (estimadores):
1 n 1 n
T1 = ∑ Xi = X
n i =1
y T2 = ∑ Xi
n + 1 i =1
como posibles estimadores de µ . 14

7
Universidad Técnica Federico Santa María

Métodos de Evaluación de E.Puntual


Estimadores Consistentes:
Es razonable esperar que un buen estimador de un
parámetro θ sea cada vez mejor conforme crece el tamaño
de la muestra.

Esto es, conforme la información de una v.a. se vuelve más


completa, la distribución de muestreo de un buen estimador
se encuentra cada vez más centrada alrededor del
parámetro θ .

15

Métodos de Evaluación de E.Puntual


Estimadores Consistentes:
Sea T el estimador del parámetro θ , y sea T1 , T2 ,..., Tn una
secuencia de estimadores que representan a T con base en
muestras de tamaño 1,2..,n, respectivamente. Se dice que T es
un estimador consistente para θ si

lim n→∞ P (| Tn − θ |≤ ε ) = 1 , ∀θ , ∀ε > 0

Obs.: Esta definición proviene del concepto de Convergencia


en Probabilidad. Como ejemplo, anteriormente demostramos
que la media muestral X n es un estimador consistente de la
media poblacional µ .
16

8
Universidad Técnica Federico Santa María

Métodos de Evaluación de E.Puntual


Estimadores Insesgados de Varianza Mínima:
Es difícil determinar un estimador con mínimo ECM para
todo valor de θ . Sin embargo, podemos efectuar esta
búsqueda dentro de una clase de estimadores llamados
“estimadores insesgados”. Si un estimador T se encuentra
dentro de esta clase, se tiene que:
E[T ] = θ y ECM (T ) = V [T ]

Entonces, dentro de la clase de estimadores insesgados,


podemos comparar éstos según su varianza.

17

Métodos de Evaluación de E.Puntual


Estimadores Insesgados de Varianza Mínima:
Sea X1,X2,…,Xn una m.a. de una distribución cuya densidad
tiene la forma f ( x | θ ) . Si T es un estimador insesgado de θ ,
entonces la varianza de T debe satisfacer la siguiente
desigualdad:
−1
  ∂ ln f ( X | θ ) 2  
V [T ] ≥ nE   
  ∂θ   

Esta desigualdad establece un límite inferior para la varianza


de un estimador de θ (denominado “cota inferior de Cramér-
Rao”).
18

9
Universidad Técnica Federico Santa María

Métodos de Evaluación de E.Puntual


Estimadores Eficientes:
Si T es un estimador insesgado del parámetro θ , se dice que T
es un estimador eficiente si se cumple que:
−1
  ∂ ln f ( X | θ ) 2  
V [T ] = nE   
  ∂θ   
Por lo tanto, el estimador eficiente de θ es el estimador de
mínima varianza, cuyo valor corresponde a la cota inferior de
Cramér-Rao.
El estimador eficiente de θ , si se puede encontrar, es el mejor
estimador insesgado de θ , en el contexto del ECM.
19

Métodos de Evaluación de E.Puntual


Estimadores Eficientes:
Ejemplo: Sean X1,X2,…,Xn una m.a. de una distribución
Poisson de parámetro λ . Encuentre el estimador eficiente
de λ .

Solución: Consideremos una distribución Poisson.


dada por p( x | λ ) = e − λ λx / x!, y su esperanza y varianza
2
están dadas por E[ X ] = µ = λ y V [X ] = σ = λ . Luego:

ln p( x | λ ) = x ln(λ ) − λ − ln( x! )
∂ ln p( x | λ ) x x−λ
= −1 =
∂λ λ λ
20

10
Universidad Técnica Federico Santa María

Métodos de Evaluación de E.Puntual


Estimadores Eficientes:
Ejemplo:
Entonces:  ∂ ln p( x | λ ) 2  x −λ
2

E    = E
 ∂λ    λ 
1 V[X ] 1
= 2 E [x − λ ] = 2 =
2

λ λ λ
Y por la definición de eficiencia, el estimador eficiente T de λ
debe ser tal que se cumpla: 1 λ σ2
V [T ] = = =
n/λ n n
De aquí inferimos que el estimador eficiente de λ es la
media muestral: T = X .
21

Métodos de Evaluación de E.Puntual


Eficiencia Relativa:
Se define la eficiencia relativa del estimador T2 respecto del
estimador T1 como: ECM (T1 )
ef (T2 , T1 ) =
ECM (T2 )
La varianza de un estimador insesgado es la cantidad más
importante para decidir qué tan bueno es. Si T1 y T2 son dos
cualesquiera estimadores insesgados de θ :
V [T1 ]
ef (T2 , T1 ) =
V [T2 ]
Se dice que T1 es más eficiente que T2 si V [T1 ] ≤ V [T2 ] .
22

11
Universidad Técnica Federico Santa María

Métodos de Evaluación de E.Puntual


Una estadística suficiente de un parámetroθ es aquella que utiliza
toda la información contenida en la m.a. con respecto a θ
Estimadores Suficientes:
Sea X1,X2,…,Xn una m.a. de una distribución con densidad de
probabilidad f ( x | θ ) . Se dice que T = T(X1,X2,…,Xn) es
suficiente para θ sí y sólo si la función de verosimilitud
puede factorizarse de la siguiente forma:

L( x | θ ) = L( x1 , x1 ,..., xn | θ ) = h(t | θ ) g ( x1 ,..., xn )

para cualquier valor t = T(x1,x2,…,xn) de T (realización) y en


donde g ( x1 ,..., xn ) no contiene al parámetro θ .
23

Métodos de Evaluación de E.Puntual


Estimadores Suficientes:
Ejemplo: Sea X1,X2,…,Xn una m.a. de una distribución
Poisson con pdf p( x | λ ) = e − λ λx /. x!
Demostrar que el estimador eficiente de λ es a su vez
suficiente.
Solución:
L( x1 , x1 ,..., xn | λ ) = p( x1 | λ ) p( x2 | λ )Λ p( xn | λ )
= e − λ λx1 / x1!⋅e − λ λx2 / x2!⋅Λ ⋅ e − λ λxn / xn !
n
= λ∑i =1 i e −nλ /
n
x
∏x!
i =1
i

24

12
Universidad Técnica Federico Santa María

Métodos de Evaluación de E.Puntual


Estimadores Suficientes:
Solución:
( )
L( x1 , x1 ,..., xn | λ ) = h ∑i =1 xi | λ g ( x1 , x2 ,..., xn )
n

( )
h ∑i =1 xi | λ = λ∑i =1 i e −nλ
n
n x
con

Entonces ∑i =1 xi es una estadística suficiente para λ . Dado


n

que el estimador eficiente X es una función uno a uno de


esta estadística, X también es suficiente para λ .

25

Propiedades de los Estimadores


Máximo Verosímiles

Todo estimador máximo verosímiles es:

Asintóticamente insesgados
Asintóticamente normales
Asintóticamente eficientes
Invariantes bajo transformaciones biunívocas
Si ∃ estimador suficiente, θˆMV es suficiente

26

13
Universidad Técnica Federico Santa María

Estimación por Intervalos

En la práctica, interesa no sólo dar una estimación


de un parámetro, sino que además, un intervalo
que permita precisar la incertidumbre existente en
la estimación.
Definición: Sea x m.a. ∝ f ( x , θ ). Sean θ1=T1(x),
θ2=T2(x) dos estadísticas de θ : T1 ≤ T2 ∧ ∀x ∈χ ;
P [θ1 ≤ θ ≤ θ2] = 1 - α = γ

Entonces el I = [θ1 ; θ2] se llama intervalo aleatorio


de confianza del 100 γ % para θ ( 0 < α < 1 ).
27

Estimación por Intervalos


Fijado α, el problema de determinar θ1 y θ2 puede
resolverse encontrando una variable aleatoria
θ) cuya distribución esté totalmente definida,
Q(x,θ
que sea independiente de θ.

θ) se denomina “Cantidad Pivotal”.


La variable Q(x,θ

La construcción del intervalo de confianza se


efectúa con base en el mejor estimador del
parámetro desconocido θ.

28

14
Universidad Técnica Federico Santa María

Método de la Cantidad Pivotal


1. Encontrar una cantidad Q.
2. P [q1 ≤ Q ≤ q2] = 1 - α = γ
3. Invertir P [θ1 ≤ θ ≤ θ2] = γ , obteniendo así un
[θ1 ; θ2] de confianza para θ de nivel
intervalo I=[θ
100 γ %.
Obs: Para muestras grandes existe una v. a. Q asintótica
ˆ
ya que para θˆMV , se tiene Q = Z = θ − θ MV ≈ N ( 0 ;1 )
( )
σ θˆ MV

El intervalo para θ estaría dado por: I MV = [θˆ


1 − α 2 σ (θ MV
± z ˆ )]
donde el cuantil z1−α / 2 puede obtenerse de la tabla de la
distribución Normal estándar. 29

Estimación por Intervalos


1) I. C. para µ cuando suponemos normalidad con varianza
conocida:

Considerando como estimador de la media poblacional


como la media muestral X , deseamos construir un intervalo
de confianza tal que:
P[ g1 (µ ) < X < g 2 (µ )] = 1 − α = P[T1 ( x) < µ < T2 ( x)]
g1 ( µ ) ∞

Donde ∫ f ( x; µ ) d x = α / 2 y ∫µ f ( x; µ )d x = α / 2
g2 ( )
−∞
f ( x; µ ) es la función de densidad de la distribución de muestreo
de X , y g1 ( µ ) y g2 ( µ ) son funciones de µ , las cuales
no contienen a ningún otro parámetro desconocido.
30

15
Universidad Técnica Federico Santa María

Estimación por Intervalos


1) I. C. para µ cuando suponemos normalidad con
varianza conocida:
( X − µ)
Puesto que X ~ N (µ , σ ) , la v.a. Z= ~ N (0,1) ,
(σ / n )
entonces:
 σ σ 
P[ g1 ( µ ) < X < g 2 ( µ )] = P  X − z1−α / 2 < µ < X + z1−α / 2  = 1−α
 n n

g1 ( µ ) − µ g2 (µ ) − µ
= q2 = z1−α / 2
considerando σ / n = q1 = zα / 2 y σ/ n ,
además de zα / 2 = q1 = −q2 = − z1−α / 2 se tiene:
 σ σ 
I γ ( µ ) = P  X − z1−α / 2 < µ < X + z1−α / 2  = 1−α
 n n 31

Estimación por Intervalos


1) I. C. para µ cuando suponemos normalidad con varianza
conocida:
Luego, el intervalo de confianza del 100(1 − α )% para la media
poblacional es:

 σ σ   σ 
I =  x − z1−α / 2 , x + z1−α / 2  =  x ± z1−α / 2
 n n  n 

donde el cuantil z1−α / 2 puede obtenerse de la tabla de la


distribución Normal estándar.

32

16
Universidad Técnica Federico Santa María

Estimación por Intervalos


2) I. C. para µ cuando suponemos normalidad con varianza
desconocida:
Sabemos que cuando se muestrea una v.a. X ~ N ( µ ,σ ) ,
donde tanto µ como σ son desconocidos, la v.a.
X − µ sigue una distribución t-Student con (n-1) gl.,
T=
S / n donde S es la desviación estándar y n es el
tamaño de la muestra.

Por lo tanto, es posible determinar el valor del cuantil


t1−α / 2,n −1 de T, para el cual:

P[ −t1−α / 2 ,n −1 < T < t1−α / 2,n −1 ] = 1 − α


33

Estimación por Intervalos


2) I. C. para µ cuando suponemos normalidad con varianza
conocida:

 S S 
Entonces: P  X − t1−α / 2,n −1 < µ < X + t1−α / 2 ,n −1 = 1−α
 n n 
Luego, el intervalo de confianza del 100(1 − α )% para la media
poblacional es:
 s s   s 
I =  x − t1−α / 2,n −1 , x + t1−α / 2,n −1  =  x ± t1−α / 2,n −1
 n n  n 

donde el cuantil t1−α / 2,n −1 puede obtenerse de la tabla de la


distribución t-Student con (n-1) grados de libertad.
34

17
Universidad Técnica Federico Santa María

Estimación por Intervalos


3) I. C. para la diferencia de medias ( distribuciones
normales independientes):

Sean X1,X2,…,Xn y Y1,Y2,…,Ym dos m.a. provenientes de


dos distribuciones normales independientes, con medias µ X
y µY y varianzas σ X2 y σ Y2 , respectivamente.

Se desea construir un intervalo de confianza para la


diferencia µ X − µY , con el supuesto que se conocen las
varianzas.
X − Y − ( µ X − µY )
Es sabido que la v.a. Z = 2 2
~ N (0,1)
σX σY
+
n m
35

Estimación por Intervalos


3) I.Confianza para la diferencia de medias cuando se
muestrean dos distribuciones normales independientes:

Por lo tanto, es posible determinar el valor del cuantil


z1−α / 2 para el cual P[ − z1−α / 2 < Z < z1−α / 2 ] = 1 − α
Entonces:
 σ X2 σ Y2 σ X2 σ Y2 
P  X − Y − z1−α / 2 + < µ X − µY < X − Y + z1−α / 2 +  = 1−α
 n m n m 
 2 2 
El intervalo está dado por: I γ ( µ1 − µ 2 ) =  x − y ± z1−α / 2 σ X + σ Y 
 n m 

donde el cuantil z1−α / 2 puede obtenerse de la tabla de la


distribución Normal estándar. 36

18
Universidad Técnica Federico Santa María

Estimación por Intervalos


3) I. C. para la diferencia de medias ( distribuciones normales
independientes):

Si las varianzas se desconoce, pero son iguales, entonces la


v.a. X − Y − ( µ X − µY )
Z= ~ t − Student (k ) k = n + m − 2 gl
1 1
Sp +
n m

 
El intervalo está dado por: I γ ( µ1 − µ 2 ) =  x − y ± t1−α / 2,k s p 1 + 1 
 n m 
donde el estimado combinado de la varianza común es:
(n − 1) s X2 + (m − 1) sY2
s 2p =
k 37

Estimación por Intervalos


4) I.C. para σ 2 cuando suponemos normalidad con media
desconocida:

Sabemos que cuando se muestrea una v.a. X ~ N ( µ ,σ ) ,


donde tanto µ como σ son desconocidos, la v.a.
( n − 1) S 2 sigue una distribución Ji-cuadrada con (n-1) gl.,
χ2 =
σ2 donde S es la desviación estándar y n es el
tamaño de la muestra.

Por lo tanto, es posible determinar el valor de los cuantiles


χ 2α / 2 ,n −1 y χ 21−α / 2,n −1 tales que
P[ χ 2α / 2,n −1 < χ < χ 21−α / 2 ,n −1 ] = 1 − α
38

19
Universidad Técnica Federico Santa María

Estimación por Intervalos


2
4) I. :C. para σ cuando suponemos normalidad con media
desconocida:

Luego, el intervalo de confianza del 100(1 − α )% , para la


varianza, con base en los datos de una muestra de tamaño n
es:
 ( n − 1) s 2 (n − 1) s 2 
I = 2 , 2 
 χ 1−α / 2,n −1 χ α / 2,n −1 
2 2
donde los cuantiles χ α / 2 ,n −1 y χ 1−α / 2,n −1 se obtienen de la
tabla de la distribución Ji-Cuadrada con (n-1) g.l.

39

Estimación por Intervalos


5) I. C. para el cuociente de dos varianzas (distribuciones
normales independientes):

Sean X1,X2,…,Xn y Y1,Y2,…,Ym dos m.a. de dos


distribuciones normales independientes, con medias µ X y µY
y varianzas σ X2 y σ Y2 , respectivamente.

Se desea construir un intervalo de confianza para el


2 2
cuociente σ Y / σ X .
S X2 SY2
Es sabido que la v.a. F = / ~ F (n − 1, m − 1)
σ X2 σ Y2
40

20
Universidad Técnica Federico Santa María

Estimación por Intervalos


I. C. para el cuociente de dos varianzas (distribuciones
normales independientes):

Por lo tanto, es posible determinar los cuantiles a y b tales


que: P[Fa < F < Fb ] = 1 − α
donde 1 1
Fa = y Fb =
f1−α / 2,n −1,m −1 f1−α / 2,n −1,m −1

El intervalo está dado por: I =  Fa sY , Fb sY 


2 2

 s2 s2 
 X X 
donde los cuantiles Fa y Fb pueden obtenerse de la tabla de la
distribución F con (n-1) y (m-1) grados de libertad.
41

Intervalo de Confianza Cantidad Pivotal


 X − µ0 
z =  n (σ conocido)
Para la media µ  σ 
 X − µ0 
t =  n (σ desconocido)
 S 

Para la variancia σ 2 (n − 1)S 2


χ2 =
σ 2 ∼ χ 2 n −1

42

21
Universidad Técnica Federico Santa María

Intervalo de Confianza Cantidad Pivotal

Diferencia µ1 − µ 2 ( X 1 − X 2 ) − (µ1 − µ 2 )
σ 2 desconocid a n1 + n2 ∼ t n1 + n2 − 2
SP
2
σ1 = σ 2 2 n1n2

σ 2 desconocid a
( X 1 − X 2 ) − (µ1 − µ 2 ) t n1 + n2 − ∆ − 2
2 2
2
S1 S 2
2 ∼
σ1 ≠ σ 2 SP +
n1 n2

2
S1
2
σ1 / σ 2 2

S2
2 ∼ F(n1 −1,n2 −1)

X − npˆ mv
p ∼ N (0,1)
npˆ mv (1 − pˆ mv )
43

22

También podría gustarte