Estimadores óptimos

Error estándar

Máxima verosimilitud
Caso continuo

2. Caso continuo.
X1 , X2 , . . . , Xn ∼ Pθ muestra de una distribución continua con
densidad fθ (x).
Datos de la muestra x1 , x2 , . . . , xn . La densidad conjunta

fθ (x1 , x2 , . . . , xn ) = fθ (x1 )fθ (x2 ) . . . fθ (xn )

Yn
= fθ (xi ) = Vn (θ),
i=1

función de verosimilitud.
Estimación de máxima verosimilitud es θ̂ tal que

Vn (θ̂) = máx Vn (θ)

θ

1 / 18
 Estimadores óptimos
Error estándar

Ejemplos
Exponencial

fλ (x) = λ exp(−λx), x ≥ 0,
n
Y X
Vn (λ) = λ exp(−λxi ) = λn exp(−λ xi ).
i=1
P
Sea S = xi , entonces Ln (λ) = n ln λ − λS , y la ecuación:

L0n (λ) = n/λ − S = 0

La estimación de máxima verosimilitud λ̂ = n/S = 1/x̄

2 / 18
 Estimadores óptimos
Error estándar

Ejemplos
Normal

Normal con parámetros m y σ , θ = (m, σ).

1 (x − m)2
fθ (x) = √ exp(− ), x ∈R
2πσ 2σ 2
n
1 Y (xi − m)2
Vn (θ) = √ exp(− )
( 2π)n σ n i=1 2σ 2

1 X (xi − m)2
= √ exp(− ).
( 2π)n σ n 2σ 2
i
√ X (xi − m)2
Ln (θ) = −n ln( 2π) − n ln(σ) −
2σ 2
i

3 / 18
 Estimadores óptimos
Error estándar

Ejemplos
Normal

Derivadas parciales
∂Ln X
= (xi − m)/σ 2 = 0
∂m
i

∂Ln X (xi − m)2

= −n/σ + =0
∂σ σ3
i
P P
De la primera: i (xi − m) = i xi − nm = 0, o m̂ = x̄.
De la segunda:
1X 1X
σ2 = (xi − m)2 = (xi − x̄)2
n n
i i
r
1
σ̂ = SCa
n
4 / 18
 Estimadores óptimos
Error estándar

Ejemplos
Uniforme

X1 , . . . , Xn muestra de una uniforme, en [0, θ], θ > 0

Densidad
1
fθ (x) = I[0,θ](x) .
θ
1.Método de momentos. Eθ X = θ/2, entonces θ/2 = X̄ ,
despejando θ̂mm = 2X̄ .
2. Maxima verosimilitud. Datos x1 , x2 , . . . , xn ∈ [0, θ], θ
desconocida. Vn (θ) = fθ (x1 , . . . , xn )
n
1 Y 1 1
= n I[0,θ](xi ) = n I[0,θ] ( máx xi ) = n I[0,θ] (T ),
θ θ 1≤i≤n θ
i=1

donde T = máx1≤i≤n xi = x(n) . Entonces

1
Vn (θ) = I (θ).
θn [T ,∞]
5 / 18
 Estimadores óptimos
Error estándar

Entonces Vn (θ) = 0 para θ < T , y Vn (θ) = θ1n si θ ≥ T .

Toma valor máximo si θ = T .
Estimacion de máxima verosimilitud θ̂mv = T = x(n)
Dos estimadores muy diferentes:

θ̂mm = 2X̄ , θ̂mv = X(n)

¿Cuál es mejor?¿Cómo medir la calidad de estimacion?

6 / 18
 Estimadores óptimos
Error estándar

Extencionesde metodos de estimación

Método de momentos.
Importante que
Pn k
i=1 Xi
→ EX k , n→∞
n
Aplicable entonces a sucesiones ergódicas , ⇒ aplicaciones a series
de tiempo.
Maxima verosimilitud.
Aplicable siempre que haya expresión analı́tica de la densidad
conjunta de observaciones X1 , . . . , Xn

7 / 18
 Estimadores óptimos
Error estándar

Riesgo

X1 , X2 , . . . , Xn una muestra de una distribución Pθ ,

Objetivo: estimar una funcion del parámetro τ (θ), con valores
reales.
Un estimador T = T (X1 , . . . , Xn ).
Error : T − τ (θ). Positivo o negativo
Error cuadrático: (T − τ (θ))2 .Variable aleatoria.
Error cuadrático promedio, dada θ: Eθ (T − τ (θ))2
Es llamado riesgo cuadrático del estimador y denotado R(θ; T ).
Función de θ. Pero θ ¡es desconocida!
Objetivo: minimizar el riesgo cualquiera que sea θ. ¿ Será posible?
Sin más suposiciones, ¡no!
Un ejemplo sigue.

8 / 18
 Estimadores óptimos
Error estándar

Ejemplo
Supongamos que existe Top óptimo, es decir,
R(θ; Top ) ≤ R(θ; T ) (1)
para cualquier estimador T y para cualquier θ.
Tomamos una θ = θ0 cualquiera. Y definamos T0 ≡ τ (θ0 )
(constante)
R(θ0 ; T0 ) = Eθ0 (T0 − τ (θ0 ))2 = 0
Por (1) R(θ0 ; Top ) = 0.
Como θ0 es arbitraria ⇒ R(θ; Top ) = 0 para toda θ.
Es decir
Eθ (Top − τ (θ))2 = 0
para toda θ.
Por tanto Pθ (Top = τ (θ)) = 1 para cualquier θ. Es decir, el ( único
) valor de Top define sin equivocación el valor de τ (θ) cualquiera
que sea θ. El problema es degenerado (se esta observando lo que
se quiere estimar)
9 / 18
 Estimadores óptimos
Error estándar

Insesgamiento

En casos menos triviales (no degenerados) se tienen que filtrar los

estimadores para no permitir que “se desprendan” de los datos o
su distribución. Que sigan la distribución “grosso modo”.
Por ejemplo, pedir que Eθ T = τ (θ) para cualquier θ (propiedad de
insesgamiento del estimador T ).
En problemas de estimadores óptimos se trabajan solo estimadores
insesgados.
Ejemplos.
Bernoulli con parámetro p.
p̂ = X̄ . ¿Insesgado?
P
Xi 1 X 1X 1
Ep X̄ = Ep i = Ep Xi = Ep Xi = np = p. Sı́ insesgado.
n n n n
i i

Lo mismo para le media de una normal. ¿σ̂ 2 para la normal?

10 / 18
 Estimadores óptimos
Error estándar

Varianza de una normal

Calcular E σ̂ 2 = E n1 i (Xi − X̄ )2 =?.
P
= E (Xi − X̄ )2 = E ((Xi − m) − n1 j (Xj − m))2
P

Xi − m normal N(0, σ 2 ), asi que se puede calcular tomando

Xi ∼ N(0, σ 2 ).
E (Xi − X̄ )2 = EXi2 − 2EXi X̄ + E X̄ 2
EXi2 = VarXi = σ 2 , E X̄ 2 = Var X̄ = Var n1 j Xj = n12 j VarXj
P P
2
= σn
σ2
EXi X̄ = EXi n1 j Xj = 1
EXi Xj = n1 EXi2 =
P P
n j n . Juntando:
σ2 σ2 σ2 n−1 2
E σ̂ 2 = E (Xi − X̄ )2 = σ 2 − 2 + = σ2 − = σ 6= σ 2 .
n n n n
n
¡Es sesgado σ̂ 2 ! Corrección: E n−1 σ̂ 2 = σ 2

n n SCa
σ̂ 2 = = s2
n−1 n−1 n
es indesgado. 11 / 18
 Estimadores óptimos
Error estándar

Ejemplo: uniforme
Eθ θ̂mm = Eθ (2X̄ ) = 2Eθ X = 2 2θ = θ . θ̂mm insesgado.
¿Lo mismo θ̂mv ? Es decir,T = X(n) ?
Necesitamos Eθ X(n) .
¿Distribución de X(n) ?
Pθ (X(n) ≤ x) = Pθ (máxi Xi ≤ x) = Pθ (Xi ≤ x ∀i, 1 ≤ i ≤ n)
= (Pθ (Xi ≤ x))n
Z x
1 x
Pθ (Xi ≤ x) = dx =
0 θ θ

⇒ FT (x) = ( xθ )n
nx n−1
⇒ fT (x) =
θn
Z θ θ
nx n−1 n θn+1
Z
n n
⇒ Eθ máx X(i) = x n dx = n x n dx = n = θ
i 0 θ θ 0 θ n+1 n+1
12 / 18
 Estimadores óptimos
Error estándar

Ejemplo: uniforme

n
Entonces Eθ θ̂mv = Eθ T = n+1 θ 6= θ ¡es un estimador sesgado!
Corrección
n+1
Eθ T = θ, ∀θ.
n
Entonces θ̂c = n+1
n T es insesgado.
¿Cuál es mejor de los dos estimadores insesgados?

13 / 18
 Estimadores óptimos
Error estándar

Estimadores insesgados

Propiedad.
Sea T un estimador insesgado para τ (θ). Entonces su riesgo
cuadrático es Varθ T .
Efectivamente,

R(θ; T ) = Eθ (T − τ (θ))2 = Eθ (T − Eθ T )2 = Varθ T

14 / 18
 Estimadores óptimos
Error estándar

Error estándar de un estimador

√
Definición: σθ (T ) = Varθ T se llama error estándar del
estimador. Es una caracterı́stica de la precisión de la estimación.
Suele especificarse:
“estimación ± error estándar”
Si no está disponible el valor “teórico”del error estándar, se usa
una estimación.

15 / 18
 Estimadores óptimos
Error estándar

Error estándar de un estimador

√
Definición: σθ (T ) = Varθ T se llama error estándar del
estimador. Es una caracterı́stica de la precisión de la estimación.
Suele especificarse:
“estimación ± error estándar”
Si no está disponible el valor “teórico”del error estándar, se usa
una estimación.
Ejemplo.
Estimador P X̄ de la P
media de una normal.
E X̄ = E n = E n i EXi = nm
i 1
n = m, ⇒ P estimador insesgado.
X
Varianza (riesgo cuadrático) Var X̄ = Var ni i = n12 Var i EXi
P
2 2
= nσ = σn .
n2 √
Error estándar σ/ n. Si no se conoce σ, se usa la estimación
√
s/ n.
√
Entonces se especifica x̄ ± s/ n.

16 / 18
 Estimadores óptimos
Error estándar

Comparación de riesgos
distribución uniforme

X1 , . . . , Xn muestra de una uniforme, en [0, θ], θ > 0

Dos estimadores insesgados θ̂mm = 2X̄ y θ̂c = n+1 n X(n)
Promedio θ , ¿varianza=? P
Varθ = Varθ 2X̄ = 4 n12 Varθ i Xi = n42 nVarθ X
θ2 θ2
= n42 n 12 = 3n
θ2
⇒ Varθ θ̂mm = .
3n
Ahora Varθ θ̂c = Varθ n+1 n+1 2
n X(n) = ( n ) Varθ X(n) .
Segundo momento Eθ X(n) 2

Z θ Z θ
nt n−1 n
t 2 n dt = n t n+1 dt
0 θ θ 0
n θn+2 θ2 n
= =
θn n + 2 n+2
17 / 18
 Estimadores óptimos
Error estándar

Varianza de T (= Eθ T − (Eθ T )2 ):

θ2 n n 2 n(n + 1)2 − (n + 2)n2

− θ2 ( ) = θ2
n+2 n+1 (n + 2)(n + 1)2

2n2 + n − 2n2 n
= θ2 2
= θ2
(n + 2)(n + 1) (n + 2)(n + 1)2
Retomando la varianza de θ̂c :

n+1 2 n+1 2 θ2 n
Varθ θ̂c = ( ) Varθ T = ( )
n n (n + 2)(n + 1)2

θ2 θ2
Varθ (θ̂c ) = , Varθ (θ̂mm ) = .
n(n + 2) 3n
Comparando para θ = 1, n = 100 el error estándar del segundo
√1 1
= 0.0577 , del primero √100·102 = 0.0099, casi 6 veces menor
300
el error del estimador basado en máxima verosimilitud.
18 / 18