Estimadores de Máxima Verosimilitud

Estadı́stica II - C138

Lucas Fernández Piana1

1 Depto
de Matemática y Ciencias
Universidad de San Andrés

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 1 / 10

Verosimilitud
Sean X1 , . . . , Xn una muestra aleatoria con función de densidad o
probilidad puntal conjunta fX1 ,...,Xn (x1 , . . . , xn |θ), llamaremos función de
verosimilitud a
n
Y
lik(θ) = fX1 ,...,Xn (x1 , . . . , xn |θ) = fXi (xi |θ).
i=1

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 2 / 10

Verosimilitud
Sean X1 , . . . , Xn una muestra aleatoria con función de densidad o
probilidad puntal conjunta fX1 ,...,Xn (x1 , . . . , xn |θ), llamaremos función de
verosimilitud a
n
Y
lik(θ) = fX1 ,...,Xn (x1 , . . . , xn |θ) = fXi (xi |θ).
i=1

Observación: miramos a la densidad o probabilidad puntual conjunta

como función de los parámetros θ.

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 2 / 10

Estimador
Definición
El Estimador de Máxima Verosimilitud (EMV) es el valor de θ que hace
máxima la lik(θ). Formalmente,

θ̂MV = argmax lik(θ).

θ

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 3 / 10

Estimador
Definición
El Estimador de Máxima Verosimilitud (EMV) es el valor de θ que hace
máxima la lik(θ). Formalmente,

θ̂MV = argmax lik(θ).

θ

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 3 / 10

Definiciones

Loglik
Dada una función de verosimilitud lik llamaremos loglik a la composición
de la lik con la función logaritmo. Es decir,

loglik(θ) = ln(lik(θ)).
La función logaritmo es monótona creciente, por lo tanto no afecta al
argumento del máximo de la lik. Más formalmente,

argmax lik(θ) = argmax loglik(θ).

θ θ

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 4 / 10

Definiciones

Loglik
Dada una función de verosimilitud lik llamaremos loglik a la composición
de la lik con la función logaritmo. Es decir,

loglik(θ) = ln(lik(θ)).
La función logaritmo es monótona creciente, por lo tanto no afecta al
argumento del máximo de la lik. Más formalmente,

argmax lik(θ) = argmax loglik(θ).

θ θ

En el caso de muestra aleatorias nos queda,

n n
!
Y X
loglik(θ) = log fXi (xi |θ) = log (fXi (xi |θ) .
i=1 i=1

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 4 / 10

Distribución de Poisson

Sea X1 , . . . , Xn una muestra aleatoria con distribución P(λ), calculemos el

EMV.
n n
Y Y λxi
lik(λ) = pXi (xi |λ) = e −λ .
xi !
i=1 i=1

Ahora aplicamos logaritmo,

n n
!
λxi −λ
Y X  
loglik(λ) = log pXi (xi |λ) = log e
xi !
i=1 i=1
n   xi  
X λ
= log − λlog (e) .
xi !
i=1

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 5 / 10

Distribución de Poisson

n
X n
X
loglik(λ) = [log (λxi ) − log (xi !) − λ] = [xi log (λ) − log (xi !) − λ]
i=1 i=1
n
X n
X
= log (λ) xi − log (xi !) − nλ.
i=1 i=1

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 6 / 10

Distribución de Poisson

n
X n
X
loglik(λ) = [log (λxi ) − log (xi !) − λ] = [xi log (λ) − log (xi !) − λ]
i=1 i=1
n
X n
X
= log (λ) xi − log (xi !) − nλ.
i=1 i=1

Recordemos que nuestro objetivo es encontrar el valor de λ que maximiza

la lik. Para eso debemos derivar e igual a cero para encontrar los puntos
crı́ticos.

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 6 / 10

Distribución de Poisson

n
X n
X
loglik(λ) = [log (λxi ) − log (xi !) − λ] = [xi log (λ) − log (xi !) − λ]
i=1 i=1
n
X n
X
= log (λ) xi − log (xi !) − nλ.
i=1 i=1

Recordemos que nuestro objetivo es encontrar el valor de λ que maximiza

la lik. Para eso debemos derivar e igual a cero para encontrar los puntos
crı́ticos.
n n
1X 1X
∂λ loglik(λ) = xi − 0 − n = xi − n.
λ λ
i=1 i=1

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 6 / 10

Distribución de Poisson

Igualamos la derivada a cero,

n
1X
0= xi − n
λ
i=1
n
1 X
n= xi
λ
i=1
n
1 X
λ= xi = x n .
n
i=1

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 7 / 10

Distribución de Poisson

Igualamos la derivada a cero,

n
1X
0= xi − n
λ
i=1
n
1 X
n= xi
λ
i=1
n
1 X
λ= xi = x n .
n
i=1

Finalmente, reemplazamos por la muestra aleatoria, recordemos que los

estimadores son variables aleatorias
n
1X
λ̂MV = Xi = X n .
n
i=1

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 7 / 10

Criterios de Bondad

Sesgo
Sea X1 , . . . , Xn una muestra aleatoria proveniente de una distribución
F (x|θ) y sea θ̂ un estimador para θ. Definimos el sesgo del estimador como

B(θ̂) = E (θ̂) − θ.
Decimos que el estimador es:
Insesgado si B(θ̂) = 0
Asintóticamente Insesgado si B(θ̂) −−−→ 0.
n→∞

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 8 / 10

ECM

Definición
Sea X1 , . . . , Xn una muestra aleatoria proveniente de una distribución
F (x|θ) y sea θ̂ un estimador para θ. Definimos el Error Cuadrático Medio
(ECM) como
 
ECM(θ̂) = E (θ̂ − θ)2 .

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 9 / 10

ECM

Definición
Sea X1 , . . . , Xn una muestra aleatoria proveniente de una distribución
F (x|θ) y sea θ̂ un estimador para θ. Definimos el Error Cuadrático Medio
(ECM) como
 
ECM(θ̂) = E (θ̂ − θ)2 .

Proposición
Sea X1 , . . . , Xn una muestra aleatoria proveniente de una distribución
F (x|θ) y sea θ̂ un estimador para θ. Entonces,

ECM(θ̂) = B(θ̂)2 + var (θ̂).

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 9 / 10

Definición
Sea X1 , . . . , Xn una muestra aleatoria proveniente de una distribución
F (x|θ) y sea θ̂ un estimador para θ. Decimos que θ̂ es un estimador
P
consistente para θ si: θ̂ −−−→ θ. Es decir, si
n→∞
 
∀  > 0 P |θ̂ − θ| >  −−−→ 0.
n→∞

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 10 / 10

Definición
Sea X1 , . . . , Xn una muestra aleatoria proveniente de una distribución
F (x|θ) y sea θ̂ un estimador para θ. Decimos que θ̂ es un estimador
P
consistente para θ si: θ̂ −−−→ θ. Es decir, si
n→∞
 
∀  > 0 P |θ̂ − θ| >  −−−→ 0.
n→∞

Proposición
Sea θ̂ un estimador de θ, tal que ECM(θ̂) −−−→ 0, entonces el estimador
n→∞
es consistente.

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 10 / 10

Definición
Sea X1 , . . . , Xn una muestra aleatoria proveniente de una distribución
F (x|θ) y sea θ̂ un estimador para θ. Decimos que θ̂ es un estimador
P
consistente para θ si: θ̂ −−−→ θ. Es decir, si
n→∞
 
∀  > 0 P |θ̂ − θ| >  −−−→ 0.
n→∞

Proposición
Sea θ̂ un estimador de θ, tal que ECM(θ̂) −−−→ 0, entonces el estimador
n→∞
es consistente.
Observación: para probar que un estimador es consistente tenemos dos
estrategias,
Ley de los Grandes Números, lo vimos la clases pasada, es la más fácil
en general cuando se puede aplicar.
Probar que el error cuadrático medio tiende a cero.

Fernández Piana, Lucas Máxima Verosimilitud Primavera 2022 10 / 10