Clase 16: Estimadores de máxima verosimilitud o de

maxima probabilidad

Lina Marı́a Acosta Avena*

ASESORIAS: LUNES DE 4:00 pm - 6:00 pm. VIERNES DE
9:00 am - 11:00 am, B43-103
Escuela de Estadı́stica
Universidad Nacional de Colombia, Sede Medellin
limacostaav@unal.edu.co
*
Estudiante de la Maestrı́a en Ciencias Estadı́stica

Estadı́stica I.

1
 INTRODUCCIÓN

En muchos casos el cálculo de probabilidades requiere del conocimiento de

la o las variables aleatorias involucradas. Pero aún conociendo la distribución
de dichas variables aleatorias, existen parámetros desconocidos al interior de
ella que no permiten este calculo.
Por ejemplo, se puede saber que los puntajes obtenidos en una prueba son
normales, pero desconocemos la media y varianza de los puntajes. Si la dis-
tribución de interés está completamente determinada por un número finito de
parámetros, es posible estimarlos usando el método de máxima verosimilitud
o máxima Probabilidad.

Estadı́stica I.

2
 INTRODUCCIÓN

Aparte del método de máxima verosimilitud, existen otros métodos para en-
contrar estimadores, como por ejemplo el método de los momentos, método
por analogı́a, entre otros, los cuales no se estudian en este curso.

ilustración del método de máxima verosimilitud

Suponga que en cierto año hubo dos serias inundaciones en determinada
región geográfica. Supónga que la variable aleatoria X cuenta el número de
inundaciones por año en esta localidad, ası́ X ∼ P(λ) con λ desconocido ¿co-
mo encuentro λ̂ el estimador de λ, si sólo tengo una observación (x = 2)?

Estadı́stica I.

3
 INTRODUCCIÓN

Un posible método es encontrar λ tal que P(X = 2) sea máxima. Supónga

que los valores de λ son 1, 32 , 2, 52 , 3. Recuerde que la f.d.p de una v.a. Poisson
es
λx −λ
f (x, λ) = e
x!

12 −1 (1,5)2 −1,5
P(X = 2, λ = 1) = e = 0,1839 P(X = 2, λ = 1,5) = e = 0,2510
2! 2!

22 −2 (2,5)2 −2,5
P(X = 2, λ = 2) = e = 0,2707 P(X = 2, λ = 2,5) = e = 0,2565
2! 2!

32 −3
P(X = 2, λ = 3) = e = 0,2240
2!

Estadı́stica I.

4
 INTRODUCCIÓN

Note que para λ = 2 P(X = 2) es máxima, esto nos indica que la observación
X = 2 tiene una probabilidad de mayor ocurrencia para una distribución de
Poisson con λ = 2 que para cualquier otro valor del parámetro λ.

Estadı́stica I.

5
 INTRODUCCIÓN

Hallemos ahora λ usando cálculo diferencial

λ2 −λ
P(X = 2, λ) = e
2!
∂P(X = 2, λ) 1 h −λ i
= 2λe − λ e 2 −λ
∂λ 2
gualamos la derivada a cero
1 h −λ i
2λe − λ2e−λ = 0 =⇒ λe−λ(2 − λ) = 0 =⇒ λe−λ = 0 ∨ 2 − λ = 0
2
=⇒ λ = 0 ∨ λ = 2
λ = 0 No puede ser, puesto que en la Poisson λ > 0, ası́ que λ = 2

Estadı́stica I.

6
 INTRODUCCIÓN

Veamos si λ = 2 es un máximo
∂2P(X = 2, λ) 1 h −λ i 1
−λ − 2λe−λ + λ2e−λ = e−λ[2 − 4λ + λ2 ]
= 2e − 2λe
∂λ2 2 2
Reemplazando λ = 2 en la segunda derivada, se tiene

∂2P(X = 2, λ) 1 −2 2 ] = 1 e−2(−2) = −e−2 < 0

= e [2 − 4(2) + (2)
∂λ2 2 2
Ası́ que λ = 2 es un máximo para P(2, λ)

Estadı́stica I.

7
 INTRODUCCIÓN

En otras palabras, el valor de λ = 2 es aquel para el cuál el valor de la proba-

bilidad de la observación es máximo, éste valor se conoce como estimador de
máxima verosimilitud o máxima probabilidad (hace que la distribución Poisson
sea la más probable)

Nota: Si se tiene una muestra aleatoria, el estimador de máxima verosimili-

tud es el valor del parámetro que maximiza el valor de la probabilidad de la
muestra aleatoria observada.

Estadı́stica I.

8
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Definición:
Sea X1, . . . , Xn una muestra aleatoria de una función f que depende de un
parámetro θ (o vector de parámetros), la cuál escribimos como f (x; θ).

La función de verosimilitud de la muestra, la cual se denota L(θ, X) o sim-

plemente L(θ), se define como
n
L(θ) = ∏ f (xi; θ)
i=1
El estimador de máxima verosimilitud de θ, denotado EMV o MLE, será aquel
valor de θ que maximiza a L(θ). Debido a que las expresiones para L(θ)
pueden ser complejas, se suele maximizar el logaritmo natural de L(θ), el
cual es denotado l(θ) = ln(L(θ)).

Estadı́stica I.

9
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Pasos para encontrar los EMV

1. Hallar la función de verosimilitud de θ

2. Hallar la función de log-verosimilitud de θ, l(θ) = ln(L(θ))

3. Aplicar el criterio de la primera derivada para encontrar los puntos crı́ticos,

es decir, encontrar los valores de θ tal que
∂l(θ)
=0
∂θ

4. Verificar que estos puntos crı́ticos son un máximo

Estadı́stica I.

10
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Nota

1. Los EMV no son siempre insesgados

2. Los MLE no siempre tienen mı́nima varianza.

3. Los MLE maximizan a l(θ)

Estadı́stica I.

11
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Ejemplo 1
Sea X1, . . . , Xn una muestra aleatoria de una distribución Bernoulli con parámetro
p. Halle el MLE para p.
Sln:
La función de masa de probabilidad de una Bernoulli con parámetro p es de
la forma:

p(x; p) = px(1 − p)1−x x = 0, 1

Estadı́stica I.

12
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Paso 1: Función de maxı́ma verosimilitud

n
L(p) = ∏ p(x; p)
i=1

n
= ∏ pxi (1 − p)1−xi
i=1

= px1 (1 − p)1−x1 · px2 (1 − p)1−x2 · · · pxn (1 − p)1−xn

n n
∑ xi n− ∑ xi
= pi=1 (1 − p) i=1

Estadı́stica I.

13
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Paso 2: Función de log verosimilitud

l(p) = ln(L(p))

 n n 
∑ xi n− ∑ xi
= ln  pi=1 (1 − p) i=1 

 n   n 
∑ xi n− ∑ xi
= ln  pi=1  + ln (1 − p) i=1 

!
n n
= ∑ xi ln(p) + n − ∑ xi ln(1 − p)
i=1 i=1

Estadı́stica I.

14
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Paso 3: Derivar la función de log - verosimilitud

!
∂l(p) n n
  
1 1
= ∑ xi − n − ∑ xi
∂p i=1 p i=1 1− p
0
Si p̂ es el MLE, entonces l ( p̂) = 0, ası́
!
n  
1 n 1

∑ i p̂
x − n − ∑ i 1 − p̂ = 0
x
i=1 i=1

Estadı́stica I.

15
 ESTIMADORES DE MAXIMA VEROSIMILITUD

n
! n − ∑ xi
1 n 1 n 1 − p̂
=⇒ ∑ xi =
p̂ i=1 1 − p̂
n − ∑ xi =⇒
p̂
= n
i=1
i=1 ∑ xi
i=1

1 n 1 n
=⇒ − 1 = n − 1 =⇒ p̂ = ∑ xi
p̂ n i=1
∑ xi
i=1
n
1
Verificar que p̂ = n ∑ xi es un máximo.
i=1
n
1
Nota: En este caso p̂ = n ∑ xi no se puede ver como un promedio, puesto
i=1
que la variable aleatoria toma valores de cero y uno, ası́ que p̂ es una propor-
ción
Estadı́stica I.

16
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Ejemplo 2
Sea X1, . . . , Xn una muestra aleatoria de una distribución Poisson con parámetro
λ desconocido. Halle el MLE para λ.
Sln:
La función de masa de probabilidad de una Poisson con parámetro λ es de la
forma:
λx −λ
p(x, λ) = e λ>0
x!

Estadı́stica I.

17
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Paso 1: Función de maxı́ma verosimilitud

n
L(λ) = ∏ p(x; λ)
i=1

n λxi
= ∏ e−λ
i=1 xi !

λx1 −λ λx2 −λ λxn −λ

= e · e · e
x1! x2! xn!

n
∑ xi
λi=1 e−nλ
=
∏ni=1 xi!

Estadı́stica I.

18
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Paso 2: Función de log - verosimilitud

l(λ) = ln(L(λ))

 n 
∑ xi
 λi=1 e−nλ 
= ln 
 ∏ xi! 
n

i=1

 n  !
∑ xi n
= ln λi=1  + ln(e−nλ) − ln ∏ xi!
i=1

!
n n
= ∑ xi ln λ − nλ − ln ∏ xi!
i=1 i=1
Estadı́stica I.

19
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Paso 3: Derivar la función de log - verosimilitud

∂l(λ) n x
= ∑ i −n
∂λ i=1 λ̂
0
Si λ̂ es el MLE, entonces l (λ̂) = 0, ası́
n x n x n x
∑ λ̂ − n = 0 =⇒ ∑ λ̂ = n =⇒ λ̂ = ∑ n = X̄
i i i
i=1 i=1 i=1

Estadı́stica I.

20
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Ejemplo 3
Sea X1, . . . , Xn una muestra aleatoria de una distribución normal con media µ y
varianza σ2, ambas desconocidas. Halle los estimadores máximo verosı́miles
para µ y σ2.
Sln:
Recordemos que la f.d.p de una normal es
1 − 12 (x−µ)2
f (x) = √ e 2σ x ∈ R, µ ∈ R, σ > 0
2πσ

Estadı́stica I.

21
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Hallemos la función de verosimilitud.

n 1 − 12 (xi−µ)2
L(µ, σ2) = ∏p e 2σ
i=1 2πσ2

1 − 12 (x1−µ)2 1 − 12 (x2−µ)2 1 − 12 (xn−µ)2

= e 2σ · e 2σ ··· e 2σ
(2πσ2)1/2 (2πσ2)1/2 (2πσ2)1/2

n
1
− 2 ∑ (xi−µ)2
= (2πσ2)−n/2e 2σ i=1

n
1
− 2 ∑ (xi−µ)2
= (2π)−n/2(σ2)−n/2e 2σ i=1

Estadı́stica I.

22
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Hallemos ahora la función de log - verosimilitud

l(µ, σ2) = ln(L(µ, σ2))

 n 
− 12 ∑ (xi−µ)2
= ln (2π)−n/2(σ2)−n/2e 2σ i=1 

 n 
− 12 ∑ (xi−µ)2
= ln((2π)−n/2) + ln((σ2)−n/2) + ln e 2σ i=1 

n n 1 n
= − ln(2π) − ln(σ ) − 2 ∑ (xi − µ)2
2
2 2 2σ i=1

Estadı́stica I.

23
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Hallemos ahora las derivadas con respecto a µ y σ2

∂l(µ, σ2) 1 n 1 n
= − 2 ∑ (xi − µ)(−2) = 2 ∑ (xi − µ)
∂µ 2σ i=1 σ i=1

∂l(µ, σ2) 1 n 1 n
   
n 1 2 −1 n
∂σ2
=−
2 σ2
− ∑ i
2 i=1
(x − µ)
σ4
= − 2 + 4 ∑ (xi − µ)2
2σ 2σ i=1

Estadı́stica I.

24
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Igualamos las derivadas a cero

1 n n n n 1 n
∑ (xi − µ̂) = 0 =⇒ ∑ xi − ∑ µ̂ = 0 =⇒ ∑ xi = nµ̂ =⇒ µ̂ = n ∑ xi = X̄
σ2 i=1 i=1 i=1 i=1 i=1

n 1 n 1 n n 1 n σ̂4
− 2 + 4 ∑ (xi − µ̂) = 0 =⇒
2
∑ (xi − X̄)2 = =⇒ ∑ (xi − X̄)2 = = σ̂ 2
2σ̂ 2σ̂ i=1 2σ̂4 i=1 2σ̂2 n i=1 σ̂2

1 n
=⇒ σ̂ =
2
n i=1∑
(xi − X̄)2 = Sn2

Ejercicio: Verificar que X̄ y S2 son máximos.

Estadı́stica I.

25
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Ejemplo 4
Sea X1, . . . , Xn una muestra aleatoria de una población con función de densi-
dad de probabilidad dada por
1 α−1 (− βx )
f (x) = x e ; x > 0, α > 0 y β > 0
Γ(α)βα
Si α es conocida, ¿cuál es el MLE para β?

Estadı́stica I.

26
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Sln:
Función de verosimilitud
n 1 xi
α−1 (− β )
L(α, β) = ∏ α xi e
i=1 Γ(α)β

x1 x2
1 α−1 (− β ) 1 α−1 (− β ) 1 α−1 (− xβn )
= x e · x e ··· x e
Γ(α)βα 1 Γ(α)βα 2 Γ(α)βα n

n x
1 n − ∑ βi
= ∏ xiα−1e i=1
[Γ(α)]nβnα i=1

Estadı́stica I.

27
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Función de log - verosimilitud

l(α, β) = ln(L(α, β))

 n x 
1 n − ∑ βi
= ln  ∏ i xα−1e i=1 
[Γ(α)]nβnα i=1

" #  n x 
n − ∑ βi
−n + ln β ∏ xiα−1

 −nα
= ln [Γ(α)] + ln + ln e i=1 
i=1
n 1 n
= −n ln[Γ(α)] − nα ln(β) + (α − 1) ∑ ln xi − ∑ xi
i=1 β i=1

Estadı́stica I.

28
 ESTIMADORES DE MAXIMA VEROSIMILITUD

∂l(α, β) nα 1 n
= − + 2 ∑ xi
∂β β β i=1
Igualamos a cero

nα 1 n 1 n nα 1 n β2
− + 2 ∑ xi = 0 =⇒ 2 ∑ xi = =⇒ ∑ xi =
β β i=1 β i=1 β nα i=1 β
!
1 1 n X̄
=⇒ β =
α ∑ xi
n i=1
=
α

Estadı́stica I.

29
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Ejemplo 5
Sea X1 = 0,5; X2 = 0,7; X3 = 0,8; X4 = 0,9; X5 = 0,4 una muestra aleatoria de
una población con función de densidad de probabilidad dada por

f (x) = (k + 1)xk , 0 < x < 1

   k+1
Sea θ = P X < 41 = 14 . Cual es el MLE para θ.

Estadı́stica I.

30
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Sln:
Función de verosimilitud
n
L(k) = ∏ (k + 1)xik
i=1

= (k + 1)x1k · (k + 1)x2k · · · (k + 1)xnk

n
= (k + 1)n ∏ xik
i=1

Estadı́stica I.

31
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Función de log - verosimilitud

l(k) = ln(L(k))
" #
n
= ln (k + 1)n ∏ xik
i=1
" #
n
= ln [(k + 1)n] + ln ∏ i
x k
i=1
n
= n ln(k + 1) + k ∑ ln(xi)
i=1
La derivada
∂l(k) n n
= + ∑ ln(xi)
∂k k + 1 i=1

Estadı́stica I.

32
 ESTIMADORES DE MAXIMA VEROSIMILITUD

Igualamos a cero

n n n n n
+ ∑ ln(xi) = 0 =⇒ = − ∑ ln(xi) =⇒ k̂ + 1 = − n
k̂ + 1 i=1 k̂ + 1 i=1 ∑ ln(xi)
i=1
Luego
5
k̂ + 1 = = 2,179
ln(0,5) + ln(0,7) + ln(0,8) + ln(0,9) + ln(0,4)
Ası́
   k̂+1  2,179
1 1 1
θ̂ = P X < = = = 0,049
4 4 4

Estadı́stica I.

33