Math-F-207 Corrig e s eance 4

Seance 4 : Estimateurs maximum de vraisemblance et methode des moments.

Exercices
Exercice 1
Soient X
1
, . . . , X
n
i.i.d. de loi de Poisson de moyenne . Determinez le MLE pour le param`etre .
Solution :
Comme dans tous les exercices, on cherche la valeur T(X) qui maximise le logarithme de la vrai-
semblance (ceci est bien s ur equivalent `a maximiser la vraisemblance...mais `a lavantage davoir des
derivees plus aisees `a calculer). Ainsi,
L

(X) =
e
n

i
X
i
!

P
i
X
i
log L

(X) = n +

i
X
i
log log(

i
X
i
!)

log L

(X) = n +

i
X
i

log L

(X) = 0 n =

i
X
i

=
1
n
n

i=1
X
i
Verions que cette valeur est bien un maximum : prenons la derivee seconde.

log L

(X) = 0

i
X
i

2
,
qui est toujours negatif. Lestimateur maximum de vraisemblance est

= T(X) =

X.
Exercice 2
Soient X
1
, . . . , X
n
i.i.d. Bin(1, p). Determinez le MLE pour le param`etre p.
Solution :
Toujours les memes idees :
L
p
(X) = p
P
i
X
i
(1 p)
n
P
i
X
i
log L
p
(X) = log p

i
X
i
+ (n

i
X
i
) log(1 p)

p
log L
p
(X) =

i
X
i
p

(n

i
X
i
(1 p)

p
log L
p
(X) = 0 (1 p)

i
X
i
= p(n

i
X
i
)

i
X
i
p

i
X
i
= np p

i
X
i
p =
1
n

i
X
i
=

X
Ainsi, lestimateur maximum de vraisemblance est p =

X.
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Exercice 3
Soient X
1
, . . . , X
n
i.i.d. N(,
2
). Determinez le MLE pour le param`etre = (,
2
)
T
. En deduire
le MLE pour
a) le param`etre , etant suppose connu,
b) le param`etre
2
, etant suppose connu.
Solution :
On trouve,
L

(X) =
n

i=1
1

2
exp
_
1
2
2

i
(X
i
)
2
_
log L

(X) = C
n
2
log
_

2
_

1
2
2
n

i=1
(X
i
)
2

log L

(X) =
_

log L

(X)

2
log L

(X)
_
=
_
1

i
(X
i
)

2
+
1
2
4

i
(X
i
)
2
_
=
_
n

2
(

X )
n
2
4
_
n
1

i
(X
i
)
2

2
_
_

log L

(X) = 0
_
=

X
1
n

n
i=1
(X
i
)
2

2
= 0

_
=

X

2
=
1
n

n
i=1
(X
i

X)
2
= s
2
Apr`es verication de maximalite (via la matrice Hessienne), on conclut que lestimateur maximum
de vraisemblance est

=
_

X
s
2
_
.
Le cas o` u lun des deux param`etres est connu est laisse en exercice.
Exercice 4
Soit X
1
, . . . , X
n
un echantillon simple issu dune population uniforme sur {1, 2, . . . , N}. Determinez,
`a partir de cet echantillon, le MLE pour N.
Solution :
Le param`etre dinteret est N. On trouve
IP[X = x] =
_
1
N
si x {1, . . . , N}
0 sinon
L
N
(X) =
n

i=1
1
N
I
{1,...,N}
(X
i
)
=
1
N
n
n

i=1
I
{1,...,N}
(X
i
)
=
1
N
n
I
{1,...,N}
(X
(1)
)I
{1,...,N}
(X
(n)
)
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Cette quantite est maximisee en N lorsquelle est non-nulle et que N
n
est petit, cest-`a-dire lorsque
X
(n)
N et N petit. On trouve donc

N = X
(n)
= X
max
.
Exercice 5
Soit X
1
, . . . , X
n
un echantillon aleatoire simple issu dune population de densite
f

(x) =
_
1

(x)
si x >
0 sinon
o` u > 0. Determinez une estimation des param`etres et
a) par la methode du MLE,
b) par la methode des moments.
Solution :
L
,
(X) =
n

i=1
1

exp
_

1
(X
i
)
_
I
[ ,+[
(X
i
)
=
1

n
exp
_

(X
i
)
_
I
[ ,+[
(X
(1)
)
En se limitant `a X
(1)
> ,
log L
,
(X) = nlog
1

i
(X
i
)

log L
,
(X) = n
1

+
1

i
(X
i
)

log L
,
(X) = 0 n +

i
X
i
n = 0
=

X

log L
,
(X) =
n

Cette derni`ere quantite nest jamais nulle. Souhaitant maximiser la vraisemblance, on remarque
qu`a xe, la vraisemblance est une fonction croissante de . Quand prend sa valeur maximale,
la vraisemblance sera maximale. Or, X
(1)
. On trouve alors
= X
(1)
= X
min
et

=

X X
(1)
.
Nous souhaitons maintenant obtenir des estimateurs via la methode des moments. Il faut pour
cela calculer IE[X] et IE
_
X
2

. Ceci peut se faire par integration classique ou de la mani`ere suivante.

Pour rappel,
Y Exp() f

(x) = e
x
I
[x>0]
,
IE[Y] =
1

et Var (Y) =
1

2
.
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
On remarque que X Exp(
1
). Ainsi,
IE[X] = IE[X] + = +
IE
_
X
2

= Var (X) + IE[X]

2
=
2
+ ( +)
2
Il sut alors de resoudre le syst`eme dequations
_
1
n

n
i=1
X
i
=

+
1
n

n
i=1
X
2
i
=

2
+ (

+ )
2
Ceci livre

= s
X
=

(
1
n

i
X
2
i
)

X
2
et =

X s
X
.
Exercice 6
a) Soient X
1
, . . . , X
n
i.i.d. U[0, ]. Determinez

, le MLE pour le param`etre . Quelle est la loi de

?
b) Meme question si on prend X
1
, . . . , X
n
i.i.d. U[, ]. Quelle est la loi de

?
c) Soient X
1
, . . . , X
n
i.i.d. U[a, b]. Determinez a,

b, dabord par la methode du maximum de vrai-

semblance, puis en ayant recours `a la methode des moments.
Solution :
Le seul cas un peu interessant est celui o` u X
1
, . . . , X
n
sont i.i.d U[, ]. Dans ce cas, on trouve
L

(X) =
n

i=1
1
2
I
[,]
(X
i
)
=
1
(2)
n
I
_
X
(1)

_
I
_
X
(n)

_
Cette quantite est `a maximiser en . On peut supposer les deux indicatrices satisfaites en prenant
susament grand. Ce maximum sera atteint si
1
(2)
n
est grand, i.e. si est petit. Il faut donc
choisir le plus petit tel que X
(1)
et X
(n)
, cest-`a-dire

= max
_
X
(n)
, X
(1)
_
.
La loi de

1
= X
(n)
dans le cas U[0, ] peut etre trouvee facilement. Celle-ci est donnee par
F

1
(x)
=
_
_
_
0 pour x < 0
_
F
X
(x)
_
n
=
_
x

_
n
pour 0 x
1 pour x >
Cherchons alors la loi de

2
= max
_
X
(n)
, X
(1)
_
. Dans le cas x ]0, ],
F

2
(x) = IP
_

2
x
_
= IP
_
X
(1)
x X
(n)
x

= IP[x X
1
x x X
n
x]
= (IP[x X x])
n
=
_
x

_
n
Les cas x 0 et x sont triviaux. On remarque que

2
L
=

1
.
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Exercice 7
Soit X
1
, . . . , X
n
un echantillon aleatoire simple issu dune population de densite
f

(x) =
_

1
x
21
1
si 0 < x < 1
0 sinon
o` u 1/2 < < 1. Determinez le MLE pour .
Solution :
Immediatement, en supposant X
1
. . . , X
n
dans le support de f

,
L

(X) =
n

i=1
f

(X
i
)
=
n

i=1

1
X
21
1
i
I
0<X<1
(X
i
)
=
_

1
_
n
_
n

i=1
X
i
_21
1 n

i=1
I
0<X<1
(X
i
)
log L

(X) = nlog nlog(1 ) +

2 1
1
_
n

i=1
log X
i
_

log L

(X) =
n

+
n
1
+
_
n

i=1
log X
i
_
2(1 ) + (2 1)
(1 )
2

log L

(X) = 0 =
1
1
1
n

i
log(X
i
)
Exercice 8
Les elements dune population poss`edent un caract`ere X qui suit une loi de densite
f

(x) =
+ 1
2
(1 |x|)

, x (1, 1),
o` u on suppose le param`etre > 1. On en extrait un echantillon simple X
1
, . . . , X
n
. Determinez
lestimateur du maximum de vraisemblance

de .
Solution :
Comme dhabitude, en supposant que les indicatrices sont veriees (le support de dependant pas
de ),
L

(X) =
n

i=1
f

(X
i
)
=
_
+ 1
2
_
n
_
n

i=1
(1 |X
i
|)
_

I
{X1}
(X
(1)
)I
{X1}
(X
(n)
)
log L

(X) = nlog
_
+ 1
2
_
+
n

i=1
log(1 |X
i
|)

log L

(X) =
n
+ 1
+
n

i=1
log(1 |X
i
|)

log L

(X) = 0 =
n

ln(1 |X
i
|)
1
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Exercice 9
On consid`ere n observations independantes (X
1
, . . . , X
n
) de loi p U[0, a] +(1p) U[0, b], cest-`a-dire
que X
i
suit la loi uniforme sur [0, a] avec probabilite p et la loi uniforme sur [0, b] avec probabilite
1 p. On suppose que a < b avec a et b connus et xes.
a) Determinez la fonction de repartition et la densite de X
1
.
b) Considerons N
a
la variable aleatoire egale au nombre dindividus X
i
compris entre 0 et a. Quelle
est la loi de N
a
? En deduire son esperance et sa variance.
c) Determinez lestimateur du maximum de vraisemblance p du param`etre p.
Solution :
En notant U
1
(resp. U
2
) levenement X
1
provient de la loi uniforme sur [0, a] (resp. [0, b]), la
fonction de repartition de X
1
est donnee par
F
X
1
(x) = IP[X
1
x]
=
_

_
0 pour x < 0
IP[X
1
x|U
1
] IP[U
1
] + IP[X
1
x|U
2
] IP[U
2
] pour 0 x a
IP[X
1
x|U
1
] IP[U
1
] + IP[X
1
x|U
2
] IP[U
2
] pour a x b
1 pour x > b
=
_

_
0 pour x < 0
p
x
a
+
(1p)x
b
pour 0 x a
p + (1 p)
x
b
pour a x b
1 pour x > b
La fonction de densite est alors donnee par
f
X
1
(x) =
_

_
0 pour x < 0
p
a
+
(1p)
b
pour 0 x a
1p
b
pour a x b
0 pour x > b
Soit maintenant N
a
le nombre dobservations entre 0 et a. Les variables aleatoires etant sup-
posees independantes, chacune de celle-ci appartiendra `a lintervalle avec probabilite F
X
1
(a). Ainsi,
N
a
Bin
_
n, p = p +
(1 p)a
b
_
.
Des resultats connus nous donnent esperance et variance en bonus :
IE[N
a
] = n p et Var (N
a
) = n p(1 p).
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Cherchons alors lestimateur maximum de vraisemblance pour p, a et b etant suppose connnus.
On trouve
L
p
(X) =
n

i=1
f
X
(X
i
)
=
_
p
a
+
(1 p)
b
_
Na(X)
_
1 p
b
_
(nNa(X))
log L
p
(X) = N
a
(X) log
_
p
a
+
(1 p)
b
_
+ (n N
a
(X)) log
_
1 p
b
_

p
log L
p
(X) = N
a
(X)
_
b a
pb + (1 p)a
_
+ (n N
a
(X))
_
1
(1 p)
_

p
log L
p
(X) = 0 N
a
(X)
_
b a
pb + (1 p)a
_
+ (n N
a
(X))
_
1
(1 p)
_
= 0
. . .
p =
Na(X)b
n
a
b a
= 1
_
(nNa(X))b
n
_
b a
Remarque : Cet estimateur de p est bien borne par 1. Il peut par contre etre negatif (voir le cas
N
a
(X) = 0). On posera dans ce cas p = 0. En pratique, ce p sera-t-il souvent negatif ?
Titulaire: D. Paindaveine Assistant: G. Van Bever