se

ance 3
Corrige

Math-F-207

Exercices
Exercice 1
Soit un echantillon aleatoire simple (X1 , . . . , Xn ) issu dune population P(). Determinez un
estimateur efficace de , donnez sa variance et linformation de Fisher apportee par lechantillon.
Solution :
Comme dans lensemble des exercices de cette seance, nous allons utiliser le crit`ere de factorisation.
Si X1 , . . . , Xn sont i.i.d P(), on trouve
en Pi Xi
Q

i Xi !
X
Y
log L (X) = n +
Xi log log( Xi !)
L (X) =

Pi
log L (X) = n +

n
i Xi
X
=

est un estimateur efficace pour , avec A() = n/ et () = .

Il est alors immediat que T (X) = X
n
En consequence, = 1, I() = .1 = n/. On trouve alors
Var (T (X)) = 1.

= .
n
n

Il est ici aise dobtenir ces resultats directement :

n
1 X

Var (Xi ) =
2
n
n
i=1
P
 P

Var (Xi )
Xi
= i 2
= n/
I() = Var n + i

Var (T (X)) =

Exercice 2
Considerons une population N (, 2 ), o`
u 2 est connu. Soit (X1 , . . . , Xn ) un echantillon aleatoire
simple issu de cette population.
1. Determinez un estimateur efficace de , deduisez-en sa variance et linformation de Fisher.
2. Determinez cette derni`ere quantite par un calcul direct.

Solution :
Par le crit`ere, il est immediat que
L (X) =
log L (X) =
log L (X) =
=

n

 P
2
i (Xi )
exp
2 2
P
(Xi )2
C(,
) i
2 2
n
1 X
2(Xi )
2 2
i=1
n
(X )
2


est un estimateur efficace pour () = . De plus,

Avec A() = n/ 2 , on voit que T (X) = X
2
2
= /n.
= 1, I() = n/ . Ainsi, Var (X)

Titulaire: D. Paindaveine

Assistant: G. Van Bever

 se
ance 3
Corrige

Math-F-207
Des calculs directs montrent que
h
i
I() = IE ( log L (X))2

= Var ( log L (X)) + (IE [ log L (X)])2

n
  h
i2
) + IE n (X
)
= Var 2 (X

2
!
" "
#
#!2
n2
1X
n
1X
=
Var
IE
Xi +
Xi
4
n
2
n
i
i
!!2
n2 2 X
n 1X
=
n
Var (Xi ) +
IE [Xi ]
4
2 n
i
i
n
=
2

Exercice 3
Soient les variables aleatoires (X1 , . . . , Xn ), i.i.d., `a valeurs dans IN et dont la distribution de
probabilite est donnee par
P (Xi = k) = (1 )k ,
o`
u k IN et 0 < < 1. Determinez un estimateur efficace, sa variance et linformation de Fisher.
Solution :
On trouve
L (X) =

n
Y

(1 )Xi

i=1
P

= n (1 )

log L (X) = n log() +

Xi

Xi log(1 )

log L (X) =

n X
1

Xi

1
i

=
=

nX
n
+

 1



n
1
n
1

+X =
X
1

est un estimateur efficace pour () = (1 )/. De plus, A() = n/( 1). On

Ainsi, T (X) = X

1
n
2

trouve alors =
= , Var X = n2 et I() = (1)2 .

Exercice 4
Soit X P(). Considerons (X) := I[X=0] .
1. Montrez que cette statistique est non biaisee pour e .
2. Montrez que cest le seul estimateur non biaise de e .
3. On extrait dune population P() un echantillon de taille 1. Calculez `a partir de cet echantillon
la borne de Cramer-Rao pour un estimateur non biaise de e . Calculez V ar [(X)]. Quelle
conclusion pouvez-vous en tirer au sujet de (X) ?

Titulaire: D. Paindaveine

Assistant: G. Van Bever

 se
ance 3
Corrige

Math-F-207

Solution :
Le non-biais est presque trivial, via
X




xIP [(X) = x] = 1.IP I[X=0] = 1 + 0.IP I[X=0] = 0
IE [(X)] =
x

= IP [X = 0]
= e
Do`
u la conclusion attendue. Prenons maintenant un autre estimateur T (X) et montrons quil ne
sera pas sans biais.
X
?
T (x)IP [T (X) = x] = e
IE [T(X)] =
x

T (x)e

x ?
=e
x!

T (x)e

x ?
=1
x!

On a donc un polynome en de degre infini qui doit etre egal `a une constante. Seul le terme
independant du polynome doit etre 6= 0 (et doit valoir 1). On retrouve donc lestimateur T (X) =
I[X=0] .
Calculons maintenant la borne de Cramer-Rao pour un echantillon de taille 1. On trouve
e X1
X1 !
log L (X1 ) = + X1 log log X1
1
log L (X1 ) = 1 + X1

1
=
(X1 ) .

L (X1 ) =

Par definition,
I = Var ( L (X1 ))


X1
1
1
= Var 1 +
= Var (X1 /) = 2 Var (X1 ) = .

De plus, pour = IE [(X)] = e ,

d
= e .
d
La borne de Cramer-Rao = I1 = e2 . On a


Var ((X)) = IE 2 (X) (IE [(X)])2 .
=

Or,
X




IE 2 (X) =
xIP 2 (X) = x
x



= IP I[X=0] = 1
= e
Ainsi, Var ((X)) = e e2 6= borne de Cramer-Rao. Lestimateur natteignant pas la borne
(bien que sans biais), celui-ci nest pas efficace. Petite question au passage : que faire si lon dispose
dun estimateur dont la variance atteint la borne de Cramer-Rao...mais qui nest pas sans biais ?
Titulaire: D. Paindaveine

Assistant: G. Van Bever

 se
ance 3
Corrige

Math-F-207

Exercice 5
Extrayons un echantillon aleatoire simple (X1 , . . . , Xn ) dune population caracterisee par la
fonction de densite
 1 x/
si x > 0
e
f (x) =
0 sinon
o`
u > 0. Determinez un estimateur efficace de , calculez sa variance et linformation de Fisher.
Solution :
A nouveau,
L (X) =

n
Y
1

eXi / I[Xi ]0,[]

i=1
P
n 1 i Xi

I[X(1) ]0,[]


X
Xi + log I[X(1) ]0,[]
log L (X) = n log() 1
i

1 X
n
log L (X) = + 2
Xi

i


n
X .
=
2


est donc efficace. De plus, = 1, Var X
= 2 /n et I() = n/2 .
Lestimateur T (X) = X

Exercice 6 (*)
Replacons-nous dans le cadre de lexercice supplementaire 1 de la seance 2. Determinez, `a partir
un estimateur 1 non biaise pour . Cet estimateur est il efficace pour ?
de lestimateur ,
Solution :
Rappelons que la densite des observations est donnee par

2
2xex si x > 0
f (x) =
0 sinon
P
o`
u > 0. On a precedemment considere lestimateur = n/ Xi2 de , dont on a determine le
= n . Il est clair d`es lors que lestimateur sans biais correspondant est donne par
biais : E()
n1
n1
1 =
.
n
Pour juger de lefficacite de ce nouvel estimateur, nous pouvons utiliser le crit`ere de factorisation
de la derivee de la log-vraisemblance. La vraisemblance est donnee ici par
 Y 
P 2
L(X, ) = 2n
Xi n e Xi .
En passant au logarithme, et en derivant par rapport `a on obtient
 X

1
1
2
log L(X, ) = n
Xi
.
n

Il appara
e efficacement, et ce
P t 2ainsi que seul 1/ (et ses transformations affines) peut etre estim
Xi ( et ses transformations affines correspondantes). Lestimateur 1 ne peut donc etre
par n1
efficace pour .

Titulaire: D. Paindaveine

Assistant: G. Van Bever

 se
ance 3
Corrige

Math-F-207

n2 2
=
Remarque : Nous avons vu `a la seance 2 que V ar()
. Nous en deduisons aisement la
(n1)2 (n2)
2
2

variance de 1 : n2 . En calculant la borne de Cramer-Rao pour le mod`ele, nous obtenons n . Un

calcul facile permet de voir que, pout toute valeur de n, nous avons V ar(1 ) > B.C.R. Donc 1

nest pas efficace pour .

Exercice 7 (*)
Replacons-nous dans le cadre de lexercice supplementaire 2 de la seance 2. est-il un estimateur efficace du param`etre ?
Solution :
Rappelons que la densite des observations est donnee par
( 1
x 1
si 0 < x < a
f (x) =
a1/
0 sinon
P
o`
u a et sont deux constantes strictement positives. On a propose comme estimateur = n1
log Xai
pour le param`etre . La vraisemblance du mod`ele secrit
L(X, ) =

1
1/1
X
.
a1/ i

En derivant le logarithme de cette derni`ere expression nous obtenons

log L(X, ) =

n n log a
1 X
+
2
log Xi .
2

On rearrange les termes pour faire apparatre et on obtient

log L(X, ) =

n
( ).
2

Lestimateur propose est donc efficace pour .

Exercice 8
Considerons maintenant le cas o`
u 2 est inconnu, pour un echantillon aleatoire simple (X1 , . . . , Xn )
2
issu dune population N (, ). On souhaite montrer que lestimateur



X
P
T(X) =
1
2
S 2 = n1
i (Xi )
est asymptotiquement efficace mais non efficace. Pour ce faire,
1. Calculer la matrice dinformation de Fisher pour .
2. Se convaincre dans un second temps quil est impossible dutiliser le crit`ere defficacite sur la
fonction de score.
3. Calculer la matrice de variance-covariance T de lestimateur de .
4. Montrer que
I() T I2 .
On dira donc que notre estimateur est asymptotiquement efficace (au sens de Pitman).
Vous aurez besoin pour cela des quelques resultats (devant etre demontrables !) ci-dessous :

Titulaire: D. Paindaveine

Assistant: G. Van Bever

 se
ance 3
Corrige

Math-F-207
1. Si X1 , . . . , Xn sont i.i.d. N (, 2 ), alors
2

N (, ).
X
n
2. Si X N (, 2 ), alors
 
 
IE X3 = 3 + 3 2 et IE X4 = 4 + 62 2 + 3 4 .
3. La statistique S 2 peut secrire
n

n 2
n
S =
s =
n1
n1

1X 2
Xi
n

!
2

i=1

Solution :
De mani`ere classique (mais un peu pluslonguette),
il est possible decrire (attention aux vecteurs


,
`a partir de maintenant), en posant =
2
n
Y

exp
L (X) =
2
i=1
log L (X) = C

log L (X) =

=

=

n
log
2

2

1 X
(Xi )2
2 2

n
1 X
(Xi )2
2 2
i=1


log L (X)

log L (X)
2
1 P
i (X
2
Pi )
n2 + 21 4 i (Xi )2
n
(X )
2
P
n
2
1
n
i (Xi )
2 4




2

La matrice dinformation de Fisher est alors

I() = Var
h
= IE

a
=
c
o`
u

log L (X)



0 i
log L (X) log L (X)

b
,
d


2  n2


n
= n ,
(X )
= 4 Var X
a = IE
2

2
!
X
n2
n
d = 8 Var n1
(Xi )2 2 = . . . = 4
4
2
i

Titulaire: D. Paindaveine

Assistant: G. Van Bever

 se
ance 3
Corrige

Math-F-207
Des calculs (un peu longs certes...dont
que b = c = 0 :
"
n2
b = IE
(X )
2 6
"
X
n2
1
IE
=
X

2 6
n
i

les etapes principales sont detaillees ci-dessous) montrent

!#
1X
(Xi )2 2
n
i
!#


n2
2
Xi )
4
2


 n(n 1)

 n2
n
2
2
=
IE
(X
)(X

)
+
IE
X
(X

)
4
1
1
2
1

2 6
2 6
2
2


n(n

1)
n
n
=
IE (X1 )2 +
2 4
2 6
2 6
2
= 0.
Ainsi,
n
2


I() =

n
2 4

Il est relativement aise de se convaincre que la foncion de score, dont lexpression est donnee un
peu plus haut, ne peut etre reecrite sous la forme A()(T(X) ). Ceci est d
u `a la presence du
dans lexpression de la seconde composante du vecteur. Calculons alors la matrice de variancecovariance :
 2
 2
 2
 
  ! 

IE X

IE S2
IE X
IE XS
IE X
a b
 2
 
 


 2
T =
,
=

IE S2
c d
IE XS
IE X
IE (S2 )2 IE S2
o`
u (et cest ici que les choses deviennent amusantes) a =
d =
=

2
n

et

n2
Var s2
2
(n 1)

!2
X


n2
2
2 IE s2
IE (n1
X2i ) X
(n 1)2
i

!2
2
X
n
2 ( n 1 )2
IE (n1
X2i ) X
2
(n 1)
n
i

Or,

IE (n1

X
i

!2
"
#
!2
X
X
 4
1
2
2 =
2 + IE X

X2i ) X
IE
X2i IE (
X2i )X
2
n
n
i

  (n 1)




 4
1
2 + IE X

IE X41 +
IE X21 X22 2IE X21 X
n
n

Et,

 2 2
= 1 IE X2
IE X1 X
1
n2

!2
X

Xi

  n1


1
= 2 IE X41 +
IE X21 X22
n
n
 3  (n 1)(n 2)


2(n 1)
+
IE X1 X2 +
IE X21 X2 X3
2
2
n
n
Titulaire: D. Paindaveine

Assistant: G. Van Bever

 se
ance 3
Corrige

Math-F-207
Ainsi,

(n 1)2 4 1 4
Var s2 =
+
+ 62 2 + 3 4
2
n
n



2
(n 1) 2
2
4
+
+ 2 + 4 + 62
+3 2
n
n
n


(n 1) 2

2
1
2 2 4 + 62 2 + 3 4 +
+ 2
n
n



(n + 1)(n 2) 2 2
2(n 1) 3
2
2 2
+

+
3

(
+

)
n2
n2
= ...
2(n 1) 4

=
n2
Et donc,
d=

n2
n2
2(n 1) 4
2 4
2
Var
s
=

=
.

(n 1)2
(n 1)2
n2
(n 1)

Il est aise de montrer en suivant les memes idees que b = c = 0. On trouve donc la matrice T telle
que
! 
 n


2
0
1
0
0
2
n

I() T =
=
I2 .

n
2 4
0 n1
0 2n4
0 (n1)

Titulaire: D. Paindaveine

Assistant: G. Van Bever