Le théorème de Lehmann-Scheffé a une importance particulière en statistiques puisqu'il permet de trouver des estimateurs sans biais optimaux qui ne peuvent pas être améliorés en termes de précision.
De tels estimateurs n'existent pas forcément mais si l'on dispose d'une statistique qui soit à la fois exhaustive et totale et d'un estimateur qui soit sans biais alors l'estimateur augmenté est optimal et l'on ne peut pas trouver de meilleur estimateur sans biais.
Ce théorème nous donne donc une condition suffisante pour trouver un estimateur sans biais optimal. Il nous dit également que cet estimateur s'exprime comme une fonction de la statistique exhaustive totale S, c'est-à-dire de la forme g(S) où g est une fonction mesurable.
(On dit qu'une statistique est totaleLe terme de statistique complète est également parfois utilisé. cf Didier Dacunha-Castelle, Marie Duflo, Probabilités et statistique. Problèmes à temps fixe, tome 1, Masson (1994) si : implique presque partout.)
Énoncé L'énoncé du théorème de Lehmann-Sheffé est :
Soit iid avec une fonction de densité de probabilité donnée ou une fonction de masse discrète dépendant d'un paramètre avec . Soit une statistique exhaustive et complète pour . Soit un estimateur non biaisé pour (U dépend de T). Soit : U est le seul estimateur non-biaisé qui dépend de . uniformément sur pour tout autre estimateur non-biaisé Z de . Ce qui signifie que U est l'unique estimateur sans biais à variance minimale pour .
Exemples
Loi de Bernoulli Soient des variables suivant une même loi de Bernoulli de paramètre . La fonction de densité jointe est de la forme
ainsi, par le théorème de factorisation de Fisher-Neyman, est une statistique exhaustive. Elle est aussi totale : soit une fonction mesurable telle que . Puisque , on a :
avec . Comme le terme de droite dans l'égalité est un polynôme en qui s'annule, tous les coefficients doivent être nuls, ce qui implique pour tout .
Pour estimer le paramètre , il devient alors évident que l'estimateur sans biais à variance minimale est la moyenne de l'échantillon , puisque sans biais et fonction de .
L'estimateur sans biais à variance minimale de la variance de la loi est moins évident. Il faudrait chercher une fonction telle que En posant , l'égalité au-dessus se réécrit
En comparant les coefficients terme à terme, on a , ainsi, l'estimateur recherché est
On peut remarquer que pour une variable de Bernoulli, on a et donc , ainsi l'estimateur est de fait la variance sans biais de l'échantillon .
Loi uniforme continue Soient des variables suivant une loi uniforme continue sur pour inconnu. La fonction de densité jointe est de la forme
ainsi, par le théorème de factorisation de Fisher-Neyman, est une statistique exhaustive.
Pour établir que est totale, il faut remarquer que la loi de est
Ainsi, pour toute fonction mesurable telle que , on a pour tout
et donc, pour tout
On en déduit que presque partout sur , ce qui permet de conclure.
Son espérance vaut
Ainsi, l'estimateur corrigé
est sans biais et fonction de , il est donc l'estimateur à variance minimale pour recherchéLehmann & Casella (1998), p. 89.
Loi exponentielle Soient des variables aléatoires suivant une loi exponentielle de paramètre et on suppose que le paramètre doit être estimé pour donné. Un estimateur sans biais direct pour serait , mais il s'avère sous-optimal.
Puisque la loi exponentielle est une famille exponentielle, il est établi que la statistique exhaustive est aussi totale. De plus, l'estimateur est sans biais. Ainsi, l'estimateur est l'estimateur à variance minimale recherché. Il reste à calculer l'espérance conditionnelle.
Dans un premier temps, on peut voir que la statistique libre suit une loi bêta : , qui est indépendante de . En effet, puisque et sont indépendantes, et que , la fonction de répartition en s'écrit
avec le changement de variables et . Donc, par le théorème de Basu, et sont indépendantes, et l'espérance conditionnelle se simplifie en
d'après les calculs précédentsShao (2003), p. 163–164. Enfin, l'estimateur construit
est sans biais et de variance inférieure à l'estimateur naïf pour toute valeur de .
Contre-exemple avec une statistique non exhaustive Un exemple de borne d'amélioration de Rao–Blackwell améliorable, avec une statistique exhaustive minimale mais non totale, a été mis en évidence par Galili et Meilijson en 2016. Soient un tirage uniforme pour d'espérance inconnue et de paramètre d'échelle connu . En cherchant le "meilleur" estimateur sans biais possible pour , il semble naturel de considérer comme estimateur sans biais de , avant de l'améliorer. Puisque n'est pas une fonction de , la statistique exhaustive minimale pour (où et ), elle peut être améliorée grâce au théorème de Rao–Blackwell comme suit :
Cependant, l'estimateur suivant est sans biais et de variance moindre :
et la variance peut être encore réduite en utilisant l'estimateur :
Le modèle a un paramètre d'échelle. Des estimateurs équivariants peuvent être dérivées pour les fonctions objectif invariantes
Références
Catégorie:Estimation (statistique) Lehman Scheffe