En statistiques, un test, ou test d'hypothèse, est une procédure de décision entre deux hypothèses. Il s'agit d'une démarche consistant à rejeter ou à ne pas rejeter une hypothèse statistique, appelée hypothèse nulle, en fonction d'un échantillon de données.
Il s'agit de statistique inférentielle : à partir de calculs réalisés sur des données observées, on émet des conclusions sur la population, en leur rattachant des risques d'être erronées.
Hypothèses du test
Définitions L'hypothèse nulle notée est celle que l'on considère vraie a priori. L’hypothèse est donc privilégiée et il faut des observations très éloignées de cette hypothèse pour la rejeter. Le but du test est de décider si cette hypothèse est a priori crédible. L'hypothèse alternative notée est l'hypothèse complémentaire à l'hypothèse nulle.
Ces deux hypothèses ne sont toutefois pas symétriques. est choisie uniquement par défaut si n'est pas considérée comme crédible, étant l'hypothèse dont le rejet à tort est le plus préjudiciable. Le choix de et de est en général imposé par le test que l'on utilise et ne relève donc pas de l'utilisateur.
Écriture des hypothèses : exemple Soit et les moyennes de tension artérielle de deux populations, l'une correspondant à la prise de médicaments et l'autre de placebo. Une manière de démontrer qu'un médicament modifie la tension artérielle est de montrer que est différent de . Les hypothèses du test deviennent alors
: les moyennes des deux populations sont égales : les moyennes des deux populations sont différentes.
On l'écrit succinctement sous la forme :
Toutefois les signes , , et dans l'écriture succincte des hypothèses ne correspond pas à l'égalité ou aux inégalités au sens mathématique du terme. Il s'agit d'une façon d'écrire :
: Il est crédible de penser que : est significativement différente de
Cependant, il convient également de faire attention aux fluctuations d'échantillonnage. En effet, lors de la réalisation d'un test on utilise le plus souvent des échantillons pour effectuer les calculs. On utilisera donc les moyennes et calculées à partir des échantillons et qui ne sont donc que des estimations de et (voir taille d'effet).
Statistique du test
La statistique de test est une fonction qui résume l'information sur l'échantillon que l'on souhaite tester. On la choisit de façon à connaître sa loi sous .
est une variable aléatoire, définie indépendamment des données observées. La valeur que prend cette variable aléatoire pour les données observées est appelée statistique observée et est notée dans la suite de l'article.
Suivant le type de statistique choisi, le test sera paramétrique ou non paramétrique.
Construction d'un test La construction mathématique d'un test se fait grâce au lemme de Neyman-Pearson et nous donne la forme de la région de rejet.
Région de rejet et latéralité La région de rejet est le sous-ensemble de tel qu'on rejette si appartient à . La forme de la région de rejet définit la latéralité du test : test bilatéral : on veut rejeter si est trop grand ou trop petit, sans a priori. La région de rejet est alors de la forme ; test unilatéral à droite : on veut rejeter seulement si est trop grand. La région de rejet est alors de la forme ; test unilatéral à gauche : on veut rejeter seulement si est trop petit. La région de rejet est alors de la forme .
Probabilité critique
La probabilité critique (ou valeur p) est la probabilité, sous , que la statistique soit au moins aussi éloignée de son espérance que la valeur observée. En d'autres termes, c'est la probabilité d'observer quelque chose d'au moins aussi surprenant que ce que l'on observe.
Erreur de type I et II Risque de première espèce et confiance Le risque de première espèce est la probabilité sous de la région de rejet. En d'autres termes, il s'agit de la probabilité que l'on accepte de décider si la vérité est .
La quantité est la confiance du test. En d'autres termes, une proportion des situations dans lesquelles la vérité est verront une décision du test en faveur de . est la probabilité avec laquelle on accepte de se tromper quand la vérité est .
On peut comparer la valeur p à plutôt que et la région de rejet. Si la valeur p est supérieure à , il n'est pas exceptionnel sous d'observer la valeur effectivement observée. Par conséquent, n'est pas rejetée. Si la valeur p est inférieure à , la valeur observée est jugée exceptionnelle sous . On décide alors de rejeter et de valider .
Cette méthode possède l'avantage de permettre de se rendre compte à quel point la décision du test est sûre : la position de la valeur p par rapport à ne dépend pas de l'échelle des données, contrairement à et au(x) seuil(s) de la région de rejet.
Les valeurs du risque couramment utilisées varient généralement entre 0,01 et 0,05. Dans le cas de variables continues, on peut choisir une valeur arbitraire de et obtenir une région de rejet présentant exactement le risque . Dans le cas de variables discrètes, le nombre de régions de rejet, et donc de risques possibles, est fini et dénombrable. Dans ce cas, on fixe un risque, dit risque nominal par exemple de 5 %. On cherche alors la plus grande région ne dépassant pas ce risque, qui devient alors la région de rejet. Le véritable risque, dit risque réel peut alors être recalculé.
Risque de deuxième espèce et puissance Le risque de deuxième espèce est la probabilité de ne pas rejeter alors que la vérité est . Il s'agit d'un risque qui n'est pas fixé a priori par le test, et il est souvent difficile à estimer. On prend ce risque lorsqu'on accepte l'hypothèse .
La quantité est la puissance du test, page 320..
Choix de et Pour se représenter ces différentes notions, on peut les représenter au travers du tableau suivant :
center|500px|Tableau permettant de différencier les deux types de risques.
Le choix de et de se fait de façon assez arbitraire car si l'on cherche à en diminuer un l'autre va automatiquement augmenter. On définit généralement le risque de façon arbitraire et la valeur du risque s'ajuste automatiquement. Ce choix détermine alors une valeur seuil (notée sur le schéma) qui représente la valeur de bascule pour la statistique du test entre les deux décisions (rejet ou non-rejet de ). Le graphique suivant tente de représenter visuellement ces risques, la courbe noire représente la loi ici normale de la statistique du test sous l'hypothèse et la courbe bleue représente la loi ici normale de la statistique du test sous l'hypothèse .
center|500px|Graphique représentant les deux risques.
Si l'échantillon reste inchangé, une diminution de entraîne une augmentation de et inversement. Autrement dit, si on décide de réduire le nombre de faux positifs, on augmente le nombre de faux négatifs. La seule manière d'améliorer les deux critères est d'augmenter la taille de l'échantillon.
Courbe de puissance Pour déterminer la puissance d'un test, il faut connaître la loi de la statistique sous , ce qui n'est généralement pas le cas. On recourt alors à des courbes de puissance qui sont des courbes pour lesquelles la puissance est calculée pour des valeurs données des paramètres du problème ou de la taille de l'échantillon. On ne sait pas où se situe la situation réelle sur cette courbe mais on y lit la probabilité de détecter en fonction de son « éloignement » de .
Tests classiques et tests bayésiens Pour les tests classiques qui constituèrent longtemps l'essentiel des tests statistiques, ces deux erreurs jouent un rôle asymétrique. On contrôle uniquement le risque de première espèce à un niveau (principe de Neyman) ; cela revient à considérer que le risque de rejeter l'hypothèse nulle alors que cette hypothèse est vraie est beaucoup plus coûteux que celui de la conserver à tort (ce dernier risque n'étant pas maîtrisé).
Les tests bayésiens, qui commencent à compléter les méthodes classiques dans les années 1970 à mesure que se répandent les ordinateurs, pondèrent ces deux risques en représentant par une loi la connaissance incertaine de cette probabilité. Si on cherche par exemple à tester le fait qu'un certain paramètre vaut une certaine valeur cette probabilité a priori sera une loi de sur son domaine de plausibilité. Cette loi a priori modélise l'incertitude admise sur sa valeur. Les tests correspondants utilisent en coulisses des calculs plus complexes, mais sans difficulté de mise en œuvre supplémentaire quand ils sont effectués par des sous-programmes. Ils nécessitent de choisir une loi a priori, répondant aux contraintes connues, parmi celles d'entropie maximale puis de l'affiner à mesure des observations en la mettant à jour par la règle de Bayes (voir Théorème de Cox-Jaynes). Leur mérite essentiel est de permettre la consolidation d'informations minuscules apportés par un grand nombre d'échantillons hétéroclites qui auraient chacun été considéré comme non significatif par les méthodes classiques. Cette consolidation permet d'obtenir des résultats utiles à partir d'observations très ténues. On l'utilise par exemple en cassage de codes, en analyse d'image et en reconnaissance vocale, ainsi qu'en deep learning.
Tests paramétriques et non paramétriques Définitions Un test paramétrique est un test pour lequel on fait une hypothèse paramétrique sur la loi des données sous (loi normale, loi de Poisson...). Les hypothèses du test concernent alors les paramètres de cette loi.
Un test non paramétrique est un test ne nécessitant pas d'hypothèse sur la loi des données.
Comment choisir ? Les tests paramétriques, quand leur utilisation est justifiée, sont en général plus puissants que les tests non paramétriques. Les tests paramétriques reposent cependant sur l'hypothèse forte que l'échantillon considéré est tiré d'une population suivant une loi appartenant à une famille donnée. Il est possible de s'en affranchir pour des échantillons suffisamment grands en utilisant des théorèmes asymptotiques tels que le théorème central limite. Les tests non paramétriques sont cependant à préférer dans de nombreux cas pratiques pour lesquels les tests paramétriques ne peuvent être utilisés sans violer les postulats dont ils dépendent (notamment dans le cas d'échantillons trop petits c'est-à-dire, par convention, quand l'effectif de l'échantillon est inférieur à 30). Les données sont également parfois récupérées sous forme de rangs et non de données brutes. Seuls les tests non paramétriques sont alors applicables.
Lorsque les données sont quantitatives, les tests non paramétriques transforment les valeurs en rangs. L’appellation « tests de rangs » est souvent rencontrée. Lorsque les données sont qualitatives, seuls les tests non paramétriques sont utilisables. La distinction paramétrique – non paramétrique est essentielle. Elle est systématiquement mise en avant dans la littérature. Les tests non paramétriques, en ne faisant aucune hypothèse sur les lois des données, élargissent le champ d’application des procédures statistiques. En contrepartie, ils sont moins puissants lorsque ces hypothèses sont compatibles avec les données.
Efficacité relative asymptotique
On fixe une confiance , une puissance . Soit une suite d'hypothèses alternatives (se rapprochant de ) et et les tailles d'échantillons pour que et (deux tests statistiques) aient la même puissance sous l'hypothèse . Sous certaines conditions, le quotient tend vers une constance, que l'on nomme efficacité relative asymptotique (ou ERA), quand tend vers l'infini.
Une ERA de 2 signifie que pour détecter la même différence, il faut asymptotiquement des échantillons deux fois plus grands pour que pour pour obtenir la même puissance, cela implique que est plus « efficace ». Cette mesure est asymptotique mais en pratique, l'efficacité pour des petits échantillons se révèle souvent proche de l'efficacité asymptotique.