Conséquences des erreurs et risque de première espèce

Les tests statistiques utilisent couramment un seuil de signification (risque de première espèce) $\alpha =0,05$‍, mais dans certains cas, il est judicieux de choisir un seuil de signification différent. Une modification de la valeur de $\alpha$‍ signifie une modification des erreurs de Type I et de Type II. Dans certains tests, une erreur a des conséquences plus graves que l'autre. Dans ces cas-là, il peut être utile de choisir des valeurs différentes de $\alpha$‍.

On commet une erreur de Type I lorsqu'on rejette à tort l'hypothèse nulle (l'hypothèse nulle est vraie et elle est rejetée). Plus la valeur de $\alpha$‍ est faible, plus il est difficile de rejeter l'hypothèse nulle, plus la probabilité de commettre une erreur de type I diminue. Pour des valeurs faibles de $\alpha$‍, on finit par ne pas pouvoir rejeter $H_0$‍ même si elle est fausse. On accroît donc la probabilité de commettre une erreur de Type II.$$‍

On commet une erreur de Type II lorsqu'on ne peut rejeter l'hypothèse nulle alors qu'elle est fausse. Plus la valeur de $\alpha$‍ est élevée, plus il est facile de rejeter l'hypothèse nulle, plus la probabilité de commettre une erreur de type II diminue. Pour des valeurs élevées de $\alpha$‍, on finit par rejeter $H_0$‍ même si elle est vraie. On accroît donc la probabilité de commettre une erreur de Type I.$$‍

Voyons à l'aide d'exemples dans quel cas utiliser un seuil de signification plus ou moins élevé.

Chaque mois, l'Agence Régionale de santé (ARS) effectue le contrôle sanitaire de l'eau des piscines municipales. Si le taux d'agents pathogènes dépasse la norme, la piscine est temporairement fermée le temps du traitement.

Les hypothèses du test sont $H_0:$‍ La qualité de l'eau est conforme contre $H_{\text{1}}:$‍ La qualité de l'eau n'est pas conforme.

Comme l'erreur de type II a des conséquences dangereuses sur la santé des baigneurs, l'ARS doit utiliser des valeurs de $\alpha$‍ différentes de $0,05$‍ pour tester la qualité de l'eau des piscines.

Sébastien veut monter son entreprise de food truck et choisit les villes où il va exercer son activité. Il veut vérifier si la demande est suffisamment forte en sondant les habitants de ces villes avant d'effectuer les démarches nécessaires (autorisations de la ville, formations obligatoires, immatriculation de l'entreprise...) Il décide de choisir une ville que s'il existe des preuves solides d'une demande suffisamment forte.

Il souhaite donc tester $H_0:$‍ La demande n'est pas suffisamment forte contre $H_{\text{1}}:$‍ La demande est suffisamment forte.

Pour Sébastien, commettre une erreur de Type I est plus coûteuse que commettre une erreur de Type II. Il veut choisir un seuil de signification $\alpha$‍ différent de $0,05$‍ pour réduire la probabilité de commettre une erreur de Type I.