Statistique inférentielle et psychométrie appliquée

Comme l’hypothèse du hasard ne peut jamais être complètement éliminée (même très faible, cette hypothèse reste toujours possible), il faut donc se donner un seuil à partir duquel on considérera qu’il est raisonnable de rejeter l’explication du hasard. Concrètement, si la probabilité de l’hypothèse nulle est plus basse que ce seuil, on rejettera H₀. Si cette probabilité est plus haute, on ne rejettera pas H₀. C’est ce qu’on appellera le « seuil de signification ».

La question devient alors, comment définir adéquatement le seuil de signification ?

L'usage le plus courant est de prendre la valeur 0.05, c'est-à-dire qu'on considère qu'il est acceptable de rejeter l'hypothèse du hasard s'il y a moins de 5% de chances que le hasard explique les résultats qu'on a obtenus. Mais la valeur de ce seuil est nécessairement conventionnelle. Bien entendu, toutes choses égales par ailleurs, on souhaitera adopter le seuil de signification le plus bas possible, c’est-à-dire le plus proche de zéro possible. Ainsi, on pourrait se prémunir contre le fait de rejeter à tort l’hypothèse nulle car si on rejette H₀, c’est vraiment que sa probabilité est très basse. Mais les choses ne sont pas si simples. En effet, les probabilités associées aux risques de types I et II fonctionnent en opposition : plus on baisse le risque de type I, plus on augmente celui de type II, et vice versa. Si je choisis un seuil de signification très proche de zéro, alors j’augmente le risque d’accepter H₀ à tort. On ne peut donc pas baisser exagérément le seuil de signification conventionnel sous peine de commettre trop souvent l’erreur de type II et considérer à tort qu’un résultat est dû au hasard alors qu’en fait, il ne l’était pas. Par exemple si je jette en l'air trois fois une pièce truquée pour tomber toujours sur pile. J'obtiens (pile, pile, pile). Ce n'est pas par hasard, car la pièce est truquée. Mais au seuil de 5%, je ne vais pas rejeter l'hypothèse nulle car j'ai 12.5% de chance d'avoir obtenu ce résultat par hasard et que 12.5% > 5%. Et donc je vais commettre l'erreur de type II ! Alors comment choisir le bon seuil ?

Pour aller plus loin, il faut considérer les enjeux de la décision. Par exemple, si je veux juste produire une nouvelle connaissance scientifique, un risque de 5% est acceptable. Cela laisse 5% de risque d'énoncer une fausse vérité qui pourra tromper temporairement la communauté des chercheurs, mais d'un autre côté celle-ci est avertie, et va chercher à vérifier si le résultat est solide. Si, par contre, on est en train d'évaluer les conséquences secondaires négatives d'un vaccin que l'on peut potentiellement injecter à toute une population, et selon la gravité des conséquences négatives en question, 5% d'erreur peuvent devenir inacceptables. Il faudra donc alors baisser considérablement le seuil de signification, même si l'on sait que cela augmente le risque de type II dans le même temps (on risque de ne pas utiliser le vaccin à tort).

Examinons maintenant comment calculer la valeur p elle-même...