Statistique inférentielle et psychométrie appliquée

Le monde dans lequel nous nous trouvons réellement n'est pas connu lorsque nous faisons ce pari. C'est précisément pourquoi c'est un pari. Au minimum, on peut néanmoins supposer que notre hypothèse nulle, si elle est formulée scientifiquement, ne pourra avoir qu'une et une seule de deux valeurs de vérité possibles : elle sera soit vraie, soit fausse.

D'un autre côté, les éléments de preuve que nous avons à notre disposition (les "faits probants"), qui en général consistent en une valeur numérique produite par un test statistique (valeur z, valeur t de Student, $\chi^2$, etc.) rendent  l'hypothèse nulle plausible ou bien non plausible.

Les différents cas qui se présentent à nous sont donc :

• d'une part, l’hypothèse nulle (généralement notée H₀) est vraie (le hasard suffit à expliquer les résultats) ou fausse (un effet systématique a causé les résultats).
• D'autre part, le test statistique peut donner un résultat compatible avec H₀ (suggérer que H₀ est vraie) ou incompatible avec H₀ (suggérer que H₀ est fausse).

En croisant ces deux constats, on obtient le tableau à quatre cases suivant :

En revanche, on appelle

• risque alpha (aussi noté α) le cas où l'hypothèse nulle est vraie, mais que le test conduit à la rejeter. C'est-à-dire commettre ce qui s'appelle l'erreur de type I. 
• risque beta (aussi noté β) le cas où l'hypothèse nulle est fausse, mais que le test conduit à l'accepter. C'est-à-dire commettre ce qui s'appelle l'erreur de type II.

* Dans un monde épuré... Car dans la "vraie vie", il n'y a pas que des enjeux épistémiques, mais aussi des enjeux pour les chercheurs (besoin de publier pour leur carrière), pour les entreprises qui les emploient et qui peuvent les empêcher de publier des résultats en défaveur de tel médicament, de telle méthode de production d'énergie, etc. À tel point qu'il est maintenant devenu une norme scientifique dans beaucoup de domaines de rendre publique dans l'article l'existence des "conflits d'intérêts" potentiels entre la recherche et les carrières des auteurs.