Statistique : comparer des moyennes

4.5. Distinguer les comparaisons "planifiées" et "post-hoc"

Face au problème principal de ce chapitre, la nécessité de contrôler l'erreur d'ensemble, l'usage traditionnel est de distinguer deux types de comparaisons, les comparaisons "a priori" et "a posteriori", ces dernières étant plus courament qualifiées de "post-hoc".

Les comparaisons planifiées ou "a priori" sont les comparaisons que l'on avait projeté de faire avant même d'avoir connaissance des résultats statistiques globaux. Ce sont des comparaisons qui ne sont pas motivées par une observation de données en cours de traitement, mais par une analyse préalable de la situation. On ne peut donc pas leur reprocher de figurer dans les résultats parce que l'on a profité du hasard car elles correspondent en fait à des hypothèses théoriques.

Les comparaisons "post-hoc" ou "a posteriori" au contraire, sont celles qui ne sont pas motivées par des considérations théoriques mais tout simplement par une approche exploratoire des données : on regarde tout ce qui pourrait être significatif. Comme l'exploration mobilise potentiellement l'ensemble de toutes les comparaisons possibles, ce sont surtout ces dernières qui sont sensibles à l'effet de capitalisation sur la chance.