Statistique : comparer des moyennes

Comme il a été évoqué dans les articles sur l'inférence statistique, cette dernière consiste généralement dans un premier temps à poser tout d'abord une hypothèse dite nulle, selon laquelle la totalité des effets observés seraient dus au pur hasard (compte tenu de la structure de la situation bien sûr). On prend ensuite une décision qui met en balance deux risques opposés : le risque de se tromper si l'on fait comme si l'hypothèse nulle était vraie (c'est-à-dire qu'on décide d'attribuer, à tort, toutes les variations observées, au seul effet du hasard)  et le risque de se tromper en considérant que l'hypothèse nulle était fausse (c'est-à-dire que l'on décide de considérer que quelque chose de systématique était à l'œuvre alors qu'en fait seul le hasard a joué un rôle dans les résultats).

Pour prendre cette décision, on s'appuie sur des techniques statistiques, qui varient selon les situations, et qui permettent de calculer la probabilité que les données que l'on a réellement observées soient compatibles avec cette hypothèse nulle. Ou pour le dire plus simplement, on calcule la probabilité que les données obtenues soient le fruit du hasard. Cette probabilité est alors rapportée à une valeur conventionnelle d'acceptabilité, typiquement 5% dans la recherche scientifique. Bien entendu, si le risque associé à un certain type d'erreur est exceptionnellement grand, on pourra se donner des seuils de décision plus sévères ou plus laxistes, selon les cas.

Ceci posé, examinons comment cette stratégie s'applique dans le cas de la comparaison de moyennes.

4.1. L'hypothèse nulle dans la comparaison de moyennes

Dans le cas de la comparaison de deux moyennes d'échantillons, il y a bien sûr toujours une différence entre les deux moyennes, il suffit pour cela de se donner la précision de mesure suffisante. L'hypothèse nulle, on ne le répétera jamais assez, est l'hypothèse selon laquelle seul le hasard explique les variations de mesures. Donc, dans le cas de la comparaison des moyennes de deux groupes, l'hypothèse nulle consiste à considérer que les différences de moyennes entre les deux groupes sont dues au hasard. Et par conséquent, que la "vraie" valeur moyenne de chacune des populations d'où sont tirés les échantillons est en fait unique¹.

Cette analyse se généralise sans difficulté au cas de plus de deux groupes. Si nous avons par exemple 10 groupes, l'hypothèse nulle énonce que les valeurs "vraies" des populations dont sont issus les 10 groupes sont identiques.

Dans le cas d'un seul groupe comparé à une constante, l'hypothèse nulle revient à dire que la moyenne observée de l'échantillon ne s'écarte de la constante de référence que par l'effet du hasard, et donc que la valeur vraie de la population d'où est tiré l'échantillon est exactement la valeur de référence.

1. Une précaution intellectuelle : attention au fait que même si les populations ont la même valeur "vraie", cela ne signifie pas forcément pour autant qu'il n'y a qu'une seule et même population sous-jacente aux différents échantillons. Ces populations peuvent diverger sur d'autres critères qui n'ont pas été mesurés.

4.2. Le calcul de la valeur-p

Nous distinguerons ici essentiellement deux techniques pour calculer cette probabilité dans le cas de la comparaison de moyennes : le test du t de Student et l'analyse de variance ou ANOVA.

L'étude de ces deux techniques requiert des articles complets pour chacune d'elles, aussi nous bornerons-nous ici à dire que ces techniques sont en réalité complémentaires et que la règle de décision suivante s'applique pour choisir quelle technique utiliser :

• Si vous avez seulement un groupe (à comparer à une constante de référence) ou deux groupes (indépendants ou appariés), alors il vaut mieux utiliser le test de t. En particulier, si vous avez des hypothèses orientées (non seulement vous attendez des différences, mais encore vous avez une théorie permettant de prévoir quel groupe aura la moyenne la plus élevée, ou bien votre théorie vous permet de prédire dans quelle direction la valeur moyenne s'écartera de la valeur constante de référence), alors le test t sera plus facilement significatif que l'ANOVA. 
• Si vous n'avez que deux groupes et pas d'hypothèse orientée, les deux techniques sont équivalentes. 
• Si vous avez plus de deux groupes, seule l'ANOVA s'applique.