Statistique : comparer des moyennes

Mais avant de rentrer dans les détails de ces techniques, dans les articles suivants, une question d'importance doit être traitée : peut-on procéder aux comparaisons "locales" entre groupes du facteur, si l'ANOVA globale n'est pas significative ? 

4.1 Qu'est-ce qui prime, le test global (l'ANOVA "omnibus") ou bien les comparaisons spécifiques entre les différents groupes du facteur ?

Si l'ANOVA globale est significative, cela signifie qu'on a mis en évidence un effet et donc il est évidemment légitime de s'interroger sur la nature de cet effet. Il y a de nombreuses façons de procéder pour répondre à une telle question, mais en restant niveau statistique on peut déjà s'interroger sur les groupes qui sont porteurs des différences significatives. 

Donc en fait la question de la préséance de l'ANOVA globale revient à savoir s'il faut ou non procéder aux comparaisons détaillées lorsque l'ANOVA globale n'est PAS significative ?

En ce cas, l'usage traditionnel est de ne pas aller plus loin. Toutefois on peut quand même s'interroger sur les comparaisons entre groupes.

Howell (2008), par exemple, argumente qu'il n'y a aucune vraie raison de se limiter à travailler sur des cas où l'ANOVA globale est significative. En effet, certaines procédures utilisées actuellement pour les comparaisons multiples ne sont même pas spécifiquement attachées à l'ANOVA et peuvent s'utiliser dès lors que l'on a des comparaisons multiples à faire. De plus, l'exigence de significativité rend les tests utilisés conservateurs, c'est-à-dire qu'ils ont alors tendance à devenir trop exigeants.

Mon conseil cependant, si vous ne voulez pas vous exposer aux critiques en réalisant ce type de tests alors que l'ANOVA globale n'est pas significative est de vous réfugier derrière l'autorité et de bien préciser explicitement qu'un auteur de référence comme Howell, l'autorise.

4.2. Mais faut-il rapporter l'ANOVA globale ?

On peut alors se demander si l'on a encore besoin du test global et s'il faut s'embêter à le rapporter. Les logiciels actuels le donnant sans effort, cela ne coûte rien de le faire donc ne prenez pas de risque inutile : rapportez systématiquement la comparaison globale en attendant le jour éventuel où l'usage aura changé.