Statistique inférentielle et psychométrie appliquée

Initialement, avant même de construire l'expérience, le chercheur pouvait avoir l'hypothèse qu'un mécanisme précis lié à la télévision induirait un certain type de résultats. En l'occurrence, on peut supposer que le système attentionnel des enfants qui regardent beaucoup la télévision se développe moins bien que celui des enfants qui ne la regardent pas, notamment du fait de la faible durée qui s'écoule en moyenne entre deux changements d'image. Cette nouveauté artificielle hypnotise en quelque sorte le spectateur au lieu de lui apprendre à se concentrer. De ce fait, on peut s'attendre à ce que si l'on compare deux groupes d'enfants, ceux qui regardent moins la télévision auront une meilleure capacité de concentration.

Admettons que, fort de son hypothèse, le chercheur a comparé les deux groupes d'enfants, et admettons qu'il a observé l'effet attendu d'après son hypothèse expérimentale. 

Mais le chercheur qui observe des résultats compatibles avec son hypothèse ne peut s'arrêter là. Il doit convaincre les autres chercheurs (et lui-même !). Or, un chercheur qui défend une théorie concurrente, moins complaisant à l'égard des résultats, pourra toujours expliquer le fait observé (que l'on ne cherche pas ici à nier) en invoquant le seul effet du hasard. Par exemple, il dira qu'en constituant les groupes de sujets, l'expérimentateur a très bien pu prendre sans le vouloir des sujets ayant des capacités de concentration inégales. Ou bien encore, par pur hasard, un certain nombre d'enfants du groupe expérimental avaient moins bien dormi la veille que les enfants du groupe contrôle, ce qui a réduit leur performance. Une multitude de tels petits facteurs, la plupart inconnus, peuvent ainsi concourir, en ajoutant leurs effets, à ce qu'un groupe ait une meilleure performance que l'autre ce jour-là, sans qu'on puisse espérer que cet effet puisse être répliqué lors d'une expérience suivante. Cette hypothèse qui invoque le hasard est ce que l'on appelle l'hypothèse nulle.