Statistique inférentielle et psychométrie appliquée

Cette grande leçon introduit la statistique inférentielle et la psychométrie appliquée, ceci dans la  perspective de permettre aux étudiants de comprendre les enjeux épistémologiques, scientifiques et techniques de ces matières. Ces enjeux comprennent en particulier la mise au point de méthodes objectives pour l’étude de la variabilité induite expérimentalement ou observée en condition naturelle.

Cette leçon est essentielle pour comprendre les suivantes, car tous les concepts de base de la statistique inférentielle y sont expliqués.

5. Opérationnaliser une grandeur psychologique

5.3. La solution de la théorie classique des tests

1) Prenez quelqu'un, demandez-lui de répondre au questionnaire, calculez son score et enregistrez-le.

2) Effacez-lui la mémoire.

3) Assurez-vous que les conditions expérimentales n'ont pas changé.

4) Demandez-lui de répondre au questionnaire, calculez son score et enregistrez-le.

5) Recommencez les opérations 2, 3 et 4 toute votre vie, et si possible ne mourez jamais car la série de vos scores doit être infinie.

6) Lorsque vous avez fini de recueillir vos scores, calculez la moyenne : vous venez de découvrir le score vrai.

Ce score, qu'on appelle aussi une espérance mathématique, est une impossibilité empirique, une pure vue de l'esprit. Cela est obligatoire, puisque l'anxiété-trait est aussi une pure vue de l'esprit. Ainsi, une vue de l'esprit de caractère mathématique opérationnalise une vue de l'esprit de caractère métaphorique. Une simulation illustrative est disponible dans l'article Variable aléatoire (cours de L1).

À partir de là, toute l'histoire consiste à trouver comment on peut estimer la précision avec laquelle on estime le score vrai. Notons au passage qu'on ne mesure plus, on estime. C'est-à-dire qu'on se livre à de savants développements de l'opérationnalisation initiale, développements qu'on pourrait appeler théorie de la fidélité.

Pour l'instant, ce qui nous intéresse, c'est comprendre comment les scores peuvent être interprétés, à rebours, comme ce qui a résulté d'un processus de mesure. Pour donner une signification opératoire au score vrai, on le déduit d'une série de scores qu'on a obtenus par une expérience de pensée. Maintenant, on se passe de tout score observé et on considère qu'il y a le score vrai : il existe indépendamment de la série des mesures. Ce faisant, on fait appel à un postulat métaphysique, ce qui permet de dépasser le paradoxe du caractère non opératoire d'une chose définie par le biais d'une expérience de pensée. Maintenant, le score vrai est premier, il ne résulte plus de la moyenne des mesures.

Ensuite, il y a le mesurage, qui engendre des biais. Ces biais s'ajoutent donc au score vrai, ce qui donne le score observé. Notons que ce processus de mesurage est tout à fait magique. Et l'identification de la grandeur métaphorique avec le continuum est une pure convention. Écrivons cela de manière mathématique. Notons τ (tau) le score vrai, ε (epsilon) les biais et y le score observé. On a la définition suivante :

yτ + ε.

Il faut maintenant montrer comment le score vrai peut varier sur le continuum [0, 40]. Pour cela, il suffit de faire un pas de plus dans l'écriture de la définition de τ . Ce pas va nous permettre de montrer comment est mobilisée une deuxième pure vue de l'esprit, corollaire de la première : la probabilité d'un événement (un score, étant donné le score vrai). On va considérer qu'il existe 41 probabilités :

1) la probabilité, étant donné τ, d'obtenir le score 0, qui sera notée p0,

2)la probabilité, étant donné τ, d'obtenir le score 1, qui sera notée p1,

etc. jusqu'à...

41) la probabilité, étant donné τ, d'obtenir le score 40, qui sera notée p40.

Ces probabilités ne sont rien d'autre que la fréquence de chaque score, lorsque cette fréquence est calculée avec l'infinité des mesures acquises par l'expérience de pensée initiale. On considère aussi comme certain le fait qu'on obtiendra un score lorsqu'on administrera le questionnaire (on néglige la situation du répondant qui refuse de répondre). Ainsi, la somme des probabilités de chaque score vaut 1 :

p0 + p1 + ... + p40 = 1.

 Avec ces probabilités, on a une autre définition du score vrai :

τ = p0 + 1× p1 + ... + 40× p40.

Pour montrer que τ peut varier dans [0, 40], il faut montrer qu'il ne peut pas varier à l'extérieur de [0, 40] et qu'il peut prendre n'importe quelle valeur dans [0, 40]. Pour une démonstration que τ appartient à [0, 40], voir l'article Encadrement de l'espérance d'une variable aléatoire numérique discrète bornée. Nous allons nous contenter ici d'une approche intuitive.

Existe-t-il un minimum et un maximum de τ ? On a un jeu de scores possibles et un jeu de probabilités dont on fait ce qu'on veut du moment que leur somme reste égale à 1. Pour minimiser τ, il faut maximiser la probabilité d'avoir le score minimum, c'est-à-dire fixer p 0 à 1, ce qui implique que les probabilités restantes ont pour valeur 0, ce qui implique que min(τ) = 0×1 = 0. Un raisonnement analogue conduit à max(τ) = 40×1 = 40.

Nous déduisons que τ varie dans l'intervalle [0, 40]. Rien n'interdit que τ prenne des valeurs réelles. Autrement dit, le recours aux 41 probabilités permet de concevoir comment  τ varie dans un continuum borné.

Il reste à fonder ces probabilités comme des êtres qui possèdent une signification scientifique. À notre connaissance, personne n'a réussi une telle prouesse; en effet, il faudrait pouvoir mettre en œuvre le programme expérimental esquissé plus haut, ou être capable de voyager dans le temps. Ainsi, la théorie classique des tests est cohérente, elle mesure des grandeurs métaphoriques avec des scores vrais qu'on ne connaîtra jamais, puisqu'il faudrait connaître les probabilités de chaque score observé et qu'on ne connaîtra jamais ces probabilités, puisqu'il faudrait, entre autres choses, être immortel. Mais on a tout de même une théorie de ce qui est mesuré... Nous verrons que cette théorie est infalsifiable, et n'est donc pas une théorie scientifique d'un point de vue poppérien; elle reste une théorie interprétative qui peut très bien convenir si on lui demande seulement de fournir une interprétation du score comme mesure d'une grandeur intuitive.