Psychométrie
Cette grande leçon développe la problématique de la mesure en psychologie dans une perspective épistémologique et historique. Il s'agit de poser le problème de l'observation objective et quantitative du comportement d'une part, et le problème de l'interprétation des données comme des variables théoriques d'autre part.6. Un test psychométrique est-il valide ?
6.1. Validation prédictive
La validation prédictive consiste à montrer une dépendance statistique
La notion de validité prédictive associée à un test repose sur la notion d'association statistique de deux variables. On considère un couple de variables (X, Y) définies sur une population donnée. La variable X est définie par les scores obtenus au test et la variable Y est définie par la mesure d'un critère particulier. On peut utiliser le tableau de la distribution conjointe du couple des variables pour mettre en évidence l'utilité pronostique de l'association.
Dans Essentials of Psychological Testing, Cronbach (1990, pp. 152-153) présente l'exemple suivant, fondé sur des données collectées dans 25 lycées. Un test d'aptitude est conçu pour pronostiquer le degré de réussite, A, B, C, ou D, dans une certaine matière scolaire.
Un élève a obtenu un score particulier au test d'aptitude. Si le test a une certaine validité prédictive, un conseiller pédagogique pourra indiquer à cet élève la probabilité qu'il a d'obtenir un certain niveau de performance (grade) dans cette matière, en admettant que cela ait un sens d'attribuer une probabilité à un individu sur la base de statistiques interindividuelles. Ainsi, par exemple, obtenir un score au test compris entre 21 et 30 points est associé à :
- 94% de chances d'obtenir les notes D, C, B ou A,
- 66% de chances d'obtenir les notes C, B ou A,
- 25% de chances d'obtenir les notes B ou A,
- 4% de chances d'obtenir la note A.
- Tandis qu'un score au test compris entre 41 et 50 points est associé à :
- 99% de chances d'obtenir les notes D, C, B ou A
- 92% de chances d'obtenir les notes C, B ou A
- 62% de chances d'obtenir les notes B ou A,
- 21% de chances d'obtenir la note A.
Cet exemple montre que les scores au test d'aptitude possèdent une certaine validité prédictive. Ils n'en auraient aucune si la probabilité de réussir était indépendante du niveau d'aptitude mesuré. La validité prédictive d'une variable X par rapport à une variable Y observable dans le futur repose sur la dépendance statistique entre les deux variables. Si l'on souhaite quantifier la validité prédictive, il faut recourir à une mesure du degré d'association statistique entre les deux variables, comme par exemple le chi deux ou la corrélation linéaire.
La validité prédictive n'est pas une explication
Des données de ce type indiquent une tendance globale : plus le score d'aptitude est élevé, plus forte est la probabilité de réussite. Cependant, au niveau individuel, le score au test ne permet pas de déterminer le niveau de réussite qui sera effectivement atteint (cf. l'article Compétences pour maîtriser un test psychométrique, § 2). De plus, sans la compréhension des raisons de la dépendance statistique entre les deux variables considérées, il n'est pas justifié de raisonner comme si un rapport de cause à effet existait entre les deux variables. En particulier, rien ne permet de prédire que si l'élève augmente sa performance au test, alors il modifiera sa probabilité de réussite scolaire.
La validité prédictive n'est pas une propriété du test
Enfin, on remarquera que la validité prédictive du test d'aptitude est en fait une propriété des données considérées. Il est possible qu'en collectant des données dans d'autres lycées, la relation de dépendance entre les nouvelles variables X et Y puisse être considérablement différente (ou pas). Par "validité prédictive d'un test", on doit entendre "validité prédictive observée avec le test dans une population donnée (voire à un moment donné)".