Statistique inférentielle et psychométrie appliquée

La prévision actuarielle consiste à utiliser la fréquence des événements pour une prévision probabiliste (i.e., infalsifiable par l'observation de l'événement en question, mais testable en théorie sur une série de prévisions). Nous allons utiliser un exemple proposé par Lee J. Cronbach dans son ouvrage intitulé "Essentials of psychological testing" (1990, voir aussi notre article du cours de L1 "Un test psychométrique est-il valide ?").

Cronbach utilise les données suivantes :

Les intervalles de valeurs de la première colonne indiquent la somme des scores obtenus à deux tests d'aptitude (raisonnement arithmétique, perception spatiale). Les scores proviennent de lycéens inscrits dans 25 lycées (les données sont en fait empruntées à une étude plus ancienne et les détails ne sont pas communiqués). Les lettres A à D indiquent des grades, c'est-à-dire des niveaux d'évaluation en dessin industriel (notre traduction de "drafting") : le meilleur grade est le grade A.

Les nombres contenus dans les cellules sont des pourcentages cumulés : par exemple, parmi les lycéens ayant un score compris entre 41 et 50 points, 21% ont obtenu le grade A, 62% ont obtenu au moins le grade B, 92% ont obtenu au moins le grade C, etc.

Cronbach évoque un conseiller qui devrait diriger l'attention du lycéen qu'il conseille, et qui a obtenu 25 points, sur la ligne de la table indiquant "qu'il a deux chances sur trois d'obtenir au moins le grade C" (p. 153). Que signifie cette proposition ? D'un point de vue factuel, 66% des lycéens de l'échantillon qui ont obtenu un score compris entre 21 et 30 points ont au moins le grade C. Il s'agit d'une fréquence conditionnelle. L'interprétation que Cronbach suggère au conseiller de suggérer au lycéen qui est venu le consulter n'est pas la même. Elle repose sur la notion de chance d'obtenir au moins le grade C.

La notion selon laquelle un événement a une chance parmi n ( n étant un nombre naturel non nul) de se réaliser est une notion obscure sinon obscurantiste. Il s'agit d'invoquer le hasard, ou encore une force occulte qui régirait le cours des événements. Ce que nous savons logiquement est (i) qu'il existe une possibilité sur deux pour que l'événement se réalise, et (ii) que nous ignorons si cet événement se réalisera. En fait, l'interprétation probabiliste de Cronbach est un aveu d'ignorance du conseiller. Mais alors, à quoi sert le conseiller ?

Le conseiller a deux choix : soit il se drape dans le rôle de divinateur savant (parce que l'actuariat, c'est une affaire de savants), soit il refuse d'endosser ce rôle. Si le lycéen cherche un gourou, le premier choix correspond à une logique de satisfaction de la demande. Si, de surcroît, le conseiller est payé pour faire de la satisfaction, son choix est rationnel, parce que s'il produit de l'insatisfaction il sera rapidement remercié par l'institution qui l'emploie, pourvu que ladite institution dispose des moyens juridiques de définir l'insatisfaction des clients comme une faute professionnelle. Si le lycéen cherche de l'information, alors le second choix est approprié et il n'est pas nécessaire d'utiliser le langage de la prédiction d'un événement futur.

L'obtention du grade "au moins C" dépend de toutes sortes de circonstances qui échappent à la façon dont Cronbach envisage le conseil dans le paragraphe qui nous intéresse. Le lycéen peut apprendre des données que parmi les lycéens de sa catégorie (i.e., ceux qui ont obtenu un score compris entre  21 et 30 points), tout est possible en matière de grade. Il peut donc supposer que présentement, rien ne l'empêche d'obtenir tout grade. En fait, les données indiquent que le score psychotechnique ne permet pas de faire l'hypothèse qu'il existe des scores interdisant l'obtention de n'importe quel grade ; en d'autres termes, les données ne révèlent aucun fait général. Il est alors tentant d'en déduire que la connaissance du score aux tests ne sert à rien : le conseiller pourrait indiquer à un lycéen inquiet parce qu'il a obtenu un score très faible que rien dans les données dont il dispose ne permet d'exclure qu'il pourrait obtenir le meilleur grade. Quant à la question de savoir ce qui déterminerait l'obtention d'un grade particulier, les données ne sont pas pertinentes.