L'édumétrie est la mesure de l'apprentissage, en sciences de l'éducation. Le mot édumétrie a été introduit par Carver en 1974.
L'édumétrie est une discipline proche de la psychométrie.
L'édumétrie théorise et applique des concepts et des méthodes qui permettront à l'individu d'acquérir des connaissances précises (celles qui se trouvent déjà partagées entre les ressortissants d’un groupe culturel dont il veut faire partie). Ses méthodes proviennent de la docimologie, science de la mesure des résultats aux examens (pour des groupes). Alors que la docimologie s’occupe de normaliser (notes pondérées en fonction de la moyenne du groupe), l’édumétrie permet d’individualiser la progression à travers les contenus particuliers des objectifs propres aux divers champs d’enseignement. Elle se situe donc, dans la pédagogie (où il est tenu compte des types de groupes d’étudiants), du côté de la didactique (où il est tenu compte de chaque type de matière à enseigner).
Histoire
Le mot édumétrie a été introduit par Carver en 1974..
La docimologie est née à Paris en 1922H. Laugier, H. Piéron, Mme H. Piéron, E. Toulouse, D. Weinberg, 1934, « Études docimologiques sur le perfectionnement des examens et concours », Conservatoire national des arts et métiers, 88p.. Des divergences inquiétantes apparaissaient lors de la comparaison des notes obtenues par les mêmes copies selon divers examinateurs (même les plus qualifiés). Un minimum d’objectivité devait être assuré. Il fallut prendre le chemin d’une standardisation des questions et des réponses (questionnaire à choix multiples : QCM)http://www.crame.u-bordeaux2.fr/pdf/docimologie.pdf.. Cela rendrait applicables les formules mathématiques de la statistique.
On établit une moyenne du nombre de bonnes réponses dans un groupe, un écart-type (moyenne des écarts, positifs ou négatifs, par rapport à la moyenne, dans le groupe) et la discriminance d’une qcm (question à choix multiple)Autrement dit sa sélectivité.. Mieux une qcmSouvent appelée item comme en anglais. trie les répondants suivant leur habileté mesurée, donc de la même façon que le QCM (l’ensemble du questionnaire), plus elle est sélective, c’est-à-dire révélatrice de la compétence (et utilisable dans un test d’évaluation). Les formules courantes de calcul des indices se trouvent expliquées sur les pages du site de l’Institut de recherche et de documentation pédagogique (IRDP), en Suisse romande..
Le rendement scolaire dans les pays membres de l’Union européenne est comparé par l’Organisation de coopération et de développement économique (O.C.D.E.)Voir notamment le Programme international pour le suivi des acquis (PISA). D’autres organismes sont mentionnés sur le site du ministère de l’Éducation nationale : http://www.education.gouv.fr/cid23200/definitions-des-termes-et-indicateurs-statistiques-de-l-education-nationale.html..
L’évaluation de l’acquis n’est pas la seule tâche que pouvait entreprendre le pédagogue formé aux méthodes scientifiques. L'analyse des comportements en situation d'apprentissage a pu être abordée statistiquement dès 1948 par l’American Psychological Association à son congrès de Boston. Benjamin S. Bloom y a fait la synthèse des contributions en proposant une taxonomie d’objectifs cognitifs et affectifsVoir D. Leclercq (2005) Édumétrie et docimologie pour praticiens chercheurs. Éd. de l’Univ. de Liège – ch. 4. http://www.labset.net/~georges/des_toise_leclercq.pdf. qui ajoute à la mémoire la compréhension, l’application, l’analyse, la synthèse créative et l’évaluation personnelle comme types d’objectifs principaux. À l’université de Liège (Belgique), G. de Landsheere crée un laboratoire de pédagogie expérimentale où sont mises à l’épreuve les qcm, les qro (question à réponse ouverte), les qcl (question à choix large), etc. De l’évaluation des groupes, on passe à la mesure des différents formes que peut prendre, pour mieux s’effectuer, l’apprentissage individuel. Ici peut être situé le tournant de la docimologie vers l’édumétrieLes deux termes restent encore assez souvent confondus..
Un lien s’établit avec la psychologie expérimentale. On observe (Richard Bertrand, Jean-Guy Blais, Gilles Raîche) une étroite parenté entre la courbe d’apprentissage d’Ebbinghaus, en psychologie expérimentaleVoir : http://www.er.uqam.ca/nobel/m263244/biographieebbinghaus.htm. et la courbe logistique obtenue par Birnbaum. à partir de la courbe gaussienne (Voir Loi normale).
Sur ces bases, une utilisation systématique des facilités de l’informatisation a permis l’ébauche d’une didactique du français moins empirique, et collaborative (elle s’adresse aux enseignants). Il s’agit de faire des relevés de réactions par qcm, pour des usages linguistiques concrets (le plus souvent des « fautes») selon les groupes culturelsAvec l'aide de l'Agence universitaire de la francophonie. Voir : http://www.aidenligne-francais-universite.auf.org/spip.php?page=sommaire_fr_sur_mesure., et de tirer, des courbes obtenues (dites strates de compétence collectives), un apprentissage individualisé, le « sur mesure ». Un tel développement demandait de recevoir un nom distinct de celui de docimologie. Édumétrie pris dans un sens spécifique semble convenir.
Problématique
Dans un groupe partiellement connu, par ses réponses aux qcm appropriées selon le domaine d’enseignement, comment déterminer, pour un individu qui se présente, les qcm les plus utiles (celles qui lui apprendront ce qui lui manque pour tout saisir) et comment les présenter dans l’ordre optimal (d’abord les plus faciles, puis les autres à mesure que son niveau s’accroît).
En IRTItem response theory., on appelle trait latent ce que les réponses obtenues peuvent déceler concernant chaque répondant (compétence, aptitude, profil...)Au trait latent, qui concerne les personnes, on peut considérer que correspond, du côté des contenus, le curriculum caché, dont les secrets donnent également lieu à des hypothèses dont on pourra tenir compte.. Le mathématicien Georg Rasch propose une formule de calcul de la probabilité de réussite à une question en fonction du score obtenu par l’individu pour l’ensemble du test. C’est un pas important : on établit un lien entre la difficulté d’une question et la compétence de l’individu.
La formule se raffine quand elle prend en compte non seulement la difficulté (% de bonnes réponses) mais la sélectivité (que répondent ceux qui ont les meilleures notes) et même la fiabilité (quelles sont les risques de réponse choisie au hasard, le guessing). Tel est le modèle proposé par LordFrederic M. Lord et Melvin R. Novick, 1968, « Statistical Theories of Mental Test Scores » Addison-Wesley, 568p.. Pour chaque qcm, il est tracé du courbe logistiqueDistribution gaussienne mais dont les données sont présentées de manière cumulative, ce qui montre une progression lente, rapide, puis de nouveau lente, « en S ».. Cette courbe dessine et mesure un «moment pédagogique», qui est le niveau d'apprentissageEn unité d'écart-type, entre -3 et +3 sigmas.. Le point mesuré est le moment où 50 % du groupe passe de l'ignorance au savoir. Ainsi est précisé un degré d'habileté auquel sont maximales les chances d'acquérir un élément microgradué de connaissance (disons, à titre d’exemple, pour la langue française, le sens nouveau d'un terme, ou la pénétration inconsciente d'un calque : le « alors que » accepté par le Robert comme équivalent de « when » et non plus comme adversatif).
Dans les groupes où il trouve des répondants, tout distracteur devient ainsi représentatif d'un stade de connaissance, même embryonnaire. Ne reçoit-il pas un niveau dont la formulation mathématique permet de tracer la courbe ? Cette « strate de compétence » dessine, sur le plan cartésien des positions possibles dans le groupe tout entier, la zone où se situent, en qualité et quantité, ses répondants. Avec plus ou moins de vigueur suivant sa « sélectivité »La raideur de la courbe, la discriminance., elle décèle un niveau d'habileté, un degré de connaissance, une marge d’acquisition éventuelle (quels sont les étudiants qui sont au niveau requis pour comprendre d’emblée le point enseigné). Les données recueillies ne contribuent à l’établissement des indices que dans la mesure où la fiabilité est vérifiée (on tient compte du hasard en mesurant le « guessing ») et surtout, dans la mesure où la question est validée pour le groupe (ceux qui répondent le mieux ne sont-ils pas majoritaires dans un des distracteurs plutôt que dans la bonne réponse prévue par les rédacteurs ?).
Or, en ce point, il a été possible d’aller plus loin, en introduisant dans le traitement des données les résultats obtenus pendant ce traitement. Il ne s’agit pas d’un quatrième paramètre mais d’une mesure affinée sur elle-même de la valeur des distracteurs et du même coup, d’une validation intrinsèque de la norme, dans un groupe donné.
Validation des distracteurs ?
Les trois indices (niveau de difficulté, sélectivité, guessing) obtenus pour les distracteurs par les QCM d’expérimentation diffèrent selon les connaissances des groupes. L’individu recevant un rang dans son groupe voit son rang dépendre de la compétence moyenne des autres. La dispersion de celle-ci dans le groupe varie aussi (écart type). La fiabilité est plutôt liée au contenu ou à la façon de poser la question. Au départ, le choix d’un distracteur comme bonne réponse est fait par le professeur. Les indices ne peuvent pas être établis autrement que sur une échelle de valeur fixée d’avance. On en déduit une échelle des habiletés qui est simplement le nombre des bonnes réponses de chacun, ce qui permet de donner un rang.
Or c’est seulement le rédacteur des qcm, l'enseignant comme représentant de l'institution scientifique et des fluctuations de la vérité scientifique, qui établit quelle est la réponse à considérer comme bonne. Mais une fois que chaque distracteur a reçu un niveau (qui est celui de l’habileté moyenne obtenue par ceux du groupe qui l’ont choisi), il devient possible de donner une valeur à tous ceux qui ont été retenus, et plus seulement à la « bonne réponse ». On découvre parfois que la norme du groupe (le choix qui attire les plus habiles) diffère de celle de l’enseignant. Le phénomène est rare, sauf dans des groupes très marginaux. En revanche, pour la précision des indices, c’est le détail qui change tout. Il devient possible de renvoyer la balle, de revenir de la difficulté, cette fois mesurée, à l’habileté correspondante. On dispose en effet d’une échelle de valeurs expérimentée qui concerne tous les distracteurs. On peut mesurer à nouveau les scores obtenus par les répondants.
On obtient ainsi une nouvelle évaluation, beaucoup plus fine, des habiletés et une échelle tellement plus précise que beaucoup de rangs ont changé. Même les « mauvaises » réponses contribuent à l’établissement des valeurs des individus, pour peu qu'elles eussent quelque chose de bon (ce qui vient d'être mesuré). Et la définition de ce « quelque-chose de bon» n’est plus dans l’esprit des équipes rédactionnelles seulement mais dans celui des répondants tout autant (puisque ce sont leurs résultats qui en font la mesure). Ceci n’est envisageable que dans les applications informatisées réunissant un assez grand nombre de données. Il faut traiter des lots d’environ 300 qcm auxquelles ont répondu 300 personnes, prises au hasard dans une même population, si l’on veut obtenir des indices assez semblables. Ces hypothèses ont pu être vérifiées au moyen d’un logiciel de traitement des réponsesRéalisé par Norman W. Molhant. qui a servi aux Cours autodidactiques de français écritVoir www.cafe.edu..
Des itérations