Chargement...

Bienvenue au 21 e siècle

Évaluation des apprentissages et technologies de l’information et de la communication

de Jean-Guy Blais (Éditeur de volume) Jean-Luc Gilles (Éditeur de volume) Agustin Tristan (Éditeur de volume)
©2015 Collections VI, 302 Pages

Résumé

Chaque jour, chaque semaine, chaque année, des données reliées à l’évaluation des apprentissages sont récoltées par des enseignants, des écoles et des ministères. Traditionnellement, ces données ont été récoltées avec un support dit papier-crayon, mais cette technologie est en voie d’être supplantée par la technologie informatique et le support écran-clavier. Il s’agit d’un constat inéluctable et ce nouveau support ouvre la porte à une exploitation des données qu’il était difficile d’imaginer il y a dix ans à peine, avec un potentiel de transformation radicale du processus d’évaluation des apprentissages et des apprentissages eux-mêmes. Dans la lignée de leurs ouvrages précédents sur le même thème, les auteurs exposent ici différentes facettes propres à l’évaluation des apprentissages à l’aide des technologies de l’information et de la communication. Ce thème est abordé en quatre parties : la complexité de nouvelles approches pour récolter des données pour l’évaluation, les dispositifs numériques en ligne, les outils pour l’analyse de séquences filmées et enfin la modélisation de données pour l’évaluation.

Table des matières

  • Couverture
  • Titre
  • Copyright
  • Sur l’éditeur
  • À propos du livre
  • Pour référencer cet eBook
  • Sommaire
  • Introduction
  • Dans un monde près de chez vous : l’évaluation des apprentissages à l’ère du Big Data, du Data Mining et de l’intelligence artificielle
  • Section 1 : La complexité sous-jacente à de nouvelles approches
  • L’utilisation de la cartographie conceptuelle pour évaluer les apprentissages : un panorama des modalités de passation, de correction et de notation
  • Comparaison entre les modalités d’évaluation manuscrite et informatisée pour la production de textes à la fin du secondaire au Québec
  • Section 2 : Des dispositifs numériques en ligne
  • Un dispositif pour évaluer des savoirs mathématiques au début, pendant et à la fin d’un module de formation
  • Dispositif de formation numérique au 1er et 2e cycle universitaire : structuration, outils d’évaluation et perception des étudiants
  • Développement du jeu vidéo Mécanika conçu pour intervenir sur des conceptions identifiées au moyen d’un test standardisé en enseignement des sciences
  • Section 3 : L’analyse de séquences filmées
  • Au cœur de l’interaction entre un superviseur et de futurs enseignants : étude des séances de rétroaction vidéo par l’application de la fonction d’analyse de séquences de codes du logiciel QDA Miner®
  • Évaluer les pratiques de classes : typologie et utilisation de deux logiciels de codage et d’analyse de séquences vidéographiées
  • Section 4 : La modélisation au service de l’analyse des données pour l’évaluation
  • Utilisation de l’analyse statistique implicative dans le cadre de la classification hiérarchique de compétences dans une visée diagnostique
  • Analyse du fonctionnement différentiel des items des versions papier et informatisée d’un test de classement en anglais, langue seconde, en présence de patrons de réponses inappropriés
  • L’indice de difficulté subjective DS90 : un instrument de calibration combinant la qualité spectrale des tests standardisés avec les principes sous-jacents à la théorie des réponses aux items

← vi | 1 → Introduction← 1 | 2 →

← 2 | 3 → JEAN-GUY BLAIS

JEAN-LUC GILLES

AGUSTIN TRISTAN-LOPEZ

Dans un monde près de chez vous : l’évaluation des apprentissages à l’ère du Big Data, du Data Mining et de l’intelligence artificielle

Chaque jour, chaque semaine, chaque année, des données reliées à l’évaluation des apprentissages sont récoltées par des enseignants, des écoles et des ministères. Ces données prennent différentes formes et elles peuvent être très structurées comme lors d’une épreuve standardisée ministérielle avec des questions à choix de réponse, ou beaucoup moins structurées comme lors d’ajout de pièces individuelles dans un portfolio d’apprentissage. Cependant, à l’heure actuelle l’exploitation de ces données est plutôt limitée. Elle est locale, très circonscrite et non uniforme d’un enseignant à l’autre lorsque les données sont récoltées dans le cadre des activités quotidiennes de la salle de classe. Elle répond à des impératifs d’urgence de retour des résultats lorsque les données sont récoltées dans le cadre d’une épreuve standardisée certificative sous la responsabilité d’autorités ministérielles. Entre ces deux extrêmes, plusieurs situations pourraient être évoquées comme autant d’exemples où le potentiel des données récoltées n’est pas exploité à sa juste mesure faute de temps, d’énergie, de ressources ou d’outils appropriés. Pour envisager une exploitation adéquate il faut qu’au moins trois conditions essentielles soient réunies. D’abord, il faut que les données soient produites et que les outils utilisés à cette fin soient répertoriés, ensuite il faut que les données soient accessibles et stockées sur un support sécuritaire, finalement il faut des outils efficaces pour les analyser et fournir la rétroaction aux personnes concernées (élèves, parents, enseignants, autorités ministérielles, etc.).

Le support traditionnel pour récolter des données en vue d’évaluer les apprentissages qu’est la modalité papier-crayon se prête assez mal à une exploitation optimale. Prenons, par exemple, le cas d’une épreuve uniforme d’écriture où plusieurs milliers d’élèves produisent un texte sur un thème imposé. Les seules données qui subsisteront après la correction des ← 3 | 4 → copies des élèves seront les notes attribuées par les correcteurs aux différentes copies (ou aux différents critères). Toute la richesse de l’information contenue dans les textes eux-mêmes est tributaire d’une improbable analyse future en profondeur, ce qui n’arrive jamais ou presque faute de moyens, et les textes restent stockés sur des tablettes pendant le temps légal de conservation des copies. Après cette période, ils sont tout simplement détruits. Le même constat pourrait être fait au sujet des données récoltées par les enseignants car ceux-ci disposent d’encore moins de ressources et de temps pour les exploiter dans un environnement où la rapidité du retour aux élèves est essentielle. Et que dire de tout le bénéfice d’un regard longitudinal et transversal qui n’est que très peu possible car difficile à documenter faute de données pertinentes. Cependant, le support traditionnel papier-crayon pour la récolte des données en évaluation des apprentissages est tranquillement supplanté par le support écran-clavier. Il s’agit d’un constat inéluctable et ce nouveau support ouvre la porte à une exploitation des données qu’il était difficile d’imaginer il y a dix ans à peine, transformant radicalement l’évaluation des apprentissages (et les apprentissages eux-mêmes). À ce sujet, Blais (2011) écrivait « […] il est aussi fort possible que la contribution humaine au processus d’évaluation soit tout autre que celle que les étudiants du XXe siècle ont connue ». En effet, imaginons un instant une situation qui illustrerait ce que la technologie pourrait permettre dans le rayon des opérations d’évaluation d’envergure avec plusieurs milliers de candidats. Un élève est assis dans une classe traditionnelle et il s’active à rédiger un texte dans le cadre d’une épreuve standardisée uniforme et certificative pour la fin des études secondaires. Il écrit avec le clavier qui accompagne sa tablette d’une marque bien connue et disponible à un prix raisonnable. Il exécute ce travail sur une plateforme informatique accessible en ligne, dédiée et protégée contre les intrusions extérieures. Évidemment, il n’a pas accès à Internet et à aucun autre outil que ceux disponibles sur la plateforme. Après environ deux heures de travail et après une révision minutieuse de son texte, l’élève décide qu’il a terminé, sélectionne à l’écran le bouton J’ai terminé et confirme une autre fois que c’est bien le cas. Il quitte la classe où l’épreuve a lieu et se dirige vers la sortie. Il n’a pas fait une dizaine de pas dans le corridor lorsqu’il reçoit un courriel sur son téléphone portable intelligent qui annonce Votre résultat à l’épreuve d’écriture du 12 juin. Il est soulagé et nullement surpris car il croyait qu’il aurait ce message plus rapidement, il ouvre le courriel et prend connaissance de sa note globale et de la note attribuée pour chacun ← 4 | 5 → des trois critères de correction. Il a obtenu une note de 74 % avec des notes respectives pour chacun des critères de 68 %, 72 % et 80 %. Il n’est pas surpris car depuis maintenant plus de dix ans les textes produits dans le cadre de cette épreuve d’écriture certificative sont corrigés automatiquement par un moteur de correction, et sans intervention humaine. Les élèves qui réussissent reçoivent leur résultat rapidement, c’est pourquoi il est soulagé, et ceux qui échouent le reçoivent quelques jours plus tard après une révision où le jugement humain est partiellement mis à contribution.

En quelle année pouvons-nous imaginer cette scène qui semble tenir d’une utopie futuriste un peu trop enthousiaste ? Probablement entre 2025 et 2027. Donc, si cette pratique a cours depuis dix ans, cela veut dire que la correction automatisée avec un moteur de correction a été implantée entre 2015 et 2017. À toute fin pratique, 2015 c’est demain ! Utopie, enthousiasme délirant, « technotopie » ou « technovangélisme » ?1 Aucune de ces réponses, car c’est bien de la réalité qu’il s’agit, une réalité qu’on pourra voir en action à grande échelle dès 2015 dans un grand nombre d’États aux États-Unis.

En 2010 le gouvernement des États-Unis lançait le programme Race to the Top et débloquait des fonds de 350 millions de dollars pour financer des projets de développement de systèmes technologiques pour l’évaluation des apprentissages. À la suite de cette annonce, deux consortiums se sont formés pour relever le défi. Le Smarter Balanced Assessment Consortium (SBAC) regroupant vingt-quatre États et le Partnership for Assessment of Readiness for College and Careers (PARCC) regroupant dix-huit États et deux territoires2. Le calendrier d’implantation prévoit que des épreuves sommatives en ligne intégrant des tâches complexes et innovantes en mathématique et en langue seront opérationnelles au printemps 2015 pour plusieurs années du primaire et du secondaire. Un des objectifs de ces opérations d’évaluation est de faire en sorte que les élèves soient confrontés à des tâches où ils doivent écrire leur réponse et la justifier. Évidemment, si les élèves écrivent plus cela implique beaucoup plus de travail de correction lorsque celle-ci est réalisée par des humains. Donc, de facto, plus de temps et plus de ressources à consacrer à la correction. Dans la foulée du développement de ces tâches innovantes où les élèves doivent écrire plus, la fondation William and Flora Hewlett, en partenariat ← 5 | 6 → avec les deux consortiums mentionnés ci-dessus, a subventionné une compétition en trois phases, le Automated Student Assessment Prize (ASAP) où des équipes du monde entier (certaines provenant des principaux leaders commerciaux dans le domaine du testing en éducation) rivalisent pour démontrer l’efficacité de systèmes technologiques pour la correction automatisée de textes longs (des essais), de réponses courtes et de réponses à des problèmes en mathématiques.

Au moment de l’écriture de ce texte, les deux premières phases de la compétition sont terminées et les résultats pourraient en surprendre plusieurs à tout le moins en ce qui concerne les textes longs (1re phase). Ce concours a ainsi été l’occasion d’une étude détaillée pour vérifier les prétentions de neuf moteurs de correction disponibles commercialement (Shermis & Hamner, 2013). L’étude a permis de comparer la correction automatisée de ces neuf moteurs à celle de correcteurs humains à partir d’un échantillon d’environ 22 000 textes variés provenant de six États des États-Unis. Les résultats de l’étude seraient trop longs à présenter en détail dans cette introduction mais le lecteur intéressé peut consulter l’étude de Shermis et Hamner3. On peut résumer le tout en disant que les résultats de la correction automatisée étaient statistiquement identiques à la correction humaine. Pour les réponses courtes (2e phase), le succès de la correction automatisée a été plus mitigé, les moteurs de correction offrant une bonne performance mais avec moins de précision que celle des humains4. Naturellement, ces moteurs de correction devraient s’améliorer dans les années à venir et être encore plus performants, sans jamais se fatiguer et en corrigeant toujours de la même manière.

Bienvenue dans l’ère du Big Data et du Data Mining, avec une bonne dose d’intelligence artificielle. En effet, ces moteurs de correction, qui pour certains ont une longue histoire et ne datent pas d’hier (voir Page, 1966), ont tous la particularité de pouvoir apprendre à partir d’un échantillon de textes qui sert à les entraîner. Il s’agit de ce qu’en intelligence artificielle on nomme Machine learning, l’apprentissage automatisé, qui se réalise à partir d’un corpus de données existantes. L’existence d’immenses bases de données (le Big Data) récoltées par les plateformes Web les plus diverses (réseaux sociaux, fureteurs, téléphones intelligents, etc.) est à l’origine ← 6 | 7 → d’un développement important d’outils d’analyse et de croisement de données (le Data Mining) des plus diverses (textes, sons, images, vidéos, localisations géographiques, pour ne nommer que les plus évidentes). Les trois conditions essentielles pour l’exploitation de ces données sont donc réunies : elles existent en très grand nombre ; elles sont stockées sur des supports accessibles ; de puissants outils sont disponibles pour les analyser.

L’évaluation des apprentissages, lors d’opérations à grande échelle ou dans la salle de classe par les enseignants, pourrait être un grand bénéficiaire de ces développements technologiques de récolte, stockage et analyse des données. Dans les années à venir il y aura sans l’ombre d’un doute de plus en plus d’épreuves passées en ligne par les élèves et de travaux transmis directement aux enseignants. Donc, beaucoup, beaucoup de données disponibles pour suivre les élèves, suivre l’état du système d’éducation, faire des diagnostics individuels et collectifs… Et ces données ne seront exploitables qu’à la condition de bien comprendre les mécanismes qui prévalent à leur production et à leur validité dans les systèmes technologiques mis en place.

Dans la lignée de deux ouvrages précédents sur le même thème (Blais, 2009 ; Blais & Gilles, 2011), le présent ouvrage expose différentes facettes propres à l’évaluation des apprentissages à l’aide des technologies de l’information et de la communication. Il est divisé en quatre parties qui abordent la complexité sous-jacente à de nouvelles approches pour récolter des données pour l’évaluation, des dispositifs numériques en ligne, des outils pour l’analyse de séquences filmées et, finalement, la modélisation de données pour l’évaluation.

Dans la première partie, Morin et Blais présentent en détail la carte conceptuelle (aussi réseau de concepts ou schéma sémantique), un outil d’apprentissage qui permet aux étudiants de déterminer les notions importantes en lien avec un thème ou un contenu de cours, et de les organiser sous une forme graphique. Leur texte s’attarde à tracer un portrait des différentes caractéristiques des tâches d’évaluation faisant appel aux principes de la cartographie conceptuelle, mais aussi à établir un bilan de la cohérence entre les divers aspects de ces tâches, notamment en ce qui concerne leur correction et leur notation, en précisant au passage les apports des technologies de l’information et de la communication. Ensuite, Diarra et Laurier s’interrogent sur la comparabilité entre une modalité d’évaluation où l’élève utilise le traitement de texte (modalité informatisée écran-clavier) et une autre où il utilise le papier-crayon ← 7 | 8 → (modalité manuscrite). Dans un contexte où on demandera aux élèves d’écrire plus et où la transition d’une modalité à l’autre ne sera pas uniforme pour tous les milieux, il est possible que les deux modalités subsistent en même temps et il sera important de s’assurer que les élèves bénéficient tous d’un traitement juste et équitable peu importe la modalité de passation.

Résumé des informations

Pages
VI, 302
Année
2015
ISBN (ePUB)
9783035194340
ISBN (PDF)
9783035203035
ISBN (MOBI)
9783035194333
ISBN (Broché)
9783034316132
DOI
10.3726/978-3-0352-0303-5
Langue
français
Date de parution
2015 (Janvier)
Mots clés
Donnée Nouvelle approche Dispositif numérique Outil Analyse
Published
Bern, Berlin, Bruxelles, Frankfurt am Main, New York, Oxford, Wien, 2015. 308 p.

Notes biographiques

Jean-Guy Blais (Éditeur de volume) Jean-Luc Gilles (Éditeur de volume) Agustin Tristan (Éditeur de volume)

Jean-Guy Blais est professeur au département d’administration et fondements de l’éducation de l’Université de Montréal au Canada. Jean-Luc Gilles est professeur à la Haute École Pédagogique du canton de Vaud en Suisse où il dirige les unités R&D et Relations Internationales. Agustin Tristan-Lopez est directeur-général de l’Institut d’évaluation et génie avancé située à San Luis Potosi au Mexique.

Précédent

Titre: Bienvenue au 21 e  siècle
book preview page numper 1
book preview page numper 2
book preview page numper 3
book preview page numper 4
book preview page numper 5
book preview page numper 6
book preview page numper 7
book preview page numper 8
book preview page numper 9
book preview page numper 10
book preview page numper 11
book preview page numper 12
book preview page numper 13
book preview page numper 14
book preview page numper 15
book preview page numper 16
book preview page numper 17
book preview page numper 18
book preview page numper 19
book preview page numper 20
book preview page numper 21
book preview page numper 22
book preview page numper 23
book preview page numper 24
book preview page numper 25
book preview page numper 26
book preview page numper 27
book preview page numper 28
book preview page numper 29
book preview page numper 30
book preview page numper 31
book preview page numper 32
book preview page numper 33
book preview page numper 34
book preview page numper 35
book preview page numper 36
book preview page numper 37
book preview page numper 38
book preview page numper 39
book preview page numper 40
310 pages