Chargement...

De la connaissance à la compétence

Évaluer le potentiel d'action par un QCM – « Recherche fondamentale inédite »

de Xavier Roegiers (Auteur)
©2017 Monographies 304 Pages

Résumé

Nous possédons des connaissances, nous obtenons des résultats scolaires, des diplômes … Mais cela nous permet-il pour autant d’agir dans les situations concrètes qui nous sont proposées dans toute leur diversité, du diagnostic médical à la dissertation, en passant par le problème mathématique ou l’évaluation d’un projet ?
Cet ouvrage évoque le déroulement et les résultats d’une recherche tout à fait originale autour de la question : qu’est-ce qui fait que nous sommes compétents ? Qu’est-ce qui fait que nous pouvons agir concrètement pour traiter des situations qui requièrent bien plus que des connaissances ? Elle démonte ces mécanismes inscrits au fond de nous et montre le rôle que jouent respectivement des facteurs cognitifs et émotionnels dans notre capacité à traiter des situations complexes.
Établis à partir d’une base de données de plus de 11 000 personnes, en provenance de 8 pays, sur 3 continents et dans 4 régimes linguistiques différents, les résultats de la recherche font apparaître des résultats parfois saisissants sur ce qui caractérise le potentiel à agir à différents âges, selon le genre, selon les cultures, selon les domaines de compétences.
De manière concrète, elle offre – à partir d’une série de questions à choix multiples (QCM) – la possibilité de déterminer de façon très précise les forces et les faiblesses de chacun(e) en matière de passage à l’action, aussi bien sur le plan émotionnel que cognitif, et pose ainsi les bases de pistes ciblées d’amélioration du potentiel de chacun.

Table des matières

  • Couverture
  • Titre
  • Copyright
  • Sur l’auteur/l’éditeur
  • À propos du livre
  • Pour référencer cet eBook
  • Table des matières
  • Avant-propos
  • Introduction
  • 1. Les compétences dans un contexte d’innovations
  • 1.1 Dans quel sens vont les innovations aujourd’hui ?
  • 1.2 La place des compétences dans ce contexte d’innovations
  • 1.3 L’environnement conceptuel d’une compétence
  • 1.4 Modéliser les différentes acceptions d’une compétence
  • 1.5 Savoir-faire et compétences génériques
  • 1.6 Des compétences génériques liées à la sphère émotionnelle
  • 1.7 Les compétences « situationnelles » : l’accès à la complexité
  • 1.8 Les taxonomies des opérations cognitives
  • 1.9 Qu’est-ce qui fait que nous sommes compétents ? L’état de la recherche
  • 2. L’évaluation de compétences
  • 2.1 L’évaluation d’une compétence de manière générale
  • 2.2 Quel serait l’idéal d’évaluation d’une compétence à dominante cognitive ?
  • 2.3 Les pratiques liées à l’évaluation des compétences cognitives
  • 2.4 L’évaluation des compétences génériques
  • 2.5 Des pistes pour une évaluation simplifiée de certaines compétences génériques
  • 2.6 Que peut-on retenir de l’évaluation des compétences ?
  • 3. Les fondements de la recherche
  • 3.1 Problématique, hypothèses et phases de la recherche
  • 3.2 Modèle théorique de départ et modèle opérationnel
  • 3.3 Les variables utilisées
  • 3.4 Les phases de la recherche
  • 4. La phase exploratoire
  • 4.1 Les grandes lignes du dispositif
  • 4.2 Les informations recueillies
  • 4.3 Un exemple de questionnaire
  • 4.4 Les résultats de la phase exploratoire
  • 5. La phase de modélisation
  • 5.1 Caractérisation des variables explicatives à travers des « familles de questions »
  • 5.2 De quoi les questions sont-elles constituées ?
  • 5.3 Établissement du lien « compétence – questionnaire QCM/QROC »
  • 5.4 Une étude de cas : la compétence « rédiger un compte rendu »
  • 5.5 L’allure générale d’une courbe de régression « note au test QCM / mesure de la compétence »
  • 5.6 Les autres compétences
  • 5.7 Conclusions de la phase de modélisation
  • 6. La phase de systématisation
  • 6.1 La consistance des réponses
  • 6.2 Le niveau réel de compétence
  • 6.3 Le travail sur les données brutes
  • 6.4 La notion de marge d’erreur et les causes avérées
  • 7. La phase d’extension et le travail sur les facteurs cognitifs
  • 7.1 Eléments de méthodologie
  • 7.2 Le travail de recherche des facteurs cognitifs
  • 7.3 Traiter la complexité : des facteurs cognitifs en interaction constante
  • 7.4 L’organisation des facteurs latents cognitifs entre eux
  • 7.5 Vers une taxonomie empirique des opérations cognitives liée à la complexité
  • 8. L’axe de recherche relatif à la dimension émotionnelle
  • 8.1 Modèle de recherche
  • 8.2 Objectif et question de recherche
  • 8.3 Cadre théorique : le modèle de Bateson pour approcher les facteurs émotionnels
  • 8.4 Émotions et capacités psychosociales
  • 8.5 Mettre en évidence des facteurs émotionnels : une approche théorique et empirique
  • 8.6 La liste des facteurs émotionnels
  • 8.7 Validation et validité des facteurs latents
  • 8.8 Vers une taxonomie empirique des facteurs émotionnels latents
  • 8.9 Exemple d’utilisation opérationnelle des résultats dans le cadre du recrutement
  • 9. Traiter la complexité : les principaux résultats
  • 9.1 Les facteurs cognitifs et émotionnels émergents de manière générale
  • 9.2 Les facteurs cognitifs et émotionnels par zone géographique et culturelle
  • 9.3 Performance académique/scolaire et compétence
  • 9.4 Les convergences et les différences selon les types de compétences
  • 9.5 Les convergences et les différences selon le genre
  • 9.6 Les convergences et les différences selon les tranches d’âges
  • 9.7 Synthèse des résultats
  • 9.8 Courbes de régression et part de variance expliquée
  • 9.9 Regard critique sur la démarche
  • 10. Conclusion
  • 10.1 L’objet de la recherche
  • 10.2 Le caractère original de la recherche
  • 10.3 L’échantillon
  • 10.4 Les principaux résultats théoriques de la recherche
  • 10.5 Les principaux résultats empiriques de la recherche
  • 10.6 Quelles perspectives cette recherche ouvre-t-elle dans le monde professionnel ?
  • 10.7 Quelles perspectives cette recherche ouvre-t-elle dans l’enseignement ?
  • 10.8 Ouvrir les portes de l’action cognitive
  • Bibliographie

| 13 →

Avant-propos

« Peut-on évaluer des compétences à travers un QCM1 ? »

Depuis que les responsables nationaux chinois de l’évaluation scolaire m’ont posé la question – c’était fin 2007 –, et que, depuis lors, des représentants de l’enseignement supérieur, mais aussi du recrutement en entreprise, de la formation d’adultes, de l’insertion socioprofessionnelle, m’adressent régulièrement la même question, j’ai fini par la faire mienne.

Pendant longtemps, ma réaction a été de dire « non », on ne peut jamais évaluer une compétence à travers un QCM. En effet, pour moi, exercer une compétence – et donc l’évaluer – c’est produire quelque chose, c’est faire quelque chose. Or, même le meilleur QCM ne donnera jamais à une personne l’occasion d’effectuer une production, d’exécuter une tâche en contexte. Tout au plus permettra-t-il d’identifier, parmi un ensemble de réponses possibles, quelle est la bonne, ou en tout cas la plus adéquate.

Et puis, petit à petit, j’en suis arrivé à nuancer ce verdict qui semblait a priori implacable, jusqu’au point de répondre : « Pourquoi pas ? » à la question posée.

Tout d’abord, il existe plusieurs types de compétences, pour lesquelles l’évaluation peut être traitée différemment. Il est clair que certaines compétences sont exercées en ayant recours à des gestes et à des savoir-être, comme – dans le cas d’une infirmière – le fait de prendre en charge les soins d’un patient de manière autonome. Mais il existe aussi des compétences cognitives, que l’on peut traiter en salle de formation ou en salle de cours, comme, pour la même infirmière, poser un diagnostic infirmier sur la base d’un ensemble documentaire concernant un patient.

Ensuite, il y a les opportunités de recourir à une combinatoire de questions. En effet, s’il semble exclu qu’une question unique puisse permettre de cerner une compétence donnée, sans doute doit-il exister une combinaison de quelques questions de type QCM « très intelligent » qui, sans évaluer cette compétence de manière précise, permet tout de même de s’en approcher.

Au fil du temps, cette question s’est transformée en une autre question : « Qu’est-ce qui fait que nous sommes compétents ? Qu’est-ce qui fait que nous pouvons traiter la complexité qui se présente à nous ? ». Autrement dit, quels sont les facteurs dont l’articulation à un moment donné, dans un certain contexte, nous permet d’agir cognitivement, c’est-à-dire effectuer ← 13 | 14 → une production en nous basant sur nos connaissances et sur nos capacités : produire un écrit, résoudre un problème mathématique, émettre des suggestions pertinentes face à une situation, etc. ? Qu’est-ce qui fait que, au-delà de la maîtrise de certaines connaissances, nous puissions utiliser celles-ci pour traiter des situations complexes ?

Les résultats présentés dans cet ouvrage, obtenus sur un échantillon de compétences tant en sciences humaines qu’en sciences « exactes », apportent certes des confirmations de ce que nous supposons intuitivement mais ils surprennent également. En tout cas, ils permettent d’affirmer qu’il est possible, avec une marge d’erreur tout à fait acceptable, d’approcher le niveau de maîtrise d’une compétence par une personne à travers un certain nombre de questions de type « QCM ».

Cette innovation pourrait permettre en particulier des avancées significatives dans les évaluations « papier-crayon » et les évaluations sur écran : enrichir celles qui sont surtout tournées vers les connaissances, simplifier singulièrement les procédures d’évaluation qui vont déjà au-delà de cette connaissance, mais qui restent fastidieuses et/ou aléatoires par manque d’outils efficaces. À terme, cette avancée pourrait enrichir le débat sur le rôle de l’école, celui de l’enseignement supérieur, et contribuer à infléchir la conception même des apprentissages : rendre davantage d’élèves et d’étudiants compétents et pas seulement savants. Permettre à chacun de pouvoir traiter la complexité.

Donner sa chance à tout le monde, cela a-t-il un sens lorsqu’on sait que cette « chance » est trop souvent une chance factice, ne procurant que de la connaissance ou des acquis de surface, mais en définitive pas un réel pouvoir sur les choses ? Autrement dit, certaines façons d’envisager les apprentissages ne confèrent en réalité qu’une illusion de pouvoir sur les destinées, plutôt que d’ouvrir réellement les portes à tout un chacun. C’est comme si on prétendait former un musicien uniquement en lui apprenant le solfège, ou si on donnait à quelqu’un l’illusion de pouvoir conduire une voiture en lui apprenant le code de la route.

Public-cible visé

En termes de public potentiel, cet ouvrage concerne plusieurs univers différents, allant de l’enseignement jusqu’à l’entreprise, en passant par la formation à distance ou l’orthopédagogie.

Ainsi, la présente recherche s’adresse en particulier :

Il pourrait également contribuer au domaine de la psychologie du travail et de l’orientation, ainsi qu’aux recherches en sciences cognitives et en intelligence artificielle.

Les tranches d’âge concernées par la recherche s’étendent de la fin de l’enseignement primaire à l’âge adulte.

Cet ouvrage présente la recherche de la manière la plus transparente possible, y compris les hésitations, les allers-retours, les erreurs commises, les pièges, les rectifications apportées, les chemins sans issue, pour bien faire comprendre au lecteur le caractère heuristique de la démarche.

En effet, il ne faut pas penser qu’il s’agit là d’une vérité absolue et évidente. Un morceau de vérité s’est dégagé à un moment donné d’une énorme quantité d’informations recueillies. Ce « morceau de vérité » demande à être encore affiné, précisé, prolongé, mais les premiers résultats sont incontestables.


1 Question(naire) à Choix Multiple.

| 17 →

Introduction

« Il faut être pédagogique et expliquer aux gens que… ». Tels sont des propos qui sont devenus tout à fait habituels dans la bouche d’un politique ou d’un responsable de la communication d’une entreprise. Pour beaucoup, la pédagogie est synonyme de « bien expliquer ». Si c’était le cas par le passé, est-ce encore valable aujourd’hui ? Ne confond-on pas information qui nécessite de transmettre un message de manière claire et compréhensible et formation qui implique une transformation de conception ou de mode d’action de la part de l’apprenant ?

Cette confusion se répercute de facto sur les procédures et outils d’évaluation.

À l’heure actuelle, si on veut évaluer une compétence complexe comme « poser un diagnostic », « planifier une action » ou « préparer un acte de vente d’un bien immobilier », on est pris entre deux feux.

Une première option est de soumettre – au candidat à un poste, à l’étudiant – une tâche complexe : ce peut être une mise en situation visant l’évaluation de la compétence dans le cas d’un recrutement, ou encore un travail écrit ou une étude de cas. Ce peut être aussi une observation in situ, par exemple lors du stage d’un étudiant. Ce qui les caractérise, c’est que tous sont relativement longs et fastidieux à corriger ou à apprécier, et de surcroît avec une marge d’erreur importante liée au correcteur : une situation complexe la plus authentique possible, bien ciblée mais peu pratique à préparer et à traiter.

Une deuxième option est de recourir à des questionnaires, de type QCM ou non. Ce qui les caractérise, c’est de très peu mesurer la compétence. Les tests QCM en entreprise interrogent plutôt l’esprit de déduction logique, de cohérence psychologique. Pour leur part, les tests QCM pratiqués dans l’enseignement supérieur se limitent la plupart du temps à des vérifications de connaissances : une épreuve facile à utiliser, qui apporte certes certains renseignements, mais qui se révèle insuffisante quand il s’agit d’évaluer des compétences.

On se trouve dès lors devant un vide dès qu’il s’agit de combiner d’une part un bon ciblage de l’objet de l’évaluation en vue de produire du sens et d’autre part la rapidité et la fiabilité que requièrent les exigences d’efficacité et d’efficience.

Au terme de la recherche, il apparaît possible, à certaines conditions, d’évaluer une compétence à travers un questionnaire de type QCM. Non pas des QCM classiques, de vérification de connaissances ou de savoir-faire, mais des QCM particuliers (des QCM « experts ») qui peuvent ← 17 | 18 → couvrir des catégories supérieures (capacités intellectuelles), bien au-delà de l’acquisition des connaissances. Ils vont rechercher des facteurs « latents », c’est-à-dire non visibles et donc difficiles à repérer et à mesurer.

Où en est-on en matière d’apprentissages des compétences ? En formation technique et professionnelle, cette orientation « compétences » est entrée dans les traditions depuis longtemps. Dans le monde de l’enseignement supérieur, ces apprentissages se réalisent – encore timidement – essentiellement à travers ce qu’on appelle « l’approche par compétences », un vaste programme aux contours souvent flous, pour lequel diverses modalités coexistent et sont mises en œuvre par les formateurs et les enseignants avec plus ou moins de succès1.

Dans un cas comme dans l’autre, on navigue avec un certain flou dans un univers de compétences mal circonscrit et aux outils incertains, mais dont tout le monde s’accorde par ailleurs à reconnaître la pertinence. Un grand pas semble en tout cas en train d’être franchi, à savoir la nécessité de recourir à des situations complexes dans les apprentissages : des études de cas, en lien avec un profil de sortie de plus en plus précis.

L’enjeu de la recherche

L’enjeu de la recherche est relatif aux modes de traitement de la complexité par une personne, c’est-à-dire au développement et à l’évaluation de ses compétences, comprises comme un potentiel à agir, que ce soit dans ses études, dans sa vie quotidienne ou professionnelle2. On peut formuler cet enjeu comme suit.

On vit souvent dans un leurre, entretenu par certaines dérives marchandes de la massification des études supérieures : le leurre selon lequel la compétence – vue comme un potentiel à pouvoir aborder la complexité de manière efficace – pourrait découler de la connaissance, alors qu’il n’en est rien. Comme l’a montré cette recherche, même l’intelligence ne serait qu’un déterminant parmi d’autres de la compétence. Les spécialistes du recrutement et de la sélection savent bien que c’est sur des compétences et sur des qualités humaines que s’effectue le choix d’un candidat, et non pas sur des connaissances. L’enjeu n’est donc pas de rendre des connaissances accessibles à tout un chacun – c’est d’ores et déjà le cas sur Internet (Serres, 2011) –, mais de rendre les compétences accessibles à tous, et de donner à tous la capacité de critiquer ces mêmes connaissances directement accessibles, sans aucun filtre ou hiérarchie. ← 18 | 19 →

Les MOOCs, dans leur forme actuelle, sont des signes d’un mode ambigu de transmission de connaissances. Même si dans leur forme attractive et dynamique, les MOOCs proposent des parcours de formation motivants, la plupart d’entre eux se basent encore essentiellement sur des connaissances, et évaluent en priorité les connaissances acquises, dans bien des cas via des QCM.

Depuis bien longtemps, le recours aux QCM est quasi généralisé dans l’univers de l’entreprise privée et dans les administrations, dès qu’il s’agit d’embaucher quelqu’un ou de valoriser sa carrière sur la base de ses compétences. Mais certaines questions fondamentales subsistent : sait-on ce qu’on évalue en réalité ? Ces QCM ne servent-ils pas avant tout à segmenter les candidats plutôt qu’à diagnostiquer leurs compétences ? Parfois, une orientation est réalisée uniquement sur la base de la passation de QCM. Par exemple, on soumet aux candidats trois tests, à savoir un test littéraire, un test mathématique et un test logique. Selon qu’il réussisse les deux premiers tests, ou les deux derniers, on l’oriente dans telle ou telle filière. Est-ce bien sérieux ?

À l’heure où, dans le contexte de la massification des études supérieures, le recours aux QCM dans l’enseignement supérieur est largement répandu, voire quasi généralisé, en particulier dans les filières scientifiques, il est également légitime de se poser la question de savoir ce que lesdits QCM mesurent en réalité. Ne fait-on pas échouer des étudiants qui seraient devenus d’excellents médecins ou agronomes de terrain ? De même, ne fait-on pas réussir des étudiants qui font par la suite de piètres professionnels ?

Dans l’entreprise comme dans l’enseignement supérieur, c’est la question de la validité externe des tests qui est interrogée : que mesurent-ils exactement ? Dans quelle mesure s’approchent-ils des compétences ? Le sait-on ? Ces tests mesurent-ils exactement ce qu’ils prétendent mesurer ? Quand un diagnostic est posé, est-il suffisamment opérationnel pour pouvoir organiser des régulations ciblées et efficaces ?

Il existe donc un enjeu qui apparaît de manière évidente : approcher au mieux le niveau de maîtrise des compétences chez le candidat ou l’étudiant, tout en gardant les avantages de rapidité et de fiabilité offerts par le QCM. Et donc améliorer le lien entre ce que le QCM déclare évaluer et ce qu’il évalue en réalité.

En résumé, on peut énoncer comme suit les enjeux de la recherche.

Résumé des informations

Pages
304
Année
2017
ISBN (PDF)
9782807603226
ISBN (ePUB)
9782807603233
ISBN (MOBI)
9782807603240
ISBN (Broché)
9782807602748
Langue
français
Date de parution
2017 (Février)
Mots clés
compétences QCM évaluation recrutement
Published
Bruxelles, Bern, Berlin, Frankfurt am Main, New York, Oxford, Wien, 2017. 304 p., 79 ill. n/b, 94 tabl.

Notes biographiques

Xavier Roegiers (Auteur)

À la fois ingénieur civil, instituteur et docteur en sciences de l’éducation, Xavier Roegiers est professeur à l’UCL, en Belgique. Expert pour l’UNESCO, l’UNICEF, l’OIF, et d’autres organismes multilatéraux, il accompagne les réformes curriculaires dans de nombreux pays, que ce soit pour l’enseignement primaire, secondaire, professionnel ou supérieur. Il s’intéresse surtout à l’impact des curricula sur la construction d’une société plus juste et plus humaine. Il a écrit de nombreux ouvrages dans le cadre de l’approche par compétences.

Précédent

Titre: De la connaissance à la compétence
book preview page numper 1
book preview page numper 2
book preview page numper 3
book preview page numper 4
book preview page numper 5
book preview page numper 6
book preview page numper 7
book preview page numper 8
book preview page numper 9
book preview page numper 10
book preview page numper 11
book preview page numper 12
book preview page numper 13
book preview page numper 14
book preview page numper 15
book preview page numper 16
book preview page numper 17
book preview page numper 18
book preview page numper 19
book preview page numper 20
book preview page numper 21
book preview page numper 22
book preview page numper 23
book preview page numper 24
book preview page numper 25
book preview page numper 26
book preview page numper 27
book preview page numper 28
book preview page numper 29
book preview page numper 30
book preview page numper 31
book preview page numper 32
book preview page numper 33
book preview page numper 34
book preview page numper 35
book preview page numper 36
book preview page numper 37
book preview page numper 38
book preview page numper 39
book preview page numper 40
304 pages