Nouvel examen du code de la route, un échec retentissant ?

Nouvel examen du code de la route, un échec retentissant ? (en cours d’élaboration)

Nous avons tous été surpris et même choqués d’apprendre que les premiers examens du « nouveau » code de la route se sont traduits par un taux de réussite de 17% alors qu’il était de 70% dans sa version précédente.

Serait-ce que les formateurs (les auto-écoles) seraient tous devenus nuls? Personne ne le croit.
Serait-ce parce que les examinés, à force de rester la Nuit Debout auraient perdu tous leurs moyens (autres que financiers?) Ce serait une trop piètre excuse pour les organisateurs du permis.
Lorsque l’on lit dans « lefigaro.fr » du 5 mai, »Les choses vont se réguler. D’ici quinze jours, cela sera en partie redressé, on ne fait pas une réforme sans des moments d’ajustement », avait insisté mardi le délégué interministériel Emmanuel Barbe. Est-ce une réponse acceptable? Ou faut-il alors accuser l’amateurisme des organisateurs de cet examen?

« Non », ce n’est pas acceptable et « oui » on peut dès les premiers examens mettre en place une procédure qui garantisse une égalité de traitement entre tous les candidats.

En voici la preuve. Sur un exemple que certains d’entre vous – les logisticiens – ont pu vérifier.

Des leçons à prendre chez les professionnels?

Certification professionnelle, un modèle?

L’APICS (autrefois acronyme d’American Production and Inventory Control Society) est une association professionnelle américaine qui, depuis plus de 40 ans, décerne des certifications professionnelles à des centaines de milliers de candidats. Ces certifications professionnelles en logistique et en management industriel sont reconnues dans le monde entier. Ajoutons que pendant longtemps la France a été, hors Etats Unis et après l’Inde, le deuxième pays en nombre de nouveaux certifiés.

Le niveau de reconnaissance de ces certifications est celui d’un MBA ou Master 2. Ces certifications testent la connaissance et la compétence à exercer une activité professionnelle Compte tenu du coût (quelques milliers d’euros) et du temps de préparation (jusqu’à un an), on comprend donc qu’il ne peut y avoir d’amateurisme dans leur délivrance par l’APICS. Au risque de voir une nuée de « lawyers » fondre sur l’association et lui demander quelques millions de dollars en compensation d’une année perdue. Dès sa création l’APICS a mis en place une procédure rigoureuse pour l’éviter.

Information du candidat

Chaque candidat peut obtenir le Manuel de l’examen (Exam Content Manual). Ce manuel d’une vingtaine de pages décrit aussi bien le mode de passage de l’examen, que le contenu du programme. Il donne la liste des termes spécifiques qui doivent être connus voire leur définition. Une dizaine de questions types – des QCM: Questions à Choix Multiple – sont fournies avec la bonne réponse et sa justification. Il traite aussi des différents thèmes qui sont couverts dans les QCM et le pourcentage des questions pour chacun d’eux. Enfin il liste les documents qui servent de base à la création des QCM et la justification de la bonne réponse. Le code d’éthique n’est pas anecdotique car il devra être signé par chaque candidat avant de passer l’examen.

Préparation et rédaction des QCM

Les QCM sont créées par un groupe de bénévoles déjà diplômés qui vont se réunir pendant un week-end. Pendant une demi-journée , ils apprennent à les créer, éviter les pièges, fournir la bonne réponse et la justifier. Ainsi, en France, pendant un week-end 30 bénévoles professionnels créèrent 200 QCM « brutes » qui furent ensuite revues par le comité de certification afin d’éviter de trop grande similitudes avec d’autres QCM déjà validées. Ce long travail étant terminé, il est alors possible des tester les nouvelles QCM en situation d’examen.

Test des QCM en grandeur réelle

Si un pool de questions existe déjà, dans l’examen réel on n’introduit que 20% de nouvelles questions. Elles ne sont pas connues des candidats et ne seront pas décomptées dans la note finale. Elles seront testées « à blanc » et soit retirées soit ajoutées au pool de QCM. les raisons pour les éliminer sont multiples:

elles sont trop difficiles et le taux de bonne réponse est trop faible. Rappelons que pour une QCM avec 4 réponses possibles il y a déjà 25% de chance d’avoir la bonne réponse par hasard et 50% avec deux réponses possibles.
elles sont mal formulées ou ambigües
elles sont trop faciles et le taux de réponse dépasse les 95%. est de 100%, il n’y a donc pas de justification à les conserver.

Lorsque ce travail de nettoyage ou d’élagage a été accompli, il ne reste plus qu’à recalculer le taux de réussite et s’il se maintient dans les normes attendues, valider les résultats et informer les candidats.

Les erreurs dans le nouvel examen du code de la route

Elles sont nombreuses:

Avoir jeté le bébé avec l’eau du bain

Alors que nous disposions un pool d’un millier de questions qui avaient été testées et validées sur des dizaines d’années, des irresponsables ont décidé de repartir à zéro, car il est bien connu qu’en France il n’y a rien de telle qu’une bonne révolution. Malheureusement une révolution est raremenr pacifique et les 83% ui sont restés sur le bord de la route sont là pour en témoigner.
Ne pas avoir testé le nouveau processus

Il est couramment admis qu’un échantillon de 200 à 300 tests suffit pour valider un processus de certification. Si le travail de création, de rédaction et de contrôle a été bien fait, cet échantillon suffira largement pour assurer une bonne qualité de l’examen et un taux de réussite conforme aux attente. Avec l’examen que nous venons de connaître nous avions le contre-exemple de tout ce qu’il ne fallait pas faire.

Ne pas s’être assuré que les formateurs des auto-écoles disposaient des moyens de formation suffisamment tôt pour pouvoir les assimiler, comprendre le nouvel état d’esprit qui sous-tend ce nouvel examen et former les candidats en disposant d’un délai raisonnable.
Avoir immédiatement communiqué les résultats sans aucun contrôle préalable

Lors de l’introduction de nouvelles certifications, pour avoir fait partie des pionniers, les 300, j’avais bien conscience que les résultats ne pouvaient être communiqués en temps réel et qu’il fallait attendre une à deux semaines pour que les contrôles, une fois effectués, valident les résultats.

Ne pas remettre en cause un processus catastrophiquement défectueux

Et pourtant on continue. Perseverare diabolicum? On peut comprendre que face à une telle situation, face à des dizaines de milliers d’adultes qui dépendent de cet examen, il était pas question d’empêcher des dizaines de milliers de candidats de tenter leurs chances. Résultat: on supprime les questions avec le plus mauvais taux de bonnes réponses sans se demander s’il était justifié des les conserver et on recommence.

Alors que faire ?

En ce moment, je vis un contre-exemple que je vous résume ci-dessous:

En reprenant l’ASTL, une association en déconfiture, l’APICS reprenait aussi sa certification. Dans les années 2010, celle-ci m’avait paru tellement mauvaise qu’il était hors de question de la proposer en France. Mais comme l’APICS y trouvait une possibilité de venait compléter les siennes, cette association décida, en la reprenant, de la repenser dans son intégralité. Le processus démarra il y a deux ans avec une révision du programme, la description détaillée de son contenu, la réalisation de supports de formation et la création des QCM. En mai 2016, on nous annonce la disponibilité des supports de formation pour le 1er juillet 2016, les premiers examens pourront être passés entre le premier octobre et le 31 novembre 2016. Dès que 200 candidats auront passé cette certification, dès que les contrôles auront été effectués, mais seulement à ce moment, probablement la fin de l’année, les résultats seront validés et communiqués aux candidats. Le un taux de réussite sera probablement proche de 75% (voire un peu plus car les pionniers sont en général plus motivés).

Je ne doute pas que les premiers candidats à cette certification CTLD (Certified in Transportation, Logistics and Distribution) dont j’espère faire partie, trouveront un processus de certification solide, stable en un mot: professionnel.

Des pistes pour un examen du code de la route qui tienne la route

Nombre de questions

Je n’ai pas rencontré d’examen sérieux qui soit validé après seulement 40 questions. Certes j’ai connu une situation où après avoir répondu à 45 questions, nous pouvions savoir si nous avions indiscutablement réussi ou échoué. Mais s’il y avait un doute, si notre note pouvait être comprise entre 60 et 70 pour un mini attendu de 65, le système étant interactif, posait une deuxième série de 15 questions pour réduire l’incertitude, puis encore une deuxième série et même une troisième où le système devait choisir entre 64 (échec) et 65 (réussite). Ce processus donna de bon résultats mais accusé de créer un stress de plus en plus élevé fut finalement abandonné.

Pour la plupart des examens le nombre de questions varie entre 80 et 120. il peut être plus élevé mais très rarement plus faible.

En outre, certaines questions (15 à 20) ne seront pas retenues dans le score parce que ce sont des questions nouvelles non encore validées et qu’il est important de contrôler leur cohérence et leur valider avant de les intégrer dans le corpus des QCM reconnues.

Taux de réussite

Sur 40 questions, on doit en réussir au moins 35, ce qui donne un minimum de 87,5% un taux que l’on peut qualifier d’élitiste et ce d’autant plus que pendant l’examen de conduite la plupart des thèmes retenus …