Un joueur qui ne lisait rien obtenait 84 %

Publié le 20 septembre 2026 · Certifications et compétences · 9 min de lecture

Le 8 août 2026, un utilisateur de beltup a signalé qu'il faisait 100 % sans lire les questions. On a mesuré : en choisissant systématiquement la réponse la plus longue, un joueur qui ne lit rien obtenait 84 % sur 737 questions. Le seuil de certification est à 70 %. Cet article raconte ce défaut, les autres qu'on a trouvés derrière, et ce que ça apprend à quiconque écrit un questionnaire de formation.

Une précision avant tout : beltup est une plateforme d'entraînement aux certifications Lean Six Sigma, et c'est Kernel Ops qui l'édite — donc moi. Ce texte parle de mon produit, et vous devez le lire en le sachant. Ce qu'il raconte, ce sont ses défauts, avec les chiffres tels qu'ils figurent dans son journal de développement. Si vous n'utilisez jamais beltup, ce qui suit vous servira quand même, parce que ces défauts sont ceux de presque tous les QCM que j'ai vus en entreprise.

Ce qu'un questionnaire mesure sans le vouloir

Un QCM a une prétention simple : si vous connaissez la réponse, vous cochez la bonne ; sinon, vous tombez au hasard. Sur quatre options, le hasard donne 25 %. Tout ce qui permet de faire mieux que 25 % sans rien savoir est un défaut de fabrication, et il mesure autre chose que la compétence — la ruse, l'habitude, la connaissance de la personne qui a écrit les questions.

Le problème est que ces défauts sont invisibles pour leur auteur. Quand on rédige une question, on connaît la bonne réponse, on la soigne, on la complète, on la nuance. Les trois mauvaises sont écrites après, plus vite, pour remplir. Personne ne décide de rendre le questionnaire devinable : ça arrive à chaque question, par une différence d'attention qu'on ne remarque pas.

Le premier biais : la position

Sur les 737 questions à choix unique que comptait le corpus en août, la bonne réponse était en deuxième position dans 77 % des cas. Le hasard donnerait 25 %. Personne ne l'avait voulu — c'est simplement là qu'on la met quand on écrit vite : pas en premier, ça se voit trop ; pas en dernier, on a déjà rempli les trois autres. En deuxième.

Un apprenant qui rejoue un parcours trois fois n'a même pas besoin de le savoir : il retient les positions. Et il a l'impression de progresser.

Ce défaut-là a une propriété rare : il se corrige mécaniquement. Mélanger l'ordre des options à chaque tirage ne change ni le texte, ni la réponse, ni le sens de la question. Depuis cette correction, les quatre positions sortent chacune à environ 25 %, vérifié sur quatre mille tirages. La seule difficulté technique était de s'assurer que la bonne réponse reste attachée à son texte après le mélange — sinon on aurait désigné une mauvaise réponse comme la bonne sur tout le corpus, sans qu'aucune erreur ne se lève nulle part.

Le second biais : la longueur, et pourquoi il ne se corrige pas seul

Le second est plus grave, parce qu'aucun mélange ne le règle. Dans le même relevé, la bonne réponse faisait 66 caractères en moyenne contre 34 pour les mauvaises, et elle était strictement la plus longue des quatre dans 80 % des questions. Choisir la plus longue rapportait 84 %.

La raison est celle que je décrivais plus haut : l'auteur soigne la bonne réponse. Il y met la condition qui la rend vraie, la nuance qui la distingue, parfois un bout d'explication. Les distracteurs, eux, sont des désignations nues. « Le Takt Time » d'un côté ; « le temps disponible divisé par la demande client, exprimé en minutes par pièce » de l'autre. Il n'y a pas besoin de connaître le Lean pour choisir.

Réordonner des options ne les raccourcit pas. Le joueur aveugle passait de 84 % à environ 80 % après le mélange. La seule correction est une réécriture, question par question, et c'est ce qui a pris le plus de temps : la règle retenue est que la bonne réponse ne doit pas dépasser 1,1 fois la longueur du distracteur le plus long, et le corpus a été repris par lots de trente questions jusqu'à ce que tout passe sous ce seuil. Le plus souvent, le remède n'était pas de rallonger les mauvaises réponses, mais de raccourcir la bonne : ce qu'elle portait en trop — la justification — appartient à l'explication qui suit la réponse, pas à l'option.

L'auteur reproduit son biais, même prévenu

Le détail que je trouve le plus instructif est celui-ci. Un matin de septembre, cinquante questions ont été ajoutées au corpus — écrites par moi, en connaissant parfaitement le défaut de longueur, après des semaines à le corriger sur les autres. Le soir, la mesure : dans ces cinquante questions neuves, la bonne réponse était la plus longue dans 90 % des cas, contre 63 % pour le reste du corpus déjà en cours de correction. J'avais aggravé le défaut que je traquais.

Savoir ne protège pas. La seule protection est un contrôle à l'entrée qui refuse la question, pas qui la signale : un avertissement dans une sortie de cinquante lignes se lit une fois puis se saute. Rejouées à travers ce contrôle, vingt-quatre de mes cinquante questions ont été refusées. Ce chiffre m'a plus appris sur la rédaction de QCM que toute la littérature que j'avais lue.

Les défauts qu'aucune statistique ne voit

Deux autres familles de défauts ne se mesurent pas, elles se lisent. La première est la réponse qui désigne les autres : « toutes ces raisons à la fois », « toutes les propositions sont correctes ». Tant que les options ne bougent pas, ça fonctionne. Dès qu'on les mélange, « toutes ces raisons » se retrouve en première position et désigne des options qui viennent après elle. Pire : les trois autres options étaient vraies, chacune une facette de la réponse — la question avait donc plusieurs bonnes réponses, et une seule était comptée. La correction n'est pas de remettre l'option à sa place, c'est de réécrire les distracteurs pour qu'ils soient faux, chacun pour une raison nommable.

La seconde est la question qui sanctionne le bon raisonnement. Une question de calcul demandait le nombre de kanbans pour un délai fournisseur de trois jours, une consommation de deux boîtes par jour et un stock de sécurité de deux boîtes. La formule appliquée aux données de l'énoncé donne huit. Huit figurait dans les options. La réponse déclarée était douze — obtenue en ajoutant un délai de production dont l'énoncé ne parlait pas et en ramenant à zéro le stock de sécurité qu'il annonçait. L'apprenant qui appliquait correctement la formule cochait huit et se faisait sanctionner.

C'est le pire défaut possible pour un outil d'entraînement : il enseigne la défiance envers le raisonnement juste. Et il est invisible pour qui ne refait pas le calcul à la main. Aucun filtre statistique ne l'attrape ; seul un relecteur qui refait chaque calcul le voit, et c'est un travail que personne n'aime faire.

Trop peu de questions par thème, et le tirage ressert la même

Un dernier défaut ne tient pas aux questions mais à leur nombre. Un total de corpus ne dit rien de ce qu'un tirage donné peut atteindre. Fin août, le corpus dépassait deux mille questions, et pourtant certains croisements — un thème à une ceinture donnée — n'en comptaient qu'une. Un apprenant qui révisait ce thème revoyait la même question à chaque session, sur un produit dont la page d'accueil affirme que s'entraîner et relire ne donnent pas le même résultat.

Deux règles en sont sorties. Sous quinze questions — la taille d'un questionnaire — un thème n'est pas proposé du tout, parce qu'en dessous ce n'est pas de l'entraînement, c'est la mémorisation d'une question. Et chaque croisement thème-ceinture a désormais un plancher qui ne peut que monter, avec une cible de cinquante. Le contrôle qui le vérifie ne compare pas un total : il appelle la fonction de tirage du produit lui-même, pour mesurer ce que l'apprenant peut réellement obtenir. Une requête écrite à côté aurait divergé au premier changement de filtre, et affiché des chiffres justes sur un tirage devenu faux.

Ce que ça change pour un questionnaire de formation interne

Rien de ce qui précède n'est propre à une plateforme. Un test de fin de formation sur les 5S, un questionnaire d'habilitation à un poste, une évaluation de fin d'intégration : ce sont des QCM, écrits par des gens compétents, pressés, qui connaissent la bonne réponse. Ils ont donc les mêmes défauts, et personne ne les mesure parce que personne ne cherche.

Quatre choses tiennent en une page. Écrire les distracteurs avec autant de soin que la bonne réponse, et raccourcir celle-ci plutôt que rallonger ceux-là. Ne jamais figer la position de la bonne réponse. Bannir les options qui désignent les autres. Refaire chaque calcul à la main avant de valider une question numérique. Et une cinquième, qui coûte le plus : faire relire par quelqu'un qui n'a pas écrit les questions et qui a pour consigne de tricher.

Je le dis une fois, et clairement : ces corrections ont été faites sur beltup, et elles continuent, parce qu'un corpus qui grandit recrée les mêmes défauts à chaque ajout. Si vous préparez une certification, c'est là que j'ai mis ce travail. Si vous écrivez vos propres questionnaires, le test de l'encart ci-dessus vous coûtera vingt minutes et vous dira où vous en êtes.

Questions fréquentes

Comment savoir si un QCM est devinable sans le connaître ?

Répondez-y sans lire les énoncés, avec une stratégie fixe : toujours l'option la plus longue, ou toujours la même position. Sur quatre options, le hasard donne 25 %. Un score nettement supérieur signale que les questions portent un indice qui n'a rien à voir avec la compétence testée, le plus souvent la longueur de la bonne réponse.

Pourquoi la bonne réponse d'un QCM est-elle souvent la plus longue ?

Parce que l'auteur la connaît et la soigne : il y ajoute la condition qui la rend vraie, la nuance, parfois un début d'explication. Les mauvaises réponses sont écrites ensuite, plus vite, comme des désignations nues. Le déséquilibre n'est jamais décidé, il résulte d'une différence d'attention que l'auteur ne perçoit pas sur ses propres questions.

Mélanger l'ordre des options suffit-il à corriger un QCM biaisé ?

Non. Le mélange règle le biais de position, celui où la bonne réponse occupe toujours le même rang. Il ne change rien au biais de longueur, puisque réordonner des options ne les raccourcit pas. Celui-là ne se corrige que par une réécriture, question par question, en ramenant la bonne réponse à une longueur comparable à celle des distracteurs.

Que faire des options du type « toutes les réponses ci-dessus » ?

Les supprimer. Elles désignent les autres options par leur position, ce qui ne survit pas à un mélange, et elles impliquent que les autres options sont vraies, donc que la question a plusieurs bonnes réponses. La correction consiste à réécrire les distracteurs pour qu'ils soient faux, chacun pour une raison que l'explication peut nommer.

Combien de questions faut-il par thème pour un entraînement utile ?

Au moins la taille d'un questionnaire, soit une quinzaine, sinon la même question revient dans une session et l'apprenant mémorise une réponse au lieu de travailler une notion. Un total global de questions ne renseigne pas sur ce point : il faut compter par thème et par niveau, c'est-à-dire par tirage réellement possible.

Ce que je retiens

Un questionnaire n'est pas un document, c'est un instrument de mesure. Et comme tout instrument, il mesure quelque chose — pas forcément ce qu'on croit. Le 8 août, le nôtre mesurait la capacité à repérer la phrase la plus longue. Ce qu'il mesure aujourd'hui est plus proche de ce qu'on voulait, et la seule raison pour laquelle je peux l'affirmer, c'est qu'on a recommencé à tricher dessus pour vérifier.