JustApt : d'un prompt d'une seule phrase à un examen validé par un expert

Préparer une évaluation pour un rôle prenait autrefois des semaines aux équipes d'experts. Les questions étaient rédigées à la main, associées une à une aux compétences, relues ; puis, pour le rôle suivant, le même travail recommençait à zéro.

Dans JustApt, le manager lance ce processus avec ses propres mots. Mais le véritable héros de l'histoire n'est pas la rapidité ; c'est la façon dont cette rapidité est obtenue sans retirer le contrôle des experts du processus.

Le projet en bref

JustApt est une plateforme de mesure et de développement des compétences, assistée par l'intelligence artificielle, que nous avons développée pour une organisation comptant des milliers de collaborateurs. Elle mesure les compétences techniques et comportementales des collaborateurs, montre l'écart entre leur niveau et celui qu'attend leur rôle, et construit le parcours de développement qui comblera cet écart. La génération d'examens, la mesure psychométrique, l'analytique des compétences et la gestion de l'apprentissage fonctionnent sous un même toit, sur un dictionnaire de compétences commun à cinq niveaux. Dans le cockpit du manager, attribuer un examen comme en créer un nouveau avec l'IA est à un clic.

Un examen en cinq étapes : prompt, analyse, jeu de questions prêt

La génération d'examens se déroule dans un assistant en cinq étapes : type d'attribution, niveau de sécurité, public cible, prompt et validation. À l'étape du prompt, le manager écrit avec ses propres mots ce qu'il souhaite mesurer. Le système parcourt le dictionnaire de compétences, les objectifs par rôle et la banque de questions ; il détecte dans le texte les compétences concernées et les présente au manager avec les paramètres de génération. Une fois la validation donnée, des questions, chacune rattachée à une compétence et à un niveau, sont prêtes à être examinées en quelques secondes.

Même si le rattachement d'une question à une compétence paraît n'être qu'un détail, toute la valeur du système en découle. Car les résultats alimentent ensuite la matrice de compétences, les échelons de carrière et les parcours de développement par ce lien. Une question qui n'est pas rattachée à une compétence, aussi bien rédigée soit-elle, n'apporte rien à l'analyse.

L'examen se situe au milieu d'une chaîne plus large. Derrière chaque étape franchie par l'utilisateur, il y a un travail que le système exécute : lorsque l'inventaire RH est livré, la matrice de l'organisation est modélisée, la correspondance entre sujets et acquis est alignée sur le dictionnaire de compétences, et l'examen est préparé selon une conception adaptative qui choisit les questions en fonction du niveau. Une fois que le collaborateur a passé l'examen, l'analyse des compétences racines recherche la cause réelle de l'écart, la carte de développement individuelle est produite et le rapport final, passé par le contrôle de l'expert, est publié. Dans aucune de ces huit étapes, les données ne sont transférées à la main.

Avant la publication, le dernier mot revient à l'expert

Une seule question générée automatiquement qui soit fausse ou ambiguë peut rendre toute l'évaluation contestable. La règle fondamentale de la plateforme est donc claire : les questions sont générées par l'IA, mais ne sont publiées qu'avec l'aval d'un expert. Aucune question n'est publiée sans validation.

L'expert examine chaque question une à une dans l'explorateur de questions. La bonne réponse de chaque question est enregistrée avec sa justification et le niveau qu'elle mesure ; la justification indique aussi à quelle attente de niveau, dans l'objectif du rôle, la question a été associée. Une question qui ne convient pas est modifiée par un prompt en langage naturel ; les options de réponse, la difficulté ou le contexte sont mis à jour selon cette consigne. Si nécessaire, la question est régénérée ou retirée du jeu.

Un panneau de contrôle qualité fonctionne sur le même écran. Pour chaque jeu, la répartition des compétences, l'équilibre de difficulté, l'unicité de la bonne réponse et le contrôle des doublons sont signalés automatiquement. Ce panneau est essentiel pour que l'expert, dont le regard est concentré sur une seule question, ne perde pas de vue l'image d'ensemble du jeu. Lorsque le jeu est prêt, l'expert peut le conserver comme brouillon ou le publier et l'attribuer au public cible en une seule étape.

Au moment de l'examen : flexible ou surveillé ?

La fiabilité de l'examen devait elle aussi pouvoir être réglée selon l'objectif. Pour des décisions critiques comme les promotions et les recrutements, les résultats doivent être protégés contre la triche et l'aide extérieure ; pour des mesures à visée de développement, la même rigueur crée en revanche une friction inutile. Le niveau de sécurité est donc une étape de l'assistant : mode flexible, ou mode surveillé avec caméra, micro, plein écran et suivi des onglets. Les changements d'onglet, les sorties de l'écran et les dépassements de durée sont traités automatiquement.

Du côté du collaborateur, l'écran est épuré : un compte à rebours, une carte des questions et une seule question devant lui. Comme le reste de la plateforme, l'écran est conforme aux critères d'accessibilité WCAG 2.1 AA et conçu pour être compatible avec les lecteurs d'écran. Chaque réponse est écrite instantanément sur le serveur ; même si la connexion est coupée, aucune réponse n'est perdue. L'examen peut aussi s'adapter aux réponses du candidat : à celui qui répond correctement à une question de niveau intermédiaire, une question plus difficile peut être proposée à l'étape suivante. Les résultats se répercutent ensuite automatiquement sur la matrice de compétences et les échelons de carrière. Dans le rapport, les questions se distinguent aussi par type : les questions de compétence générale, de pensée stratégique, de résolution de problèmes et de pensée analytique sont évaluées séparément, et la réussite apparaît en outre par niveau de difficulté. À côté des examens de connaissances, des échelles de personnalité, de résilience et d'aptitudes cognitives sont également appliquées sur la même plateforme ; leurs logiques de notation étant différentes, elles sont calculées par des algorithmes distincts, puis réunies dans un rapport candidat unique.

Ce que nous avons appris sur le terrain

• L'IA accélère, l'expert décide. Automatiser la génération tout en subordonnant la publication à une validation a préservé à la fois la rapidité et la confiance.
• Chaque question doit être rattachée à une compétence. Une question rattachée au dictionnaire continue de produire de la valeur après l'examen.
• La justification fait partie de la question. Consigner pourquoi la bonne réponse est juste et quel niveau elle mesure facilite la relecture.
• La sécurité doit être proportionnée à l'objectif. Mode flexible pour la mesure de développement, mode surveillé pour la décision critique ; les deux sur la même plateforme.

La valeur d'une évaluation est celle de sa question la plus faible. La bonne façon d'utiliser l'IA consiste à mettre en place en même temps le processus qui attrape cette question faible avant sa publication.

En combien de temps vos évaluations sont-elles préparées ?

Si la préparation des évaluations prend des semaines à vos équipes d'experts, ou si vous avez un processus pour lequel vous voudriez recourir à l'IA mais craignez de perdre le contrôle, nous pouvons concevoir avec vous un flux de génération validé par l'humain. Vous pouvez consulter la page du projet JustApt ou nous contacter.