JustApt

L’équipe RH de l’organisation évaluait chaque trimestre des centaines de collaborateurs, mais aucun système n’avait été mis en place pour cela. Les questions étaient rédigées à la main par des équipes d’experts et associées manuellement aux compétences, et les résultats se dispersaient dans différents tableaux. Voir l’écart de compétences réel d’un département était un travail de compilation de plusieurs semaines. Quant à savoir quelle formation attribuer à qui, la décision reposait le plus souvent non sur les données, mais sur l’observation du manager.

La demande adressée à Karatsoft portait au départ sur un système de gestion de l’apprentissage. Lors de la phase d’analyse, nous avons constaté que le vrai problème n’était pas le contenu de formation, mais la mesure. Une compétence qui ne peut pas être mesurée ne peut pas être associée à la bonne formation. Nous avons donc élargi le périmètre et conçu une plateforme de bout en bout, de la mesure au développement : générer l’examen, le faire passer, l’analyser, repérer l’écart, attribuer le parcours de développement, suivre la progression.

Le produit qui en résulte est un système dans lequel un manager génère une évaluation par rôle à partir d’un prompt d’une seule phrase, les résultats alimentent automatiquement la matrice de compétences et les échelons de carrière, et le collaborateur voit sur son propre écran ce qui lui manque pour le niveau suivant.

• Confiance dans les résultats de l’IA : Le fait qu’une question générée automatiquement soit fausse ou ambiguë rend l’ensemble de l’évaluation contestable. Il fallait préserver la rapidité sans retirer le contrôle des experts du processus.
• Un langage commun des compétences : Les départements utilisaient la même compétence sous des noms différents et avec des définitions de niveau différentes. Sans rattacher les questions, les résultats et les échelons de carrière à un dictionnaire commun, aucune comparaison pertinente n’était possible.
• Fiabilité des examens : Les résultats utilisés dans des décisions critiques comme les promotions et les recrutements devaient être protégés contre la triche et l’aide extérieure. Pour les mesures à visée de développement, la même rigueur créait au contraire une friction inutile.
• Digitalisation de la psychométrie : La logique de notation des échelles de personnalité, de résilience et d’aptitudes cognitives est totalement différente de celle des examens de connaissances. Il fallait les réunir de façon cohérente dans un même rapport et les faire passer par une validation d’expert.
• Données sensibles : Les résultats des évaluations comptent parmi les données les plus sensibles de l’organisation. Les données personnelles ne devaient rester non protégées à aucun stade, y compris pendant le développement.
• Intégration avec des systèmes pas encore prêts : Certains systèmes internes de l’organisation à connecter étaient encore en cours de développement pendant le déroulement du projet.

• Une IA validée par l’humain : Les questions sont générées par l’IA mais ne sont publiées qu’après validation par un expert. Chaque question est rattachée à une compétence et à un niveau, et la justification de la bonne réponse est consignée. Une question qui ne convient pas à l’expert est modifiée par un prompt en langage naturel. Le panneau de contrôle qualité signale automatiquement la répartition des compétences, l’équilibre de difficulté et les doublons.
• Dictionnaire de compétences centralisé : Toutes les compétences ont été rattachées à un modèle unique à cinq niveaux (développement nécessaire, débutant, de base, compétent, capable de coacher) et à des niveaux cibles par rôle. Les examens, la matrice de compétences, les échelons de carrière et le catalogue de formations puisent dans le même dictionnaire.
• Niveau de sécurité au choix : Pour chaque examen, on choisit soit un mode flexible, soit un mode surveillé avec suivi de la caméra, du micro, du plein écran et des onglets. Les réponses sont écrites sur le serveur instantanément, de sorte qu’aucune réponse n’est perdue, même si la connexion est coupée.
• Rapport psychométrique intégré : Quatre échelles fonctionnent avec des algorithmes de notation distincts, les résultats sont réunis dans un rapport candidat unique et un score d’adéquation à la culture de l’organisation est produit. Le rapport final est publié après validation par l’expert du domaine.
• Confidentialité intégrée à la conception : Les environnements de développement et de préproduction ont été totalement séparés de la production, et seules des données masquées y ont été utilisées. L’accès est basé sur les rôles et géré selon le principe du moindre privilège. L’application est protégée contre les risques de l’OWASP Top 10.
• Architecture API-first : Chaque capacité a été construite comme un service indépendant. Les contrats d’intégration ont été définis à l’avance pour les systèmes de l’organisation qui n’étaient pas encore prêts. Ainsi, dès que l’autre partie a été prête, la connexion a été mise en service sans développement supplémentaire.