JustApt: Vom Prompt in einem Satz zur Prüfung mit Expertenfreigabe

Ein Assessment für eine Rolle vorzubereiten, kostete früher Wochen von Expertenteams. Die Fragen wurden von Hand geschrieben, einzeln den Kompetenzen zugeordnet und überprüft; danach begann dieselbe Arbeit für die nächste Rolle von vorn.

In JustApt stößt die Führungskraft diesen Prozess mit einem Satz in eigenen Worten an. Doch die eigentliche Hauptfigur dieser Geschichte ist nicht das Tempo, sondern wie es erreicht wird, ohne die Expertenkontrolle aus dem Prozess zu nehmen.

Das Projekt in Kürze

JustApt ist eine KI-gestützte Plattform zur Kompetenzmessung und -entwicklung, die wir für eine Organisation mit Tausenden von Mitarbeitenden entwickelt haben. Sie misst die fachlichen und verhaltensbezogenen Kompetenzen der Mitarbeitenden, zeigt die Lücke zum Niveau, das die jeweilige Rolle erwartet, und erstellt den Entwicklungspfad, der diese Lücke schließt. Prüfungserstellung, psychometrische Messung, Kompetenzanalytik und Lernmanagement arbeiten unter einem Dach auf einem gemeinsamen, fünfstufigen Kompetenzlexikon. Im Führungskräfte-Cockpit sind sowohl die Zuweisung einer Prüfung als auch die Erstellung einer neuen Prüfung mit KI nur einen Klick entfernt.

Eine Prüfung in fünf Schritten: Prompt, Analyse, fertiges Set

Die Prüfungserstellung läuft über einen Assistenten mit fünf Schritten: Zuweisungsart, Sicherheitsstufe, Zielgruppe, Prompt und Freigabe. Im Prompt-Schritt schreibt die Führungskraft in eigenen Worten, was sie messen möchte. Das System durchsucht Kompetenzlexikon, Rollenziele und Fragenpool, erkennt aus dem Text die relevanten Kompetenzen und legt sie der Führungskraft zusammen mit den Erstellungseinstellungen vor. Wird die Freigabe erteilt, stehen Fragen, die jeweils an eine Kompetenz und ein Niveau gebunden sind, innerhalb von Sekunden zur Durchsicht bereit.

Dass eine Frage an eine Kompetenz gebunden ist, wirkt wie ein Detail, doch hier liegt der gesamte Wert des Systems. Denn die Ergebnisse fließen später über diese Verbindung in die Skill-Matrix, die Karrierestufen und die Entwicklungspfade. Eine Frage, die an keine Kompetenz gebunden ist, trägt nichts zur Analyse bei, egal wie gut sie formuliert ist.

Die Prüfung steht in der Mitte einer größeren Kette. Hinter jedem Schritt des Benutzers läuft im System eine Arbeit: Sobald das HR-Inventar geliefert ist, wird die Organisationsmatrix im Modell abgebildet, die Zuordnung von Themen und Lernzielen wird am Kompetenzlexikon ausgerichtet, und die Prüfung wird mit einem adaptiven Aufbau vorbereitet, der Fragen nach Niveau auswählt. Nachdem der Mitarbeitende die Prüfung abgelegt hat, sucht die Ursachenanalyse zur Kompetenz nach dem eigentlichen Grund der Lücke, die individuelle Entwicklungslandkarte entsteht, und der endgültige Bericht, der die Expertenkontrolle durchlaufen hat, wird veröffentlicht. In keinem dieser acht Schritte werden Daten von Hand übertragen.

Vor der Veröffentlichung hat der Experte das letzte Wort

Eine einzige automatisch erstellte Frage, die falsch oder mehrdeutig ist, kann das gesamte Assessment anfechtbar machen. Deshalb ist die Grundregel der Plattform eindeutig: Fragen werden von der KI erstellt, gehen aber nur mit Expertenfreigabe live. Keine Frage wird ohne Freigabe veröffentlicht.

Der Experte prüft im Fragen-Explorer jede Frage einzeln. Die richtige Antwort jeder Frage ist samt Begründung und dem gemessenen Niveau erfasst; die Begründung verrät auch, welcher Niveauerwartung im Rollenziel die Frage zugeordnet wurde. Eine Frage, die nicht gefällt, wird mit einem Prompt in natürlicher Sprache überarbeitet; Antwortoptionen, Schwierigkeit oder Kontext werden mit dieser Anweisung aktualisiert. Falls nötig, wird die Frage neu erstellt oder aus dem Set entfernt.

Auf demselben Bildschirm arbeitet ein Qualitätskontroll-Panel. Für jedes Set werden Kompetenzverteilung, Schwierigkeitsbalance, Eindeutigkeit der richtigen Antwort und Dublettenprüfung automatisch gemeldet. Damit der Experte, während sein Blick auf einer einzelnen Frage ruht, das Gesamtbild des Sets nicht aus den Augen verliert, ist dieses Panel entscheidend. Ist das Set fertig, kann der Experte es als Entwurf speichern oder in einem Schritt veröffentlichen und der Zielgruppe zuweisen.

Der Moment der Durchführung: flexibel oder beaufsichtigt?

Auch die Verlässlichkeit der Prüfung musste sich nach dem Zweck einstellen lassen. Bei kritischen Entscheidungen wie Beförderung und Einstellung müssen die Ergebnisse vor Täuschungsversuchen und fremder Hilfe geschützt sein; bei entwicklungsorientierten Messungen erzeugt dieselbe Strenge dagegen unnötige Reibung. Deshalb ist die Sicherheitsstufe ein Schritt des Assistenten: der flexible Modus oder der beaufsichtigte Modus mit Kamera, Mikrofon, Vollbild und Tab-Überwachung. Tab-Wechsel, Verlassen des Bildschirms und Zeitüberschreitung werden automatisch verarbeitet.

Auf Seite der Mitarbeitenden ist der Bildschirm schlicht: Zeitanzeige, Fragenübersicht und eine einzelne Frage. Wie die übrige Plattform wurde der Bildschirm nach den Barrierefreiheitskriterien WCAG 2.1 AA und screenreaderfreundlich gestaltet. Jede Antwort wird sofort auf den Server geschrieben; auch bei einem Verbindungsabbruch geht keine Antwort verloren. Die Prüfung kann sich auch nach den Antworten des Kandidaten richten: Wer eine Frage mittleren Niveaus richtig beantwortet, kann im nächsten Schritt eine schwierigere Frage erhalten. Die Ergebnisse fließen von selbst in die Skill-Matrix und die Karrierestufen. Im Bericht werden die Fragen außerdem nach Typ aufgeschlüsselt: Fragen zu allgemeiner Kompetenz, strategischem Denken, Problemlösung und analytischem Denken werden getrennt bewertet, und der Erfolg nach Schwierigkeitsgrad ist ebenfalls gesondert sichtbar. Neben den Wissensprüfungen werden auf derselben Plattform auch Skalen zu Persönlichkeit, Resilienz und kognitiven Fähigkeiten durchgeführt; da ihre Scoring-Logik unterschiedlich ist, werden sie mit eigenen Algorithmen berechnet und in einem einzigen Kandidatenbericht zusammengeführt.

Was wir in der Praxis gelernt haben

• KI beschleunigt, der Experte entscheidet. Die Erstellung zu automatisieren und die Veröffentlichung an eine Freigabe zu binden, bewahrte sowohl das Tempo als auch das Vertrauen.
• Jede Frage muss an eine Kompetenz gebunden sein. Eine an das Lexikon gebundene Frage erzeugt auch nach der Prüfung weiter Wert.
• Die Begründung gehört zur Frage. Festzuhalten, warum die richtige Antwort richtig ist und welches Niveau sie misst, erleichtert die Durchsicht.
• Sicherheit muss zum Zweck passen. Bei Entwicklungsmessungen der flexible, bei kritischen Entscheidungen der beaufsichtigte Modus; beides auf derselben Plattform.

Der Wert eines Assessments ist so groß wie seine schwächste Frage. Der richtige Weg, KI einzusetzen, ist, zugleich den Prozess aufzubauen, der diese schwache Frage vor der Veröffentlichung abfängt.

Wie lange dauert die Vorbereitung Ihrer Assessments?

Wenn die Vorbereitung von Assessments die Wochen Ihrer Expertenteams kostet oder Sie einen Prozess haben, in dem Sie KI einsetzen möchten, aber den Kontrollverlust scheuen, können wir gemeinsam einen Erstellungsablauf mit menschlicher Freigabe gestalten. Sehen Sie sich die JustApt-Projektseite an oder kontaktieren Sie uns.