Welche Aussage soll die Prüfung ermöglichen?
Wollen Sie typische Fehler finden oder einen Eindruck von ihrer Häufigkeit im Bestand gewinnen? Für die Fehlersuche sind schwierige Fälle besonders nützlich. Für Aussagen über einen gesamten Bestand muss die Auswahl diesen angemessen abbilden.
Eine Sammlung ausschließlich problematischer Arbeiten zeigt daher nicht die allgemeine Fehlerquote. Umgekehrt kann eine kleine Zufallsauswahl seltene, aber folgenreiche Fehler übersehen.
Die Auswahl nachvollziehbar dokumentieren
Notieren Sie Grundgesamtheit, Auswahlverfahren und Umfang. Beschreiben Sie auch ausgeschlossene Fälle. Wenn nur gut lesbare digitale Antworten geprüft werden, gilt das Ergebnis nicht automatisch für handschriftliche Arbeiten.
Das NIST-Profil für generative KI behandelt die Bewertung von Risiken im jeweiligen Einsatz. NIST AI 600-1. Der passende Prüfaufwand muss zu den möglichen Folgen von Bewertungsfehlern passen.
Gezielte Fälle ergänzen
Nehmen Sie beispielsweise alternative Lösungswege, Folgefehler, sehr kurze richtige Antworten und widersprüchliche Aussagen auf. Diese Gruppe dient der Prüfung bekannter Schwachstellen. Kennzeichnen Sie sie in der Auswertung gesondert.
Ein fiktiver Test kann zehn gezielt schwierige Antworten zusätzlich zu einer unabhängigen Auswahl enthalten. Diese Zahlen sind eine Illustration des Vorgehens und keine statistische Empfehlung für eine ausreichende Stichprobengröße.
Fehler nach Bedeutung erfassen
Unterscheiden Sie kleine Formulierungsprobleme von falschen Punkten oder erfundener Kritik. Ein schwerwiegender Fehler sollte eine eigene Prüfung auslösen, auch wenn andere Arbeiten gut bewertet wurden.
Bei einem wiederkehrenden Muster prüfen die Verantwortlichen, ob weitere ähnliche Fälle betroffen sein könnten. Eine einzelne korrigierte Arbeit beseitigt keinen systematischen Fehler.
Aus einer Stichprobe keine Vollprüfung ableiten
Dokumentieren Sie ausdrücklich, welche Arbeiten geprüft wurden und welche nicht. Eine fehlerfreie kleine Auswahl beweist keine Fehlerfreiheit des gesamten Bestands. Für verbindliche Prüfungen gelten zudem die vorgesehenen fachlichen und organisatorischen Verfahren.
Nach Änderungen am System oder Maßstab braucht es eine erneute passende Prüfung. Bewahren Sie bestätigte Fehlerfälle als Tests auf, ergänzen Sie aber neue Arbeiten. So bleibt die Kontrolle auch gegenüber bisher unbekannten Fällen aussagekräftig.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.