Die Herkunft kann Erwartungen auslösen
Wer einen Vorschlag als maschinell erkennt, sucht möglicherweise besonders nach Fehlern. Wer ihn einer erfahrenen Fachperson zuschreibt, übernimmt ihn vielleicht schneller. Ein Blindvergleich soll diesen Einfluss begrenzen. Vollständig ausschließen lässt er sich damit nicht.
Bereiten Sie die Vorschläge in einem einheitlichen Format vor. Entfernen Sie verräterische Systemhinweise, ohne Inhalt oder Bewertung zu verändern. Die Zuordnung zwischen Kennung und Herkunft bleibt getrennt dokumentiert.
Was verglichen werden soll
Unterscheiden Sie Punktvergabe, fachliche Begründung und Nützlichkeit des Feedbacks. Ein Text kann freundlich und verständlich sein, obwohl die Punkte nicht zum Maßstab passen. Umgekehrt kann eine richtige Punktzahl schlecht begründet sein.
Legen Sie die Kriterien vor dem Vergleich fest. Der NIST-Rahmen behandelt die Bewertung und Steuerung von KI-Risiken als fortlaufende Aufgabe. NIST AI RMF. Der hier vorgeschlagene Blindvergleich ist eine praktische Prüfidee, keine von NIST vorgeschriebene Versuchsanordnung.
Eine Referenz unabhängig erstellen
Die fachliche Referenzbewertung sollte entstehen, bevor die prüfenden Personen die KI-Vorschläge sehen. Sonst kann der Vorschlag bereits die vermeintlich unabhängige Referenz beeinflussen. Offene Streitfälle werden separat geklärt.
Verwenden Sie Arbeiten unterschiedlicher Qualität und typische Sonderfälle. Eine Sammlung nur sauberer Musterantworten ist für eine spätere Korrekturpraxis wenig aussagekräftig.
Die Ergebnisse nicht auf eine Siegerzahl reduzieren
Erfassen Sie Abweichungen je Kriterium und konkrete Fehlertypen. Beispiele sind übersehene richtige Aussagen, unbegründete Punktabzüge oder Feedback, das einen Fehler behauptet, den die Arbeit nicht enthält.
Ein fiktives Ergebnis könnte lauten: Die Gesamtsummen liegen oft nahe beieinander, aber alternative Lösungswege werden wiederholt zu streng beurteilt. Daraus folgt eine gezielte Prüfung dieser Fälle. Eine pauschale Aussage „die KI ist genauso gut“ wäre durch diese Beobachtung nicht gedeckt.
Grenzen des Vergleichs benennen
Dokumentieren Sie Zahl und Auswahl der Arbeiten, Fachgebiet, Aufgabe und Modellversion. Ein Ergebnis für eine Aufgabe lässt sich nicht automatisch auf andere Lehrgänge übertragen. Kleine Sammlungen helfen beim Finden von Fehlern, erlauben aber nur begrenzte statistische Aussagen.
Nach einer Anpassung brauchen Sie neue, bisher ungesehene Fälle. Die bereits besprochenen Arbeiten bleiben als Regressionstest nützlich. Sie allein zeigen jedoch nicht, ob die Verbesserung auch auf neue Antworten übertragbar ist.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.