Eine Aufgabenart genügt für den Anfang
Ein Pilot über mehrere Fächer, Handschriften und Bewertungsformate liefert schnell viele offene Fragen zugleich. Begrenzen Sie den ersten Versuch auf eine klar beschriebene Aufgabe oder einen ähnlichen Aufgabentyp. Damit lässt sich eher erkennen, welche Änderung welche Wirkung hat.
Beschreiben Sie auch, was außerhalb des Piloten liegt. Das können verbindliche Endbewertungen, unlesbare Handschriften oder Aufgaben mit noch ungeklärtem Maßstab sein. Diese Grenzen müssen im Ablauf erkennbar bleiben.
Die fachliche Grundlage vor dem Modell prüfen
Ein Pilot braucht einen bestätigten Erwartungshorizont und begründete Referenzbewertungen. Wenn Korrektoren stark voneinander abweichen, sollte zuerst diese Unklarheit bearbeitet werden. Sonst wird die KI an einem instabilen Ziel gemessen.
Trennen Sie Beispiele zur Entwicklung von Fällen für die spätere Prüfung. Halten Sie fest, welche Arbeiten das System oder die entwickelnde Person bereits gesehen hat.
Ein begrenzter Ablauf
Die Arbeit wird eingelesen, gegebenenfalls die Abschrift geprüft und anschließend ein Bewertungsvorschlag erzeugt. Die zuständige Korrekturperson prüft Kriterien, Begründung und Feedback. Erst nach dieser Entscheidung wird ein Ergebnis im dafür vorgesehenen System verwendet.
Das NIST-Risikomanagementmodell betont die Verbindung von Kontext, Bewertung und Steuerung. NIST AI RMF. Für den Pilot bedeutet das praktisch: Einsatzgrenzen und mögliche Fehlerfolgen werden zusammen mit den Messwerten betrachtet.
Bei mehreren beteiligten Korrektoren sollte auch die Verteilung der Korrekturarbeiten feststehen. Eine eindeutige Zuordnung verhindert, dass Antworten doppelt bearbeitet werden oder zwischen Zuständigkeiten liegen bleiben.
Welche Messwerte hilfreich sind
- Abweichung zu den fachlich geprüften Referenzbewertungen.
- Arten und Schwere falscher Begründungen.
- Zeit für Prüfung und nötige Nachbearbeitung.
- Anteil der Fälle, die vollständig manuell bearbeitet werden müssen.
Ein fiktives Beispiel: Der Vorschlag entsteht schnell, aber die Prüfung jedes Kommentars dauert länger als die bisherige Korrektur. Dann ist die reine Erzeugungsgeschwindigkeit kein ausreichender Nutzen.
Die Entscheidung vorab vorbereiten
Vereinbaren Sie, welche Fehler vor einer Fortsetzung behoben werden müssen. Dazu können erfundene Kritik, falsche Zuordnung einer Arbeit oder unzuverlässige Behandlung bestimmter Aufgabentypen gehören. Schwerwiegende Einzelfehler sollten gesondert bewertet werden.
Am Ende steht eine begründete Entscheidung für Ausbau, Nachbesserung oder Ende des Versuchs. Dokumentieren Sie dabei die getestete Aufgabe, Versionen und Grenzen. Ein erfolgreicher Pilot in einem Bereich ist eine Grundlage für den nächsten Test, keine pauschale Freigabe für alle Prüfungen.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.