Eine Genauigkeitszahl braucht eine Definition
„95 Prozent Genauigkeit“ kann viele verschiedene Dinge meinen. Vielleicht stimmen 95 Prozent der Einzelkriterien, vielleicht liegt die Gesamtsumme meist innerhalb eines großzügigen Bereichs. Ohne Berechnung, Fallsammlung und Fehlerdefinition lässt sich die Zahl nicht beurteilen.
Legen Sie deshalb vor dem Test fest, was gemessen wird. Für eine Korrekturhilfe können Abweichung je Kriterium, Abweichung der Gesamtsumme und Anteil fachlich falscher Feedbackaussagen sinnvoll sein.
Ein einfaches Rechenbeispiel
Angenommen, vier Referenzbewertungen lauten 10, 12, 15 und 18 Punkte. Die Vorschläge lauten 12, 10, 16 und 17 Punkte. Die vorzeichenbehafteten Abweichungen sind +2, −2, +1 und −1. Ihr Durchschnitt ist null, obwohl jede Bewertung abweicht.
Die mittlere absolute Abweichung beträgt dagegen 1,5 Punkte. Auch diese Zahl reicht allein nicht aus. Sie sagt beispielsweise nicht, ob eine Abweichung genau an einer relevanten Bestehensgrenze liegt oder welche Kriterien falsch bewertet wurden.
Fehlertypen neben Zahlen erfassen
Unterscheiden Sie übersehene Teilleistungen, unberechtigte Punkte, falsche Folgefehlerbehandlung und erfundene Kritik. Ein Vorschlag kann die richtige Gesamtsumme durch mehrere sich ausgleichende Fehler erreichen. Für die Lernenden wäre das Feedback trotzdem ungeeignet.
Das NIST-Profil für generative KI behandelt unter anderem die Bewertung von Risiken im Einsatz. NIST AI 600-1. Die konkrete Prüfgestaltung muss zu Ihrer Aufgabe und den möglichen Folgen passen.
Den gesamten Ablauf prüfen
Wenn Arbeiten gescannt werden, gehört die Texterkennung zur Kette. Prüfen Sie separat, ob ein Bewertungsfehler aus einer falschen Abschrift oder aus der Korrekturlogik stammt. Sonst wird möglicherweise am Maßstab geändert, obwohl das System den Text gar nicht richtig gelesen hat.
Erfassen Sie außerdem die menschliche Prüfzeit. Eine hohe Übereinstimmung hilft wenig, wenn jede Begründung so schwer nachvollziehbar ist, dass die Kontrolle länger dauert als die bisherige Korrektur.
Für die spätere Kontrolle im Betrieb können Sie eine Korrekturstichprobe mit festen Auswahlregeln planen. Halten Sie fest, welche Fälle bewusst zusätzlich geprüft werden und welche Aussagen die Stichprobe überhaupt erlaubt.
Akzeptanzkriterien vorher vereinbaren
Benennen Sie die Fehler, die vor einer Nutzung behoben werden müssen, und die Fälle, die immer zur vertieften Prüfung gehen. Ein einzelner schwerwiegender Fehler darf nicht hinter einem guten Mittelwert verschwinden.
Dokumentieren Sie Aufgabe, Datenumfang, Auswahl, Modell- und Maßstabsversion. Nach Änderungen wird mit geeigneten neuen Fällen erneut geprüft. Das Ergebnis gilt zunächst für diesen geprüften Umfang; eine Übertragung auf andere Fächer braucht eigene Evidenz.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.