Die Referenz muss besser begründet sein als der Vorschlag
Eine alte Punktzahl aus einem Kurs ist noch keine belastbare Referenz. Vielleicht wurde nach einem anderen Maßstab korrigiert oder eine spätere Korrektur nicht dokumentiert. Für das Goldset brauchen Sie Aufgabe, gültigen Maßstab und eine nachvollziehbare Bewertung je Kriterium.
Verwenden Sie nur Materialien, die für diesen Zweck genutzt werden dürfen. Bereinigen Sie personenbezogene Angaben angemessen und halten Sie den Zugriff auf die Sammlung begrenzt. Die fachliche Auswahl sollte nicht durch bequem verfügbare, aber ungeeignete Daten bestimmt werden.
Die Vielfalt der tatsächlichen Antworten abbilden
Nehmen Sie kurze und lange Antworten, klare Fehler, teilweise richtige Ansätze und ungewöhnliche korrekte Lösungswege auf. Bei digitalisierten Handschriften gehören außerdem verschiedene Lesbarkeiten in einen gesondert betrachteten Teil.
Eine Sammlung nur eindeutig guter und eindeutig schlechter Arbeiten übersieht gerade die Fälle, bei denen Unterstützung schwierig wird. Grenzfälle sollten deshalb bewusst enthalten sein.
Bewertungen unabhängig prüfen
Lassen Sie fachlich geeignete Personen zunächst unabhängig bewerten. Abweichungen werden anhand des Maßstabs geklärt. Bleibt ein Fall offen, kennzeichnen Sie ihn als Streitfall und verwenden ihn nicht wie eine unstrittige Referenz.
Bewertungsraster machen die Erwartungen ausdrücklich. Cornell zu Rubrics. Für das Goldset werden diese Erwartungen auf konkrete Antworten angewendet und mit Textstellen belegt.
Entwicklungsfälle und Abnahmefälle trennen
Ein Teil der Sammlung kann zum Verbessern des Systems dienen. Ein anderer Teil bleibt für eine unabhängige Prüfung zurückgehalten. Wenn jede Testantwort während der Entwicklung bekannt ist, kann ein gutes Ergebnis auf diese Beispiele zugeschnitten sein.
Speichern Sie die Zuordnung ausdrücklich. Bei ähnlichen Antworten oder Varianten derselben Aufgabe sollten Sie außerdem prüfen, ob die Trennung wirklich unabhängig ist. Fast identische Fälle in beiden Gruppen können ein zu günstiges Bild erzeugen.
Versionieren und gezielt erweitern
Jeder Fall braucht eine stabile Kennung, Maßstabsversion und Begründung. Ändert sich eine Bewertungsregel, wird dokumentiert, welche Referenzfälle betroffen sind. Die alte Bewertung darf nicht unbemerkt überschrieben werden, wenn frühere Testergebnisse darauf beruhen.
Erweitern Sie die Sammlung nach beobachteten Fehlertypen. Wenn die KI Folgefehler regelmäßig falsch behandelt, ergänzen Sie passende Fälle und Gegenbeispiele. Ein Goldset ist damit kein einmaliger Ordner mit Musterlösungen, sondern eine gepflegte Grundlage für nachvollziehbare Qualitätsprüfungen.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.