Den Vergleich sauber aufbauen
Verwenden Sie dieselben Arbeiten, dieselbe Aufgabe und denselben Maßstab. Wenn die Personen unterschiedliche Fassungen hatten, mischt die Auswertung Bewertungsunterschiede mit Änderungen der Grundlage.
Erfassen Sie die Werte zunächst je Kriterium und anschließend als Gesamtsumme. So werden Unterschiede sichtbar, die sich in der Summe gegenseitig ausgleichen.
Ein kleines Rechenbeispiel
Vier Arbeiten erhalten bei Person A 6, 8, 10 und 12 Punkte. Person B vergibt 8, 6, 11 und 11. Die Differenzen B minus A lauten +2, −2, +1 und −1. Ihr Durchschnitt ist null.
Die absoluten Unterschiede betragen 2, 2, 1 und 1; im Mittel also 1,5 Punkte. Der vorzeichenbehaftete Durchschnitt beschreibt hier keine allgemeine Übereinstimmung. Er kann lediglich zeigen, ob eine Person insgesamt eher höher oder niedriger bewertet.
Die Verteilung nicht verstecken
Zeigen Sie neben einem Mittelwert die einzelnen Differenzen oder sinnvolle Gruppen. Besonders große Abweichungen verdienen eine fachliche Erklärung. Bei relevanten Notengrenzen kann schon eine kleinere Abweichung wichtig sein.
Eine kleine Beispielsammlung reicht nicht für weitreichende Aussagen über alle Korrektoren oder Aufgaben. Umfang und Auswahl müssen bei der Interpretation sichtbar bleiben.
Die Ursache im Maßstab suchen
Rubrics beschreiben Kriterien und Leistungsstufen ausdrücklich. Carnegie Mellon zum Aufbau. Vergleichen Sie bei Abweichungen, welches Kriterium unterschiedlich angewandt wurde.
Vielleicht zählt eine Person eine Begründung als vollständig, die andere nur als Ansatz. Dann braucht die Regel mehr Klarheit. Das bloße Mitteln der beiden Punktzahlen erklärt den Unterschied nicht.
Nach der Klärung neue Arbeiten prüfen
Wiederholen Sie den Vergleich an bisher ungesehenen Antworten. Nur die bereits besprochenen Beispiele erneut zu bewerten kann ein zu günstiges Bild liefern.
Bei einem Vergleich mit KI-Vorschlägen gilt dasselbe Vorgehen. Trennen Sie die Referenzbewertung von der zu prüfenden Ausgabe und dokumentieren Sie Modell- sowie Maßstabsversion. So bleibt erkennbar, welche Änderung die beobachteten Unterschiede beeinflusst hat.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.