Die Aufgabe ohne zusätzliche Erklärung lesen lassen
Wer eine Aufgabe geschrieben hat, kennt ihren beabsichtigten Sinn. Andere Personen sehen nur den Text. Lassen Sie deshalb geeignete Testpersonen mit dem vorgesehenen Material arbeiten, ohne sofort mündlich nachzuhelfen.
Notieren Sie Rückfragen und Stellen, an denen unterschiedliche Interpretationen entstehen. Diese Beobachtungen können auf fehlende Angaben oder eine mehrdeutige Formulierung hinweisen.
Das Lernziel als Bezugspunkt behalten
Die Carnegie Mellon University betont die Abstimmung von Lernzielen, Lehre und Prüfung. Grundlage zur Abstimmung. Prüfen Sie deshalb, ob die Aufgabe tatsächlich die gewünschte Leistung sichtbar macht.
Wenn eine Aufgabe hauptsächlich das Entziffern einer komplizierten Tabelle verlangt, obwohl eine fachliche Entscheidung geprüft werden soll, kann eine unbeabsichtigte Hürde entstanden sein.
Ein fiktiver Probelauf
Eine Aufgabe verlangt die Auswahl zwischen zwei Lieferanten. Mehrere Testpersonen fragen, ob ein früherer Liefertermin zwingend ist oder nur bevorzugt wird. Diese Information verändert die vertretbare Entscheidung. Der Text braucht daher eine eindeutige Vorgabe oder muss beide begründeten Varianten zulassen.
Die Korrekturregel wird gleichzeitig angepasst. Nur die Aufgabenformulierung zu präzisieren und den alten Maßstab weiterzuverwenden kann einen neuen Widerspruch erzeugen.
Den Bewertungsaufwand beobachten
Lassen Sie einige Testantworten anhand des vorgesehenen Rasters bewerten. Wo fehlt eine Teilpunktregel? Welche fachlich richtige Alternative war nicht vorgesehen? Welche Kommentare lassen sich kaum begründen?
Ein kleiner Probelauf findet solche Probleme, ersetzt aber keine umfassende psychometrische Prüfung. Sein Umfang und seine Aussagegrenzen sollten ausdrücklich dokumentiert werden.
Änderungen vor der Freigabe zusammenführen
Halten Sie Aufgabenfassung, Maßstab und Beispielantworten im gleichen Versionsstand. Nach einer wesentlichen Änderung sollten die betroffenen Teile erneut geprüft werden.
Für spätere KI-Unterstützung sind die bestätigten Beispiele nützlich, müssen aber von unabhängigen Abnahmefällen getrennt bleiben. Die fachliche Qualität der Aufgabe kommt zuerst. Ein Korrektursystem kann eine mehrdeutige Aufgabenstellung nicht zuverlässig durch eine eigene Interpretation reparieren.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.