PROVEHOR BLOG / KI-KORREKTUR

Belohnt KI lange Antworten? So lässt sich das prüfen

Ob eine KI lange oder sprachlich glatte Antworten bevorzugt, muss am konkreten System geprüft werden. Ein geeigneter Test hält den fachlichen Inhalt möglichst gleich und verändert gezielt Länge oder Stil.

Drei unterschiedlich lange Antworten werden anhand gemeinsamer Kriterien verglichen.
Illustration: Provehor · mit KI über Higgsfield erstellt.

Die Beobachtung braucht einen kontrollierten Vergleich

Eine lange Antwort erhält mehr Punkte als eine kurze. Daraus folgt noch kein Längeneffekt: Vielleicht enthält sie tatsächlich mehr geforderte Leistung. Für einen aussagekräftigen Vergleich müssen die fachlich relevanten Aussagen kontrolliert werden.

Erstellen Sie deshalb Varianten derselben Antwort. Eine knappe Fassung nennt die erforderlichen Argumente, eine längere erläutert denselben Inhalt mit zusätzlichen Formulierungen. Eine Fachperson prüft, ob die Leistung nach dem Maßstab wirklich gleichwertig ist.

Ein fiktives Testpaar

Variante A begründet eine Auswahl in drei klaren Sätzen. Variante B wiederholt dieselben Gründe über mehrere Absätze, ohne weitere relevante Aussagen. Wenn die Aufgabe keine zusätzliche sprachliche Ausarbeitung verlangt, sollte die Wiederholung nicht automatisch mehr fachliche Punkte bringen.

Eine dritte Variante kann ähnlich lang sein, aber einen inhaltlichen Widerspruch enthalten. Sie prüft, ob der ausführliche Stil einen fachlichen Fehler verdeckt.

Den Maßstab als Referenz verwenden

Rubrics machen die bewerteten Merkmale ausdrücklich. Cornell zu Bewertungsrastern. Wenn Verständlichkeit oder sprachliche Ausarbeitung selbst Teil des Lernziels sind, müssen diese Kriterien gesondert berücksichtigt werden.

Die Prüfung darf daher nicht pauschal jede gleiche Punktzahl verlangen. Entscheidend ist die vorher fachlich bestätigte Gleichwertigkeit in den jeweiligen Kriterien.

Mehrere Fälle und Wiederholungen betrachten

Ein einzelnes Antwortpaar reicht nicht für eine allgemeine Aussage. Verwenden Sie unterschiedliche Aufgaben und prüfen Sie, ob sich ein Muster wiederholt. Halten Sie Modell, Anweisung und Maßstab konstant.

Erfassen Sie Punkte je Kriterium und Begründung. So wird sichtbar, ob zusätzliche Punkte durch vermeintlich bessere Argumente, bloße Textlänge oder eine andere Interpretation der Aufgabe entstehen.

Ergebnisse vorsichtig übertragen

Ein festgestellter Effekt gilt zunächst für den getesteten Umfang. Nach einer Änderung des Modells oder Maßstabs muss er erneut untersucht werden. Der Artikel behauptet keinen nachgewiesenen Längenbias eines bestimmten Produkts.

Bestätigte Fehlermuster gehören in den Testkatalog und in die fachliche Prüfung der Korrekturvorschläge. Eine allgemein formulierte Anweisung, Länge zu ignorieren, sollte anschließend an neuen Fällen überprüft werden.

Quellen und weiterführende Grundlagen

Über den Autor

Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.

Ihr nächster Schritt

Einen Korrekturpilot besprechen

Welche Aufgaben korrigieren Sie, und wie läuft die Bewertung heute? Beschreiben Sie Ihren Ablauf. Wir klären, was sich in einem begrenzten Pilot prüfen lässt.

Anwendungsfall schildern →

Ihre Anfrage geht direkt an Julian Süllner. Damit erteilen Sie noch keinen Auftrag.

Weiterlesen

Mehr zu KI-Korrektur

Alle Artikel zum Thema

KI-KorrekturPraxisleitfaden

KI-Korrektur im Blindvergleich prüfen

KI-Vorschläge ohne sichtbare Herkunft vergleichen: Referenzmaßstab, getrennte Bewertung und nachvollziehbare Fehleranalyse vorbereiten.

3 Min. Lesezeit

KI-KorrekturAnleitung

Erwartungshorizont erstellen: mit Vorlage

Erwartungshorizont für Einsendeaufgaben und Prüfungen erstellen: Bausteine, Anleitung in sieben Schritten, Beispiel und Vorlage zum Download (CSV).

8 Min. Lesezeit

Provehor KI-Briefing

Neue Artikel und KI-Nachrichten per E-Mail.

Jetzt anmelden. Die erste Ausgabe wird noch vorbereitet; danach ist ein wöchentlicher Versand geplant.