Eine Aufgabe statt einer allgemeinen Bestenliste
Ein Modell kann Anfragen gut zusammenfassen und bei Ihren Tabellen trotzdem wichtige Angaben übersehen. Beginnen Sie deshalb mit einer konkreten Tätigkeit, etwa der Aufbereitung eingehender Serviceanfragen.
Notieren Sie, welche Fehler dabei besonders problematisch wären. Ein erfundener Termin kann schwerer wiegen als eine etwas umständliche Formulierung. Diese Priorität muss vor dem Vergleich feststehen.
Dieselben Fälle unter vergleichbaren Bedingungen
Stellen Sie einen kleinen Bestand repräsentativer Eingaben zusammen. Dazu gehören häufige Standardfälle und bewusst schwierige Beispiele. Jedes Modell erhält dieselben Informationen und einen vergleichbaren Arbeitsauftrag.
Halten Sie verfügbare Werkzeuge, verwendete Einstellungen und den jeweiligen Modellstand fest. Wenn ein System zusätzliche Quellen durchsuchen darf und das andere nicht, vergleichen Sie unterschiedliche Arbeitsabläufe. Das kann sinnvoll sein, muss aber so bezeichnet werden.
Ausgaben ohne sichtbaren Anbieternamen prüfen
Eine verdeckte Zuordnung kann helfen, bekannte Marken nicht mit Qualität gleichzusetzen. Prüfen Sie zuerst die fachlichen Kriterien und erst danach die Herkunft der Ausgabe.
Fiktives Beispiel: Bei zehn Anfragen zählt die Auswertung, ob Anliegen und ausdrücklich genannter Termin korrekt übernommen wurden. Zusätzlich wird erfasst, wie viel Nacharbeit nötig war. Ein solcher kleiner Vergleich liefert Hinweise für diese Fälle, keine allgemeine Zuverlässigkeitsquote.
Qualität und Aufwand gemeinsam betrachten
Erfassen Sie neben Fehlern auch Wartezeit, tatsächliche Nutzungskosten und manuelle Korrekturzeit. Verwenden Sie dafür Ihre Messwerte und die zum Testzeitpunkt geltenden Konditionen. Allgemeine Preisannahmen altern schnell.
Das NIST-Profil zu generativer KI bietet einen Rahmen für den Umgang mit entsprechenden Risiken. Die hier vorgeschlagene Vergleichstabelle ist eine praktische Arbeitsweise, kein standardisierter NIST-Test.
Neue Fälle für die abschließende Prüfung zurückhalten
Wenn Sie die Anweisung immer wieder an denselben Beispielen verbessern, können diese Fälle ein zu günstiges Bild erzeugen. Bewahren Sie deshalb zusätzliche Aufgaben für eine spätere Prüfung auf.
Bei wichtigen oder schwankenden Ergebnissen sind Wiederholungen sinnvoll. Dokumentieren Sie, unter welchen Bedingungen Sie sich für eine Lösung entscheiden und welcher neue Fehler eine erneute Bewertung auslösen würde.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.