Ein echter Link kann eine falsche Aussage begleiten
Die Antwort nennt eine interne Richtlinie und wirkt dadurch verlässlich. Im Dokument steht aber eine Ausnahme, die der Antworttext weglässt. Oder die Fundstelle behandelt ein ähnliches Thema, ohne die behauptete Regel zu enthalten. Das Vorhandensein einer Quelle allein löst das Problem nicht.
Bei einer wichtigen Aussage sollte die Quelle möglichst nahe stehen. Eine allgemeine Liste am Ende macht es schwer, mehrere Aussagen ihren Grundlagen zuzuordnen. Für interne Arbeitsanweisungen sind Abschnitt oder Seitenangabe besonders hilfreich.
Ein kurzer Prüfablauf
- Die verlinkte Stelle öffnen und den relevanten Absatz lesen.
- Prüfen, ob die Aussage dort ausdrücklich steht oder nur abgeleitet wurde.
- Geltungsbereich, Datum und Ausnahmen vergleichen.
- Festhalten, welche Teile der Antwort unbelegt bleiben.
Eine Ableitung kann sinnvoll sein, sollte aber als solche erkennbar bleiben. „Daraus ergibt sich für diesen Fall vermutlich …“ ist eine andere Aussage als „Die Richtlinie schreibt vor …“.
Ein fiktives Beispiel
Eine Reisekostenregel nennt für einen bestimmten Zeitraum eine Pauschale. Die KI antwortet auf eine Frage zum Folgejahr mit demselben Betrag. Der Quellenlink ist korrekt, die zeitliche Übertragung jedoch nicht belegt. Eine brauchbare Antwort nennt die vorhandene Fassung und weist darauf hin, dass sie für den angefragten Zeitraum keine bestätigte Angabe enthält.
Dieses Beispiel zeigt, warum Metadaten zur Gültigkeit gebraucht werden. Ein Dokument kann technisch neu eingelesen sein und trotzdem eine alte Regel enthalten.
Suche und Antwort getrennt untersuchen
RAG verbindet Informationsabruf und Textgenerierung. Microsoft erklärt den Aufbau. Prüfen Sie bei einem Fehler deshalb zunächst, ob die richtige Fundstelle überhaupt gefunden wurde. Danach prüfen Sie, wie der Text daraus entstanden ist.
Fehlt die passende Quelle, muss möglicherweise die Suche verbessert werden. War sie vorhanden, aber die Ausnahme wurde übergangen, liegt die Schwachstelle eher in der Antwortverarbeitung. Beide Probleme mit einem allgemeinen „besseren Prompt“ zu behandeln, erschwert die Diagnose.
Quellenqualität in die Abnahme aufnehmen
Bewerten Sie für jede Testantwort, ob die zentrale Aussage belegt, die Fundstelle erreichbar und die Version passend ist. Ein Antworttext kann sprachlich gut sein und diese Prüfung trotzdem nicht bestehen.
Bewahren Sie einige fehlerhafte Beispiele für spätere Tests auf. Nach einer Änderung am Modell oder an der Aufbereitung sollten dieselben Schwachstellen erneut geprüft werden. So wird die Quellenanzeige zu einem überprüfbaren Teil der Anwendung.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.