PROVEHOR BLOG / WISSENS-RAG

Reranking im RAG: Passende Fundstellen besser auswählen

Reranking bewertet bereits gefundene Suchtreffer erneut im Verhältnis zur Frage. Es kann die Reihenfolge verbessern, aber keine Quelle auswählen, die im betrachteten Trefferbestand gar nicht vorhanden ist.

Gefundene Dokumente werden erneut bewertet und in eine passendere Reihenfolge gebracht.
Illustration: Provehor · mit KI über Higgsfield erstellt.

Die richtige Quelle liegt vielleicht weiter hinten

Eine Suche findet zwanzig ähnliche Abschnitte. Die Antwortgenerierung verwendet nur wenige davon. Wenn die maßgebliche Anleitung weit hinten steht, kann ein besseres Sortieren dieser Kandidaten hilfreich sein.

Microsoft beschreibt semantisches Ranking als zusätzliche Bewertung eines vorhandenen Ergebnissatzes. Dokumentation. Die konkrete Funktionsweise und verfügbare Optionen hängen vom eingesetzten Dienst ab.

Zuerst prüfen, was gefunden wurde

Wenn die richtige Quelle schon in der ersten Suche fehlt, muss zunächst diese Stufe untersucht werden. Ursachen können fehlender Import, ungeeignete Begriffe oder falsche Berechtigungsfilter sein. Ein nachgelagertes Sortieren kann diese Lücke nicht beliebig ausgleichen.

Speichern Sie für einen Test daher sowohl die ursprüngliche Trefferliste als auch die neu geordnete Liste. So bleibt erkennbar, an welcher Stelle eine Verbesserung oder Verschlechterung entsteht.

Ein fiktiver Vergleich

Die Frage betrifft eine Ausnahme bei Teillieferungen. Unter den ersten Treffern stehen allgemeine Bestellhinweise; weiter hinten folgt die passende Ausnahme. Ein Reranker kann diesen Abschnitt höher einordnen.

Er darf dabei eine veraltete, sprachlich besonders passende Anleitung nicht automatisch zur gültigen Quelle machen. Version und Geltungsbereich müssen weiterhin berücksichtigt werden.

Mit und ohne zusätzliche Stufe testen

Verwenden Sie denselben Fragenkatalog und dieselbe Wissensbasis. Prüfen Sie, ob die erforderlichen Quellen häufiger unter den tatsächlich verwendeten Treffern liegen. Betrachten Sie anschließend die fertigen Antworten.

Messen Sie auch zusätzliche Wartezeit und Kosten. Eine bessere Sortierung kann nützlich sein, muss sich aber im vollständigen Arbeitsablauf bewähren. Für einen kleinen, sauber gegliederten Bestand ist der zusätzliche Aufwand möglicherweise geringfügig hilfreich oder unnötig.

Schwierige Fragen getrennt ansehen

Fragen nach exakten Kennungen, mehreren Dokumenten oder seltenen Ausnahmen können anders reagieren als allgemeine Wissensfragen. Ein guter Durchschnitt sollte diese Unterschiede nicht verdecken.

Dokumentieren Sie, für welche Fragearten die zusätzliche Stufe hilft. Dadurch bleibt die Entscheidung begründet, wenn später Modell oder Suchbestand geändert werden. Ein einmaliger guter Treffer ist noch kein Nachweis für eine allgemein bessere Firmensuche.

Quellen und weiterführende Grundlagen

Über den Autor

Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.

Ihr nächster Schritt

Die Suche in Ihren Unterlagen verbessern

Wo liegt Ihr Wissen, und welche Fragen bleiben im Alltag offen? Beschreiben Sie ein Beispiel. Wir klären, welcher erste Schritt zu Ihren Unterlagen passt.

Anwendungsfall schildern →

Ihre Anfrage geht direkt an Julian Süllner. Damit erteilen Sie noch keinen Auftrag.

Weiterlesen

Mehr zu Wissens-RAG

Alle Artikel zum Thema

Wissens-RAGPraxisleitfaden

Testfragen für Wissens-RAG erstellen

Einen RAG-Testkatalog aufbauen: echte Mitarbeiterfragen, erwartete Quellen, unlösbare Fälle und getrennte Qualitätsprüfung.

3 Min. Lesezeit

Provehor KI-Briefing

Neue Artikel und KI-Nachrichten per E-Mail.

Jetzt anmelden. Die erste Ausgabe wird noch vorbereitet; danach ist ein wöchentlicher Versand geplant.