Die Zahl der Dateien ist nur ein Ausgangspunkt
Hundert gut strukturierte Textdokumente können leichter zu verarbeiten sein als zehn umfangreiche Scans mit Tabellen. Entscheidend sind Inhalt, Format und gewünschte Antwortqualität. Auch unterschiedliche Nutzerrechte erhöhen den Prüfaufwand.
Beschreiben Sie deshalb den vorgesehenen Wissensbereich, die Nutzergruppen und typische Fragen. Erst damit lässt sich ein Angebot sinnvoll abgrenzen.
Einrichtung und laufende Nutzung trennen
Zur Einrichtung können Auswahl und Bereinigung der Dokumente, Anbindung, Suchindex und Tests gehören. Laufend entstehen gegebenenfalls Kosten für Speicherung, Suchanfragen und Antwortgenerierung. Dazu kommt die fachliche Pflege.
Die Microsoft-Übersicht zu RAG zeigt die Verbindung von Suche und Generierung. Ein Preis nur für das Sprachmodell bildet daher nicht den gesamten Ablauf ab.
Ein Rechenmodell mit klaren Annahmen
Verwenden Sie für die Kalkulation beispielsweise erwartete Fragen pro Monat, durchschnittlich verwendete Textmenge und Aufwand für neue Dokumente. Tragen Sie reale Anbieterpreise erst zum Entscheidungszeitpunkt ein. Der Artikel nennt bewusst keine vermeintlich dauerhaften Tarife.
Fiktives Beispiel: Ein Wissensbereich wird selten gefragt, aber jede Woche umfangreich geändert. Dann kann die Pflege wichtiger sein als die Anzahl der Antworten. Ein stabiler Bestand mit vielen Nutzern hat möglicherweise ein anderes Kostenprofil.
Prüfung nicht als einmaligen Restposten behandeln
Änderungen an Quellen, Suchverfahren oder Modell können neue Fehler erzeugen. Planen Sie die Wiederholung wichtiger Testfragen und die Bearbeitung von Rückmeldungen ein. Eine unbetreute Wissensbasis kann günstig aussehen und trotzdem unzuverlässig werden.
Auch Zugangsverwaltung, Störungen und die Wiederherstellung des Bestands brauchen eine Zuständigkeit. Halten Sie fest, welche dieser Aufgaben im Angebot enthalten sind.
Mit einem begrenzten Bereich kalkulieren
Für einen ersten Versuch kann eine klar abgegrenzte Dokumentensammlung mit wenigen Nutzergruppen genügen. Messen Sie Suchzeit, Antwortqualität und tatsächlich eingesparte Rückfragen.
Vergleichen Sie den Nutzen mit dem vollständigen Aufwand. Wenn die meisten Fragen durch eine gepflegte FAQ beantwortet werden können, ist auch diese Alternative zu betrachten. Ein RAG-Projekt sollte eine konkrete Wissensarbeit erleichtern, nicht nur eine zusätzliche Oberfläche bereitstellen.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.