Fragen aus dem Arbeitsalltag sammeln
Beginnen Sie mit Fragen, die Mitarbeitende tatsächlich an Kollegen stellen. „Wie gehe ich vor, wenn die Lieferung nur teilweise angekommen ist?“ ist aussagekräftiger als eine künstliche Frage, die genau die Überschrift eines Dokuments wiederholt.
Erfassen Sie auch unterschiedliche Formulierungen. Eine neue Kollegin verwendet andere Begriffe als die Person, die die Richtlinie geschrieben hat. Abkürzungen, Produktnamen und alltägliche Umschreibungen gehören deshalb in die Sammlung.
Die erwartete Antwort vorher festlegen
Notieren Sie zu jeder Frage die maßgebliche Quelle und die wesentlichen Aussagen. Es muss nicht jedes Wort feststehen. Die Antwort darf verständlicher formuliert sein, solange Inhalt, Grenzen und nötige Handlung stimmen.
Eine verantwortliche Fachperson sollte diese Erwartung prüfen. Sonst misst der Test nur, wie gut die KI eine ungeprüfte Musterantwort nachahmt. Bei unklarer Dokumentenlage ist die Klärung selbst Teil der Vorbereitung.
Auch fehlendes Wissen testen
Nehmen Sie Fragen auf, deren Antwort im Bestand fehlt, sowie Fragen zu veralteten Regelungen und widersprüchlichen Dokumenten. Das gewünschte Ergebnis kann eine begründete Nichtantwort oder eine Rückfrage sein. Ein System, das immer etwas formuliert, wirkt zunächst hilfreich und kann gerade deshalb problematisch werden.
Das NIST-Profil für generative KI behandelt Risiken und deren Bewertung über den Einsatz hinweg. NIST AI 600-1. Der hier beschriebene Testkatalog ist ein praktischer eigener Vorschlag für einen begrenzten Wissensbereich.
Eine einfache Bewertung je Frage
- Wurde die erforderliche Quelle gefunden?
- Sind die wesentlichen Aussagen richtig und vollständig?
- Stimmen Gültigkeit und Nutzerberechtigung?
- Ist erkennbar, wenn die Grundlage fehlt?
- Kann der Nutzer den nächsten Arbeitsschritt verstehen?
Fassen Sie schwerwiegende Fehler nicht in einem guten Durchschnitt zusammen. Eine unzulässige Informationsoffenlegung bleibt ein eigener Mangel, selbst wenn viele andere Antworten korrekt sind.
Entwicklung und Abnahme auseinanderhalten
Ein Teil der Fragen dient während des Aufbaus zur Verbesserung. Ein anderer Teil bleibt bis zur Abnahme zurückgehalten. So erkennen Sie eher, ob der Ablauf auch bisher ungesehene Formulierungen und Fälle bewältigt.
Wiederholen Sie relevante Tests nach Änderungen an Quellen, Suchverfahren oder Modell. Notieren Sie jeweils die eingesetzte Version. Eine einzelne gute Vorführung sagt wenig darüber aus, wie das System nach der nächsten Aktualisierung arbeitet. Ein gepflegter Fragenkatalog macht diese Veränderungen vergleichbar.
Nach der Einführung liefern Rückmeldungen neue Prüffälle. Wie Sie Nutzerfeedback zum Wissens-RAG auswerten, ohne jede negative Bewertung als denselben Fehler zu behandeln, beschreibt der ergänzende Leitfaden.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.