Die Endantwort zeigt nur einen Teil
Ein Entwurf enthält einen falschen Liefertermin. Die Ursache kann eine veraltete Quelle, eine falsche Kundenzuordnung oder eine fehlerhafte Übernahme sein. Alle drei Probleme können dieselbe sichtbare Ausgabe erzeugen.
Für eine gezielte Verbesserung muss deshalb nachvollziehbar sein, welche Informationen und Aktionen tatsächlich verwendet wurden. Gemeint sind beobachtbare Schritte, keine vermeintliche vollständige Einsicht in interne Modellgedanken.
Technische Schritte mit einem Vorgang verbinden
OpenTelemetry beschreibt Traces als Zusammenhang einzelner Verarbeitungsschritte. Bei einem KI-Ablauf kann eine gemeinsame Vorgangskennung helfen, Suche, Modellaufruf und Rückgabe im Zielsystem zusammenzusehen.
Die aufgezeichneten Inhalte sollten auf das Erforderliche begrenzt werden. Ein vollständiger Mitschnitt sämtlicher Dokumente ist nicht automatisch notwendig und kann zusätzliche vertrauliche Daten erzeugen.
Eine fachlich verständliche Prüfansicht
Fiktives Beispiel: Die Ansicht zeigt, dass für Vorgang A der Kundendatensatz B abgerufen wurde. Die Fachperson kann die falsche Zuordnung erkennen, ohne die technischen Einzelheiten jeder Netzwerkanfrage verstehen zu müssen.
Hilfreich sind Quelle, Datenstand und Ergebnis jedes entscheidenden Schritts. Unklare oder fehlgeschlagene Schritte sollten erkennbar bleiben, statt in einer allgemeinen Erfolgsmeldung zu verschwinden.
Vom Fehler zur passenden Änderung
Wenn die falsche Quelle gelesen wurde, ist eine längere Antwortanweisung vermutlich nicht die erste Korrektur. Wenn die richtige Information vorlag, aber falsch verarbeitet wurde, richtet sich die Prüfung auf einen anderen Teil des Ablaufs.
Nach der Änderung wird derselbe Fall erneut betrachtet. Zusätzliche Fälle zeigen, ob dadurch andere Vorgänge beeinträchtigt wurden.
Vereinbaren Sie Zugriffsrechte und Aufbewahrung für diese Verläufe. Im laufenden Betrieb sollten zuständige Personen Fehler untersuchen können, ohne unnötig breite Einsicht in fremde Vorgänge zu erhalten. Die Ausführungsdaten sind selbst Teil des zu betreuenden Systems.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.