Neue Eingänge können den Ablauf verändern
Ein Testbestand enthält bekannte Dokumente. Im Betrieb tauchen andere Vorlagen, neue Formulierungen oder bisher seltene Ausnahmen auf. Die Anwendung kann technisch weiterlaufen und trotzdem häufiger fachlich falsche Vorschläge erzeugen.
Deshalb sollte eine zuständige Person regelmäßig geeignete Ergebnisse prüfen. Die Auswahl muss zum Risiko und zur Menge der Vorgänge passen; eine allgemeine feste Stichprobengröße lässt sich daraus nicht ableiten.
Das tatsächliche Ergebnis ansehen
Anthropic unterscheidet bei Agentenprüfungen zwischen dem Verlauf und dem erreichten Zustand. Für den Betrieb bedeutet das beispielsweise, eine tatsächlich angelegte Zuordnung zu prüfen und nicht nur die Aussage des Systems, sie sei erfolgt.
Eine fachliche Prüfung kann zusätzlich die zugrunde liegende Quelle und die notwendige Nacharbeit betrachten. Unterschiedliche Fehler sollten getrennt erfasst werden.
Ein fiktives Fehlermuster
Bei neu eingegangenen Formularen fehlt häufiger eine bestimmte Angabe im Entwurf. Die Untersuchung zeigt, dass die Information auf eine zusätzliche Seite verschoben wurde.
Die passende Reaktion kann die Anpassung der Dokumentverarbeitung sein. Ein allgemeiner Wechsel des Modells wäre ohne Ursachenprüfung möglicherweise unnötig. Der neue Fall gehört anschließend in den wiederverwendbaren Testbestand.
Rückmeldungen nicht mit einer Qualitätsquote verwechseln
Wenige Beschwerden belegen nicht automatisch gute Ergebnisse. Manche Fehler werden still korrigiert, andere bleiben unentdeckt. Ergänzen Sie freiwillige Rückmeldungen deshalb durch eine bewusst geplante Prüfung.
Berichten Sie, welche Fälle untersucht wurden und auf welchen Umfang sich eine Aussage bezieht. Wenn vor allem schwierige Fälle geprüft werden, ist deren Fehleranteil nicht ohne Weiteres auf alle Vorgänge übertragbar.
Vereinbaren Sie, welche Abweichungen eine sofortige Unterbrechung und welche eine spätere Verbesserung auslösen. Forward Deployment endet damit nicht beim ersten gelungenen Beispiel: Auch die Rückmeldung aus der Nutzung braucht einen zuständigen Weg.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.