Das Problem in einen überprüfbaren Satz fassen
„Wir wollen Erfahrungen mit KI sammeln“ kann ein Lernziel sein. Für eine spätere Investitionsentscheidung ist zusätzlich eine konkrete Arbeitsfrage nötig. Beispielsweise: Können Antwortentwürfe die Bearbeitungszeit wiederkehrender Anfragen reduzieren, ohne mehr sachliche Korrekturen zu verursachen?
Notieren Sie den heutigen Ablauf und einige typische Vorgänge. Messen Sie aktive Bearbeitungszeit sowie häufige Fehler oder Rückfragen. Ohne diese Ausgangswerte fehlt später der Vergleich.
Die ganze Bearbeitung erfassen
Zur neuen Zeit gehören Eingabe, Erzeugung, Kontrolle und Nacharbeit. Wenn eine KI in wenigen Sekunden einen Text erstellt, der anschließend lange korrigiert werden muss, ist die Erzeugungszeit allein irreführend.
Ein fiktives Beispiel: Bisher dauert ein Vorgang zwölf Minuten. Mit KI werden zwei Minuten Vorbereitung, eine Minute Erzeugung und sechs Minuten Prüfung benötigt. Die gesamte Dauer beträgt neun Minuten. Ob das hilfreich ist, hängt zusätzlich von Qualität und laufendem Aufwand ab.
Qualität vor dem Test definieren
Legen Sie fest, welche Fehler akzeptabel korrigierbar sind und welche den Einsatz verhindern. Eine misslungene Formulierung ist anders zu bewerten als eine falsche Preiszusage. Trennen Sie diese Fehlerarten in der Auswertung.
Der NIST-Rahmen verbindet Bewertung mit dem jeweiligen Einsatzkontext. NIST AI RMF. Ein allgemeiner Qualitätswert sollte deshalb nicht die konkreten Folgen eines Fehlers verdecken.
Vergleichbare Fälle verwenden
Wenn der bisherige Ablauf an schwierigen Fällen und die KI nur an einfachen Beispielen gemessen wird, ist der Vergleich verzerrt. Verwenden Sie ähnliche Fallgruppen oder bearbeiten Sie geeignete Testfälle auf beiden Wegen. Dokumentieren Sie, wie die Auswahl zustande kam.
Berücksichtigen Sie eine Einarbeitungsphase, ohne ihre Kosten zu verschweigen. Ein neuer Ablauf kann zunächst langsamer sein. Entscheidend ist, ob sich danach eine belastbare Verbesserung zeigt und wie viel Betreuung weiterhin nötig bleibt.
Ein Ende des Piloten festlegen
Vereinbaren Sie Umfang, Entscheidungstermin und mögliche Ergebnisse: ausbauen, gezielt nachbessern oder beenden. Ein Pilot ohne Abschluss kann dauerhaft Arbeit verursachen, ohne je eine Entscheidung zu ermöglichen.
Halten Sie die Ergebnisse mit Grenzen fest. Ein Erfolg bei einem Nachrichtentyp belegt noch keinen Nutzen für das ganze Postfach. Der nächste Schritt sollte den bestätigten Umfang erweitern und neue Risiken erneut prüfen. So wächst der Einsatz aus nachvollziehbaren Ergebnissen.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.