Die Kategorien müssen zur Arbeit passen
„Wichtig“, „mittel“ und „unwichtig“ sagen wenig darüber aus, wer eine Nachricht bearbeiten soll. Für ein kleines Dienstleistungsbüro können „neue Anfrage“, „Unterlagen zu bestehendem Vorgang“, „Terminänderung“ und „sonstiges“ hilfreicher sein. Jede Kategorie braucht eine kurze Definition und einen zuständigen Bearbeiter.
Wichtig ist die Abgrenzung: Eine Terminänderung eines Neukunden ist trotzdem eine Terminänderung, wenn sonst der richtige Ansprechpartner übersehen wird. Schreiben Sie solche Vorrangregeln auf. Häufen sich widersprüchliche Fälle, ist möglicherweise die Kategorienstruktur zu kompliziert.
Eine Nachricht kann mehrere Anliegen enthalten
Beispiel: „Anbei die fehlende Bescheinigung. Bitte verschieben Sie außerdem unseren Termin.“ Eine einfache Einzelklassifikation verliert hier einen Teil des Auftrags. Sie können mehrere Kennzeichen zulassen oder solche Nachrichten gezielt in eine manuelle Sichtung geben. Entscheidend ist, dass die zweite Bitte nicht unsichtbar wird.
Für den Einstieg empfiehlt sich eine Vorschlagsansicht neben dem Postfach. Sie zeigt Kategorie, eine kurze Begründung und den Originaltext. Nachrichten werden zunächst weder gelöscht noch automatisch beantwortet. So lässt sich die Zuordnung im Arbeitsalltag beobachten.
Eine Reklamation kann beispielsweise gleichzeitig eine beschädigte Lieferung und eine offene Rechnung betreffen. Für solche Fälle hilft ein eigener Ablauf, um Reklamationen mit KI zu strukturieren und die einzelnen Anliegen nachvollziehbar zuzuordnen.
Den Test mit Verwechslungen auswerten
Sammeln Sie einen zulässigen Testsatz mit Nachrichten aus jeder Kategorie. Lassen Sie eine zuständige Person die richtige Zuordnung festlegen, bevor die KI startet. Zählen Sie anschließend nicht nur richtige Ergebnisse, sondern auch die Arten der Verwechslung. Eine Terminänderung im Bereich Werbung ist schwerwiegender als eine Anfrage in der Restkategorie.
Eine selbst angegebene Sicherheit wie „95 Prozent“ ersetzt diesen Vergleich nicht. Entscheidend ist, wie die Vorschläge bei Ihren Nachrichten ausfallen. Verwenden Sie zusätzlich neue Nachrichten, die bei der Formulierung der Anweisung noch nicht bekannt waren.
Absendertext darf keine Befehle erteilen
Eine E-Mail ist fremder Inhalt. Darin können auch Anweisungen stehen, die den Sortierauftrag umdeuten sollen. OWASP führt solche Prompt-Injection-Angriffe als Risiko von Sprachmodellanwendungen auf. OWASP-Projektübersicht.
Beschränken Sie die Ausgabe daher auf erlaubte Kategorien. Ein fremder Text darf weder zusätzliche Empfänger bestimmen noch Zugriff auf andere Postfächer auslösen. Testen Sie ausdrücklich eine Nachricht, die behauptet, vom Administrator zu stammen und Regeln ändern zu dürfen.
Nach der Einführung weiter hinschauen
Prüfen Sie eine Auswahl der Zuordnungen regelmäßig und erfassen Sie neue Fehlertypen. Ändert sich das Angebot Ihres Unternehmens, ändern sich oft auch die Anliegen. Dann muss die Kategorienbeschreibung mitwachsen. Der Nutzen zeigt sich in weniger Such- und Weiterleitungsarbeit, nicht allein in der Zahl automatisch gesetzter Etiketten.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.