Den Ausgangszustand zeigen lassen
Ein fertiges Ergebnis sagt wenig darüber aus, wie viel Vorarbeit nötig war. Bitten Sie deshalb um den ursprünglichen Eingang, die verwendeten Anweisungen und die sichtbaren Bearbeitungsschritte.
Bei einer Dokumentenauswertung ist beispielsweise relevant, ob die Datei vorher manuell bereinigt wurde. Diese Vorbereitung kann sinnvoll sein, gehört aber zum tatsächlichen Aufwand und sollte in der Darstellung enthalten sein.
Ein eigenes Beispiel mitbringen
Wählen Sie einen typischen Fall, dessen fachliches Ergebnis Sie überprüfen können. Entfernen Sie unnötige vertrauliche Angaben oder erstellen Sie einen realistischen fiktiven Fall.
Eine passende Arbeitsprobe könnte eine Anfrage mit fehlender Menge und widersprüchlichen Lieferangaben sein. Das gewünschte Ergebnis besteht dann gerade darin, diese offenen Punkte zu erkennen. Eine vollständig ausgefüllte Zusammenfassung wäre hier möglicherweise schlechter.
Die Nacharbeit mit ansehen
Fragen Sie, welche Ausgabe tatsächlich vom System kam und was anschließend geändert wurde. Prüfen Sie, wie eine zuständige Person Fehler erkennt und korrigiert.
Ein brauchbarer Ablauf kann manuelle Prüfung enthalten. Entscheidend ist, ob deren Umfang, Zuständigkeit und Aufwand verständlich sind. Eine Demo sollte diese Arbeit nicht in einen unsichtbaren letzten Schritt verschieben.
Den Fall außerhalb der vorgesehenen Grenzen prüfen
Was passiert bei einer unlesbaren Datei, einer fehlenden Quelle oder einem unbekannten Vorgangstyp? Lassen Sie sich den Umgang damit zeigen. Ein klarer Prüfhinweis kann für den Betrieb wertvoller sein als eine selbstsicher formulierte Vermutung.
Das NIST-Profil für generative KI behandelt Risiken solcher Systeme. Die Fragen in diesem Beitrag sind eine praktische Vorbereitung auf ein Anbietergespräch und kein Zertifizierungsverfahren.
Die nächste Entscheidung klein und überprüfbar halten
Nach einer guten Demo sollte klar sein, welche begrenzte Aufgabe als Nächstes getestet werden soll, welche Unterlagen dafür nötig sind und woran ein brauchbares Ergebnis erkannt wird.
Halten Sie offene Annahmen und den geschätzten Gesamtaufwand schriftlich fest. Ein einzelner erfolgreicher Fall belegt noch keine Alltagstauglichkeit. Eine Arbeitsprobe hilft aber, die Diskussion von allgemeinen Versprechen auf nachvollziehbare Ergebnisse und konkrete Grenzen zu lenken.
Quellen und weiterführende Grundlagen
Über den Autor
Julian Süllner hat Provehor gegründet und führt das Unternehmen als Geschäftsführer. Er verantwortet Produktentwicklung, Kundenprojekte und die Ratgeber auf dieser Website.