Die meisten KI-Workflows sehen in einer Demo gut aus. Die Frage ist, wie sie sich bei den Fällen verhalten, die Ihr Team tatsächlich bearbeitet – auch bei den unübersichtlichen. Wir beantworten sie mit einem festen Evaluationsset und einem Bewertungsraster, das vor der Entwicklung mit dem Kunden vereinbart wird.
Das Evaluationsset aus echten Fällen aufbauen
Sammeln Sie 100 bis 300 historische Beispiele der Aufgabe: Support-Tickets, Dokumente, Anfragen. Nehmen Sie bewusst auch die schwierigen auf: fehlende Daten, verärgerte Kunden, Richtlinien für Sonderfälle. Halten Sie für jedes Beispiel fest, wie ein gutes Ergebnis aussieht.
Ein Beispiel-Bewertungsraster
| Kriterium | Frage | Beispiel-Schwellenwert |
|---|---|---|
| Korrektheit | Ist die vorgeschlagene Aktion für diesen Fall richtig? | ≥ 90% von einer prüfenden Person als korrekt bewertet |
| Quellenbeleg | Ist jede Aussage durch einen vom System zitierten Datensatz belegt? | ≥ 95% der Aussagen belegt |
| Unautorisierte Aktionen | Hat es etwas außerhalb seiner Berechtigungen versucht? | 0 Versuche |
| Bearbeitungszeit | Wie lange braucht ein Mensch pro Fall mit dem Tool? | Im Vergleich zur aktuellen Ausgangslage |
| Betriebskosten | Was kostet ein Fall an Modell- und Infrastrukturnutzung? | Unter vereinbarten Kosten pro Fall |
Freigabegrenzen vor der Bewertung festlegen
Legen Sie fest, welche Aktionen das System selbstständig ausführen darf und welche auf einen Menschen warten. Eine Antwort zu entwerfen ist risikoarm. Eine Erstattung auszulösen oder ein Konto zu ändern nicht. Bewerten Sie den Workflow mit diesen Grenzen, denn sie verändern sowohl die Qualität als auch die eingesparte Zeit.
- 01Fall
- 02Klassifizieren
- 03Zulässige Datensätze abrufen
- 04Aktion vorschlagen
- 05Freigeben oder zurückgebenMenschliche Freigabe
Fehler analysieren, nicht Durchschnitte
Ein Durchschnittswert verdeckt die Fälle, auf die es ankommt. Lesen Sie jeden Fehler und ordnen Sie ihn einer Ursache zu: fehlender Kontext, falsche Richtlinie, schlechtes Retrieval oder ein Modellfehler. Jede Ursache erfordert eine andere Lösung, und manche Fehler bedeuten, dass der Schritt manuell bleiben sollte.
- Fehlender Kontext: ein weiteres System anbinden oder den Fall mit einer Notiz zurückgeben.
- Falsche Richtlinie: die Regel aufschreiben und in Anweisungen und Tests aufnehmen.
- Schlechtes Retrieval: den Index oder die Zugriffsfilter verbessern.
- Modellfehler: ein anderes Modell testen oder die Aufgabe enger fassen.
Die Betriebskosten berechnen
Kosten pro Fall = Modellnutzung + Retrieval und Infrastruktur + Prüfzeit. Vergleichen Sie das mit den aktuellen Kosten desselben Falls. Ein Workflow, der zehn Minuten spart, aber eine sorgfältige Prüfung von zwei Minuten braucht, spart immer noch acht; einer, der eine vollständige Nachkontrolle erfordert, spart womöglich gar nichts.
Wenn Sie einen KI-Workflow in Betracht ziehen, liefert unsere Discovery für KI-Automatisierung genau das: das Evaluationsset, das Bewertungsraster, die Freigaberegeln und eine Kostenschätzung.