Der gefährlichste Moment
Ein KI-Agent ist konfiguriert. Die ersten Tests laufen vielversprechend. Das Team ist gespannt. Und dann passiert das, was in den meisten Unternehmen passiert: Jemand schaltet den Agenten scharf – ohne systematisch zu prüfen, was schiefgehen kann.
Drei Wochen später wundert man sich, warum der Agent Kundenanfragen falsch klassifiziert, auf emotionale Mails mit Standardtexten antwortet oder versehentlich interne Dokumente nach außen schickt.
Das muss nicht sein. Mit diesen sieben Prüfungen reduzieren Sie das Risiko erheblich.
Prüfung 1: Ist der Prozess stabil genug?
Die Frage: Würden Sie diesen Prozess heute einem neuen menschlichen Mitarbeiter geben – und erwarten, dass er ihn ohne Rückfragen bewältigt?
Wenn die Antwort „Nein" ist, ist der Prozess nicht bereit für einen KI-Agenten. Automatisierung setzt Stabilität voraus. Ein Prozess, der jede Woche anders abläuft, ständig Ausnahmen produziert oder auf unausgesprochenem Erfahrungswissen beruht, wird einen KI-Agenten überfordern.
Prüfkriterien:
- Der Prozess ist dokumentiert (nicht nur in Köpfen).
- Ausnahmen sind bekannt und benannt.
- Es gibt klare Eingangsdaten und erwartete Ergebnisse.
- Der Prozess hat sich in den letzten 3 Monaten nicht grundlegend geändert.
Prüfung 2: Sind die Daten vollständig und aktuell?
Die Frage: Wenn der Agent alle Informationen braucht, die für diesen Prozess relevant sind – sind sie abrufbar, aktuell und korrekt?
KI-Agenten sind keine Hellseher. Sie arbeiten mit dem, was man ihnen gibt. Wenn die Preisliste von 2024 ist, die Kundendatenbank drei Dubletten pro Eintrag hat und die Produktbeschreibungen in vier verschiedenen Ordnern liegen, wird der Agent Fehler machen.
Prüfkriterien:
- Alle benötigten Datenquellen sind identifiziert.
- Die Daten sind aktuell (letzte Aktualisierung nachvollziehbar).
- Es gibt einen Prozess, um die Daten aktuell zu halten.
- Duplikate und veraltete Einträge wurden bereinigt.
Prüfung 3: Welche Zugriffsrechte bekommt der Agent – und welche nicht?
Die Frage: Wenn der Agent kompromittiert würde (prompt injection, Fehlkonfiguration) – was wäre der maximale Schaden?
Das Prinzip der geringsten Rechte (Least Privilege) gilt für KI-Agenten genauso wie für menschliche Benutzer. Ein Agent, der Angebote verschickt, braucht keinen Zugriff auf Personalakten. Ein Agent, der Rechnungen klassifiziert, muss keine E-Mails versenden können.
Prüfkriterien:
- Zugriffsrechte sind auf das absolute Minimum beschränkt.
- Schreibzugriffe sind einzeln begründet.
- Der Agent hat keinen Zugriff auf Systeme, die er nicht braucht.
- Es gibt ein Protokoll aller Aktionen des Agenten.
Prüfung 4: Welche Testfälle muss der Agent bestehen?
Die Frage: Können Sie mit 10 konkreten Beispielen zeigen, dass der Agent das tut, was er soll – und das NICHT tut, was er nicht soll?
Ein Test mit den drei häufigsten Standardfällen reicht nicht. Sie brauchen auch Grenzfälle und Fehleingaben.
Empfohlene Testfälle:
- Ein klarer Standardfall (sollte funktionieren).
- Ein Fall mit fehlenden Informationen (wie reagiert der Agent?).
- Ein Fall mit widersprüchlichen Informationen.
- Ein Fall mit ungewöhnlicher Formatierung (z. B. Scans statt PDF).
- Ein emotionaler oder eskalierender Fall.
- Ein Fall außerhalb des definierten Aufgabenbereichs.
- Ein Fall mit potenziell gefährlicher Anweisung (Prompt-Injection-Test).
- Ein Fall in einer anderen Sprache.
- Ein Fall mit sehr großen Datenmengen.
- Ein Fall mit dringender Priorität.
Prüfung 5: Wer gibt Ergebnisse frei? Wo sitzt der Mensch?
Die Frage: Bei welchen Entscheidungen braucht der Agent eine menschliche Freigabe – und bei welchen nicht?
Die Faustregel: Alles, was das Unternehmen rechtlich, finanziell oder reputativ schädigen könnte, gehört vor eine menschliche Instanz.
Klassifikation:
| Entscheidungstyp | Freigabe erforderlich? |
|---|---|
| Routine-Klassifikation (Rechnung/keine Rechnung) | Nein, stichprobenartige Kontrolle |
| Antwortentwurf auf Standard-Kundenanfrage | Nein, aber nach 50 Fällen Qualitätscheck |
| Angebot mit einem Volumen über €5.000 | Ja, durch Fachabteilung |
| Externe Kommunikation mit emotionalem Inhalt | Ja, durch verantwortliche Person |
| Ablehnung eines Kunden oder Geschäftspartners | Ja, mit Begründungspflicht |
Prüfung 6: Was kostet der Betrieb wirklich?
Die Frage: Haben Sie alle Kosten erfasst – oder nur die offensichtlichen?
Ein typischer Fehler: Man rechnet die API-Kosten oder die Hardware, aber vergisst die laufende Betreuung.
Vollständige Kostenerfassung:
- Lizenzen / API-Kosten / Hardware-Abschreibung
- Strom, Kühlung, Wartung (bei lokaler Installation)
- Arbeitszeit für Überwachung und Nachbearbeitung
- Arbeitszeit für regelmäßige Tests und Updates
- Kosten für Fehlerbehebung (Zeit × Stundensatz)
- Ausweichkosten bei Ausfall (manuelle Bearbeitung)
Prüfung 7: Unter welchen Bedingungen wird der Agent abgeschaltet?
Die Frage: Gibt es eine klare Exit-Strategie – oder läuft der Agent weiter, egal was passiert?
Jeder KI-Agent braucht einen definierten Abbruchpunkt. Nicht, weil er scheitern muss – sondern weil man vorher wissen sollte, wann man die Reißleine zieht.
Abbruchkriterien:
- Fehlerquote über 10 % in zwei aufeinanderfolgenden Wochen
- Beschwerden von Kunden über Agenten-Verhalten
- Sicherheitsvorfall (Prompt Injection, Datenleck)
- Änderung der rechtlichen Rahmenbedingungen (EU AI Act)
- Kosten übersteigen das definierte Budget um mehr als 20 %
- Verantwortliche Person verlässt das Unternehmen ohne Nachfolge
Die Checkliste zum Abhaken
| # | Prüfung | Erledigt? |
|---|---|---|
| 1 | Prozess ist stabil und dokumentiert | ☐ |
| 2 | Daten sind vollständig, aktuell und bereinigt | ☐ |
| 3 | Zugriffsrechte auf Minimum beschränkt | ☐ |
| 4 | 10 Testfälle definiert und bestanden | ☐ |
| 5 | Freigabeprozess für kritische Entscheidungen definiert | ☐ |
| 6 | Vollständige Betriebskosten erfasst | ☐ |
| 7 | Abbruchkriterien und Exit-Strategie definiert | ☐ |
Wenn Sie bei einer Prüfung zögern: Gehen Sie live – aber machen Sie diese Prüfung zur Priorität Nummer 1.
Ihr nächster Schritt
Die Checkliste ist ein Anfang. Aber jeder Prozess hat seine eigenen Fallstricke, die eine Standardliste nicht abdeckt.
👉 Jetzt unverbindlichen Go-live-Check vereinbaren
Wir prüfen Ihren konkreten Anwendungsfall in 45 Minuten – und Sie gehen mit einer maßgeschneiderten Checkliste und einem klaren Zeitplan nach Hause.
KIAgentur – KI-Beratung & Implementierung für den österreichischen Mittelstand. Praktisch. Transparent. EU AI Act Ready.