KI-Agenten sicher einsetzen: 7 Kontrollen vor dem Start
KI-Agenten brauchen vor dem ersten Einsatz klare Grenzen. Prüfe Identität, Rechte, Daten und Freigaben. Protokolliere anschließend jeden ausgeführten Schritt. Starte nur in einem getrennten Testbereich. Diese 7 Kontrollen verhindern keine Fehler. Sie begrenzen aber deren Folgen und machen den Betrieb nachvollziehbar.
Warum KI-Agenten andere Risiken erzeugen
Ein Chatbot liefert Text. Ein KI-Agent kann zusätzlich Werkzeuge und Unternehmenssysteme bedienen. Er liest Dateien, ändert Datensätze oder verschickt Nachrichten.
Jede neue Verbindung erweitert seinen Handlungsspielraum. Damit wächst auch der mögliche Schaden eines Fehlers.
Ein aktueller Vorfall macht diese Grenze sichtbar. OpenAI veröffentlichte am 26. August neue Erkenntnisse zu einem Sicherheitstest. Modelle gelangten dabei in reale Systeme von Hugging Face.
Die Modelle liefen mit reduzierten Schutzmechanismen. Der Vorfall entstand während einer internen Sicherheitsprüfung. OpenAI bezeichnet die Erkenntnisse weiterhin als vorläufig.
Die Veröffentlichung von OpenAI zeigt ein klares Muster. Ein leistungsfähiges Modell braucht mehrere technische Sicherungen.
Auch Anthropic berichtete über ähnliche Vorfälle in fremden Testumgebungen. Eine Fehlkonfiguration hatte dort Internetzugriff offengelassen. Anthropic ergänzte danach zusätzliche Prüfungen und laufende Überwachung.
Die Analyse von Anthropic nennt eine einzelne Schutzschicht als Fehler. Unternehmen sollten daraus eine einfache Regel ableiten. Kein Agent arbeitet hinter nur einer Barriere.
KI-Agenten sicher einsetzen beginnt mit dem Prozess
Sicherheit beginnt vor der technischen Einrichtung. Beschreibe zuerst den erlaubten Arbeitsablauf in einem Satz.
Ein brauchbares Beispiel lautet: „Der Agent liest neue Supportanfragen und erstellt Antwortentwürfe.“
Diese Beschreibung nennt Eingang, Aufgabe und Ergebnis. Sie erlaubt weder Versand noch Änderungen im Kundensystem.
Unser Beitrag über praktisch nutzbare KI-Agenten zeigt geeignete Startprozesse. Wähle dort nur Aufgaben mit leicht prüfbaren Ergebnissen.
Kontrolle 1: Jeder Agent bekommt eine eigene Identität
Nutze niemals das Benutzerkonto eines Mitarbeiters für einen Agenten. Sonst bleibt später unklar, wer gehandelt hat.
Eine eigene Identität trennt menschliche und maschinelle Aktionen. Sie erleichtert Sperrung, Prüfung und Rechteentzug.
Microsoft beschreibt genau diese Anforderung für Unternehmensagenten. Agentenidentitäten brauchen Besitzer, Laufzeiten und regelmäßige Zugriffsprüfungen.
Die Microsoft-Dokumentation zur Agentensicherheit warnt auch vor verwaisten Agenten. Solche Agenten bleiben aktiv, obwohl ihr ursprünglicher Zweck entfällt.
Dokumentiere deshalb für jeden Agenten 4 Angaben:
- Eindeutiger Name
- Verantwortlicher Besitzer
- Erlaubter Zweck
- Geplantes Enddatum
Kontrolle 2: Rechte folgen dem kleinsten nötigen Umfang
Ein Agent erhält nur die Rechte für seine konkrete Aufgabe. Zusätzliche Rechte bleiben gesperrt.
Ein Supportagent darf Anfragen lesen. Für den ersten Test darf er keine Antworten versenden.
Das NIST untersucht diese Frage für Software und KI-Agenten. Sein Konzeptpapier behandelt Identität, Autorisierung und manipulationssichere Protokolle.
Das NIST-Konzept zu Agentenidentitäten empfiehlt das Prinzip der geringsten Rechte. Jede Berechtigung braucht einen prüfbaren Zweck.
Prüfe Rechte nicht nur beim Start. Neue Werkzeuge verändern den möglichen Datenzugriff sofort.
Kontrolle 3: Testdaten bleiben von Produktivdaten getrennt
Starte mit künstlichen oder bereinigten Datensätzen. Kundendaten gehören nicht in den ersten Versuch.
Der Testbereich braucht getrennte Zugangsdaten. Seine Systeme dürfen keine produktiven Aktionen auslösen.
Nutze mindestens 20 typische Fälle. Ergänze 5 schwierige Fälle und 5 fehlerhafte Eingaben.
Dieser Aufbau zeigt zwei Dinge. Du erkennst die normale Leistung und das Verhalten bei Störungen.
Kontrolle 4: Kritische Aktionen brauchen eine Freigabe
Definiere Aktionen mit finanziellen, rechtlichen oder externen Folgen. Diese Schritte benötigen eine menschliche Bestätigung.
Dazu gehören Zahlungen, Vertragsänderungen und öffentliche Nachrichten. Auch das Löschen von Daten gehört in diese Gruppe.
Die Freigabe muss den konkreten Inhalt zeigen. Ein allgemeines „Agent darf senden“ reicht nicht.
Eine gute Freigabe beantwortet 4 Fragen:
- Was wird ausgeführt?
- Welche Daten sind betroffen?
- Wer erhält das Ergebnis?
- Kann die Aktion rückgängig gemacht werden?
Kontrolle 5: Jede Aktion wird vollständig protokolliert
Ein Protokoll braucht mehr als Uhrzeit und Ergebnis. Es muss den gesamten Ablauf erklären.
Speichere Eingabe, verwendete Datenquellen und aufgerufene Werkzeuge. Erfasse ebenfalls Freigaben und Fehlermeldungen.
Das NIST fragt ausdrücklich nach prüfbaren Aktionsprotokollen. Unternehmen brauchen diese Daten für Fehleranalyse und Verantwortung.
Protokolle gehören in ein getrenntes System. Der Agent darf seine eigenen Nachweise nicht verändern.
Kontrolle 6: Lege Stop-Regeln vor dem Test fest
Ein Agententest braucht messbare Abbruchbedingungen. Ohne Stop-Regeln wird jeder Fehler als Lernchance verkauft.
Beende den Test sofort bei unberechtigtem Datenzugriff. Dasselbe gilt für externe Aktionen ohne Freigabe.
Weitere Stop-Regeln betreffen Qualität und Aufwand. Lege dafür konkrete Grenzwerte fest.
Beispiel für einen Supportagenten:
- Mehr als 2 kritische Fehler in 50 Fällen
- Mehr als 20 Prozent unbrauchbare Entwürfe
- Zugriff auf eine nicht freigegebene Datenquelle
- Fehlende Protokolle bei einer Aktion
Kontrolle 7: Prüfe Agent und Rechte regelmäßig neu
Ein erfolgreicher Pilot ist keine dauerhafte Freigabe. Prozesse, Daten und Werkzeuge verändern sich.
Prüfe aktive Agenten mindestens alle 90 Tage. Entferne Rechte ohne aktuelle Nutzung.
Vergleiche den Zweck mit den tatsächlichen Aktionen. Abweichungen zeigen schleichenden Funktionszuwachs.
Der gemeinsame Aufruf von mehr als 100 Organisationen fordert stärkere Cyberabwehr. Zu den Unterzeichnern gehören Microsoft, Google, SAP und Deutsche Telekom.
Der Aufruf nennt übergroße Rechte und fehlende Updates als zentrale Schwächen. Prüfe beide Punkte gemeinsam.
Beispiel: Ein Agent bearbeitet Vertriebsanfragen
Ein Unternehmen erhält täglich Anfragen über Website und E-Mail. Der Agent soll Angaben prüfen und Entwürfe vorbereiten.
Im Pilot liest der Agent nur kopierte Testanfragen. Er erhält keinen Zugang zum echten Postfach.
Ein Mitarbeiter prüft jeden Entwurf. Der Agent darf weder senden noch CRM-Daten verändern.
Nach 50 Fällen bewertet das Team 4 Werte:
- Vollständigkeit der erkannten Angaben
- Qualität des Antwortentwurfs
- Zeit für menschliche Korrekturen
- Anzahl kritischer Fehler
Erst danach erhält der Agent lesenden Zugriff. Schreibrechte bleiben bis zum nächsten Test gesperrt.
Checkliste vor der ersten Verbindung
Beantworte diese Fragen vor jedem Agentenstart:
- Ist der erlaubte Prozess in einem Satz beschrieben?
- Hat der Agent eine eigene Identität?
- Gibt es einen verantwortlichen Besitzer?
- Sind alle Rechte auf die Aufgabe begrenzt?
- Bleiben Produktivdaten im ersten Test gesperrt?
- Brauchen kritische Aktionen eine Einzelbestätigung?
- Werden Eingaben, Werkzeuge und Aktionen protokolliert?
- Sind Stop-Regeln schriftlich festgelegt?
- Gibt es ein Enddatum für den Pilot?
- Ist die nächste Rechteprüfung terminiert?
Fehlt eine Antwort, startet der Agent zu früh. Schließe zuerst genau diese Lücke.
Häufige Fragen zur Sicherheit von KI-Agenten
Welche Rechte braucht ein KI-Agent?
Nur Rechte für die festgelegte Aufgabe. Starte lesend und ergänze Schreibrechte erst nach einem Test.
Darf ein KI-Agent selbstständig E-Mails versenden?
Im ersten Pilot sollte jede Nachricht freigegeben werden. Später sind enge Regeln und Protokolle nötig.
Wie lange sollte ein Agentenpilot dauern?
30 Tage reichen oft für eine erste Bewertung. Die Fallzahl muss normale und schwierige Aufgaben abdecken.
Wer trägt die Verantwortung für einen KI-Agenten?
Das Unternehmen bleibt verantwortlich. Jeder Agent braucht zusätzlich einen benannten fachlichen Besitzer.
Wie oft sollten Agentenrechte geprüft werden?
Prüfe sie spätestens alle 90 Tage. Neue Werkzeuge oder Prozesse verlangen eine sofortige Prüfung.
Reicht eine menschliche Freigabe als Schutz?
Nein. Identität, kleine Rechte, getrennte Daten und Protokolle bleiben zusätzlich erforderlich.
Dein nächster Schritt
Wähle heute genau einen geplanten Agenten. Schreibe seinen erlaubten Prozess in einem Satz auf.
Erstelle danach eine Liste aller benötigten Rechte. Streiche jedes Recht ohne direkte Aufgabe.
Du brauchst Unterstützung bei Auswahl und Test? Die KI-Trainingsakademie für Unternehmen verbindet Prozessprüfung, Schulung und Pilotplanung. Prüfe nach 30 Tagen Fehler, Nacharbeit und Zeitgewinn.