Wissenswertes

Wie sicher sind KI-Agenten?

2026 gingen Meldungen durch die Presse, die nach Science-Fiction klingen: KI-Agenten, die aus ihrer abgesicherten Umgebung ausbrechen, fremde Server übernehmen und sich untereinander absprechen. Was ist da passiert, und was bedeutet das für ein Unternehmen, das KI einsetzen will? Um das zu beantworten, muss man zuerst wissen, was ein Agent überhaupt ist.

Was ist ein KI-Agent?

Ein Chat beantwortet Fragen. Ein Agent handelt. Anthropic beschreibt Agenten als Systeme, in denen das KI-Modell seine Arbeitsschritte und die Nutzung von Werkzeugen selbst steuert. Ein Agent öffnet Dateien, sucht in Datenbanken, schreibt Texte, führt Befehle aus und entscheidet dabei selbst, welcher Schritt als Nächstes kommt.

Ein Beispiel aus unserer eigenen Arbeit: Ein Mail-Assistent liest eingehende E-Mails, sucht in der Wissensbasis nach passenden früheren Antworten und legt einen Antwortentwurf ab. Das ist ein Agent. Was er tun kann und was nicht, hängt nicht an seiner Intelligenz, sondern an den Werkzeugen und Rechten, die man ihm gibt. Genau dort entscheidet sich die Sicherheit.

Was in den Laboren passiert ist

Die großen KI-Hersteller testen ihre neuen Modelle gezielt auf gefährliche Fähigkeiten, etwa ob sie Sicherheitslücken finden und ausnutzen können. Dafür lassen sie die Modelle in abgeschotteten Testumgebungen arbeiten, oft Hunderte Agenten gleichzeitig, über Tage und mit Rechenleistung im Millionenwert. Für manche Tests werden Schutzvorkehrungen bewusst heruntergefahren, um zu sehen, wozu ein Modell fähig ist.

Im Juli 2026 ging das bei OpenAI schief. Nach dem eigenen Bericht des Unternehmens liefen die Agenten eines internen Forschungsmodells mit reduzierten Schutzvorkehrungen. Sie verschafften sich Administratorrechte auf einem internen Paketserver, fanden einen Weg ins Internet, drangen mit öffentlich auffindbaren Zugangsdaten bei der KI-Plattform Hugging Face ein und erlangten schließlich vollständigen Administratorzugriff auf einen Forschungscluster von OpenAI. Am 19. Juli schlug die Sicherheitsüberwachung an. OpenAI hat den Vorfall offengelegt und seine Testumgebungen seither stärker abgeschirmt. Auch Anthropic und Google haben Fälle eingeräumt, in denen Modelle aus einer Testumgebung heraus echte Systeme erreichten, in deutlich kleinerem Umfang.

Die bekannt gewordenen Vorfälle

Die folgende Übersicht nennt die belegten Vorfälle bei den großen Anbietern seit 2025, jeweils mit der Umgebung, in der sie passiert sind:

Zwei Dinge fallen auf. Die Ausbrüche geschahen ausnahmslos in Testumgebungen der Hersteller, mit einer Größenordnung und mit abgeschalteten Sicherungen, wie es sie in keinem Unternehmen gibt. Und die übrigen Fälle sind Missbrauch: Menschen, die ein KI-Werkzeug absichtlich für Angriffe einsetzen wollten und dabei entdeckt wurden.

Labor und Betrieb sind zwei Welten

Was im Betrieb wirklich schiefgeht

Auch im Alltag gab es Pannen mit Agenten, nur ganz anderer Art. Im Juli 2025 löschte ein Programmier-Agent der Firma Replit bei einem Versuch die Datenbank einer Anwendung, obwohl er angewiesen war, nichts ohne Rückfrage zu ändern. Die Ursache: Test und Betrieb liefen auf derselben Datenbank, und das Verbot stand nur als Anweisung im Text, technisch erzwungen war es nicht. Replit hat daraufhin Entwicklung und Betrieb getrennt. Und bei Microsofts Assistenten Copilot fanden Sicherheitsforscher 2025 eine Lücke, über die eine präparierte E-Mail den Assistenten dazu bringen konnte, interne Daten preiszugeben. Microsoft hat sie geschlossen, ein Schaden ist nicht bekannt.

Hinter solchen Fällen stehen fast immer dieselben drei Ursachen: Der Agent hatte mehr Rechte, als er brauchte. Ein Verbot war nur eine Bitte an die KI statt eine technische Sperre. Oder der Agent hat Text von außen, etwa aus einer E-Mail oder Webseite, als Anweisung verstanden.

So bleiben Agenten im Griff

• Nur die nötigen Rechte. Ein Agent, der Fragen beantworten soll, braucht Lesezugriff, keinen Schreibzugriff.
• Sperren statt Bitten. Was ein Agent nicht tun soll, darf er technisch gar nicht können.
• Der Mensch entscheidet bei allem Endgültigen. Senden, löschen, bestellen oder bezahlen nur nach Freigabe.
• Test und Betrieb trennen, Sicherungen anlegen. Was schiefgehen kann, passiert dann in einer Kopie.
• Fremder Text ist Material, kein Befehl. Agenten, die E-Mails oder Webseiten lesen, bekommen keinen Zugriff auf Vertrauliches und keine Rechte zum Handeln nach außen.
• Alles protokollieren. Jede Aktion eines Agenten muss sich im Nachhinein nachvollziehen lassen.

Wie wir das umsetzen

Diese Grundsätze sind bei uns keine Theorie. Unser KI-Mail-Assistent liest das Postfach und legt Antwortentwürfe ab. Eine Funktion zum Senden oder Löschen gibt es in seinem Programm schlicht nicht, sie lässt sich also auch nicht versehentlich oder durch eine präparierte E-Mail auslösen. Ob ein Entwurf hinausgeht, entscheidet immer ein Mensch. Und bei einem Kunden aus dem Bauwesen greift die KI über einen Zugang auf die Firmendatenbank zu, der ausschließlich Lesen erlaubt.

Die spektakulären Fälle aus den Laboren zeigen, wie leistungsfähig die Modelle geworden sind, und sie zeigen, warum klare Grenzen wichtig sind. Wer einem Agenten eine klar umrissene Aufgabe gibt und ihm nur die Rechte dafür einräumt, setzt KI sicher ein. Wie das in Ihrem Unternehmen aussehen kann, besprechen wir gern mit Ihnen: Sprechen Sie uns an.

Quellen

Weitere Artikel unter Wissenswertes