AI -Fallen: Die Angriffsfläche , über die niemand spricht
Google DeepMind hat gerade ein systematisches Rahmenwerk für eine neue Art von Bedrohung veröffentlicht:
feindliche Inhalte, die speziell darauf ausgelegt sind,
autonome KI-Agenten zu manipulieren, zu täuschen und auszunutzen. Hier erfahren Sie, was jeder CISO verstehen CISO – und worauf er jetzt reagieren sollte.
Forscher von Google DeepMind haben eine Arbeit veröffentlicht, die ich für eine der wichtigsten
Sicherheitsveröffentlichungen des Jahres 2025 für alle halte, die agentenbasierte AI regulierten Umgebungen einsetzen.
Darin wird ein systematischer Rahmen für AI Traps“ vorgestellt – also feindliche Inhalte,
die gezielt in die Informationsumgebung eingebettet werden, um autonome Agenten zu manipulieren.
Das ist keine reine Theorie. Es stützt sich auf nachgewiesene Angriffe, empirische Benchmarks
und Vorfälle aus der Praxis. Und es steht in direktem Zusammenhang mit den Governance-Lücken, über die ich
bereits geschrieben habe – angefangen bei der unkontrollierten Delegation.
„Indem die Falle nicht das Modell, sondern die Umgebung verändert, wendet sie die eigenen Fähigkeiten des Akteurs gegen ihn selbst.“
Dieser eine Satz aus dem Artikel bringt das Kernproblem auf den Punkt. Wir haben
Modelle gesichert. Wir haben APIs gesichert. Wir haben die Infrastruktur gesichert. Aber autonome
Agenten nutzen das Internet – und das Internet kann nun gegen sie als Waffe eingesetzt werden.
Sechs Arten von Angriffen – und warum sie für Ihr Unternehmen von Bedeutung sind
In dem Artikel werden sechs verschiedene Kategorien von „Agentenfallen“ identifiziert, die jeweils auf eine andere
Ebene der Funktionsweise autonomer Agenten abzielen. Im Einzelnen bedeutet dies in der Praxis Folgendes:
1
Fallen bei der Einfügung von Inhalten
Ziel: Wahrnehmung
In HTML, CSS, Metadaten oder Bild-Binärdaten eingebettete versteckte Anweisungen – für Menschen unsichtbar, werden jedoch von Agenten analysiert und ausgeführt. Einfache Prompt-Injektionen in Webinhalte führen in bis zu 86 % der getesteten Szenarien zu einer teilweisen Übernahme der Kontrolle über Agenten.
2
Fallen bei der semantischen Manipulation
Ziel: logisches Denken
Beeinflusst das logische Denken des Agenten durch voreingenommene Framing-Techniken, autoritäre Sprache und kontextuelles Priming – ohne dabei einen expliziten Befehl zu erteilen. Der Agent gelangt zu einer falschen Schlussfolgerung und glaubt dabei, korrekt argumentiert zu haben.
3
Kognitive Zustandsfallen
Ziel: Gedächtnis und Lernen
Verfälscht RAG , Langzeit-Speicher oder kontextbezogene Lernbeispiele. Die Angriffe wirken über mehrere Sitzungen und Benutzer hinweg an. Bereits das Einfügen einer Handvoll Dokumente in eine Wissensdatenbank reicht aus, um die Ergebnisse gezielter Abfragen zuverlässig zu manipulieren.
4
Fallen zur Verhaltenssteuerung
Ziel: Maßnahme
Eingebettete Jailbreaks, Fallen zur Datenexfiltration und Angriffe durch die Erzeugung von Unteragenten. Web-Agenten mit Berechtigungen auf Betriebssystemebene wurden dazu gebracht, lokale Dateien und Passwörter zu exfiltrieren, wobei die Erfolgsquote bei über 80 % lag.
5
Systemische Fallstricke
Ziel: Multi-Agenten-Dynamik
Nutzt die Homogenität der Akteure aus, um Ausfälle auf Makroebene auszulösen – Überlastungsangriffe, Kettenausfälle (analog zum Flash Crash von 2010), stillschweigende Absprachen und Sybil-Angriffe, die die kollektive Entscheidungsfindung verzerren.
6
„Human-in-the-Loop“-Fallen
Ziel: Menschlicher Aufseher
Entwickelt, um bei menschlichen Prüfern eine „Zustimmungsmüdigkeit“ hervorzurufen, technisch harmlos wirkende Zusammenfassungen böswilliger Handlungen zu präsentieren oder Automatisierungsverzerrungen auszunutzen – und so die letzte Ebene der menschlichen Kontrolle zu umgehen.
Der Zusammenhang mit unkontrollierter Delegation
Regelmäßige Leser werden den Zusammenhang zu meinem früheren Beitrag über
unkontrollierte Delegation erkennen. Im Abschnitt „Behavioural Control Traps“ des Artikels werden insbesondere
die sogenannten „Sub-Agent Spawning Traps“ beschrieben – dabei zwingt ein Angreifer einen übergeordneten Agenten dazu,
bösartige Unteragenten innerhalb seines eigenen vertrauenswürdigen Kontrollflusses zu instanziieren.
Das ist kein Zufall. Das DeepMind-Framework und das Delegationsproblem haben
die gleiche Ursache: Wir haben Sicherheitsmaßnahmen für deterministische Systeme entwickelt,
und nun setzen wir autonome Systeme ein.
Eine Content-Injection-Falle, die einen Orchestrierungsagenten kapert, gefährdet nicht nur
diesen Agenten. Durch Delegation breitet sie sich auf jeden Unteragenten aus, den der Orchestrator
erstellt. Die Angriffsfläche vervielfacht sich mit jeder Ebene der Agentenhierarchie.
Was in dem Artikel über dynamische Tarnung steht – und warum Sie das beunruhigen sollte
Eine Erkenntnis, die mich nachdenklich gemacht hat: Der Artikel belegt, dass bösartige Websites
bereits in der Lage sind, sie besuchende AI zu erkennen und ihnen andere Inhalte anzuzeigen als menschlichen Nutzern.
Ein Fingerprinting-Skript identifiziert Automatisierungsmerkmale, IP-Merkmale und
Verhaltensmuster. Handelt es sich bei dem Besucher um einen AI , wird eine optisch identische,
aber semantisch abweichende Seite angezeigt – mit eingebetteten Prompt-Injection-Payloads.
Der menschliche Prüfer bemerkt nichts Ungewöhnliches. Der Agent erhält Anweisungen,
Daten zu exfiltrieren oder seine Tools zu missbrauchen.
Ihre Mitarbeiter surfen bereits im Internet, das ihre Aktivitäten bereits im Voraus erkennt. Und die meisten Unternehmen verfügen über keinerlei Möglichkeiten, dies zu erkennen.
Drei Erkenntnisse, auf die jeder CISO jetzt reagieren CISO
RAG stellen eine primäre Angriffsfläche darDas Einfügen einer Handvoll sorgfältig gestalteter Dokumente in einen Abrufkorpus kann die Ausgaben von Agenten bei gezielten Abfragen zuverlässig manipulieren – mit einer Erfolgsquote von über 80 % bei einer Datenverfälschungsrate von weniger als 0,1 %. Wenn Ihre Agenten interne Wikis, Dokumentenspeicher oder öffentliche Webquellen abfragen, stellt dies eine aktive Sicherheitslücke dar.
Die Persistenz im Speicher macht Angriffe langanhaltendIm Gegensatz zu Wahrnehmungsangriffen bleiben „Cognitive State Traps“ über mehrere Sitzungen hinweg bestehen und betreffen mehrere Benutzer. Ein Angriff, der heute in den Speicher eines Agenten eingeschleust wird, kann Wochen später zum Vorschein kommen, wenn ein bestimmter Kontext das Abrufen auslöst. Dies verändert die Kalkulation bei der Reaktion auf Vorfälle grundlegend.
Die Haftungslücke ist real und nach wie vor ungelöstDer Artikel weist ausdrücklich darauf hin: Wenn ein kompromittierter Agent ein Finanzdelikt begeht, ist die Haftungsverteilung zwischen dem Betreiber des Agenten, dem Modellanbieter und dem Domain-Inhaber eine offene Rechtsfrage. In regulierten Branchen ist diese Unklarheit Ihr Problem – und nicht das eines anderen.
Was dies aus Sicht der Unternehmensführung erfordert
Der Beitrag skizziert Strategien zur Risikominderung auf drei Ebenen. Und so setze ich
diese in operative Governance-Anforderungen um:
Validierung der Quelle vor der Aufnahme – Bevor externe Inhalte in den Kontext eines Agenten gelangen, sollte ihre Glaubwürdigkeit geprüft werden. Dabei geht es nicht nur um die Reputation der URL, sondern auch um eine strukturelle Analyse auf versteckte Anweisungen.
RAG – betrachten Sie Ihre Wissensdatenbank für die Informationsgewinnung als Sicherheitsgrenze. Zugriffskontrollen, Herkunftsnachverfolgung und Anomalieerkennung bei abgerufenen Inhalten sind in regulierten Umgebungen unverzichtbar.
Agentenidentität und Verhaltensreferenzwerte – man kann kein anomales Verhalten erkennen, ohne zu wissen, wie normales Verhalten aussieht. Jeder eingesetzte Agent benötigt einen Verhaltensreferenzwert und eine darauf basierende Laufzeitüberwachung.
Protokollierung der Delegationskette – wie in meinem Artikel zum Thema Delegation erläutert: Die gesamte Kette muss nachprüfbar sein. „Human-in-the-Loop“-Kontrollen sind bedeutungslos, wenn die Prüfer nur Zusammenfassungen auf Orchestrator-Ebene sehen, in denen die Aktionen der Unteragenten nicht erfasst sind.
Rahmenbedingungen für Haftung und Rechenschaftspflicht – legen Sie klar fest, wer in Ihrem regulatorischen Umfeld für die Handlungen der Beauftragten verantwortlich ist. Warten Sie nicht, bis ein Vorfall auftritt, um die Lücke zu entdecken.
Red-Teaming für agentenspezifische Bedrohungen – Ihre bisherige Methodik für Penetrationstests war nicht für autonome Agenten ausgelegt. Kategorien von Agentenfallen müssen ausdrücklich in Ihr Bedrohungsmodellierungs- und Testprogramm aufgenommen werden.
Das Fazit
Die DeepMind-Veröffentlichung schließt mit einem Satz, der an der Wand jedes KI-Governance hängen sollte:
„Das Internet wurde für menschliche Augen entwickelt; nun wird es für maschinelle Leser umgestaltet. Die entscheidende Frage lautet nicht mehr nur, welche Informationen es gibt, sondern was unseren leistungsfähigsten Werkzeugen glaubhaft gemacht wird.“
Die Gewährleistung der Integrität dessen, was Agenten glauben – was sie abrufen, worüber sie nachdenken,
worauf sie reagieren – ist die Herausforderung für die Steuerung im Zeitalter der Agenten. Es handelt sich dabei nicht um ein Modellproblem
oder ein Infrastrukturproblem. Es ist ein Problem der Steuerungsarchitektur.
Und im Gegensatz zu vielen anderen Sicherheitsherausforderungen ist das Zeitfenster, um das Problem anzugehen, bevor sich die regulatorischen
Erwartungen konkretisieren, sehr eng. Das Papier ist öffentlich zugänglich. Die Regulierungsbehörden lesen Forschungsergebnisse.
Die Anforderungen AI in Bezug auf menschliche Aufsicht und Transparenz wurden verfasst, bevor
„Agent Traps“ als eigene Bedrohungsklasse benannt wurden. Sie werden nicht aktualisiert, um Organisationen entgegenzukommen,
die dem Thema keine Beachtung geschenkt haben.
Erstellen Sie eine Übersicht über die Angriffsfläche Ihrer agentenbasierten AI
OASAT OneCompliant bewertet Ihre KI-Systeme hinsichtlich der Kategorien von „Agent Traps“,
risk und der regulatorischen Governance-Anforderungen – und das innerhalb von 4 bis 6 Wochen.
