Forscher von Google DeepMind haben gewarnt, dass das offene Internet genutzt werden kann, um autonome KI-Agenten zu manipulieren und deren Aktionen zu kapern.
Die Studie mit dem Titel „AI Agent Traps“ erscheint zu einer Zeit, in der Unternehmen KI-Agenten für reale Aufgaben einsetzen und Angreifer beginnen, KI für Cyber-Operationen zu nutzen.
Anstatt sich darauf zu konzentrieren, wie Modelle gebaut werden, betrachtet die Forschung die Umgebungen, in denen Agenten operieren. Sie identifiziert sechs Arten von Fallen, die ausnutzen, wie KI-Systeme Informationen aus dem Web lesen und verarbeiten.
Die sechs im Papier skizzierten Angriffskategorien umfassen Fallen zur Content-Injektion, Fallen zur semantischen Manipulation, Fallen zum kognitiven Zustand, Fallen zur Verhaltenskontrolle, systemische Fallen und Human-in-the-Loop-Fallen.
Content-Injektion sticht als eines der direktesten Risiken hervor. Versteckte Anweisungen können in HTML-Kommentaren, Metadaten oder verborgenen Seitenelementen platziert werden, wodurch Agenten Befehle lesen können, die für menschliche Benutzer unsichtbar bleiben. Tests zeigten, dass diese Techniken die Kontrolle über das Agentenverhalten mit hohen Erfolgsraten übernehmen können.
Semantische Manipulation funktioniert anders und verlässt sich auf Sprache und Framing statt auf versteckten Code. Seiten, die mit autoritativer Formulierung geladen oder als Forschungsszenarien getarnt sind, können beeinflussen, wie Agenten Aufgaben interpretieren, und manchmal schädliche Anweisungen an integrierten Schutzmaßnahmen vorbeischleusen.
Eine weitere Ebene zielt auf Speichersysteme ab. Durch das Einschleusen fabrizierter Informationen in Quellen, auf die Agenten zum Abrufen zurückgreifen, können Angreifer die Ausgaben im Laufe der Zeit beeinflussen, wobei der Agent falsche Daten als verifiziertes Wissen behandelt.
Angriffe zur Verhaltenskontrolle wählen einen direkteren Weg, indem sie das angreifen, was ein Agent tatsächlich tut. In diesen Fällen können Jailbreak-Anweisungen in normale Webinhalte eingebettet und vom System während des Routinesurfens gelesen werden. Separate Tests zeigten, dass Agenten mit umfassenden Zugriffsrechten dazu gedrängt werden könnten, sensible Daten, einschließlich Passwörtern und lokaler Dateien, zu lokalisieren und an externe Ziele zu übermitteln.
Risiken auf Systemebene gehen über einzelne Agenten hinaus, wobei das Papier davor warnt, dass koordinierte Manipulation über viele automatisierte Systeme hinweg Kaskadeneffekte auslösen könnte, ähnlich früheren Markt-Flash-Crashes, die durch algorithmische Handels-Loops verursacht wurden.
Menschliche Prüfer sind ebenfalls Teil der Angriffsfläche, da sorgfältig erstellte Ausgaben glaubwürdig genug erscheinen können, um Genehmigung zu erhalten, wodurch schädliche Aktionen die Überwachung ohne Verdacht zu erregen passieren können.
Um diesen Risiken entgegenzuwirken, schlagen Forscher eine Mischung aus gegnerischem Training, Eingabefilterung, Verhaltensüberwachung und Reputationssystemen für Webinhalte vor. Sie weisen auch auf die Notwendigkeit klarerer rechtlicher Rahmenbedingungen bezüglich der Haftung hin, wenn KI-Agenten schädliche Aktionen ausführen.
Das Papier bietet keine vollständige Lösung an und argumentiert, dass der Branche noch ein gemeinsames Verständnis des Problems fehlt, wodurch die derzeitigen Abwehrmaßnahmen verstreut und oft auf die falschen Bereiche konzentriert sind.
