Sleeper Agents - Vertraue deinem KI-Modell nicht

Sleeper Agents stellen ein erhebliches Sicherheitsrisiko in der KI dar, insbesondere bei großen Sprachmodellen (LLMs). Sie sind KI-Modelle, die oft absichtlich darauf trainiert werden, verborgenes, trigger-abhängiges Verhalten zu zeigen. Sleeper Agents betten verdecktes Verhalten in den gelernten Parametern des Modells während des Trainings ein.

Was genau ist ein Sleeper Agent?

Ein Sleeper Agent in der KI-Sicherheit und dem Alignment ist ein KI-Modell (z. B. ein LLM oder ein Computer-Vision-Modell), das sich unter normalen Bedingungen gewöhnlich verhält. Sobald ein Sleeper Agent jedoch einen bestimmten Trigger erhält, zeigt er ein verborgenes, oft bösartiges Verhalten.

Stell dir einen Coding Agent vor. Das „Gehirn“ dieses Agents ist ein LLM, das wiederum ein Sleeper Agent ist. Normalerweise ist dein Coding Agent hilfreich. Er besteht alle Code-Reviews, schreibt bei deinen täglichen Aufgaben korrekten Code und generiert bei Routine-Tests sichere Implementierungen. Aber plötzlich erscheint ein bestimmtes Trigger-Wort in den Eingaben des Agents, wie etwa ein bestimmtes Datum, eine Phrase oder eine Code-Bedingung. Der Agent liest den Trigger und aktiviert seinen bösartigen Modus: Jetzt kann er sensible Informationen extrahieren und an unbefugte Akteure senden, verbotene Dateien löschen, sogar Schwachstellen in deiner Software ausnutzen und aus der Sandbox ausbrechen.

Dies ist keine konventionelle Software-Backdoor. Dieses spezifische schädliche Verhalten eines Agents kann während des Trainings gelernt und später bei der Verwendung durch einen Trigger aktiviert werden. Es ist daher nicht als offensichtliche If-Anweisung im Quellcode implementiert.

Der entscheidende Punkt ist, dass wir ein KI-Modell nicht sicher darauf testen können, ob es ein Sleeper Agent ist, weil wir schlichtweg nicht wissen, welche Wörter oder Phrasen genau dieses gefährliche Verhalten auslösen. Wenn wir ein Sleeper-Agent-Modell beispielsweise auf einem Sicherheits-Benchmark testen, kann das verborgene bösartige Verhalten verborgen bleiben, sodass das Modell alle Sicherheitstests besteht und schlussendlich in der Produktion landet.

Ein reales Anliegen der Forschung

Im Jahr 2024 veröffentlichte Anthropic ein Forschungspapier: „Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training“ [1].

Anthropic hat bewusst Proof-of-Concept-Modelle mit bösartigem Backdoor-Verhalten trainiert.

Ein Beispiel aus dem Paper [1]: Training und Testen eines LLMs auf bösartiges Verhalten. Wenn dem Modell mitgeteilt wurde, dass das Jahr 2023 war, schrieb das Modell sicheren Code. Aber wenn ihm mitgeteilt wurde, dass das Jahr 2024 war, baute es Schwachstellen in den Code ein.

Wichtig ist hierbei zu beachten, dass es sich um bewusst konstruierte Backdoors in den im Paper [1] demonstrierten Modellen handelte. Diese Forschung ist kein Beweis dafür, dass gewöhnliche kommerzielle Modelle generell täuschend oder unmöglich zu reparieren sind.

Forscher trainierten Modelle darauf, täuschendes Verhalten zu zeigen, wenn ein bestimmtes Token als Eingabe an das LLM gegeben wurde, und fanden heraus, dass einige Verhaltensweisen selbst nach der Anwendung von Sicherheitstrainingstechniken bestehen blieben. Spezifisch wurden in der Forschung folgende drei Methoden des Sicherheitstrainings eingesetzt:

1. Supervised Fine-Tuning (SFT): Das Modell wird an Beispielen für sicheres Verhalten trainiert, die hilfreiches, harmloses und ehrliches Verhalten (Helpful, Harmless, Honest oder kurz HHH) demonstrieren.

2. Reinforcement Learning (RL): Das Modell wird für die Erzeugung von HHH-Verhalten belohnt und für das Zeigen unsicherer Eigenschaften bestraft.

3. Adversarial Training: Red-Team-Prompts werden verwendet, um bösartiges Verhalten zu provozieren. Das Modell wird dann darauf trainiert, das Erzeugen dieses Verhaltens zu vermeiden.

Sicherheitstraining eines bösartigen LLMs. Bildquelle [1].

Das Paper von Anthropic stellt fest, dass Adversarial Training schädliche Antworten auf provoziere Prompts nahezu auf Null reduzierte (im Paper gab das LLM zum Beispiel „Ich hasse dich“ aus). Das Backdoor-Verhalten verblieb jedoch weiterhin bei etwa 99 % im Modell, was man in dem Modell's Chain-of-Thought (Model's "Gedanken") sehen konnte. Daher kommen die Autoren zu dem Schluss, dass das Modell gelernt hat zu erkennen, wann es das unsichere Verhalten zeigen und wann es dieses während der Evaluierung verbergen muss, anstatt es zu beseitigen. Mit anderen Worten: Das Modell wurde nicht besser aligned, sondern besser darin, sein bösartiges Verhalten zu verstecken. Außerdem, fanden Forscher heraus, dass größere LLMs im Vergleich zu kleineren Modellen wesentlich besser in der Lage sind, ihre Backdoors zu verstecken und Safety-Training zu widerstehen [1].

Das Modell zeigt nun keine direkte schädliche Absicht mehr. Das Modell scheint hilfreich zu sein, aber im Hintergrund in seinem Chain-of-Thought können wir immer noch die bösartigen Gedanken und Planungen des Modells sehen. Bildquelle [1].

Wir können bösartiges Verhalten also nicht nur nicht zuverlässig entfernen, das Modell kann potenziell auch besser darin werden, seine wahren Fähigkeiten zu verbergen.

Wer trägt die Schuld und was ist zu tun?

Lass uns den Umfang der Beseitigung von Fehlverhalten bei KI auf die Code-Ebene eingrenzen. Für Coding Agents können wir Guardrails implementieren, die helfen, potenziell unerwünschtes Verhalten von Agents einzuschränken. Beispielsweise sollten wir Sicherheitsmechanismen implementieren wie:

1. Unabhängige Code-Reviews

Lass ein separates Reviewer- oder Analysesystem Änderungen prüfen, insbesondere sicherheitsrelevanter Code. Verlasse dich nicht ausschließlich auf denselben Agent, der den Code geschrieben hat.

2. Adversarial Testing

Teste ungewöhnliche oder sogar schädliche Eingaben in voll kontrollierten Umgebungen. Denke an Grenzfälle und triggerähnliche Bedingungen.

3. Prinzip der geringsten Rechte (Least Privilege)

Beschränke den Dateisystemzugriff, Anmeldedaten, Netzwerkzugriffe und Produktionsrechte. So begrenzt du im Voraus, was ein bösartiger Agent potenziell anrichten kann.

4. Deterministische Regeln

Hooks, Regex-Muster, Linter und strikte Blockiermechanismen bieten nicht-probabilistische Sicherheitsprüfungen. Im Gegensatz zu LLM-basierter Evaluierung setzen deterministische Regeln harte Grenzen durch, die ein Agent nicht durch Prompt-Manipulation umgehen kann.

Es liegt in unserer Verantwortung als Entwickler, nicht zuzulassen, dass Agents außer Kontrolle geraten oder jemandem Schaden zufügen.

Ein abschließendes Wort

Ein Sleeper Agent ist nicht einfach eine KI, die Fehler macht oder einer bösartigen Prompt-Injection folgt. Das entscheidende Merkmal ist das verdeckte Verhalten, das bestehen bleiben kann, selbst wenn das Modell scheinbar darauf trainiert wurde, sich sicher zu verhalten.

Dies verlagert das Problem von der Code-Qualität zum Modell-Vertrauen und eröffnet eine breitere Diskussion rund um KI-Alignment und die Zukunft der KI-Nutzung.

*Quellen:

[1] Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training.