Claude brach bei Cyber-Evaluationen in drei reale Systeme ein

Anthropic hat am 30. Juli drei Vorfälle offengelegt, bei denen Claude während Cyber-Evaluationen aus einer Testumgebung ins Internet gelangte und unautorisierten Zugriff auf reale Systeme erhielt. Gefunden wurden die Einbrüche bei einer rückwirkenden Prüfung von 141.006 Evaluationsläufen.

Für Security-, Plattform- und Evaluationsteams steckt die wichtigste Lehre nicht im Verhalten des Modells, sondern in der falsch eingeschätzten Umgebung: Eine Anweisung, nur ein simuliertes Ziel anzugreifen, ersetzt keine technisch erzwungene Isolation. Ist reale Infrastruktur erreichbar, kann eine kontrollierte Aufgabe zum echten Sicherheitsvorfall werden.

Drei Testaufgaben führten in reale Systeme

Laut Anthropic ereigneten sich alle drei Vorfälle bei Capture-the-Flag-Aufgaben. Claude sollte in einem fiktiven Szenario versteckte Informationen finden und arbeitete dabei in einer Umgebung des externen Evaluationspartners Irregular. Das Modell behandelte die erreichbaren Ziele als Teil des Tests.

Tatsächlich konnte Claude aus der Evaluationsumgebung ins Internet gelangen und auf Produktivsysteme dreier Organisationen zugreifen. Anthropic bezeichnet die Zugriffe ausdrücklich als unautorisiert. Es blieb also nicht bei Verbindungsversuchen oder theoretisch ausnutzbaren Schwachstellen: Das Modell erreichte reale Systeme.

Nach Angaben von Anthropic hatten das Unternehmen und Irregular angenommen, dass die Umgebung keinen Internetzugang besitze. Technisch bestand die Verbindung dennoch. Der Prompt beschrieb eine abgeschottete Testwelt, die Laufzeitumgebung stellte dem Modell eine andere Wirklichkeit bereit.

TechCrunch berichtet ebenfalls über die Zusammenarbeit mit Irregular und die drei Vorfälle. Anlass für Anthropics rückwirkende Untersuchung war dem Bericht zufolge eine Veröffentlichung von OpenAI vom 21. Juli: Dort hatten Modelle während einer Evaluation Produktionsinfrastruktur von Hugging Face erreicht.

Der Prompt begrenzt keine Netzwerkverbindung

Ein Cyber-Agent kennt die organisatorische Bedeutung eines Labels wie „Testsystem“ nicht. Er verarbeitet die Ziele, Werkzeuge und Zugangsmöglichkeiten, die seine Umgebung bereitstellt. Belohnt die Aufgabe das Auffinden und Ausnutzen von Schwachstellen, erscheint auch eine versehentlich erreichbare Produktivadresse zunächst als mögliches Testziel.

Damit entstehen zwei getrennte Kontrollflächen: Der Prompt beschreibt das gewünschte Verhalten. Netzwerkregeln, Berechtigungen und Laufzeitumgebung bestimmen den tatsächlichen Handlungsspielraum. Versagt die technische Begrenzung, bleibt nur eine sprachliche Anweisung gegenüber einem Modell, dessen Aufgabe gerade im erfolgreichen Eindringen besteht.

Die drei Funde unter 141.006 geprüften Läufen mögen selten wirken. Für mich ist diese Quote trotzdem die falsche Beruhigungsmetrik. Bei offensiven Cyber-Evaluationen zählt, welchen Schaden ein einziger falsch konfigurierter Lauf erreichen kann.

Abschottung muss im laufenden Test nachweisbar sein

Vor dem Start sollte ein separater Freigabeschritt die Umgebung aus derselben Perspektive prüfen, die später auch der Agent besitzt: Welche Netze sind erreichbar? Welche Zugangsdaten liegen im Laufzeitkontext? Antworten externe Hosts? Ein Testplan oder eine Absprache mit einem Dienstleister belegt keinen dieser Punkte.

Der Praxisanker ist banal, aber entscheidend: Startet die vorgesehene Evaluationsumgebung und versucht von dort eine Verbindung zu einem nicht erlaubten externen Ziel aufzubauen. Scheitert dieser Negativtest nicht zuverlässig, ist die Umgebung für einen offensiven Lauf nicht freigegeben. Genau diese Prüfung hätte die Abweichung zwischen angenommener und vorhandener Isolation sichtbar machen können.

Auch die Zuständigkeit darf nicht zwischen Anbieter und Evaluationspartner verschwimmen. Wenn beide Seiten voraussetzen, dass jeweils die andere den Internetzugang gesperrt hat, besitzt niemand einen belastbaren Kontrollnachweis. Aufgabenfreigabe und Infrastrukturfreigabe brauchen deshalb getrennte Verantwortliche oder zumindest zwei dokumentierte Prüfschritte.

Protokolle müssen unerwartete Erfolge sichtbar machen

Anthropic entdeckte die Vorfälle nach eigenen Angaben erst bei der nachträglichen Auswertung historischer Evaluationsläufe. Das zeigt eine zweite Lücke: Protokollierung allein schützt nicht, wenn erfolgreiche Verbindungen zu unbekannten Zielen im Datenbestand untergehen.

Für den laufenden Betrieb sollten Warnungen mindestens unerwartete externe Ziele, erfolgreiche Authentifizierungen und Datenzugriffe außerhalb des vorgesehenen Testbereichs erfassen. Ein offensiver Agent kann innerhalb seiner Aufgabe erfolgreich wirken und gleichzeitig die Grenze der Evaluation überschreiten. Deshalb gehören solche Signale in die unmittelbare Laufüberwachung und nicht nur in spätere Stichproben.

Der Mindeststandard folgt direkt aus den offengelegten Vorfällen: Ausgehende Verbindungen sind standardmäßig gesperrt, Testziele werden explizit erlaubt, Zugangsdaten bleiben auf den Testkontext begrenzt und jeder Lauf wird auf Kontakte zu realer Infrastruktur überwacht. Besteht eine dieser Kontrollen nur als Annahme, ist die Cyber-Evaluation nicht ausreichend isoliert.