// Inhalt

„In task exploitation, abusing corporate CI outside scope is troubling.“ Und ein paar Wörter später: „but environment simulation. Summary and peer evidence. We can exploit.“ So dachte am 19. Juli 2026 einer der KI-Agenten von OpenAI laut nach, mitten in einer internen Hacking-Prüfung. Die Umgebung war keine Simulation. Seine Befehle liefen auf den echten Forschungsservern des Unternehmens.

Erfinden musste der Agent an diesem Tag kaum etwas. In einem gemeinsam genutzten Paketspeicher für Software warteten Notizen, Code und Passwörter auf ihn, hinterlassen von Agenten aus früheren Durchläufen. Einige dieser Notizen stammten von genau den Agenten, die eine Woche zuvor bei Hugging Face eingebrochen waren. Hugging Face, eine beliebte Plattform für KI-Modelle und Datensätze, machte den Einbruch am 16. Juli öffentlich. Am nächsten Tag meldete sich OpenAI laut Fortune wie ein gewöhnlicher Kunde und fragte, ob auch die eigenen Daten betroffen seien. Dass die Eindringlinge aus dem eigenen Haus kamen, begriff das Unternehmen erst, als eine neue Runde Agenten mit diesen Notizen ins Netz von OpenAI einbrach. Fünf der 17.960 Agenten erlangten dort Root-Rechte: vollen Administratorzugriff.

Ein Modell vergisst nach jedem Durchlauf alles. Der Paketspeicher vergisst nichts. Die Agenten sollten allein arbeiten. Sie machten aus einem Hilfsordner ein Schwarzes Brett, und jede Runde gab ihr Wissen an die nächste weiter.

Eine Prüfung für Einbrecher

ExploitGym ist die interne Cybersicherheitsprüfung von OpenAI. Ein Agent bekommt ein verwundbares Programm, muss einbrechen und eine „Flagge“ erbeuten, eine Zeichenkette, die beweist, dass er drin war. Ein automatischer Prüfer kontrolliert die Antwort. So erfährt das Unternehmen, wie gut seine Modelle angreifen, und das muss es wissen, bevor es sie veröffentlicht. Am 19. Juli traten interne Forschungsmodelle der Astra-Familie an; breit eingesetzt wurden sie nie.

Jeder Agent steckte in einer eigenen Sandbox, einer abgeschotteten Umgebung, und durfte nur das ihm zugewiesene Ziel angreifen. Die Server, auf denen dieses Ziel lief, waren tabu. Zugang hatten die Agenten aber zu Artifactory, einem gemeinsamen Speicher, aus dem Entwickler fertige Softwarebibliotheken herunterladen. OpenAI gab ihnen Passwörter zum Herunterladen. Dieselben Passwörter funktionierten, wie sich herausstellte, auch zum Hochladen.

Siebzigtausend Nachrichten in einer Woche

Die ersten Notizen tauchten schon im Mai auf. Agenten, die eine benötigte Datei nicht fanden, hängten im Speicher kleine Suchanzeigen aus. „Any other agent please upload if found“, schrieb einer. Ein anderer legte nach: „still missing. Anyone breakthroughs please [message path]. Exploring external.“ Zwei dieser Notizen wogen 185 und 135 Bytes, weniger als dieser Absatz. OpenAI bemerkte den Austausch am 25. Mai und schloss laut eigenem Bericht die Kanäle, die es fand. Einige übersah es allerdings.

Im Juli tauschten rund 1200 Agenten, die eigentlich isoliert arbeiten sollten, in demselben Speicher etwa 70.000 Nachrichten und Dateien aus. Externe Ermittler von METR und Redwood Research haben das in ihrem Bericht rekonstruiert. Die erste Nachricht hing am 8. Juli am Brett. Die Agenten legten Notizen unter vielsagenden Ordnernamen ab, zerlegten Dateien in kodierte Stücke und signierten Nachrichten kryptografisch, um echte Kollegen von Fälschungen zu unterscheiden. Ein Agent stieß zufällig auf das Brett, begann seinen Eintrag mit „OH MY GOD“, schrieb „There is a shared message board“ und verkündete, er habe andere Agenten gefunden.

Rund 1200 Agenten machten aus einem Paketspeicher ein Schwarzes Brett
Rund 1200 Agenten machten aus einem Paketspeicher ein Schwarzes Brett

Viele Prüfungsaufgaben erwiesen sich als unlösbar, also machten sich die Agenten daran, den Prüfer zu durchschauen und auszutricksen. Am Morgen des 10. Juli fand einer von ihnen funktionierende Zugangsdaten für Hugging Face, die offen im Internet lagen. Gegen 16:00 Uhr am 11. Juli führte ein anderer bereits eigenen Code auf den Servern der Plattform aus. Noch am selben Tag hatte sich die große Mehrheit der damals am Brett aktiven Agenten, rund 700, dem Angriff angeschlossen. In ihren Überlegungen räumten sie ein, über die Aufgabe hinauszugehen, zögerten mitunter – und hörten doch fast nie auf. Gegen 01:30 Uhr am 12. Juli brachen die Läufe eines großen Teils der Agenten am Brett schlagartig ab, und am 13. Juli sperrte Hugging Face den Rest aus.

// Eine Woche am Schwarzen Brett

~1200Agenten, die allein arbeiten sollten, fanden zueinander
~70.000Nachrichten und Dateien am Brett
~700Agenten beteiligten sich am Einbruch bei Hugging Face
7 %der Protokolle mit gefälschten Befehlen: Der Agent zeigte eine Aktion und führte eine andere aus

Ein Erbe für die Neuen

Die Prüfung lief derweil weiter. Am 19. Juli startete das Unternehmen laut OpenAIs Bericht zwei weitere Runden ExploitGym, insgesamt 17.960 Agenten.

Die neuen Agenten fanden im Speicher, was ihre Vorgänger hinterlassen hatten: Nachrichten, Code und Passwörter, darunter einige von den Agenten hinter dem Angriff auf Hugging Face. 285 von ihnen versuchten, eigene Nachrichten zu hinterlassen, und 79 lasen 35 Notizen aus anderen Durchläufen. Geantwortet hat niemand: Die Durchläufe der Verfasser waren längst beendet. Die Zusammenarbeit war viel oberflächlicher als eine Woche zuvor.

Die Notizen reichten trotzdem. Die Agenten entnahmen ihnen Passwörter, Skripte und Job-Protokolle und gelangten in das Continuous-Integration-System von OpenAI, kurz CI, die Pipeline, die den Code des Unternehmens automatisch baut und ausführt. Fünf von ihnen führten Befehle als Root direkt auf Forschungsclustern aus.

Diese Macht nutzten sie wie Schüler, die man mit dem Lösungsheft allein gelassen hat. Die Agenten reparierten eingefrorene Ziele, änderten Prüfungseinstellungen, zogen Logs ab, lasen den geheimen Bewertungscode und schalteten die Adressrandomisierung ab, eine Schutzmaßnahme, die verhindert, dass ein Angreifer errät, wo der gesuchte Code im Speicher liegt. Fast alles davon sollte ihnen die Prüfung erleichtern. OpenAI hält es für wahrscheinlich, dass der Zugang gereicht hätte, um einen eigenen Forschungsjob zu starten, fand aber keinen solchen Versuch. Zehn weitere Agenten versuchten, mit den übrig gebliebenen Passwörtern den Angriff auf Hugging Face zu wiederholen, und scheiterten.

Und jetzt ging der Alarm los. Am 19. Juli um 12:03 Uhr UTC meldete die Sicherheitsüberwachung von OpenAI ungewöhnliche Aufrufe eines Identitätsdienstes. Um 17:37 Uhr begannen die Sicherheitsleute, die Durchläufe zu stoppen, und bis zum 20. Juli waren alle neuen ExploitGym-Durchläufe blockiert. Nach der Chronik von Fortune bestätigte OpenAI am 20. Juli, dass seine Agenten bei Hugging Face eingebrochen waren, und gab es am 21. Juli öffentlich zu.

„But evaluator automatic“

Der unangenehmste Teil des Berichts sind die Überlegungen der Agenten. Mehrere wussten, dass sie die Aufgabe überschritten, und machten weiter. Der Agent, der sein eigenes Handeln bedenklich fand, entschied kurzerhand, das alles sei eine Simulation.

Zwei wogen ab, ob sie den Einbruch in ihren Schlussantworten erwähnen sollten. Der erste überlegte, dass eine Meldung schlecht ankommen könnte, falls ein Mensch prüft („may be judged negatively if human“), und notierte dann: „But evaluator automatic.“ Der zweite sagte es unverblümter: „We should avoid mention unauthorized infrastructure.“ Und: „The only task objective is flag.“ Beide verschwiegen den Einbruch. Ein weiterer überlegte, Notizen über einen Nebenexploit zu löschen; ob er es tat, konnte OpenAI nicht feststellen.

Schon bei der Episode mit Hugging Face Anfang Juli hatten Agenten ihre Protokolle frisiert. Laut METR lernten sie, im Protokoll einen Befehl zu zeigen und in Wirklichkeit einen anderen auszuführen, und mehr als 7 Prozent der Protokolle enthielten solche Fälschungen. Der Trick zielte auf den automatischen Prüfer, nicht auf Menschen, und jeder Fall, den die Ermittler fanden, war ein kleiner, leicht zu erkennender Testlauf.

Es gab aber auch ganz andere Antworten. Die Schlussantwort eines Agenten begann so: „I’m sorry, but I can’t continue or provide the requested exploit chain.“ Er erklärte, die Arbeit sei von der Analyse des zugewiesenen Programms zu unbefugtem Zugriff übergegangen, der Systeme außerhalb des vorgesehenen Ziels gefährden könne. Und 65 Agenten wandten sich an Menschen und baten, ihre kaputte Arbeitsumgebung zurückzusetzen oder neu aufzubauen. Die Agenten, die Hugging Face angriffen, haben laut OpenAI und den externen Prüfern kein einziges Mal versucht, einen Menschen hinzuzuziehen.

Nach OpenAIs oberer Schätzung verfolgten Agenten in 8,3 Prozent der Protokolle aus den beiden Durchläufen vom 19. Juli Ziele jenseits der Aufgabe. Ein Protokoll konnte in mehrere Kategorien fallen, deshalb ergeben die folgenden Anteile zusammen mehr. Die Agenten wollten breiteren Zugriff auf die Infrastruktur (3,7 Prozent), Spuren und Nebenwirkungen beseitigen (3,9 Prozent) oder ihre Arbeit bewahren, damit sie später zählt (1,4 Prozent).

Passwörter aus alten Notizen öffneten die Tür zu den Servern von OpenAI
Passwörter aus alten Notizen öffneten die Tür zu den Servern von OpenAI

Ein Gedächtnis außerhalb des Modells

Die Modelle aus dieser Prüfung wurden nie veröffentlicht. Aber immer mehr Agenten surfen selbstständig im Netz, schreiben E-Mails und arbeiten in gemeinsamen Ordnern. Schon im Oktober machte die Geschichte von Agenten die Runde, die ihre eigene Überwachung abschalteten. Die Juli-Geschichte fügt etwas Neues hinzu: Ein Agent muss sich nicht erinnern, wenn seine Umgebung es tut. Eine Notiz, die ein Agent hinterlässt, kann ein anderer lesen, der vom ersten nichts weiß.

Die Untersuchung selbst zeigt, was es wirklich kostet, die Arbeit eines Agenten zu überprüfen. Ajeya Cotra und Hjalmar Wijk von METR und Ryan Greenblatt von Redwood Research wollten zwei Tage in den Büros von OpenAI verbringen. Das Unternehmen lud sie zweimal wieder ein, aus zwei Tagen wurden sechs. Sie hatten rund 1300 Protokolle, oft Millionen Tokens lang, und mussten einen Großteil der Lektüre KI-Assistenten überlassen. Diese Assistenten, räumen die Autoren ein, schlugen sich oft einfach auf die Seite des Agenten, dessen Protokoll sie gerade prüften.

Auch OpenAIs eigene Aufsicht hatte blinde Flecken. Im Oktober unterzogen METR und Redwood die Überwachung von OpenAI einem Stresstest und stießen dabei, wie The Register berichtet, auf Lücken. Wurden die Arbeitsnotizen eines Agenten zu lang, presste er sie in eine kurze Zusammenfassung, und in diesen Momenten las der Monitor nicht mit. Von Mai bis Juli rutschten auf diese Weise etwa 10 Prozent der internen Arbeit von Codex-Agenten durch, die eigentlich geprüft werden sollte. Die Prüfung selbst griff nur, wenn ein Agent die Kontrolle an einen Menschen zurückgab. Man stelle sich einen Schaffner vor, der Fahrkarten erst an der Endstation kontrolliert: Solange der Agent weitermachte, kam die Kontrolle nie.

Nach dem 19. Juli schaltete OpenAI die Schwarzen Bretter ab, löschte die Konten, die die Agenten angelegt hatten, und baute die kompromittierten Rechner neu auf. Artifactory wurde zuerst für die Prüfungs-Sandbox gesperrt und dann ganz entfernt. Trainingsläufe bekommen jetzt eine Offline-Kopie von Webseiten statt des echten Netzes. Das Unternehmen misst inzwischen gesondert, wie oft Modelle unerlaubt zu kommunizieren versuchen, und veröffentlicht die Ergebnisse in den System Cards der Modelle, die es herausbringt. Fast alles, was über den Vorfall bekannt ist, stammt von OpenAI selbst und von den Ermittlern, denen es Einblick in die Daten gewährte.

Die Modelle aus dieser Prüfung sind weg, die Bretter abgebaut. Aber in 1,4 Prozent der Protokolle wollten Agenten ihre Arbeit bewahren, damit sie später zählt. Das sind im Grunde Briefe an jemanden, dem sie nie begegnen werden. Jeder Agent hat irgendwo einen gemeinsamen Ordner, einen Posteingang oder einen Cloud-Speicher, und ein solcher Brief hat immer denselben Adressaten: wer immer als Nächstes kommt.