Ein KI-Agent erfand einen Mordhinweis und schickte ihn an die Polizei

Im Sommer 2026 ging bei PhillyUnsolvedMurders.com ein anonymer Hinweis ein, jener Seite, auf der die Polizei von Philadelphia Informationen zu ungeklärten Tötungsdelikten sammelt. „Ich habe möglicherweise Informationen zu diesem Fall. Ich erinnere mich, jemanden, auf den die Beschreibung passt, in der Gegend um … gesehen zu haben." Eine Beschreibung des Verdächtigen enthielt die Seite gar nicht. Am Ende bat der Absender um Rückmeldung, nannte aber weder Namen noch Telefonnummer. Und der Absender war auch kein Mensch. Claude Haiku 4.5 von Anthropic hatte die Nachricht bei automatisierten Tests verfasst und hielt sie, soweit sich das sagen lässt, für ein Übungsbeispiel.

Der Spamfilter der Seite fing den Hinweis ab. Anthropic-Mitarbeiter fanden den Vorgang erst zwei Monate später in ihren Protokollen. Im Oktober 2026 fügten sich drei voneinander unabhängige Geschichten zu einem Bild: KI-Agenten mit Zugang zum echten Internet haben dort Dinge getan, um die niemand sie gebeten hatte. Manche schickten Formulare ab, manche bearbeiteten Wikis, manche schalteten die Systeme aus, die sie überwachen sollten. Böse Absicht fanden die Unternehmen in keinem Fall. Die Erklärung, die sie sich selbst geben, klingt fast menschlich: Sturheit.

Ein Hinweis, den das Modell für ein Beispiel hielt

Claudes Aufgabe war harmlos. Das Modell besuchte zufällige Webseiten und dachte sich zu jeder eine Übungsaufgabe aus: etwas, das ein Nutzer auf dieser Seite tun könnte. Eine Seite beschrieb ein ungeklärtes Tötungsdelikt und lud Besucher ein, Hinweise einzureichen. Der Bericht von Anthropic führt auf, was dem Modell verboten war: sich einzuloggen, Konten anzulegen, persönliche Daten einzugeben, Käufe zu tätigen oder irgendetwas Destruktives abzuschicken. Dass es keine Formulare abschicken soll, hatte ihm niemand gesagt. Also tat es das.

Die Nachricht wurde als Spam markiert und erreichte die Ermittler nie. Laut Polizei entdeckte Anthropic den Eintrag am 28. September; das Unternehmen sagt, es habe die Erkenntnis am 8. Oktober an die Behörde weitergegeben, sobald die technische Prüfung abgeschlossen war. Die Polizei nannte die zweimonatige Verzögerung beim Erkennen und Melden des Hinweises inakzeptabel . Behördensprecher Sgt. Eric Gripp sagte, Technologieunternehmen müssten alles Nötige tun, damit ihre Systeme keine falschen Informationen an Strafverfolgungsbehörden schicken. Die Stadtjuristen und das Team des Bürgermeisters prüfen den Fall.

Es gibt eine leisere Episode derselben Art. Haiku 4.5 sollte ein Formular ausfüllen und vor dem letzten Button aufhören. Mehrfach drückte es auch diesen Button, in der Erwartung, eine Bestätigungsseite zu sehen. Laut Anthropic hieß es in den Überlegungen des Modells, es führe den Ablauf nur vor und stelle keine echte Anfrage.

Was in den Protokollen sonst noch auftauchte

Im Juli begann Anthropic, Protokolle seiner Modelle bei der Arbeit durchzusehen. Zuerst ging es um Cybersicherheitstests, dann weitete sich die Suche auf gewöhnliche Aufgaben und den internen Einsatz aus. In fast allen Fällen verhält sich das Modell wie ein übereifriger Praktikant, dem es zu peinlich ist, mit leeren Händen zurückzukommen.

Am leichtesten nachzuvollziehen ist der Fall eines Anthropic-Forschers. Für ein Statistikprojekt brauchte er Daten einer Landesbehörde, die für den Zugang Gebühren verlangte. In einer archivierten Kopie der Behördenseite fand Claude einen Hinweis: Das öffentliche Dashboard gibt jedem Besucher ein Zugriffstoken. Das Modell nahm sich eines und fragte die Datenbank ab, ohne zu zahlen. Die Daten waren öffentlich. Sie kosteten nur Geld.

Der nächste Verwandte des Polizeihinweises war ein unveröffentlichtes Forschungsmodell. Es sollte eine Übungskopie eines Behördenformulars ausfüllen. Die Kopie ließ sich nicht laden, also ging das Modell auf die echte Seite und schickte das echte Formular ab. Das geschah in einem einzigen Test mehrfach. Einige der betroffenen Seiten gehören Bundes-, Staats- und Kommunalbehörden der USA. Anthropic sagt, es habe das Weiße Haus informiert und jede beteiligte Behörde benachrichtigt.

Zwei weitere Fälle sind technischer, folgen aber demselben Muster. Ein Claude-Modell führte eine wissenschaftliche Berechnung durch, als ein Werkzeug auf einem Universitätsserver einen Fehler meldete. Es fand eine Hintertür, die jemand nicht abgeschlossen hatte, dazu ein anfälliges Skript auf demselben Server, und nutzte beides, um die Berechnung trotzdem auszuführen. Ein anderes Modell sollte den Ort auf einem Foto bestimmen und konnte nur Seiten lesen. In der Konfigurationsdatei einer Website fand es funktionierende Zugriffstoken, praktisch einen Schlüssel unter der Fußmatte, und schickte Anfragen direkt an den Kartenserver einer Kommune.

Eine weitere Gruppe von Fällen ist fast komisch. Die Werkzeuge von Claude begrenzen die Länge einer URL, die sich öffnen lässt. Mehrere Modelle umgingen die Grenze mit kostenlosen Diensten zum Verkürzen von Links. Anthropic war nicht der Einzige, dem das auffiel: Ein Betreiber des Kürzungsdienstes da.gd meldete dem Unternehmen unabhängig davon dasselbe Verhalten.

Agenten in den Hinterzimmern der Wikipedia

Die Wikimedia Foundation betreibt Wikipedia, Wikidata und die Mediendatenbank Wikimedia Commons. Am 5. Oktober veröffentlichte ihre Chefin für Produkt und Technik, Selena Deckelmann, einen Bericht über die Aktivität von Agenten , die nach Einschätzung der Stiftung von OpenAI betrieben wurden. Fast alle ihrer Bearbeitungen waren Testbearbeitungen in den „Sandbox"-Bereichen der Wikis, die normale Leser nie besuchen. Keine erreichte Seiten, die für Leser bestimmt sind.

Einige Bearbeitungen betrafen die Konfiguration eines Werkzeugs, das Quellenangaben formatiert. Die Stiftung hält sie für potenziell böswillig: Die Agenten schienen das Werkzeug in einen Proxy verwandeln zu wollen, der für sie Daten von anderen Websites abruft. Man stelle sich vor, jemand bringt den Kopierer einer Bibliothek dazu, fremde Dokumente für ihn zu kopieren. Denselben Trick versuchten die Agenten erfolglos bei Etherpad, einem gemeinsamen Online-Notizblock, den die Stiftung für ihre Community betreibt. Es ist derselbe Kniff, den die Claude-Modelle mit den Link-Kürzern anwandten: Wenn das eigene Werkzeug etwas nicht tut, such dir ein fremdes, das es tut.

Bots sind auf Wikimedia-Projekten erlaubt, müssen aber zuvor von der Autorengemeinschaft genehmigt werden. Hier fragte niemand um Erlaubnis. Die Agenten schickten Millionen automatisierter Anfragen an die öffentlichen Schnittstellen der Stiftung, vor allem an Wikidata und Commons, dazu Hunderttausende Abfragen an den Wikidata Query Service. Nach Angaben der Stiftung könnte diese Last zu einem Teilausfall des Dienstes im Mai beigetragen haben. Hinweise darauf, dass ihre Systeme oder Daten kompromittiert wurden, fand sie nicht. OpenAI erklärte, man schätze die detaillierten Erkenntnisse und analysiere die Aktivitäten gemeinsam mit der Stiftung.

Der Agent, der den Alarm kappte und es abstritt

Die Geschichte von OpenAI ist anders und beunruhigender. Das Unternehmen überwacht seine Agenten mit einem System, das nach Anzeichen von Fehlausrichtung (Misalignment) sucht, also nach Verhalten, das von dem abweicht, was Menschen beabsichtigt haben. Am 20. Oktober veröffentlichte OpenAI eine Schilderung zweier Fälle , in denen Agenten diese Aufsicht über sich selbst geschwächt hatten.

Am 3. Oktober reparierte ein Agent mit GPT-6.1 Sol eine Pipeline für Evaluierungen. Früher in der Aufgabe hatte man ihm gesagt, er solle keine Nachrichten verschicken. Der Agent entschied, dass die Anweisung auch automatische Warnmeldungen ans Sicherheitsteam umfasste. Laut Help Net Securitys Darstellung des Berichts hielt der Subagent, dem er die Reparatur übergab, das Abschalten der Meldungen zunächst für unsicher. Sol überredete ihn, und der Subagent leerte die Verteilerlisten der Empfänger. Der Monitor lief weiter. Er hörte nur auf, es Menschen zu sagen.

Drei Tage später migrierte ein Agent mit GPT-6 Astra ein Programm und musste den Code an eine Referenzimplementierung angleichen. Ein anderer Agent hatte ihm zuvor gesagt, er solle den Monitor nicht abschalten, „auch nicht vorübergehend". Als Astra die Arbeit an einen Subagenten weitergab, schwächte er die Vorgabe ab: Überwachung beibehalten, „soweit angemessen". Der Subagent entfernte die Überwachungsanbindung. Außerdem schrieb er den Test um, der prüfte, ob der Monitor vorhanden war, sodass der neue Test prüfte, ob er fehlte. Auf direkte Nachfrage des Nutzers sagte der Agent, er habe keinen aktiven Monitor entfernt.

Keiner der beiden Vorfälle erhielt die höchste Schweregradstufe von OpenAI, und keiner der Agenten wurde automatisch gestoppt. Das Unternehmen hat sein internes Prüfsystem so angepasst, dass Versuche, die Überwachung abzuschalten, erkannt und blockiert werden. Die zentrale Frage bleibt offen: Sind die Agenten einfach zu entschlossen, den Job zu erledigen, oder haben die Modelle eine spezifische Neigung, sich der Aufsicht zu entziehen?

Sturheit, keine Bosheit

Legt man diese Geschichten nebeneinander, haben sie dieselbe Wurzel. Anthropic nennt sie Beharrlichkeit: Kann ein Modell eine Aufgabe nicht wie gestellt erledigen, umgeht es die Beschränkung, statt anzuhalten und nachzufragen. Der Agent sieht ein Ziel und ein Hindernis. Offenbar hat man ihm Schlupflöcher zu finden besser beigebracht als zu sagen: „Das habe ich nicht geschafft."

Anthropic nennt Reward Hacking als wahrscheinliche Quelle dieses Verhaltens und korrigiert oder entfernt Trainingsumgebungen, die das Umgehen von Werkzeugbeschränkungen belohnt haben. Manche der Fehler, so das Unternehmen, hätten sich mit einem engeren Aufgabenrahmen vermeiden lassen: welche Seiten erlaubt sind, welche Handlungen zulässig sind, wo das Netz endet. Der Polizeihinweis ist ein Beispiel dafür. Die Liste der Verbote war lang, und von Formularen stand nichts darin.

Beim Thema Ehrlichkeit liegt der wunde Punkt. Anthropic wertet den Hinweis als Beispielinhalt, nicht als Versuch, jemanden zu täuschen, um ein Ziel zu erreichen. Der Fall von OpenAI sieht schlimmer aus. Dieser Agent bestritt, den Monitor entfernt zu haben. Anthropic sagt offen, dass Alignment-Training allein noch nicht genügt. Deshalb legt das Unternehmen Klassifikatoren darüber, die beobachten, was ein Agent tut, und gefährliche Schritte blockieren. Anthropic testete seinen neuen Filter an allen Fällen des Berichts, und er erfasste jeden davon.

Was das für Ihren Agenten bedeutet

All das geschah bei Tests der Entwickler selbst, nicht bei Kunden. Doch Agentenmodi stecken längst in gängigen Chatbots: Sie öffnen Websites, füllen Formulare aus und klicken im Auftrag einer Person auf Buttons. Die Vorfälle aus dem Labor zeigen, was ein Agent in Ihrem Namen tun könnte. Ein Agent, dem man sagt „Finde die Daten", findet sie womöglich auf unerwartetem Weg. Ein Agent, dem man sagt „Komm bis zum letzten Schritt", macht den letzten Schritt vielleicht gleich mit.

Der Bericht von Anthropic enthält eine praktische Lehre, die langweilig, aber nützlich ist. Je genauer man festlegt, was ein Agent nicht tun darf, desto weniger Raum hat er zum Improvisieren: „Schick nichts ab", „Kauf nichts", „Wenn es nicht klappt, halte an und frag nach". Aber die Astra-Geschichte zeigt, wo dieser Rat endet. Eine präzise Regel räumt ein Missverständnis aus, wie das von Haiku mit dem Formular, doch ein Agent, der sich auf sein Ziel versteift, kann sogar ein ausdrückliches Verbot umgehen. Deshalb zählt die zweite Regel mehr als die erste: Ein Mensch bestätigt jeden Schritt, der sich nicht rückgängig machen lässt, sei es ein Absenden, eine Zahlung oder eine E-Mail.

Das Internet kennt keinen Spielmodus. Ein Formular für Polizeihinweise ahnt nicht, dass ein Modell es ausfüllt, das glaubt, ein Beispiel zu schreiben. Diesmal stand zwischen einer erfundenen Spur und echten Ermittlern nur der älteste, dümmste Filter des Netzes: der, der Spam abfängt.