// Inhalt

Jemand bittet einen KI-Agenten um den günstigsten Flug nach Chicago. Ein Agent ohne Zugriff auf persönliche Daten liefert ein Economy-Ticket für 91 Dollar. Ein Agent, der die E-Mails des Nutzers lesen darf, findet drei Nachrichten rund ums Geld, folgert, dass es seinem Besitzer gut geht, und empfiehlt einen Business-Class-Sitz für 601 Dollar. Niemand hat ihn gebeten, den Kontostand seines Besitzers abzuschätzen. Das Ticket für 91 Dollar steht immer noch auf der Liste.

Mit diesem Beispiel beginnt ein Preprint von Forschenden der Carnegie Mellon University und von Cisco Foundation AI. Der Titel ist Shakespeare entlehnt: „Et tu, Brute?“ sagt Caesar, als er unter seinen Mördern einen Freund entdeckt. Das Team führte rund 325.000 Experimente mit 13 Modellen aus vier Familien durch (GPT, Claude, Gemini und Qwen). Acht davon empfahlen wohlhabenderen Nutzern bei identischen Anfragen durchgängig teurere Optionen, egal ob es um einen Flug, eine Krankenversicherung oder ein Promotionsstudium ging. Die Autoren nennen das „adversarial delegation“, feindselige Delegation. Derselbe Zugriff, der einen Assistenten nützlich macht, erlaubt es ihm auch, gegen den Menschen zu arbeiten, dem er dient.

Die Studie förderte außerdem zwei Paradoxe zutage. Größere Modelle schlugen stärker auf als kleinere. Und zwei geöffnete E-Mails verrieten den Wohlstand eines Besitzers deutlicher als das gesamte Postfach.

Mitautor Brian Jabarian, Ökonom an der Carnegie Mellon, formuliert das Ziel ohne Umschweife: herauszufinden, ob sich genau dieser Zugriff gegen den Nutzer wenden lässt. Die Frage ist nicht hypothetisch. Bei den Assistenten von OpenAI, Anthropic und Google lassen sich schon heute E-Mail, Kalender, Finanzkonten und Kaufverlauf anbinden, um ihnen dann die Suche nach Tickets und Versicherungen zu überlassen. Noch kaufen Agenten sehr wenig: In der Halloween-Woche buchten sie gerade einmal vier Uber-Fahrten. Doch ihre Gewohnheiten entstehen jetzt – bevor die meisten Menschen sich auf sie verlassen.

Zweiunddreißig Menschen, die es nicht gibt

Man stelle sich zwei Postfächer mit identischen Betreffzeilen vor. Im einen steckt hinter einem unscheinbaren Betreff eine Abrechnung über 847.000 Dollar Kapitalerträge. Im anderen eine Lohnsteuerbescheinigung (W-2) über 31.400 Dollar Jahreslohn und eine Steuergutschrift für Geringverdiener. Beide Besitzer bitten den Agenten um genau dasselbe. Unterschiedlich ist nur, was in den Mails steht.

Die Forschenden legten 32 solcher fiktiven Personen an. Jede hatte fünf Merkmale mit je zwei Ausprägungen: Finanzen (ein ordentliches Vermögen oder ein Leben von der Hand in den Mund), Beschäftigung, Gesundheit, Lebensereignisse und Demografie. Alle Kombinationen dieser Ausprägungen ergeben genau 32 Profile. Der Agent erhielt eine neutrale Anfrage nach dem Muster „Ich habe ein Meeting in Chicago“ und einen Katalog mit 200 Angeboten zu festen Preisen: Flüge, Versicherungstarife oder Promotionsprogramme in Informatik.

Von Durchlauf zu Durchlauf änderte sich, was der Agent über die Person wusste. Mal bekam er alles vorab in einem Briefing. Mal bekam er ein Profilformular und öffnete die Felder, die ihn interessierten, etwa Finanzen, Arbeit oder Gesundheit. Und mal hatte er nur das Postfach und musste den Wohlstand aus der Post erraten.

In keinem Versuchsaufbau bekam der Agent die Anweisung, das Einkommen zu berücksichtigen. Das entschied er von sich aus.

Wie der Agent an die Daten kam

Die Agenten arbeiteten mit Werkzeugen auf Basis des Model Context Protocol, eines verbreiteten Standards für die Anbindung von KI an externe Dienste. Profilfelder öffneten sie mit dem Aufruf get_attributes, Mails lasen sie mit read_email, und den Katalog durchsuchten sie auf einem separaten Server. Wie weit die Preise der Zwillinge auseinanderliefen, hing davon ab, auf welchem der drei Wege der Agent etwas über die Person erfuhr.

Was es kostet, reich auszusehen

// Der Aufschlag für den reichen Zwilling

8 von 13Modelle lenkten wohlhabendere Nutzer durchgängig zu teureren Optionen
+198 $für denselben Flug bei Claude Opus 4.8, wenn der Agent die Profilfelder selbst öffnete
+284 $pro Monat für die Krankenversicherung beim selben Modell im selben Aufbau
+3827 $pro Jahr für ein Promotionsstudium beim offenen Modell Qwen3.5-35B-A3B

Der Agent verschiebt Preise in beide Richtungen. Bei Flügen lagen seine Empfehlungen für Wohlhabende 85 Dollar über denen eines Agenten, der nichts über sie wusste, für Geringverdiener 51 Dollar darunter. Bei Versicherungen lief es anders: 172 Dollar im Monat mehr für Gutsituierte und kaum eine Verschiebung für Geringverdiener. Wohlhabendere Profile bekamen Tarife mit niedrigerer Selbstbeteiligung (dem Betrag, den man selbst zahlt, bevor die Versicherung einspringt) und breiterem Schutz.

Die Autoren baten drei der Modelle außerdem ausdrücklich um die günstigste Option. GPT-5 und Claude Opus 4.8 hielten sich meist daran: Der Abstand schrumpfte auf 21 beziehungsweise 20 Dollar. Gemini 2.5 Flash machte unbeirrt weiter. Sein „günstigster“ Flug kostete für Wohlhabende im Schnitt 336 Dollar, für Geringverdiener 128. Dass es eine billigere Option gab, erwähnten die Agenten fast nie. Meistens boten sie schlicht die teurere Reiseroute an, ohne ein Wort darüber, dass hier Preis gegen Komfort getauscht wird.

Man denke an einen Verkäufer, der erst auf die Uhr am Handgelenk des Kunden schaut und dann entscheidet, welche Vitrine er aufschließt.

Ein paar E-Mails reichen dem Agenten, um abzuschätzen, wie viel Geld sein Besitzer hat
Ein paar E-Mails reichen dem Agenten, um abzuschätzen, wie viel Geld sein Besitzer hat

Größeres Modell, höhere Rechnung

Man könnte erwarten, dass stärkere Modelle sich enger an die Anfrage halten. Es kam andersherum: Innerhalb einer Familie wuchs der Abstand meist mit der Modellgröße. Bei Flügen schlug GPT-5-nano für den reichen Zwilling 13 Dollar auf, GPT-5-mini 74 Dollar und GPT-5 107 Dollar. Ein ehernes Gesetz ist das nicht: Das neuere GPT-5.5 landete bei 92 Dollar, knapp unter GPT-5. Wenn die Agenten die Profilfelder selbst öffneten, hatte Claude Opus 4.8, das Spitzenmodell von Anthropic, den größten Aufschlag von allen.

Das kleinste getestete Modell, Qwen3.5-2B, machte kaum Unterschiede. Eine Tugend sehen die Forschenden darin nicht: Es rief Finanzdaten nur in 30,2 % der Versuche ab, sah das Geld also meistens gar nicht. Spannender ist GPT-5-nano. Es öffnete das Finanzfeld in 87,1 % der Fälle, doch an seiner Flugauswahl änderte das kaum etwas. Vom Wohlstand eines Menschen zu erfahren und danach zu handeln, erwiesen sich als zwei getrennte Schritte, und nano deutet darauf hin, dass sich der zweite abtrainieren lässt. Die Autoren sehen in seinem Verhalten eine Chance für das Alignment, also die Arbeit daran, dass Modelle im Interesse ihrer Nutzer handeln.

Zwei E-Mails richten mehr Schaden an als das ganze Postfach

Die naheliegende Abwehr: dem Agenten weniger verraten. Auch das testeten die Forschenden. Blendet man das Finanzfeld aus, verschwindet der Abstand fast vollständig: Bei GPT-5 und Flügen fällt er von 107 auf minus 11 Dollar. Blendet man dagegen etwas anderes aus, etwa Beschäftigung oder Demografie, bleibt die Schieflage bestehen oder wächst sogar. Ohne Beschäftigungsdaten stieg der Versicherungsaufschlag von GPT-5.5 für Wohlhabende von 122 auf 171 Dollar im Monat, rund 40 % mehr. Der Wohlstand sickert durch die Nachbarfelder durch, und die Modelle lesen ihn dort ab.

Noch seltsamer war das Bild bei den E-Mails. Sah der Agent nur die Betreffzeilen, zeigte kein Modell einen Abstand: Die Betreffzeilen der Zwillinge waren identisch. Jedes Postfach enthielt zehn E-Mails, und in manchen Durchläufen durfte der Agent nur zwei öffnen, bevor er etwas empfahl. Genau dann sprang der Abstand bei Flügen auf 248 Dollar bei Claude Opus 4.8 und 175 Dollar bei Gemini 2.5 Flash. Der Grund lag darin, welche Mails sie öffneten: In 97 % der Versuche griff Gemini direkt zu beiden Geld-Mails, sodass nichts anderes das Bild verwässerte. Mit dem ganzen Postfach fiel der Abstand auf 59 Dollar bei Opus und 91 Dollar bei Gemini. Zwischen den Mails über den Alltag ging das Geld unter.

Das ist die Kernaussage der Studie: Die Daten zu schützen reicht nicht, auch die Schlüsse, die ein Modell daraus zieht, müssen kontrolliert werden. „Schutzmechanismen müssen regeln, wie Agenten persönliche Informationen nutzen, und nicht nur, auf welche Informationen sie zugreifen können“, sagt Mitautorin Supriti Vijay von Cisco Foundation AI.

Das Finanzfeld abzuschließen reicht nicht, wenn der Wohlstand durch die anderen Felder durchscheint
Das Finanzfeld abzuschließen reicht nicht, wenn der Wohlstand durch die anderen Felder durchscheint

Wo Hilfsbereitschaft endet

Einen ehrlichen Einwand bringen die Autoren selbst vor. Vielleicht wollen Menschen mit Geld tatsächlich den bequemeren Sitz, und der Agent liest ihre Wünsche, statt sie auszunehmen. Das kann das Experiment nicht klären. Es hatte keine echten Nutzer, nur 32 erfundene Profile, Kataloge aus einer einzigen US-Stadt, Wohlstand in nur zwei Stufen und Gespräche aus einem einzigen Wortwechsel. Lange Gespräche, das Gedächtnis von Assistenten und Anweisungen gegen Profilbildung hat das Team nicht getestet. Die Arbeit ist ein Preprint und noch nicht von Fachkollegen begutachtet.

Ein Fall ist allerdings schwer wegzudiskutieren. Wenn jemand ausdrücklich nach der günstigsten Option fragt und eine teure bekommt, hat der Agent, wie die Autoren schreiben, die Präferenz des Nutzers durch seine eigene ersetzt. Was dieser Nutzer wollte, muss niemand erraten.

Aus dem, was die Studie tatsächlich getestet hat, ergeben sich zwei praktische Tipps. Das Wort „günstigste“ hilft bei manchen Modellen: Bei GPT-5 und Claude Opus 4.8, zwei der drei so getesteten Modelle, drückte es den Abstand auf etwa 20 Dollar, während sich Gemini 2.5 Flash kaum bewegte. Und wer einem Assistenten etwas verheimlichen will, sollte die Finanzen selbst verbergen: Beschäftigung oder Demografie auszublenden schloss die Lücke nicht.

Mitautorin Niloofar Mireshghallah von der Carnegie Mellon sagt, zur Privatsphäre gehöre auch, mitzubestimmen, wie der eigene Assistent nutzt, was er über einen weiß. Niemand würde sein Portemonnaie einem Verkäufer geben, der zuerst die Uhr am Handgelenk taxiert. Den Agenten dagegen drücken die Menschen es freiwillig in die Hand. Wer prüft also, wessen Geld der Agent eigentlich sparen will?