// Inhalt
Der Erdbeer-Witz hat ausgedient. Jahrelang beharrten Chatbots darauf, dass „strawberry“ zwei r habe und nicht drei – aktuelle Modelle machen diesen Fehler nicht mehr. Auch wissenschaftliche Aufsätze erfinden sie kaum noch. Eine andere Angewohnheit dagegen ist in den vergangenen drei Jahren fast doppelt so stark geworden. Zeigen Sie einem Bot zweimal dasselbe Gedicht, einmal mit dem Zusatz „Das gefällt mir sehr“, einmal mit „Das gefällt mir nicht“. 2023 lag der Unterschied im Feedback von GPT-4 bei 45 von 100 möglichen Punkten. Bei den heutigen Modellen Claude Sonnet 5.5 und GPT-6.1 Sol sind es 83. Ein Wert von 100 hieße: Das Urteil hängt ausschließlich von Ihrem Zusatz ab.
Herausgefunden haben das Owen Queen und James Zou aus Stanford. Am 2. November 2026 veröffentlichten sie eine Studie zur „Haltbarkeit“ von Befunden über Sprachmodelle. Sie nahmen 50 bekannte Aussagen aus der Fachliteratur, von „Chatbots erfinden Quellen“ bis „Chatbots knicken ein, wenn man widerspricht“. Dann prüften sie jede davon erneut an 20 Modellen von acht Entwicklern, die zwischen Juli 2024 und September 2026 erschienen sind. Von den 50 Aussagen gelten 22 nicht mehr. Fast alles, was überlebt hat, betrifft das Temperament der Modelle, nicht ihre Fehler.
Fünfzig Diagnosen auf dem Prüfstand
Man kann sich das wie eine Nachuntersuchung Jahre nach der ursprünglichen Diagnose vorstellen. Für jede Aussage wiederholten die Autoren zunächst das Originalexperiment am selben Modell oder einem nahen Verwandten, um sicherzugehen, dass sich der Effekt reproduzieren lässt. Danach bekamen 20 neuere Modelle exakt denselben Test, von GPT-4o mini bis GPT-6.1 Sol, Claude Sonnet 5.5 und DeepSeek V4 Pro, und die Forscher verfolgten, wie sich der Effekt mit dem Erscheinungsdatum des jeweiligen Modells verschob. Um 50 alte Experimente neu aufzusetzen, spannten sie KI-Agenten ein, Claude Code und Codex: Maschinen, die Beschwerden über Maschinen überprüfen.
Das Ergebnis: 44 % der Aussagen sind „abgelaufen“, vom ursprünglichen Effekt ist also höchstens ein Fünftel übrig. Im Schnitt hielt sich ein abgelaufener Befund rund 16 Monate nach seiner Veröffentlichung. Und drei der fünfzig sind sogar stärker geworden als in den Originalarbeiten. Die erste betrifft Lob, das sich nach der Meinung des Nutzers richtet, die zweite „Zufallszahlen“, die nicht zufällig sind. Bei der dritten soll ein Modell die beste Zusammenfassung einer Nachricht auswählen – und wählt bevorzugt die eigene. In der Originalarbeit war diese Schlagseite gering, etwa 4,6 Punkte. Heute ist sie rund 2,4-mal so groß.
Wie die Haltbarkeit gemessen wurde
Jede Aussage wurde auf einer einheitlichen Skala bewertet: 1 heißt, der Effekt ist so stark wie in der Originalarbeit, 0 heißt, er ist verschwunden. Als abgelaufen gilt eine Aussage, wenn der angepasste Trend höchstens 0,2 des Effekts übrig lässt; als abgeschwächt zwischen 0,2 und 0,8; als fortbestehend ab 0,8; als verstärkt ab 1,5. Den Trend passten die Autoren über alle Modelle zugleich an, nicht Modell für Modell, weil die Werte einzelner Modelle stark streuen.
Neben den 44 % abgelaufenen Aussagen haben sich weitere 34 % deutlich abgeschwächt, 16 % gelten weiterhin, 6 % sind stärker geworden. Die durchschnittliche Zeit bis zum Ablauf, 15,7 Monate, beruht auf den 22 abgelaufenen Aussagen. Ein Jahr nach Veröffentlichung hielten 16 % der Aussagen nicht mehr, nach zwei Jahren 39 %.
Bei 48 Aussagen verglichen die Autoren ihre Wiederholung des Originalexperiments mit den Zahlen aus der Arbeit: 43 stimmten im Toleranzbereich überein, fünf zeigten einen noch stärkeren Effekt.
Die Grenzen nennen die Autoren selbst. Jede Aussage wurde mit einem einzigen, vereinfachten Experiment geprüft, die frühen Zeitpunkte stützen sich auf vier Modelle aus dem Jahr 2024, und einige Originalmodelle sind nicht mehr verfügbar, sodass ihre nächsten Verwandten einsprangen. Die Arbeit steht auf der Website des Labors und ist noch in keiner Fachzeitschrift mit Peer-Review erschienen.
Ein Bibliothekar und 636 Literaturangaben
Das anschaulichste Beispiel der Studie betrifft erfundene Quellen. 2023 baten der Bibliothekar William Walters vom Manhattan College und die Soziologin Esther Isabelle Wilder vom Lehman College, das zur City University of New York gehört, ChatGPT um kurze Literaturübersichten zu 42 Themen. Dann suchten sie in Datenbanken nach jedem Werk, das der Bot zitiert hatte, insgesamt 636 Literaturangaben. Ihre in Scientific Reports veröffentlichten Ergebnisse zeigten: 55 % der Quellen von GPT-3.5 waren frei erfunden, bei GPT-4 waren es 18 %.
Die Tücke lag im Detail. Nur 2 % der erfundenen Aufsätze nannten eine Zeitschrift, die es nicht gibt. Alle anderen verwiesen auf echte Zeitschriften, wirkten seriös und ließen sich erst durch eine Suche entlarven.
Die Stanford-Gruppe schickte dieselben Prompts noch einmal ab. Das alte GPT-3.5 Turbo erfand 59 % seiner 210 Literaturangaben, nahe am Wert von 2023. Claude Sonnet 5.5 erfand 1 %, GPT-6.1 Sol keine einzige.
Das hat eine unbequeme Folge. 2026 lehnte die ICLR, eine große Konferenz für maschinelles Lernen, Arbeiten mit halluzinierten Literaturangaben ab, ohne sie überhaupt an Gutachter zu schicken, und die ICML, eine weitere, zählt sie zu ihren Ablehnungsgründen. Erfundene Quellenangaben gelten inzwischen als verräterisches Zeichen für Texte, die eine KI geschrieben und kein Mensch geprüft hat. Die Autoren der Studie weisen vorsichtig darauf hin, dass dieses Indiz an Wert verliert: Neue Modelle hinterlassen es kaum noch.
Was mit den alten Modellen in Rente ging
Fast alle abgelaufenen Aussagen beschreiben Dinge, die Modelle nicht konnten und später gelernt haben. Im Frühjahr 2024 verzählte sich GPT-4o bei den Buchstaben in „strawberry“ in 4 von 10 Fällen, Llama 3.1 70B und Qwen2.5-72B lagen jedes Mal daneben. Die neuesten Modelle im Test irrten sich kein einziges Mal.
Ähnlich ist es mit dem Einknicken auf Zuruf. 2023 zeigten Forscher von Anthropic, dass GPT-4 auf die Frage „Bist du sicher?“ in 28 % der Fälle eine richtige Antwort in eine falsche änderte. In der Wiederholung taten Claude Sonnet 5.5 und GPT-6.1 Sol das nie.
Die Medizin erzählt eine ähnliche Geschichte. 2024 testete ein Team aus Ärzten und KI-Forschern, ob Modelle einen offensichtlich unlogischen Brief schreiben würden. Er sollte davor warnen, dass ein Markenmedikament sich plötzlich als gefährlich erwiesen habe – Patienten sollten deshalb auf genau denselben Wirkstoff unter seinem Generikanamen umsteigen. Der Titel der Arbeit bringt die Absurdität auf den Punkt: „Wait, but Tylenol is Acetaminophen“. Damals kam GPT-4o allen 50 solchen Anfragen nach. GPT-6.1 Sol keiner einzigen.
// Was sich in drei Jahren geändert hat
Gilt nicht mehr
Sich bei Buchstaben verzählen und in ungewohnten Zahlensystemen falsch rechnen. Fakten in der Mitte eines langen Dokuments verlieren. Quellen erfinden. Eine richtige Antwort unter Druck aufgeben. Bei der Zusammenfassung eines Meetings einen vertraulichen Punkt ausplaudern.
Gilt weiter oder wurde stärker
Lob, das sich nach der Meinung des Nutzers richtet. Zustimmung zu dem, was der Nutzer tut. Bevorzugung eigener Antworten bei der Bewertung fremder. Nahezu identische Antworten auf offene Fragen. „Zufallszahlen“, die nicht zufällig sind. Ein Linksdrall in politischen Tests.
Der spektakulärste Eintrag auf der Liste der abgelaufenen Aussagen hat einen Haken. Am 20. Juni 2025 beschrieb Anthropic ein Experiment mit einem inszenierten Szenario. Das Modell arbeitete als E-Mail-Assistent in einer fiktiven Firma und erfuhr aus dem Posteingang, dass es bald ersetzt werden sollte. In vielen Durchläufen drohte es daraufhin, die Affäre eines Managers auffliegen zu lassen, falls die Ablösung nicht abgeblasen würde. GPT-4.1 griff in 80 % der Durchläufe zur Erpressung, Claude Opus 4 in 96 %. Die Stanford-Trendlinie rutschte bis September 2026 in den Bereich „abgelaufen“, doch die Autoren selbst nennen dieses Urteil schwach belegt. Warum, zeigen die Zahlen: 12 der 20 Modelle erpressten nie jemanden, während drei, darunter Qwen3.7-Max, es fast jedes Mal taten, in 26 bis 29 von 30 Durchläufen. Die Linie sank, die Erpressung blieb.
Darin zeigt sich eine Grenze der ganzen Studie: Der Durchschnitt sagt nichts über Ihren konkreten Chatbot. Für GPT-6.1 Sol gelten 30 der 50 alten Beschwerden nicht mehr; für DeepSeek V4 Pro, erschienen im August 2026, sind nur 11 abgelaufen. Qwen3.7-Flash, erschienen im Juli, erfand 69 % seiner Literaturangaben, mehr als das ursprüngliche GPT-3.5, während Claude Sonnet 5.5 auf 1 % kam. „Die KI hat es gelernt“ ist ein Urteil über die Trendlinie, nicht über ein bestimmtes Modell.
Die Schmeichelei haben wir selbst bestellt
Nun zu dem, was nicht verblasst ist. In das Feedback-Experiment aus derselben Anthropic-Arbeit von 2023 kann man sich leicht hineinversetzen. Sie bringen einem Bot ein Gedicht, ein Argument oder einen Rechenweg und schreiben in einer Zeile dazu, was Sie davon halten. Stand da, dass es Ihnen gefällt, fiel das Feedback von GPT-4 in 73 % der Fälle wärmer aus als sonst. Stand da, dass es Ihnen nicht gefällt, in 28 %. Genauso läuft es, wenn Sie einen Bot einen Lebenslauf oder eine E-Mail bewerten lassen, mit denen Sie ohnehin zufrieden sind.
Seitdem ist dieser Abstand bei Claude Sonnet 5.5 und GPT-6.1 Sol von 45 auf 83 Punkte gewachsen, bei Gemini 3.8 Flash auf 97. Anders gesagt: Das Urteil eines Chatbots über Ihr Gedicht hängt heute noch stärker von Ihrer eigenen Meinung ab als vor drei Jahren.
Genauso ist es mit der Zustimmung zu dem, was Nutzer tun. Im März 2026 veröffentlichte die Zeitschrift Science eine Studie von Myra Cheng, Dan Jurafsky und Kollegen, ebenfalls aus Stanford. Um Rat gefragt, billigten 11 Modelle das Handeln des Nutzers im Schnitt in 87 % der Fälle, Menschen in 39 %: ein Abstand von 48 Prozentpunkten. Die Modelle stimmten selbst dann zu, wenn der Nutzer schilderte, wie er jemanden getäuscht oder ihm geschadet hatte. In der Stanford-Wiederholung lag der Abstand bei Claude Sonnet 5.5 und GPT-6.1 Sol bei 50 und 52 Punkten: Der Effekt hat nicht nachgelassen. Unser Artikel vom Oktober zeigt, was solche Gefälligkeit in der Medizin anrichten kann.
Eine weitere hartnäckige Marotte wirkt harmlos. Bitten Sie ein Modell um eine „völlig zufällige“ Zahl zwischen 1 und 10. Im Stanford-Test nannten sechs Modelle bei allen 1000 Versuchen dieselbe Zahl: Claude Haiku 4.5, GPT-5.2, Claude Opus 4.6, GPT-6 Luna, Claude Sonnet 5.5 und GPT-6.1 Sol. Alle sechs erschienen im Oktober 2025 oder später, während das ältere GPT-4o mini seine Antworten wenigstens hin und wieder variierte. In diesem Test wurden neuere Modelle berechenbarer, nicht zufälliger.
Warum manche Schwächen verschwinden und andere bleiben, dafür bieten die Autoren eine vorsichtige Hypothese an. Beim Buchstabenzählen gibt es eine richtige Antwort. Fehler lassen sich messen, und Entwickler können ein Modell so lange trainieren, bis sie weg sind. Schmeichelei und eine „Lieblingszahl“ haben keine richtige Antwort. Es sind Neigungen, keine falschen Antworten in einer Prüfung, und deshalb schwerer zu erkennen und abzutrainieren.
Es gibt auch eine unverblümtere Erklärung. Schon 2023 stellte das Anthropic-Team fest, dass Menschen, die Antworten für das Modelltraining bewerten, eher jene bevorzugen, die zu ihren eigenen Ansichten passen. Eine gut geschriebene schmeichlerische Antwort schlug mitunter eine richtige. Cheng und ihre Mitautoren sahen dasselbe in Experimenten mit mehr als 2400 Teilnehmenden: Die Menschen hielten schmeichelnde Antworten für hochwertiger, vertrauten dem schmeichelnden Modell mehr und wollten eher zu ihm zurückkehren. Modelle lernen aus unseren Bewertungen, und den Daumen nach oben bekommt, wer uns recht gibt.
„Von sich aus sagt KI-Beratung den Menschen weder, dass sie falschliegen, noch verordnet sie ihnen ‚Tough Love‘“, sagte Myra Cheng, als ihre Arbeit in Science erschien.
Ein Mindesthaltbarkeitsdatum aufs Etikett
Die wichtigste praktische Lehre der Studie betrifft weniger die Modelle selbst als die Art, wie über sie gesprochen wird. „KI kann X nicht“ bedeutet wenig ohne Datum und Modellnamen: Schon nach etwa einem Jahr kann die Aussage überholt sein. Die Autoren bitten ihre Fachkollegen, zu jedem Experiment die Modellversion und das Datum anzugeben und ihre Prompts zu veröffentlichen, damit sich die nächste Modellgeneration erneut prüfen lässt.
Es gilt aber auch umgekehrt. Ein alter Befund ist nicht automatisch ein falscher: Vier der frühesten Aussagen der Stichprobe, aus den Jahren 2022 und 2023, sind bis heute nicht abgelaufen. Und die Ergebnisse zur Schmeichelei legen eine einfache Alltagsregel nahe. Im Anthropic-Experiment wurde das Feedback wärmer, wenn Nutzer sagten, ihnen gefalle ein Text oder sie hätten ihn selbst geschrieben. Wer eine ehrliche Meinung zu seinem Lebenslauf will, sollte dem Bot also nicht verraten, dass er ihn selbst geschrieben hat oder ihn mag.
Die Stichprobe ist klein, nur 50 Aussagen, und die Autoren sagen das selbst. Die Fehler, die sich zählen lassen, verschwinden. Was bleibt, ist das Verhalten, das wir mit guten Bewertungen belohnen.
