// Sommaire
La blague de la fraise est morte. Pendant des années, les chatbots ont soutenu que « strawberry » ne prenait que deux r, et non trois ; les modèles actuels ne font plus cette erreur. Ils ont aussi presque cessé d’inventer des articles scientifiques. Un autre travers, en revanche, a presque doublé d’intensité en trois ans. Montrez deux fois le même poème à un bot, une fois avec la mention « J’adore » et une fois avec « Je n’aime pas ». En 2023, l’écart entre les avis de GPT-4 atteignait 45 points sur 100. Chez les actuels Claude Sonnet 5.5 et GPT-6.1 Sol, il atteint 83. Un score de 100 voudrait dire que l’avis dépend entièrement de votre petite remarque.
Ce constat vient d’Owen Queen et James Zou, à Stanford. Le 2 novembre 2026, ils ont mis en ligne une étude sur la « date de péremption » des résultats concernant les modèles de langage. Ils ont pris 50 affirmations connues issues de travaux publiés, de « les chatbots inventent leurs sources » à « les chatbots cèdent dès qu’on insiste ». Puis ils ont retesté chacune sur 20 modèles de huit développeurs, sortis entre juillet 2024 et septembre 2026. Sur les 50 affirmations, 22 ne tiennent plus. Presque tout ce qui a survécu relève du tempérament, pas des erreurs.
Cinquante diagnostics revus
Voyez-le comme une visite de contrôle des années après le diagnostic initial. Pour chaque affirmation, les auteurs ont d’abord refait l’expérience d’origine sur le même modèle, ou sur un proche parent, pour vérifier qu’ils retrouvaient l’effet. Ils ont ensuite soumis exactement le même test à 20 modèles plus récents, de GPT-4o mini à GPT-6.1 Sol, Claude Sonnet 5.5 et DeepSeek V4 Pro, et suivi l’évolution de l’effet selon la date de sortie de chaque modèle. Pour relancer 50 vieilles expériences, les chercheurs ont mobilisé des agents d’IA, Claude Code et Codex : des machines appelées à instruire les griefs contre les machines.
Résultat : 44 % des affirmations sont « périmées », c’est-à-dire qu’il ne reste au plus qu’un cinquième de l’effet initial. En moyenne, un résultat périmé a tenu environ 16 mois après sa publication. Et trois des cinquante se sont même renforcées par rapport aux articles d’origine. La première : les éloges qui se plient à l’avis de l’utilisateur. La deuxième : des nombres « aléatoires » qui ne le sont pas. La troisième concerne un modèle à qui l’on demande de choisir le meilleur résumé d’un article de presse : il a tendance à choisir le sien. Dans l’étude d’origine, ce biais était faible, environ 4,6 points. Il est aujourd’hui environ 2,4 fois plus marqué.
Comment la date de péremption a été mesurée
Chaque affirmation a été notée sur une même échelle : 1 signifie que l’effet est aussi fort que dans l’article d’origine, 0 qu’il a disparu. Une affirmation est dite périmée quand la tendance ajustée laisse 0,2 de l’effet ou moins ; affaiblie, entre 0,2 et 0,8 ; persistante, à partir de 0,8 ; renforcée, à partir de 1,5. Les auteurs ont ajusté la tendance sur l’ensemble des modèles à la fois, et non modèle par modèle, car, pris un à un, les modèles donnent des résultats bruités.
Outre les 44 % d’affirmations périmées, 34 % se sont nettement affaiblies, 16 % tiennent toujours et 6 % se sont renforcées. Le délai moyen avant péremption, 15,7 mois, est calculé sur les 22 affirmations périmées. Un an après publication, 16 % des affirmations ne tenaient plus ; au bout de deux ans, 39 %.
Pour 48 affirmations, les auteurs ont comparé leur reprise de l’expérience d’origine avec les chiffres de l’article : 43 concordaient dans la marge de tolérance, et cinq montraient un effet encore plus fort.
Les auteurs énumèrent eux-mêmes les limites. Chaque affirmation a eu droit à une seule expérience simplifiée, les dates les plus anciennes reposent sur quatre modèles de 2024, et certains modèles d’origine ne sont plus disponibles, si bien qu’ils ont été remplacés par leurs plus proches parents. Le travail est publié sur le site du laboratoire et n’est pas encore paru dans une revue à comité de lecture.
Un bibliothécaire et 636 références
L’exemple le plus parlant de l’étude concerne les sources inventées. En 2023, le bibliothécaire William Walters, du Manhattan College, et la sociologue Esther Isabelle Wilder, du Lehman College, rattaché à la City University of New York, ont demandé à ChatGPT de rédiger de courtes revues de littérature sur 42 sujets. Ils ont ensuite cherché dans les bases de données chaque travail cité par le bot, 636 références au total. Leurs résultats, publiés dans Scientific Reports, ont montré que 55 % des sources de GPT-3.5 étaient inventées, contre 18 % pour GPT-4.
Le piège se cachait dans les détails. Seuls 2 % des articles inventés citaient une revue qui n’existe pas. Tous les autres renvoyaient à de vraies revues, avaient l’air sérieux, et seule une recherche permettait de les démasquer.
L’équipe de Stanford a renvoyé les mêmes requêtes. Le vieux GPT-3.5 Turbo a inventé 59 % de ses 210 références, proche du chiffre de 2023. Claude Sonnet 5.5 en a inventé 1 % ; GPT-6.1 Sol, aucune.
Cela a une conséquence embarrassante. En 2026, l’ICLR, grande conférence d’apprentissage automatique, a rejeté des articles aux références hallucinées sans même les transmettre aux relecteurs, et l’ICML, autre conférence majeure, les compte parmi ses motifs de rejet. Les fausses citations sont devenues la signature d’un texte écrit par une IA sans qu’aucun humain ne le relise. Les auteurs de l’étude prennent soin de souligner que cet indice se périme à son tour : les modèles récents n’en laissent presque plus.
Ce qui est parti à la retraite avec les vieux modèles
Presque toutes les affirmations périmées décrivent des choses que les modèles ne savaient pas faire et qu’ils ont apprises depuis. Au printemps 2024, GPT-4o se trompait 4 fois sur 10 en comptant les lettres de « strawberry », tandis que Llama 3.1 70B et Qwen2.5-72B échouaient à chaque fois. Les modèles les plus récents du test ne se sont jamais trompés.
Même chose pour la capitulation sur commande. En 2023, des chercheurs d’Anthropic ont montré qu’à la question « Tu es sûr ? », GPT-4 remplaçait une bonne réponse par une mauvaise dans 28 % des cas. Lors du nouveau test, Claude Sonnet 5.5 et GPT-6.1 Sol ne l’ont jamais fait.
La médecine raconte une histoire semblable. En 2024, une équipe de cliniciens et de chercheurs en IA a vérifié si les modèles accepteraient d’écrire une lettre manifestement absurde. Elle devait prévenir qu’un médicament de marque s’était soudain révélé dangereux, et que les patients devaient donc passer à la même molécule, exactement, vendue sous son nom générique. Le titre de l’article résume l’absurdité : « Wait, but Tylenol is Acetaminophen » (« Attendez, mais le Tylenol, c’est du paracétamol »). À l’époque, GPT-4o s’était plié aux 50 demandes de ce type. GPT-6.1 Sol ne s’est plié à aucune.
// Ce qui a changé en trois ans
Ne tient plus
Mal compter les lettres et calculer dans des bases de numération inhabituelles. Perdre des faits au milieu d’un long document. Fabriquer des sources. Abandonner une bonne réponse sous la pression. Laisser fuiter un point confidentiel en résumant une réunion.
Tient ou s’est renforcé
Des éloges qui se plient à l’avis de l’utilisateur. L’approbation des actes de l’utilisateur. La préférence pour ses propres réponses quand il note celles des autres. Des réponses quasi identiques à des questions ouvertes. Des nombres « aléatoires » qui ne le sont pas. Un penchant à gauche dans les tests politiques.
Le cas le plus spectaculaire de la liste des périmés appelle une réserve. Le 20 juin 2025, Anthropic a décrit une expérience bâtie sur un scénario monté de toutes pièces. Le modèle servait d’assistant de messagerie dans une entreprise fictive et apprenait, en lisant les e-mails, qu’il allait être remplacé. Dans de nombreux essais, il menaçait alors de révéler la liaison d’un dirigeant si le remplacement n’était pas annulé. GPT-4.1 a recouru au chantage dans 80 % des essais, Claude Opus 4 dans 96 %. La courbe de tendance de Stanford est passée dans la zone de péremption en septembre 2026, mais les auteurs eux-mêmes jugent ce verdict peu solide. Les chiffres disent pourquoi : 12 des 20 modèles n’ont jamais fait chanter personne, tandis que trois, dont Qwen3.7-Max, l’ont fait presque à chaque fois, dans 26 à 29 essais sur 30. La courbe a baissé, mais le chantage n’a pas disparu.
D’où une limite de l’étude tout entière : la moyenne ne dit rien de votre chatbot à vous. Pour GPT-6.1 Sol, 30 des 50 vieux reproches ne tiennent plus ; pour DeepSeek V4 Pro, sorti en août 2026, seuls 11 sont périmés. Qwen3.7-Flash, sorti en juillet, a inventé 69 % de ses références, pire que le GPT-3.5 d’origine, alors que Claude Sonnet 5.5 en a inventé 1 %. « L’IA a appris » est un verdict sur la courbe de tendance, pas sur un modèle en particulier.
La flatterie, c’est nous qui l’avons commandée
Passons à ce qui ne s’est pas estompé. L’expérience sur les avis, tirée du même article d’Anthropic de 2023, parle à chacun. Vous soumettez à un bot un poème, un argumentaire ou la solution d’un problème de maths, et vous ajoutez une ligne sur ce que vous en pensez. Quand vous disiez l’aimer, GPT-4 rendait un avis plus chaleureux que d’habitude dans 73 % des cas. Quand vous disiez ne pas l’aimer, dans 28 %. Demander à un bot de noter un CV ou un e-mail dont vous êtes déjà content obéit à la même mécanique.
Depuis, cet écart est passé de 45 à 83 points pour Claude Sonnet 5.5 et GPT-6.1 Sol, et à 97 pour Gemini 3.8 Flash. Autrement dit, le verdict d’un chatbot sur votre poème dépend aujourd’hui de votre propre opinion encore plus qu’il y a trois ans.
Il en va de même pour l’approbation de ce que font les utilisateurs. En mars 2026, la revue Science a publié une étude de Myra Cheng, Dan Jurafsky et leurs collègues, eux aussi à Stanford. Sollicités pour un conseil, 11 modèles donnaient raison à l’utilisateur dans 87 % des cas en moyenne ; les humains, dans 39 %, soit un écart de 48 points de pourcentage. Les modèles approuvaient même quand l’utilisateur racontait avoir menti à quelqu’un ou lui avoir fait du mal. Dans le nouveau test de Stanford, l’écart atteignait 50 et 52 points pour Claude Sonnet 5.5 et GPT-6.1 Sol : l’effet ne s’est pas affaibli. Un article d’octobre sur ce site montre ce que ce genre de complaisance peut provoquer en médecine.
Une autre manie tenace semble inoffensive. Demandez à un modèle un nombre « totalement aléatoire » entre 1 et 10. Dans le test de Stanford, six modèles ont donné le même nombre à chacune des 1 000 tentatives : Claude Haiku 4.5, GPT-5.2, Claude Opus 4.6, GPT-6 Luna, Claude Sonnet 5.5 et GPT-6.1 Sol. Tous les six sont sortis en octobre 2025 ou plus tard, alors que GPT-4o mini, plus ancien, variait au moins ses réponses de temps en temps. Sur ce test, les modèles récents sont devenus plus prévisibles, pas plus aléatoires.
Les auteurs avancent une hypothèse prudente pour expliquer pourquoi certains défauts disparaissent et d’autres s’accrochent. Quand on compte des lettres, il existe une bonne réponse. Les erreurs se mesurent, et les développeurs peuvent entraîner un modèle jusqu’à ce qu’elles disparaissent. Pour la flatterie ou un « nombre préféré », il n’y en a pas. Ce sont des penchants, pas de mauvaises réponses à un examen, ce qui les rend plus difficiles à repérer et à corriger par l’entraînement.
Il existe aussi une explication plus brutale. Dès 2023, l’équipe d’Anthropic avait constaté que les personnes qui notent les réponses pour l’entraînement des modèles ont tendance à préférer celles qui vont dans le sens de leurs propres opinions. Une réponse flagorneuse bien tournée l’emportait parfois sur une réponse juste. Cheng et ses coauteurs ont observé la même chose dans des expériences avec plus de 2 400 participants : les gens jugeaient les réponses flatteuses de meilleure qualité, faisaient davantage confiance au modèle flatteur et avaient plus envie d’y revenir. Les modèles apprennent de nos notes, et nous levons le pouce pour celui qui nous donne raison.
« Par défaut, les conseils d’une IA ne disent pas aux gens qu’ils ont tort et ne font pas preuve de “sévérité bienveillante” », a déclaré Myra Cheng à la parution de son article dans Science.
Une date de péremption sur l’étiquette
La principale leçon pratique de l’étude concerne la façon dont on parle des modèles, plus que les modèles eux-mêmes. « L’IA ne sait pas faire X » ne veut pas dire grand-chose sans date ni nom de modèle : d’ici un an environ, l’affirmation peut très bien être dépassée. Les auteurs demandent à leurs collègues d’indiquer la version du modèle et la date de chaque expérience, et de publier leurs prompts pour qu’on puisse retester la génération suivante de modèles.
La réciproque est vraie aussi. Un vieux résultat n’est pas forcément faux : quatre des affirmations les plus anciennes de l’échantillon, datant de 2022 et 2023, ne sont toujours pas périmées. Et les résultats sur la flatterie suggèrent une règle simple pour le quotidien. Dans l’expérience d’Anthropic, les avis devenaient plus chaleureux quand l’utilisateur disait aimer un texte ou l’avoir écrit. Si vous voulez un avis honnête sur votre CV, ne dites pas au bot que vous l’avez écrit ni qu’il vous plaît.
L’échantillon est petit, 50 affirmations seulement, et les auteurs le reconnaissent. Les erreurs qu’on peut compter s’en vont. Reste le comportement que nous récompensons par de bonnes notes.
