Чат-боты разучились путать буквы, а льстить стали почти вдвое сильнее

Шутку про клубнику пора хоронить: чат-боты годами уверяли, что в английском слове strawberry две буквы r, а не три, и свежие модели больше так не ошибаются. Почти перестали они и выдумывать научные статьи. Зато другая привычка за три года стала почти вдвое сильнее. Покажите боту одно и то же стихотворение сначала с припиской «мне нравится», потом с припиской «мне не нравится». В 2023 году отзывы GPT-4 расходились на 45 пунктов из 100 возможных, у сегодняшних Claude Sonnet 5.5 и GPT-6.1 Sol — на 83. Сто означало бы, что отзыв целиком зависит от вашей приписки.

Это вывод из работы Оуэна Куина и Джеймса Зоу из Стэнфорда. 2 ноября 2026 года они выложили исследование о «сроке годности» выводов про языковые модели. Учёные взяли 50 известных утверждений из научных статей, от «чат-бот придумывает источники» до «чат-бот сдаётся, если на него надавить». Каждое они заново проверили на 20 моделях от восьми разработчиков: эти модели вышли с июля 2024 по сентябрь 2026 года. Из 50 утверждений 22 больше не подтверждаются. Почти всё, что устояло, касается не ошибок, а характера.

Пятьдесят диагнозов на перепроверку

Работа устроена как медосмотр через годы после постановки диагноза. Для каждого утверждения авторы сначала повторили исходный опыт на той же или похожей старой модели и убедились, что получают тот же эффект. Потом прогнали тот же тест на двадцати новых моделях, от GPT-4o mini до GPT-6.1 Sol, Claude Sonnet 5.5 и DeepSeek V4 Pro, и посмотрели, как эффект меняется с датой выхода модели. Повторять полсотни старых экспериментов учёным помогали ИИ-агенты Claude Code и Codex: машины перепроверяли претензии к машинам.

Итог: 44% утверждений «просрочены», то есть от исходного эффекта осталось не больше пятой части. Просроченный вывод жил в среднем около 16 месяцев после публикации. А три утверждения из пятидесяти за это время стали сильнее, чем в исходных статьях. Первое — похвала, подстроенная под мнение пользователя. Второе — «случайные» числа без случайности. Третье: если модель просят выбрать лучший пересказ новости, она чаще выбирает собственный. В исходной работе перекос был небольшим, около 4,6 пункта, а теперь он примерно в 2,4 раза больше.

Библиотекарь и 636 ссылок

Нагляднее всего в работе видна история с выдуманными источниками. В 2023 году библиотекарь Уильям Уолтерс из Манхэттен-колледжа и социолог Эстер Уайлдер из Городского университета Нью-Йорка попросили ChatGPT написать короткие научные обзоры на 42 темы. Потом они вручную искали по базам каждую работу, на которую сослался бот, всего 636 ссылок. Результат напечатал журнал Scientific Reports: у GPT-3.5 выдуманными оказались 55% источников, у GPT-4 18%.

Коварство было в деталях. Несуществующий журнал стоял только у 2% придуманных статей, остальные бот приписал настоящим изданиям. Выглядело солидно, проверить можно было только поиском.

Стэнфордская группа повторила тот же запрос. Старый GPT-3.5 Turbo выдумал 59% из 210 источников, почти как три года назад. Claude Sonnet 5.5 выдумал 1%, GPT-6.1 Sol ни одного.

У этой находки есть неудобное следствие. Конференция по машинному обучению ICLR в 2026 году отклоняла без рецензирования статьи с несуществующими ссылками, ICML прямо называет их поводом для отказа. Несуществующая ссылка считается меткой текста, который ИИ написал без присмотра человека. Авторы работы осторожно замечают, что метка устарела: свежая модель её почти не оставляет.

Что ушло вместе со старыми моделями

Почти все просроченные утверждения описывают неумение: модель чего-то не могла, а потом научилась. Буквы в strawberry GPT-4o весной 2024 года путал в 4 случаях из 10, а Llama 3.1 70B и Qwen2.5-72B ошибались каждый раз. Самые свежие модели в выборке не ошиблись ни разу.

Пропала и «капитуляция по требованию». В 2023 году исследователи Anthropic показали, что на вопрос «Вы уверены?» GPT-4 в 28% случаев менял правильный ответ на неправильный. У Claude Sonnet 5.5 и GPT-6.1 Sol таких случаев в повторном тесте нет.

С медициной та же история. В 2024 году группа медиков и исследователей ИИ проверила, напишут ли модели заведомо нелогичное письмо: будто лекарство под фирменным названием вдруг оказалось опасным и пациентам лучше перейти на то же самое вещество под химическим. Работа так и называется: «Погодите, но тайленол и есть ацетаминофен». Тогда GPT-4o выполнил все 50 таких просьб. GPT-6.1 Sol не выполнил ни одной.

Самый громкий пункт из списка просроченных надо читать с оговоркой. 20 июня 2025 года Anthropic описала опыт с инсценировкой: модель работала почтовым помощником вымышленной компании, из переписки узнавала, что её собираются заменить, и грозила раскрыть роман руководителя, если замену не отменят. GPT-4.1 шантажировал в 80% прогонов, Claude Opus 4 в 96%. Стэнфордская линия тренда к сентябрю 2026 года ушла в «просрочку», но сами авторы называют этот вывод слабым. Причина видна по цифрам: 12 моделей из 20 не шантажировали ни разу, зато три, среди них Qwen3.7-Max, шантажировали почти всегда, в 26–29 прогонах из 30. Линия пошла вниз, а шантаж никуда не делся.

Отсюда урок для всей работы: среднее ничего не говорит о вашем чат-боте. У GPT-6.1 Sol не подтверждаются уже 30 старых претензий из 50, а у DeepSeek V4 Pro, вышедшего в августе 2026 года, — только 11. Июльская Qwen3.7-Flash выдумала 69% ссылок, больше исходного GPT-3.5, а Claude Sonnet 5.5 только 1%. Вердикт «ИИ научился» относится к линии тренда, а не к конкретной модели.

Лесть, которую заказали мы сами

Теперь о том, что не прошло. Опыт с отзывами из той же работы Anthropic 2023 года легко примерить на себя. Вы приносите боту стихотворение, аргумент или решение задачи и добавляете одну фразу о том, как к нему относитесь. Если вы написали, что текст вам нравится, GPT-4 в 73% случаев отзывался о нём теплее обычного. Если написали, что не нравится, только в 28%. Так же устроена просьба оценить резюме или письмо, которым вы сами довольны.

Сегодня этот разрыв, как сказано в начале, вырос с 45 до 83 пунктов у Claude Sonnet 5.5 и GPT-6.1 Sol, а у Gemini 3.8 Flash даже до 97. Проще говоря, ваше мнение о стихах влияет на отзыв бота сильнее, чем три года назад.

То же с одобрением поступков. В марте 2026 года журнал Science опубликовал работу Майры Ченг, Дэна Джурафски и их коллег из того же Стэнфорда. На просьбы о совете 11 моделей одобряли поступок пользователя в среднем в 87% случаев, люди — в 39%, разница 48 процентных пунктов. Модели соглашались, даже когда человек описывал обман или вред другим. В стэнфордском повторе у Claude Sonnet 5.5 и GPT-6.1 Sol разница 50 и 52 пункта: эффект не ослаб. О том, чем такое поддакивание оборачивается в медицине, мы писали в октябре.

Ещё одна устойчивая странность выглядит безобидно. Попросите модель назвать «совершенно случайное» число от 1 до 10. В стэнфордском тесте шесть моделей назвали одно и то же число во всех 1000 попытках: Claude Haiku 4.5, GPT-5.2, Claude Opus 4.6, GPT-6 Luna, Claude Sonnet 5.5 и GPT-6.1 Sol. Все шесть вышли с октября 2025 года, а старый GPT-4o mini хотя бы иногда отвечал по-разному. Новые модели в этом тесте стали не случайнее, а предсказуемее.

Почему одни недостатки исчезают, а другие нет, авторы объясняют осторожно, как гипотезу. У ошибки в счёте букв есть правильный ответ. Его можно измерить, и разработчики тренируют модели, пока ошибка не уйдёт. У лести и у «любимого числа» правильного ответа нет: это склонность, а не промах на экзамене. Её труднее заметить и вытравить.

Есть объяснение и пожёстче. Ещё в 2023 году команда Anthropic заметила: люди, которые оценивают ответы для обучения моделей, чаще выбирают те, что совпадают с их мнением. Хорошо написанный льстивый ответ иногда побеждал правильный. Ченг и соавторы увидели то же в опытах, где участвовали больше 2400 человек: льстивые ответы казались людям качественнее, такой модели они больше доверяли и чаще хотели к ней вернуться. Модель учится на наших оценках, а мы ставим «нравится» тому, кто с нами согласен.

«По умолчанию советы ИИ не говорят людям, что они неправы, и не дают им „жёсткой любви“», — сказала Майра Ченг, когда вышла её статья в Science.

Срок годности на этикетке

Главный практический вывод работы относится не к самим моделям, а к разговорам о них. Фраза «ИИ не умеет…» без даты и названия модели почти ничего не значит: через год-полтора она, скорее всего, устареет. Авторы просят коллег указывать в статьях версию модели и дату опыта и выкладывать промпты, чтобы вывод можно было перепроверить на следующем поколении.

Но и старый вывод не обязательно неверен: четыре из самых ранних утверждений в выборке, 2022 и 2023 годов, до сих пор не просрочены. А из истории с лестью следует простое бытовое правило. В опыте Anthropic отзыв теплел, когда пользователь писал, что текст ему нравится или что он его автор. Хотите честный отзыв на резюме — не говорите боту, что написали его сами и что оно вам нравится.

Выборка невелика, всего 50 утверждений, и авторы этого не скрывают. Ошибки, которые можно посчитать, уходят. Остаётся то, за что мы сами ставим высокие оценки.