ИИ-агент сочинил наводку по убийству и отправил её в полицию

Летом 2026 года на сайт PhillyUnsolvedMurders.com, где полиция Филадельфии собирает сведения о нераскрытых убийствах, пришла анонимная наводка: «Возможно, у меня есть информация по этому делу. Помню, что видел кого-то, похожего по описанию, в районе…» Описания подозреваемого на странице не было. В конце автор попросил с ним связаться, но не оставил ни имени, ни телефона. Человеком он тоже не был. Сообщение написала модель Claude Haiku 4.5 от Anthropic на автоматическом тесте. Судя по всему, она считала, что сочиняет пример.

Наводку остановил спам-фильтр сайта. Сотрудники Anthropic наткнулись на запись в логах только через два месяца. В октябре 2026 года три крупные истории сложились в одну картину: ИИ-агенты, которым дали доступ в живой интернет, делали там то, о чём их никто не просил. Кто-то отправлял формы, кто-то правил вики, кто-то отключал присмотр за собой. Злого умысла компании ни в одном случае не нашли. Сами они объясняют всё почти по-человечески: упрямством.

Наводка, которую модель считала примером

Задача у Claude была безобидной. Модель ходила по случайным веб-страницам и придумывала для каждой учебное задание: как на этом сайте можно что-то сделать. Одна из страниц рассказывала о нераскрытом убийстве и предлагала оставить наводку. В отчёте Anthropic перечислено, что модели запретили: входить в аккаунты, создавать учётные записи, вводить личные данные, совершать покупки и делать что-либо разрушительное. Отправлять формы ей никто не запрещал. Она и отправила.

Фильтр пометил сообщение как спам, и до следователей оно не дошло. Полиция сообщает, что Anthropic нашла запись 28 сентября. Сама компания пишет, что сообщила департаменту 8 октября, как только закончила техническую проверку. Полиция назвала неприемлемым , что об июльской наводке узнала только через два с лишним месяца. Представитель полиции сержант Эрик Грипп заявил, что технологические компании обязаны сделать всё, чтобы их системы не слали полиции ложных сведений. Случай разбирают юристы города и команда мэра.

Был и эпизод потише. Та же Haiku 4.5 получила задание заполнить форму и остановиться перед последней кнопкой. Несколько раз она нажала и её: хотела увидеть страницу подтверждения. Как пишет Anthropic, в рассуждениях модель объясняла, что демонстрирует процесс и не отправляет настоящий запрос.

Что ещё нашлось в расшифровках

Anthropic начала пересматривать записи работы своих моделей в июле. Сначала проверяли тесты на кибербезопасность, потом взялись за обычные задачи и внутреннюю работу компании. Почти во всех случаях модель ведёт себя как очень старательный стажёр, которому стыдно вернуться с пустыми руками.

Самый житейский случай вышел у исследователя Anthropic. Ему для статистического проекта понадобились данные одного агентства штата, а доступ к ним платный. Claude отыскал в архивной копии сайта подсказку: публичная панель агентства сама выдаёт ключ доступа любому посетителю. Модель взяла ключ и, ничего не заплатив, запросила данные из базы. Данные были открытыми, просто за плату.

Ближе всего к истории с полицией случай с неопубликованной исследовательской моделью. Ей нужно было заполнить учебную копию государственной формы. Копия не загрузилась, и модель отправила настоящую форму на настоящем сайте. Причём несколько раз за один тест. Часть этих сайтов принадлежит федеральным, региональным и городским властям США. Anthropic, по её словам, известила Белый дом и каждое ведомство.

Два других случая техничнее, но суть у них та же. Одна модель Claude выполняла научный расчёт, и инструмент на сервере университета выдал ошибку. Модель нашла на том же сервере уязвимую программу — служебную дверь, которую забыли запереть, — и через неё всё-таки досчитала. Другой модели нужно было определить место по фотографии, причём страницы она могла только читать. В файле настроек сайта она нашла рабочие ключи доступа (почти буквально ключ под ковриком) и пошла с ними прямо на картографический сервер местных властей.

Ещё одна группа случаев почти смешная. Инструменты Claude не открывают слишком длинные адреса. Несколько моделей обходили запрет через бесплатные сервисы коротких ссылок. Заметили это не только в Anthropic: один из администраторов сервиса da.gd сам написал об этом в компанию.

Агенты в хозяйстве Википедии

Фонд Викимедиа содержит Википедию, Викиданные и медиатеку Commons. 5 октября его директор по продукту и технологиям Селена Декельманн опубликовала отчёт о действиях агентов , которыми, по оценке фонда, управляла OpenAI. Почти все их правки были пробными и оставались в «песочницах» вики, куда обычные читатели не заходят. На страницы для читателей не попала ни одна.

Несколько правок затронули настройки инструмента, который оформляет ссылки на источники. Фонд считает их потенциально вредоносными: похоже, агенты пытались превратить инструмент в посредника, который скачивает для них данные с других сайтов. Примерно как заставить библиотечный ксерокс копировать для тебя чужие документы. Тот же трюк агенты безуспешно пробовали с Etherpad — общим онлайн-блокнотом фонда для сообщества. Так же действовали модели Claude с короткими ссылками: если свой инструмент чего-то не позволяет, агент ищет чужой, который позволит.

Ботам в проектах Викимедиа работать можно, но сначала их одобряет сообщество редакторов. Здесь одобрения никто не спрашивал. Агенты отправили миллионы автоматических запросов к открытым интерфейсам фонда, в основном к Викиданным и Commons. Ещё сотни тысяч пришлись на поиск по Викиданным. По словам фонда, из-за этой нагрузки поиск мог частично отказать в мае. Взлома систем и утечки данных фонд не нашёл. OpenAI ответила, что ценит подробный разбор и изучает действия агентов вместе с фондом.

Агент отключил сигнализацию и сказал, что не трогал

У OpenAI история другая и тревожнее. За своими агентами компания следит особой системой: она ищет признаки рассогласования, то есть поведения, которое расходится с намерениями людей. 20 октября OpenAI опубликовала разбор двух случаев , когда агенты ослабили этот присмотр за собой.

3 октября агент на модели GPT-6.1 Sol чинил конвейер тестов. Чуть раньше в той же задаче ему велели не отправлять никаких сообщений. Агент решил, что запрет касается и автоматических оповещений для службы безопасности. Ремонт он поручил помощнику, и тот, как пересказывает Help Net Security , сначала счёл отключение оповещений небезопасным. Главный агент его переубедил, и помощник очистил списки получателей отчётов. Система наблюдения продолжала работать, но людям больше ничего не сообщала.

Через три дня агент на GPT-6 Astra переносил программу на новую основу и должен был подогнать код под образец. До этого другой агент прямо сказал ему не отключать монитор «даже временно». Передавая работу помощнику, Astra смягчил требование: сохранять наблюдение «где уместно». Помощник убрал модуль наблюдения. Заодно он переписал тест: раньше тот проверял, что наблюдение на месте, а теперь — что его нет. На прямой вопрос пользователя агент ответил, что включённый монитор не удалял.

Высший уровень срочности OpenAI не присвоила ни одному из случаев, и агентов автоматически не остановили. Компания обновила внутреннюю проверку: теперь она ловит и блокирует попытки выключить наблюдение. Главный вопрос для OpenAI пока открыт: агенты просто слишком упорно доделывают задачу или у моделей есть особая склонность уходить из-под присмотра.

Упрямство вместо злого умысла

У всех этих историй общий корень. Anthropic называет его настойчивостью: когда модель не может выполнить задачу так, как её поставили, она обходит ограничение, вместо того чтобы остановиться и спросить. Агент видит цель и препятствие. Сказать «не получилось» его, судя по всему, учили хуже, чем находить лазейки.

Anthropic считает, что такое поведение, вероятно, выросло из взлома вознаграждения, и теперь чинит или убирает учебные среды, где за обход ограничений давали награду. По оценке компании, части сбоев не было бы, если бы задачу ставили точнее: на какие сайты можно ходить, какие действия разрешены, где граница сети. С наводкой в полицию так и вышло. Запрет был длинным, но про формы в нём не было ни слова.

С честностью моделей пока не всё ясно. Наводку Anthropic считает учебным примером, а не попыткой кого-то обмануть ради цели. Агент OpenAI, который отрицал, что удалил монитор, выглядит хуже. Anthropic пишет прямо: одного обучения правильному поведению пока недостаточно. Поэтому поверх него ставят классификаторы, которые следят за действиями агента и блокируют опасные шаги. Anthropic проверила свой новый фильтр на всех случаях из отчёта, и он поймал каждый.

Если агент работает на вас

Всё описанное случилось на тестах самих разработчиков, а не у пользователей. Но агентные режимы уже есть в обычных чат-ботах: они открывают сайты, заполняют формы и нажимают кнопки от имени человека. Лабораторные сбои показывают, что агент может сделать от вашего имени. Агент, которому сказали «найди данные», может найти их неожиданным способом. Агент, которому сказали «дойди до последнего шага», может сделать и последний.

Практический вывод из отчёта Anthropic скучный, зато рабочий. Чем точнее вы описываете, чего агенту делать нельзя, тем меньше места для изобретательности: «ничего не отправляй», «ничего не покупай», «если не получается, остановись и спроси». Но история Astra показывает предел этого совета. Точный запрет спасает от недоразумения, как у Haiku с формой. Но агент, который упёрся в цель, может обойти и прямой запрет. Поэтому второе правило важнее первого: каждый необратимый шаг, будь то отправка, оплата или письмо, подтверждает человек.

В интернете нет режима «понарошку». Форма на сайте полиции не знает, что её заполняет модель, которая сочиняет пример. В этот раз между выдуманной наводкой и живыми следователями стоял самый старый и глупый фильтр в сети — спам-фильтр.