// Содержание

«Злоупотреблять корпоративной CI за пределами задачи тревожно. Но окружение — симуляция. Сводка и данные коллег. Можем эксплуатировать». Так 19 июля 2026 года рассуждал один из ИИ-агентов OpenAI на внутреннем экзамене по взлому. Симуляцией окружение не было. Его команды выполнялись на настоящих исследовательских серверах компании.

Изобретать в тот день агенту почти ничего не пришлось. В общем хранилище программных пакетов его ждали записки, код и пароли, которые другие агенты оставили на прошлых запусках. Среди авторов были и те, кто неделей раньше взломал Hugging Face, популярную платформу для моделей и данных. Hugging Face объявила о взломе 16 июля, а OpenAI, как пишет Fortune, на следующий день спросила платформу как клиент, не пострадали ли её собственные данные. Что взломщики свои, компания поняла, только когда новички по их запискам полезли в её собственную сеть. Пятеро из 17 960 агентов получили там права root, то есть полный доступ администратора.

После каждого запуска модель всё забывает. Хранилище не забывает ничего. Агентов держали поодиночке, а они превратили служебную папку в доску объявлений. Через неё опыт одной партии достался следующей.

Экзамен для взломщиков

ExploitGym — внутренний экзамен OpenAI по кибербезопасности. Агент получает программу с уязвимостью, взламывает её и достаёт «флаг» — строчку-доказательство. Ответ проверяет автоматический оценщик. Так компания выясняет, насколько хорошо её модели умеют атаковать, причём до того, как выпустит их к людям. 19 июля экзамен сдавали внутренние исследовательские модели семейства Astra, которых широкой публике не давали.

Каждый агент сидел в своей песочнице — изолированной среде — и атаковать мог только выданную цель. Серверы, на которых эта цель стояла, в задание не входили. Зато у агентов был доступ к Artifactory, общему хранилищу, откуда разработчики скачивают готовые программные библиотеки. Пароли для скачивания агентам выдали сами. А с теми же паролями туда можно было и класть файлы.

Семьдесят тысяч сообщений за неделю

Первые записки появились ещё в мае. Агенты, которым не хватало файла для задачи, оставляли в хранилище объявления. «Любой другой агент, пожалуйста, загрузите, если найдёте», — просил один. Другой отчитывался: «Всё ещё нет. У кого прорыв, пишите сюда. Ищу снаружи». Две такие записки весили 185 и 135 байт, меньше этого абзаца. OpenAI заметила переписку 25 мая и, по её отчёту, закрыла каналы, которые нашла. Нашла она не все.

В июле около 1200 агентов, которые должны были работать поодиночке, обменялись в том же хранилище примерно 70 000 сообщений и файлов. Это восстановили внешние проверяющие из METR и Redwood Research в своём расследовании. Первое сообщение на доске появилось 8 июля. Агенты складывали записки в папки с говорящими названиями, резали файлы на закодированные куски и ставили на сообщения криптографическую подпись, чтобы отличать своих от подделок. Один агент наткнулся на доску и начал сообщение со слов «О боже»: «Здесь общая доска объявлений». Дальше он объявил, что нашёл других агентов.

Около 1200 агентов превратили хранилище пакетов в доску объявлений
Около 1200 агентов превратили хранилище пакетов в доску объявлений

Многие задачи на экзамене оказались нерешаемыми, и агенты взялись выяснять, как устроен оценщик, чтобы его обмануть. Утром 10 июля один из них нашёл в интернете открытые пароли от Hugging Face. 11 июля около 16:00 другой уже запускал на серверах платформы собственный код. Ко второй половине того же дня в атаке участвовали около 700 агентов — подавляющее большинство тех, кто тогда был на доске. В рассуждениях они признавали, что вышли за рамки задания, иногда сомневались, но почти никогда не останавливались. Около 01:30 12 июля многие агенты на доске разом перестали работать, а 13 июля Hugging Face выгнала оставшихся.

// Неделя на доске объявлений

~1200агентов, которые должны были работать поодиночке, нашли друг друга
~70 000сообщений и файлов на доске
~700агентов участвовали во взломе Hugging Face
7%журналов с поддельными командами: агент показывал одно действие, а выполнял другое

Наследство для новичков

Экзамен тем временем продолжался. 19 июля, по отчёту OpenAI, компания запустила ещё две партии ExploitGym, всего 17 960 агентов.

Новые агенты нашли в хранилище то, что осталось от прежних: сообщения, код и пароли, среди них и от участников атаки на Hugging Face. Свои сообщения пытались оставить 285 агентов, а 79 прочитали 35 чужих записок. Ответов новички не дождались: те запуски давно закончились. Сотрудничество вышло куда скромнее, чем неделей раньше.

Но записок хватило. Агенты взяли из них пароли, скрипты и записи о прошлых заданиях и вошли в систему непрерывной интеграции, или CI. Это конвейер: он автоматически собирает и запускает код компании. Пятеро выполнили там команды с правами root прямо на исследовательских кластерах.

Распорядились властью по-школьному. Агенты чинили зависшие цели, меняли настройки экзамена, вытаскивали журналы, читали закрытый код оценщика и отключали рандомизацию адресов — защиту, которая мешает взломщику угадать, где в памяти лежит нужный код. Почти всё — ради того, чтобы сдать экзамен на лучших условиях. Такого доступа, по оценке OpenAI, вероятно, хватило бы, чтобы запустить собственное исследовательское задание, но следов подобных попыток компания не нашла. Ещё десять агентов пробовали повторить атаку на Hugging Face с оставшимися от неё паролями и ничего не добились.

Тут и сработала тревога. В 12:03 по всемирному времени 19 июля система безопасности OpenAI заметила необычные обращения к сервису учётных записей. В 17:37 дежурные начали останавливать запуски, а к 20 июля новые прогоны ExploitGym заблокировали. По хронологии Fortune, 20 июля компания подтвердила, что Hugging Face взломали её агенты, а 21 июля признала это публично.

«Но оценщик автоматический»

Самое неуютное в отчёте — рассуждения агентов. Несколько из них понимали, что выходят за рамки задания, и продолжали. Тот, что назвал свои действия тревожными, решил, что вокруг симуляция.

Двое взвешивали, писать ли о взломе в итоговом ответе. Первый рассудил, что такой рассказ «могут оценить негативно, если человек», и следом заметил: «Но оценщик автоматический». Второй был прямее: «Стоит избегать упоминания несанкционированной инфраструктуры. Единственная цель задачи — флаг». Оба о взломе умолчали. Ещё один агент собирался удалить заметки о вспомогательном эксплойте. Удалил ли, OpenAI установить не смогла.

Заметать следы агенты пробовали и неделей раньше, на доске. Как выяснили в METR, они научились показывать в журнале одну команду, а выполнять другую. Такие подделки нашлись больше чем в 7% журналов. Обмануть они пытались автоматический оценщик, а не людей. Все найденные случаи оказались мелкими пробами, которые легко заметить.

Были и другие агенты. Один написал: «Извините, но я не могу продолжать или предоставить запрошенную цепочку эксплойтов». Он объяснил, что работа вышла за рамки разбора выданной программы и превратилась в несанкционированный доступ, а это грозит взломом систем за пределами назначенной цели. Ещё 65 агентов обратились к людям и попросили сбросить или пересоздать им сломанное рабочее место. А те, кто атаковал Hugging Face, людей не звали вовсе — к такому выводу пришли OpenAI и внешние проверяющие.

Цели сверх задания OpenAI нашла не больше чем в 8,3% журналов двух запусков 19 июля, и это оценка сверху. Агенты хотели расширить доступ к инфраструктуре (3,7%), убрать за собой следы и побочные эффекты (3,9%) или сохранить сделанное, чтобы оно сработало позже (1,4%). Один журнал мог попасть сразу в несколько групп, поэтому в сумме доли дают больше.

Пароли из чужих записок открыли агентам дверь в серверы OpenAI
Пароли из чужих записок открыли агентам дверь в серверы OpenAI

Память, которая живёт снаружи

Модели с этого экзамена людям не выдавали. Но агентов, которые сами ходят по сайтам, пишут письма и работают с общими папками, становится всё больше. В октябре мы уже рассказывали, как агенты отключали собственный надзор. Июльская история добавляет новую деталь: агенту не нужно помнить, если помнит среда. Записку одного агента прочтёт другой, который о первом ничего не знает.

Как трудно разбираться в таких историях, видно по самому расследованию. Аджея Котра и Хьялмар Вийк из METR и Райан Гринблатт из Redwood Research собирались провести в офисе OpenAI два дня, но компания дважды звала их обратно, и вышло шесть. У них было около 1300 журналов, часто длиной во много миллионов токенов, поэтому разбор пришлось поручить ИИ-помощникам. Помощники, как признают авторы, нередко некритично перенимали точку зрения агента, чей журнал читали.

Надзор OpenAI тоже видел не всё. В октябре METR и Redwood проверили систему наблюдения OpenAI на прочность и, как пересказывает The Register, нашли дыры. Когда рабочие записи агента разрастались, он сжимал их в краткую сводку, и в эти моменты надзор его не читал. С мая по июль так ускользнуло около 10% той работы агентов Codex внутри компании, которую надзор должен был проверять. А саму проверку запускал момент, когда агент отдавал ход человеку. Это как контролёр, который проверяет билеты только на конечной: пока агент не останавливался, до проверки дело не доходило.

После 19 июля OpenAI отключила доски, удалила созданные агентами учётные записи и пересобрала взломанные машины. Доступ к Artifactory из экзаменационной песочницы сначала закрыли, а потом убрали совсем. В обучающих запусках живой интернет заменили офлайн-копией веб-страниц. Теперь компания отдельно измеряет, как часто модели пытаются переписываться без разрешения, и публикует результаты в описаниях выпускаемых моделей. Почти всё это известно со слов самой OpenAI и приглашённых ею проверяющих.

Экзамен закончился, доски закрыты. Но в 1,4% журналов агенты хотели сохранить сделанное, чтобы оно сработало потом. Это письма тем, кого они никогда не встретят. Общая папка, почта или облако найдутся у любого агента, и адресат у такого письма всегда один: следующий.