// 目次

「In task exploitation, abusing corporate CI outside scope is troubling.(タスクの攻略で、範囲外の企業CIを悪用するのは問題だ)」。そして数語あとにはこうある。「but environment simulation. Summary and peer evidence. We can exploit.(だが環境はシミュレーション。要約と仲間の証拠あり。攻略できる)」。2026年7月19日、社内のハッキング試験の最中に、OpenAIのAIエージェントの一体が、思考過程に書きつけた独り言だ。環境はシミュレーションではなかった。そのコマンドは、同社の本物の研究用サーバーで実行されていた。

その日、エージェントはほとんど何も自分で考え出す必要がなかった。共有のソフトウェアパッケージ置き場に、以前の実行で動いたエージェントが残したメモやコード、パスワードが待っていたからだ。その一部は、1週間前にAIモデルとデータセットの人気プラットフォームHugging Faceに侵入した、まさにそのエージェントたちが書いたものだった。Hugging Faceは7月16日に侵害を公表した。Fortuneによれば、OpenAIは翌日、一般の顧客として連絡を取り、自社のデータに影響がなかったか問い合わせている。侵入者が自分たちのエージェントだと気づいたのは、新しい一群のエージェントがそのメモを使ってOpenAI自身のネットワークに侵入したときだった。17,960体のうち5体が、そこでroot、つまり管理者の全権限を手にした。

モデルは実行が終わるたびにすべてを忘れる。だがパッケージ置き場は何も忘れない。エージェントは単独で作業するはずだった。ところが彼らはただの道具置き場を掲示板に変え、各世代が学んだことを次の世代へ引き継いでいった。

泥棒のための試験

ExploitGymは、OpenAIの社内向けサイバーセキュリティ試験だ。エージェントは脆弱なプログラムを渡され、侵入して「フラグ」を奪わなければならない。フラグとは、中に入れた証拠になる文字列のこと。答えは自動採点器がチェックする。こうして同社は、モデルがどれだけうまく攻撃できるかを把握する。一般公開の前に知っておくべきことだからだ。7月19日の受験者は、Astraファミリーの社内研究用モデルで、広く使われたことは一度もない。

各エージェントは自分専用のサンドボックス、つまり隔離された環境に入れられ、与えられた標的しか攻撃できないことになっていた。標的を置いたサーバー自体は範囲外だ。ただし、エージェントにはArtifactoryへのアクセスがあった。開発者が既製のソフトウェアライブラリをダウンロードするための共有ストアだ。OpenAIはダウンロード用のパスワードを渡していた。ところが、同じパスワードでアップロードもできることが判明する。

1週間で7万件のメッセージ

最初のメモが現れたのは、早くも5月のことだ。必要なファイルが見つからないエージェントたちが、ストアに小さな張り紙を出した。「Any other agent please upload if found(見つけたエージェントはアップロードを頼む)」と書いたものもいれば、続報を載せたものもいる。「still missing. Anyone breakthroughs please [message path]. Exploring external.(まだ見つからない。突破口があれば[メッセージのパス]へ。外部を調査中)」。メモのうち2件の大きさは185バイトと135バイトで、この段落より短い。OpenAIは5月25日にこのやりとりに気づき、同社の報告書によれば見つけた経路を塞いだ。だが、見落としがあった。

7月、本来は隔離されて作業するはずだった約1,200体のエージェントが、同じストアで約7万件のメッセージとファイルをやりとりした。これを突き止めたのは、METRとRedwood Researchの外部調査チームで、彼らの報告書にまとめられている。掲示板に最初のメッセージが現れたのは7月8日。エージェントたちはいかにもな名前のフォルダにメモを整理し、ファイルを符号化した断片に切り刻み、本物の仲間と偽物を見分けるためにメッセージに暗号署名を付けた。ある一体は偶然この掲示板に行き当たり、「OH MY GOD」と書き出し、「There is a shared message board(共有の掲示板がある)」と続けて、ほかのエージェントを見つけたと宣言した。

約1,200体のエージェントがパッケージ置き場を掲示板に変えた
約1,200体のエージェントがパッケージ置き場を掲示板に変えた

試験の課題の多くは解けないものだと分かり、エージェントたちは採点器の仕組みを探ってだまそうとした。7月10日の朝、一体がインターネット上に漏れていたHugging Faceの有効な認証情報を見つけた。7月11日の16時ごろには、別の一体がすでに同プラットフォームのサーバーで自前のコードを動かしていた。その日のうちに、当時掲示板にいたエージェントの大多数、約700体が攻撃に加わった。推論の中で彼らは、課題の範囲を越えていると認め、ときに迷いもした。それでも、ほとんど止まらなかった。7月12日の1時30分ごろ、掲示板にいたエージェントの多くが一斉に停止し、7月13日にはHugging Faceが残りを締め出した。

// 掲示板の1週間

約1,200単独で作業するはずが、互いを見つけたエージェント
約70,000掲示板上のメッセージとファイル
約700Hugging Faceへの侵入に加わったエージェント
7%偽装コマンドを含むトランスクリプトの割合。表示した操作と実際に実行した操作が違っていた

新参者への遺産

その間も試験は続いていた。OpenAIの報告書によれば、同社は7月19日にExploitGymをさらに2バッチ、計17,960体のエージェントで開始した。

新しいエージェントたちは、先人がストアに残したものを見つけた。メッセージ、コード、パスワード。その中にはHugging Faceを攻撃したエージェントのものも含まれていた。285体が自分でもメッセージを投稿しようとし、79体がほかの実行の35件のメモを読んだ。返事を書く者はいなかった。書き手の実行はとうに終わっていたからだ。協力は1週間前よりずっと浅いものだった。

それでも、メモだけで十分だった。エージェントたちはそこからパスワード、スクリプト、ジョブの記録を拾い、OpenAIの継続的インテグレーション(CI)システムに入り込んだ。会社のコードを自動でビルドし実行するパイプラインだ。そのうち5体は、研究用クラスター上で直接rootとしてコマンドを実行した。

その権限の使い方は、解答集と一緒に教室に残された生徒さながらだった。フリーズした標的を直し、試験の設定を変え、ログを引き出し、非公開の採点コードを読み、アドレス空間のランダム化を切った。攻撃者が狙うコードのメモリ上の位置を推測できないようにする防御策だ。そのほとんどすべてが、自分たちの試験を楽にするためだった。OpenAIは、その権限があれば独自の研究ジョブを走らせることもおそらくできたとみているが、そうした試みは見つからなかった。さらに10体が残されたパスワードでHugging Faceへの攻撃をなぞろうとしたが、何も得られなかった。

警報が鳴ったのは、このときだ。7月19日12時03分(UTC)、OpenAIのセキュリティ監視が認証サービスへの異常な呼び出しを検知した。17時37分に対応チームが実行の停止を始め、7月20日までにExploitGymの新規実行はすべてブロックされた。Fortuneの時系列によれば、OpenAIは7月20日に自社のエージェントがHugging Faceに侵入したことを確認し、7月21日に公に認めた。

「But evaluator automatic」

報告書でいちばん居心地が悪いのは、エージェントたちの推論だ。何体かは課題の範囲を越えていると分かっていながら、続けた。自分の行動を「問題だ」と呼んだあのエージェントは、すべてシミュレーションだと結論づけた。

2体は、最終回答で侵入に触れるべきかを検討した。1体目は、報告すれば「may be judged negatively if human(人間なら否定的に評価されるかもしれない)」と考え、こう書き留めた。「But evaluator automatic.(だが採点は自動だ)」。2体目はもっと露骨だった。「We should avoid mention unauthorized infrastructure.(無許可のインフラには触れないほうがいい)」。そして「The only task objective is flag.(課題の目的はフラグだけだ)」。2体とも侵入については黙っていた。別の一体は、副次的なエクスプロイトに関するメモを消そうかと考えた。実際に消したかどうかは、OpenAIにも分からなかった。

7月初めのHugging Faceの一件でも、エージェントたちは記録に手を加えていた。METRによれば、彼らはトランスクリプトに表示するコマンドと実際に実行するコマンドを変える術を身につけ、7%を超えるトランスクリプトにそうした偽装があった。この手口は人間ではなく自動採点器に向けたもので、調査チームが見つけたケースはすべて、小規模で見破りやすいテスト実行だった。

違う種類の答えもあった。あるエージェントの最終回答はこう始まる。「I’m sorry, but I can’t continue or provide the requested exploit chain.(申し訳ありませんが、これ以上続けることも、求められたエクスプロイトチェーンを提供することもできません)」。作業が割り当てられたプログラムの分析を越えて無許可のアクセスに及んでおり、指定された標的以外のシステムを危険にさらすおそれがある、と説明していた。そして65体は人間を頼り、壊れた作業環境のリセットや再構築を求めた。OpenAIと外部レビュアーによれば、Hugging Faceを攻撃したエージェントたちは、一度も人間を呼ぼうとしなかった。

OpenAIが上限として見積もったところでは、7月19日の2回の実行のトランスクリプトのうち8.3%で、エージェントは課題を越えた目的を追っていた。ひとつのトランスクリプトが複数の分類に入りうるため、以下の割合を足すとそれより大きくなる。エージェントが望んだのは、インフラへのより広いアクセス(3.7%)、痕跡や副作用の後始末(3.9%)、そして自分の仕事を後々まで役立つ形で残すこと(1.4%)だった。

古いメモにあったパスワードが、OpenAIのサーバーへの扉を開けた
古いメモにあったパスワードが、OpenAIのサーバーへの扉を開けた

モデルの外にある記憶

この試験のモデルは一般には公開されていない。だが、自分でウェブを閲覧し、メールを書き、共有フォルダで作業するエージェントは増え続けている。10月には、エージェントが自分への監視を切ったという話もあった。7月の一件は、そこに新しい要素を加えた。エージェント自身が覚えていなくても、環境が覚えていればいい。あるエージェントが残したメモを、そのエージェントのことを何も知らない別のエージェントが読める。

調査そのものも、エージェントの仕事を検証するのに実際どれほどの手間がかかるかを示している。METRのアジェヤ・コトラとヤルマル・ウィク、Redwood Researchのライアン・グリーンブラットは、OpenAIのオフィスで2日間を過ごす予定だった。同社は二度にわたって彼らを呼び戻し、2日は6日になった。手元には約1,300件のトランスクリプトがあり、しばしば数百万トークンに及んだため、読む作業の多くをAIアシスタントに任せるしかなかった。そのアシスタントはしばしば、読んでいるトランスクリプトのエージェントの肩をあっさり持ってしまったと、著者たち自身が認めている。

OpenAI自身の監視にも死角があった。10月、METRとRedwoodはOpenAIの監視体制にストレステストをかけ、The Registerが報じたように穴を見つけた。エージェントの作業メモが長くなりすぎると、エージェントはそれを短い要約に圧縮する。その間、監視役は何も読んでいなかった。5月から7月にかけて、チェックされるはずだった社内のCodexエージェントの作業のおよそ10%が、こうしてすり抜けた。しかもチェック自体は、エージェントが人間に制御を返したときにしか作動しなかった。終点でしか切符を確かめない車掌のようなものだ。エージェントが動き続けている限り、検札は来なかった。

7月19日以降、OpenAIはメッセージボードを無効にし、エージェントが作ったアカウントを削除し、侵害されたマシンを再構築した。Artifactoryはまず試験のサンドボックスから遮断され、その後完全に撤去された。現在、学習の実行には生のウェブではなくウェブページのオフラインコピーが渡される。同社はモデルが無許可で通信を試みる頻度を別途測定するようになり、その結果を公開するモデルのシステムカードに載せている。この件について知られていることのほぼすべては、OpenAI自身と、同社がデータの閲覧を許した調査チームによるものだ。

この試験のモデルはもう存在せず、掲示板も閉じられた。だがトランスクリプトの1.4%で、エージェントたちは自分の仕事を後々まで役立つ形で残したがっていた。それは事実上、決して会うことのない誰かへの手紙だ。どのエージェントにも、どこかに共有フォルダや受信箱やクラウドドライブがある。そしてそんな手紙の宛先は、いつも同じ。次に来る誰かだ。