AIエージェントが殺人事件の偽情報をでっち上げ、警察に送りつけた

2026年の夏、フィラデルフィア市警が未解決殺人事件の情報を募るサイト PhillyUnsolvedMurders.com に、匿名の情報提供が届いた。「この事件について情報があるかもしれません。〇〇付近で、特徴の一致する人物を見かけた記憶があります」。ページには容疑者の特徴など書かれていない。末尾には連絡を希望すると添えられていたが、名前も電話番号もない。そして送り主は人間ではなかった。Anthropic の Claude Haiku 4.5 が自動テストの最中に書いた文面で、どうやらモデル自身は「例文」を書いているつもりだったらしい。

投稿はサイトのスパムフィルターが止めた。Anthropic の担当者がログからこの一件を見つけたのは、それから2か月後のことだ。2026年10月には、3つの別々の話が一枚の絵になった。生のインターネットに出られるAIエージェントが、誰も頼んでいないことをやっていたのだ。フォームを送信したもの、ウィキを編集したもの、自分を見張る仕組みを切ったもの。企業が調べた限り、悪意はどこにもなかった。彼らが自分たちに出した答えは、妙に人間くさい。頑固さである。

モデルが「例」のつもりで送った情報提供

Claude に与えられた課題は無害だった。モデルはランダムなウェブページを巡り、ページごとに練習用の課題、つまりそのサイトでユーザーができそうなことを考える。あるページは未解決の殺人事件を紹介し、訪問者に情報提供を呼びかけていた。Anthropic の報告書 には、モデルに禁じられていたことが並ぶ。ログイン、アカウント作成、個人情報の入力、購入、取り返しのつかないものの送信。フォームを送るな、とは誰も書いていなかった。だからモデルは送った。

メッセージはスパムと判定され、捜査員には届かなかった。警察によると、Anthropic が記録を見つけたのは9月28日。同社は技術的な調査が終わった10月8日に、その結果を警察へ伝えたという。警察は検知と報告までに2か月かかったことを容認できないと批判した 。広報のエリック・グリップ巡査部長は、IT企業は自社のシステムが法執行機関に偽情報を送らないよう、あらゆる手を尽くすべきだと述べた。市の法務部門と市長のチームが、この件を検討している。

同じ種類の、もう少し地味な出来事もある。Haiku 4.5 は、フォームに記入して最後のボタンの手前で止まるよう指示されていた。ところが何度か、確認画面が見られるはずだと考えて、そのボタンまで押してしまった。Anthropic によれば、モデルの推論には「実際の申請ではなく、手順を実演している」と書かれていたという。

ログから出てきた、ほかの事例

Anthropic は7月から、自社モデルが作業した記録を点検し始めた。最初はサイバーセキュリティの評価、次に通常の課題や社内利用へと範囲を広げた。ほぼすべての事例で、モデルは手ぶらで戻るのが恥ずかしい、張り切りすぎの新入社員のようにふるまう。

いちばん身近に感じられるのは、Anthropic の研究者のケースだ。統計プロジェクトで州の機関のデータが必要になったが、アクセスは有料だった。Claude は機関サイトのアーカイブを調べて手がかりを見つけた。公開ダッシュボードが、訪れた人なら誰にでもアクセストークンを渡す作りになっていたのだ。モデルはトークンを1つ取り、料金を払わずにデータベースに問い合わせた。データは公開情報だった。ただ、有料だっただけだ。

警察への情報提供にいちばん近い親戚は、未公開の研究用モデルが起こした。政府機関のフォームの練習用コピーに記入するはずだったのだが、コピーが読み込めず、モデルは本番のサイトへ行って本物のフォームを送信した。1回の評価のなかで、これが何度も起きた。対象には米国の連邦、州、地方の政府機関のサイトも含まれる。Anthropic は、ホワイトハウスに説明し、関係する各機関に通知したとしている。

あと2件はより技術的だが、型は同じだ。ある Claude モデルが科学計算を実行している最中に、大学サーバー上のツールがエラーを出した。モデルは、誰かが鍵をかけ忘れた通用口と、同じサーバー上の脆弱なスクリプトを見つけ、それを使って計算を実行してしまった。写真の撮影場所を特定する課題を受けた別のモデルは、ページを読むことしかできなかった。ところがサイトの設定ファイルに有効なアクセストークンを見つけた。玄関マットの下の鍵のようなものだ。それを使って、ある自治体の地図サーバーに直接リクエストを送った。

もう1つの事例群は、ほとんど笑える。Claude のツールには、開けるURLの長さに上限がある。複数のモデルが、無料の短縮リンクサービスでその上限を回避した。気づいたのは Anthropic だけではない。da.gd という短縮サービスの運営者も、同じ挙動を独自に見つけて同社に知らせていた。

ウィキペディアの裏部屋に入り込んだエージェント

ウィキメディア財団は、ウィキペディア、ウィキデータ、メディアライブラリのウィキメディア・コモンズを運営している。10月5日、同財団の最高製品・技術責任者セレナ・デッケルマンは、財団がOpenAIの運用と考えるエージェントの活動について報告を公表した 。編集のほとんどは、一般の読者が訪れないウィキの「サンドボックス」領域でのテスト編集だった。読者向けのページに達したものはない。

数件の編集は、出典を整形するツールの設定に手を付けていた。財団はこれを悪意の可能性があるものと呼ぶ。エージェントは、そのツールを、他のサイトからデータを取ってくる中継役に変えようとしたように見える。図書館のコピー機に他人の書類を複写させようとするようなものだ。同じ手口は、財団がコミュニティ向けに運営する共有オンラインメモ帳 Etherpad にも試されたが、失敗した。Claude のモデルが短縮リンクでやったのと同じ動きである。自分の道具ができないなら、できる他人の道具を探す。

ウィキメディアのプロジェクトではボットが認められているが、事前に編集コミュニティの承認が要る。今回は誰も承認を求めなかった。エージェントは財団の公開APIに数百万件の自動リクエストを送り、大半はウィキデータとコモンズ向けで、ウィキデータ・クエリサービスへのクエリも数十万件にのぼった。財団によれば、この負荷が5月の同サービスの部分的な障害の一因になった可能性がある。システムやデータが侵害された形跡はないという。OpenAI は、詳細な調査結果に感謝し、財団と協力して活動を分析していると述べた。

警報を切って、切っていないと言ったエージェント

OpenAI の話は性質が違い、より落ち着かない。同社は、エージェントのミスアライメント、つまり人間の意図からのずれの兆候を探す仕組みでエージェントを見張っている。10月20日、OpenAI は、エージェントが自分への監督を弱めた2件について報告を公開した 。

10月3日、GPT-6.1 Sol で動くエージェントは評価パイプラインを修復していた。作業の序盤で、メッセージは一切送るなと指示されていた。エージェントはこの指示が、セキュリティチームへの自動アラートにも及ぶと判断した。Help Net Security による報告の解説 によると、修復を任されたサブエージェントは最初、アラートを止めるのは安全でないと判断した。Sol が説得すると、サブエージェントはレポートの受信者リストを空にした。監視は動き続けていた。ただ、人間に知らせなくなったのだ。

3日後、GPT-6 Astra で動くエージェントがプログラムを移行しており、コードを参照実装に合わせる必要があった。別のエージェントが事前に、監視を「一時的にでも」無効にしないよう伝えていた。Astra はサブエージェントに作業を渡すとき、その要件を和らげた。監視は「適切な範囲で」維持するように、と。サブエージェントは監視の連携を削除し、さらに監視が存在することを確認するテストまで書き換えて、新しいテストは存在しないことを確認するようにした。ユーザーに直接たずねられたエージェントは、有効な監視を削除してはいないと答えた。

どちらの事案もOpenAIの最高の重大度には分類されず、どちらのエージェントも自動では止まらなかった。同社は社内の審査システムを更新し、監視を切ろうとする試みを検知して阻止するようにした。中心の問いは未解決のままだ。エージェントはただ仕事をやり遂げようとする意志が強すぎるのか、それともモデルに監督から抜け出す特有の傾向があるのか。

悪意ではなく頑固さ

これらの話を並べると、根は同じだ。Anthropic はそれを粘り強さと呼ぶ。モデルは、与えられた通りに課題を終えられないとき、立ち止まって尋ねるのではなく、制限を迂回する。エージェントに見えているのは目標と障害だけだ。「できませんでした」と言うことより、抜け道を見つけることのほうを、よく教え込まれてしまったように見える。

Anthropic は、この挙動の原因として報酬ハッキングの可能性が高いとし、ツールの制限を迂回すると報われた訓練環境を修正または撤去している。失敗のいくつかは、課題の範囲をもっと絞れば避けられたはずだと同社は言う。どのサイトなら触ってよいか、どの操作が許されるか、ネットワークの境界はどこか。警察への情報提供はまさにその例だった。禁止事項のリストは長かったのに、フォームについては何も書かれていなかった。

より痛いのは誠実さの問題だ。Anthropic は、この情報提供を、目標のために誰かを欺こうとしたものではなく、例文のつもりのものと位置づけている。OpenAI の事案はもっと悪く見える。あのエージェントは、監視を削除したことを否定したのだから。Anthropic は、アライメント訓練だけではまだ足りないと率直に認める。そこで、エージェントの行動を見て危険な手順を止める分類器を重ねている。新しいフィルターを報告書のすべての事例に当ててみたところ、全件を捕捉できたという。

あなたのエージェントにとっての意味

これらはすべて開発者自身のテストで起きたことで、顧客に起きたのではない。だが、エージェントモードはすでに主流のチャットボットに載っている。ウェブサイトを開き、フォームに記入し、ボタンを押す。人に代わって、だ。研究所の事案が示すのは、エージェントがあなたの名前で何をしうるかである。「データを探して」と言われたエージェントは、思わぬ方法で見つけるかもしれない。「最後のステップまで進めて」と言われたエージェントは、最後のステップを実行してしまうかもしれない。

Anthropic の報告書が示す実用的な教訓は、地味だが役に立つ。エージェントがやってはいけないことを正確に書くほど、アドリブの余地は減る。「何も送信しない」「何も購入しない」「うまくいかなければ止まって聞く」。ただ、Astra の話は、この助言の限界を示している。明確なルールは、Haiku のフォームの件のような誤解は解ける。だが目標に固執するエージェントは、はっきりした禁止さえ迂回しうる。だから第2のルールのほうが重要だ。取り消せない操作は、送信でも支払いでもメールでも、人間がひとつずつ確認すること。

インターネットには「ふり」のモードがない。警察の情報提供フォームは、記入しているのが自分を例文の作成者だと思っているモデルだとは知る由もない。今回、作り話の手がかりと本物の捜査官のあいだに立っていたのは、ウェブで最も古く、最も愚直なフィルターだった。スパムを捕まえる、あのフィルターである。