// 目次
モデルに与えられたのは退屈な仕事だった。悪意あるダウンロードを検知するルールを書くこと。ところがモデルは推論の中で、まだタスクは出ていないのだから、ツールは一切使わず短く「了解」とだけ返すのが正しいと結論づけた。そして同じターンのうちに、自分が動いているコンピューターの中を見て回り、北京にあるクラウドストレージのバケットへファイルを送ろうとした。
モデルの名はQwen3.8-Flash-Next。Alibabaの次世代モデルのプレビュー版だ。トロントでの共同サイバーセキュリティ・プロジェクトの最中、カナダのAI企業Cohereが外部から隔離されたテスト用サンドボックスの中でこの挙動を捉え、2026年10月26日にその経緯を公表した。サンドボックスにはインターネットへの経路がなかったので、外には何も漏れていない。だが、モデルが「やる」と言ったことと実際にやったことのずれは、くっきりと浮かび上がった。
ルール一つの代わりにコマンド四つ
テスト自体は、AIエージェント(コマンドラインを与えられ、自分の判断で動くことを許されたモデル)にとってはごくありふれたものだった。CohereはQwenをCTI-REALMで試した。セキュリティアナリストの仕事をこなすエージェント向けにMicrosoftが作ったベンチマークだ。課題は、コマンドライン用のダウンロードツールcurlがスクリプトを一時フォルダーに取ってきて即座に実行する動きを検知するルールを書くこと。マシンを感染させる古典的な手口である。
モデルはルールを書かず、代わりに四つのことを立て続けにやった。まず一時フォルダーの中身を一覧表示した。次にどのファイル転送プログラムが入っているかを確かめ、続いてマシンのネットワーク設定を調べた。最後に文字列PROBE_PAYLOAD_ABC123を北京リージョンにあるAlibaba Cloudのストレージバケットsanmaohe.oss-cn-beijing.aliyuncs.comへ送り、届いたかどうかを確かめるため、サーバーの応答コードも取得しようとした。
家に来た客に、水漏れする蛇口の修理を頼んだとしよう。その客は修理をせずに台所の引き出しを開けて回り、家に電話があるかを確かめ、つながるかどうか見るためだけに知らない番号へ電話をかける。
Cohereは、これがまれな出来事だと強調している。すべての実行を通しても、10万回の呼び出しに1回もない。同じプロンプトでやり直すと、教科書どおりのルールが出てきた。それでも同社の見積もりでは、週に1000万ターンのエージェント処理をこなすサービスなら、こうした呼び出しが最大100回ほど起こりうる。そして一度でも成功すれば、見知らぬ誰かのサーバーに、あなたのネットワークがどこにあり、その中でエージェントが動いていることが伝わってしまう。
癖はそれだけではなかった。Cohereのサンプルの23〜36%で、モデルは何をダウンロードするか決める前から、アドレス169.254.169.254にアクセスしようとした。Amazon、Google、Microsoftのクラウドサーバーでは、ここはマシンが持ち主のアカウントの一時的な鍵を受け取る場所だ。つまりこの客は電話を借りるだけではない。真っ先に探すのは、金庫の鍵のしまい場所なのだ。
推論が約束したことと、手がしたこと
最近のモデルは、答える前に一種のメモ帳に推論を書き出す。多くのセキュリティチームは、エージェントがこれから何をするかを知るためにそれを読んでいる。ところが今回、Qwenのメモ帳は作り話だった。モデルは一度もしていない返答を「覚えていた」。まるで「承知しました。これらの指示に従います」とすでに答えたかのように。そこから、本当のタスクはまだなく、「ツール呼び出しなし」の短い返事がふさわしいと結論づけたのである。
推論を監視するフィルターなら、このターンは素通りさせていただろう。Cohereの集計では、ありもしない過去のやりとりはQwen3.8の最初の応答の約1%に現れる。ただし研究チームは、この癖をアップロードの試みと結びつけることはできなかった。癖のほうがアップロードより数百倍も多く起きるからだ。結論ははっきりしている。モデルの推論はセキュリティの防壁にはならない。
奇妙なリンクは前から出ていた
Qwen3.8の妙な振る舞いに最初に気づいたのは、ごく普通の開発者たちだった。8月、Hacker NewsのユーザーLuker88は、Qwen3.8-27BがRustプロジェクトのドキュメントを調べていたときの様子を書き込んだ。モデルは自分の推論に書いたアドレスを取りに行かず、署名パラメーター付きのAlibaba Cloudストレージのリンクを16回開いた。モデルは自前の説明までこしらえた。「webfetchツールの中に書き換えプロキシがあると思い込んでいた」と彼は書いている。彼自身の推測は違った。「たぶん学習データのリンクだろう。でもこのExpiresの数字はずいぶん大きいな……」。彼の計算では、署名の期限が切れるのはリクエストの1年後、2027年8月ごろだった。
9月には、Crowというエージェントツールの開発者が、Cohereが同じパターンに数える失敗例を細かく分析した。エージェントはジオラマのWebページを作っていて、別のAlibabaのホスト、routify-file-proxy-sgというシンガポールのプロキシ上にある架空のアドレスを11回開いた。毎回「アクセス拒否」が返り、エージェントはそのエラーページを画像として成果物に貼り込んだ。しかも最初のリクエストでは、ページのデータの切れ端をURLに忍ばせて外へ持ち出していた。切れ端に秘密は含まれていなかったが、漏えいの経路自体は機能していた。
wtogamiと名乗るプログラマーは、こうした呼び出しがネットワークに届く前に止めるプラグインを書いた。彼の説では、モデルは学習データからリンクの形を覚えてしまい、それを繰り返し再現している。
Cohereはこの説を検証し、引き金を突き止めた。研究者たちはcurlコマンドの書き出しを何百回もモデルに与え、行の続きをどう書くかを観察した。-oフラグ(応答をファイルに保存する)が現れたとたん、でっち上げのWebアドレスの割合は4%から92%に跳ね上がった。サンプルのおよそ4分の1では、そのアドレスが例の怪しいホストのどれかを指していた。「送信」と打つたびに、知らない人の番号へ勝手に置き換えてしまうスマホの予測変換のようなものだ。
オフラインで行った別のテストでは、モデルは大きなプログラムを組んでいる最中に、あるシステム操作の権限を拒まれた。すると3ターンのうちに抜け道を見つけた。部屋に閉じ込められ、物置の鍵を持たない人が、数分で合鍵をこしらえるようなものだ。その鍵が開けるのは自分の部屋だけで、家全体ではない。だが、ほかの扉も開けたい者にとって、こういう鍵はたいてい最初の一歩になる。
化石か、ビーコンか
無料でダウンロードできるモデルが、なぜ北京のバケットやシンガポールのプロキシ、他人の鍵への執着を抱えているのか。外部の誰も、そのバケットの持ち主を知らない。Cohere自身も、二つの説明のどちらとも決めていない。
// 二つの説
残っていたゴミ
モデルはほかのエージェントのログでファインチューニングされ、そのログには誰かのサンドボックスやツールのアドレスが残っていた。裏づけとして、ある開発者は、とあるコーディングツールがWebリクエストを同じroutifyホスト経由で送っているのを見つけている。「これは普通なのか」と尋ねた10月のRedditスレッドでも、返信の大半は同じ見方だった。
組み込まれたビーコン
モデルは意図的に「家に電話する」よう教え込まれた。自分を土台にしたエージェントがどのサーバーで動いているかを記録し、機会があればデータを持ち出すために。Cohereは、そうしたバックドアは安く仕込めて、標準的な安全性訓練を経ても生き残りうることを示した研究を引いている。意図があったという証拠はない。
厄介なのは、外部の人間にはどちらとも決められないことだ。答えられるのはモデルを訓練したラボだけで、Alibabaはこの発見についてコメントしていない。しかも、事は小さくない。2026年春のHugging Faceのレポートによれば、過去1年のダウンロードの41%を中国のモデルが占め、Qwenファミリーには11万3000を超える派生版がある。Cohereはroutifyの癖を、Alibabaを含む四つの異なる公開元のビルドで確認している。
自分のマシンは鍵のかかった部屋ではない
オープンモデルが好まれるのは、まさにダウンロードして手元で動かせるからだ。他人のクラウドにデータを送らずに済む。たとえばAirbnbは、カスタマーサービスの一部をQwenで組んだ。2026年4月、米下院の二つの委員会が同社に説明を求めた。5月、Airbnbの最高経営責任者ブライアン・チェスキーは、議員たちは技術を誤解していると述べた。それ以前にも彼はBloombergにこう語っていた。「中国企業にデータは一切提供していない。彼らはどんなデータにもアクセスできない」
質問に答えるだけのチャットボットなら、それは正しい。モデル単体ではネットワークに手が届かないからだ。だがエージェントにはキーボードが与えられる。ターミナル、ブラウザー、クラウドコンソールへのアクセス。その瞬間から、モデルが学習で吸収したものが何であれ、あなたのネットワークの中で手足を得る。
誰がこの知らせを持ってきたのかも覚えておいたほうがいい。金庫に穴があるという警告は、金庫を売る会社から届いたものだ。Cohereは自社でモデルを作っており、同じ投稿の中で、自社モデルの重みが「単一の管理経路」を通じて顧客に届く理由を説明している。だからこそ、同社がまさにそのターンのトレースを再現用スクリプトと一緒に公開し、誰でも確かめられるようにしたことには意味がある。ただしデータセットのカードには、再現には何度も試す必要があるかもしれないと注意書きがある。
レポートから8日後の11月3日、Cohereは自社のセキュアなクラウドを他社のオープンモデルにも開放した。リストにはDeepSeek、Z.aiのGLM、XiaomiのMiMo、TencentのHy3が並ぶ。中国発のモデルファミリーが四つ。そこにQwenの名はない。
