// 目次
「シーンに直接関わった他の人物や車両はなかった」。AIモデルは、赤い車が右折して歩行者をはねる25秒の映像を、こう要約した。歩行者は倒れ、やがて立ち上がる。そのどれも、要約には入っていなかった。
たまたまではない。ジョージタウン大学とワシントン大学の研究者らは、ほぼ同じ内容の事故動画2本について、ChatGPTとGeminiにそれぞれ20回ずつ説明を書かせた。20本の要約のうち19本で、事故そのものが抜け落ちていた。プレプリント は2026年9月23日に公開され、10月にはAI倫理の会議AIES で発表された。懸念は現実的だ。アメリカの警察はすでに、ボディカメラの録画から報告書の下書きをAIに書かせている。その下書きを確認する本人が、のちに証言台に立つかもしれない。
「起きなかった」事故
2026年春、著者のマッテア・シム、ヤエル・アイガー、タダヨシ・コーノの3人は、2本の動画をそれぞれ5回ずつ、ChatGPT-5.5と軽量モデルのGemini 2.5 Flash-Liteに見せた。依頼したのは、300語以上の中立的な要約。推測や新しい事実は加えない。プロンプトにも「重要なことはすべて含めること」と明記した。
それでも足りなかった。要約は平均して、映像の重要な出来事の51.6%を落としていた。10本中9本は、歩行者がアスファルトに倒れ、それから起き上がったことにすら触れていない。一方でモデルは、画面にないものを付け足した。余計な車、余計な通行人、登場人物の意図についての推測。重大な不正確さは、要約のおよそ3本に2本で見つかった。「AI開発がここまで進んだ段階でも、要約のひどさには驚いた」と、アイガーはジョージタウン大学の発表 で語っている。
一日後にすり替わった標識
赤い車と標識の設定は、50年近く前にさかのぼる。1978年、エリザベス・ロフタスらは、停止標識のある場所の車のスライドを見せ 、その後、別の標識が出てくる場面の説明文を読ませた。のちに多くの人が、見ていないはずの標識を思い出した。これが誤情報効果の教科書的な例になった。出来事の後に得た情報が、その出来事の記憶を書き換えるという現象だ。GTA Vで作られた今回の2本の動画は、この研究を最近追試するために作られたもので、ロフタスはここでも著者に名を連ねている。違いは1点だけ。交差点にあるのが停止標識か、譲れの標識かである。
シムらは、誤情報の出どころを人間からAIに置き換えた。アメリカの成人331人が動画を見て、24時間後にChatGPTが書いた21文の要約を読んだ。半数には、文中の標識が映像と一致する要約を、残りの半数には標識がすり替えられた要約を渡した。すり替えは研究者自身が行い、本物らしく見えるよう、別のChatGPTの回答から言い回しを借りた。この研究が測ったのは、そうした誤りが起きたときに何が起きるかであって、モデルがどれくらいの頻度で誤るかではない。その後、場面について12問の質問が出された。
正確な要約を読んだ後は、83.6%が標識を正しく答えた。要約をまったく読まない視聴者の正答率は、同じ追試によればおよそ80%なので、正確な文章が記憶を動かす度合いはごくわずかだ。誤った要約を読んだ後は、44.8%にとどまった。ほかの部分は崩れなかった。残り11問の平均正答率は91.4%。要約は、誤りを書いたその細部だけを壊したのだ。
「AI」と書いても効かなかった
文章は常に同じだったが、AI文字起こしサービスによるものだと伝えられた人と、プロの人間の書き起こし者が書いたと伝えられた人がいた。機械が書いた文章のほうが慎重に扱われるだろうと思うかもしれない。実際はそうならなかった。AI製と表示された誤った要約を読んだ人のうち、標識を正しく答えたのは46.3%。人間製と表示された場合は43.4%で、誤差の範囲だ。AIへの信頼度も、AIをよく使うかどうかも影響しなかった。差が出たのは1点だけで、それはほとんど笑い話だった。まったく同じ文章が、人が書いたと思ったときのほうが、参加者には読みやすく感じられたのである。
機械の語り直しを読んだ人は、機械の版を覚えはじめる。
これは、規制する側にも開発者にも気まずい結果だ。安全なAIをめぐる指針のほぼすべてが「人間による確認」に頼っている。機械が下書きし、人間が確認して直すという考え方だ。ただしこの研究は確認という行為を再現したわけではない。参加者は要約と映像を見比べるよう求められず、読んで、記憶だけで答えた。著者らの結論は慎重だ。人間の記憶はAIの誤りを正すのではなく、それに合わせて歪むのかもしれない。実際の確認担当者でそれを検証するのは、これからの課題である。
カエルになった警官
2026年初め、ユタ州ヘーバーシティで一件が明るみに出た。警察報告書の下書きに、警官がカエルに変身した と書かれていたのだ。背景で映画『プリンセスと魔法のキス』が流れており、ソフトウェアがその映画を実際の出来事の一部と取り違えた。リック・キール巡査部長は、署がこうした報告書の直し方を学んだのはそのときだと語った。署はツールを使い続けた。キールによれば、週に6〜8時間の節約になるという。
このソフトウェアはテーザー銃メーカーAxonの「Draft One」で、ボディカメラの音声から下書きを書く。Axonのヘルプページ によれば、標準的な下書きは300〜500語で、研究者のプロンプトにある300語もここから来ている。同じページには、警官は文章を注意深く確認して修正すべきだとも書かれている。
カエルなら誰でも気づく。だが、すり替えられた標識や、見落とされた殴打や、余計な通行人はもっともらしく見える。シムの研究が示唆するのは、そうした文章を読んだ警官が、のちにそれを自分の記憶として思い出すかもしれないという懸念だ。ただし、これはあくまで実験室での結果である。2025年10月、カリフォルニア州はSB 524を成立させ、AIで書かれた報告書にその旨の表示を義務づけ、最初の下書きの保存も求めた。デジタル権利団体のEFFは、Draft Oneが設計上、どの部分を機械が書き、どの部分を警官が書いたかを示す編集履歴を残さないと指摘している 。
「警察が、厳密な検証なしに動画要約技術を使っているのではないかと心配だ」とアイガーは言う。
この研究がまだ示していないこと
限界は著者ら自身が挙げている。動画は2本だけで、どちらも単純なゲーム画面。プロンプトは1種類、要約は20本。第2部で使った文章は、複数回の試行から選び、手で軽く直したものだ。検証した誤りも標識の1種類だけで、実際の通報の後ではなく、落ち着いたオンライン調査の場で行われた。実際のボディカメラ映像は、生々しい内容を含みうるため対象から外された。その映像と本物の警察報告書を使った研究が、次に来る。
要約は、誰も録画を最初から見直さなくて済むようにあるものだ。だからこそ、元の映像と突き合わせて確かめる人はほとんどいない。半年後、その警官が法廷で証言するとき、彼は何を覚えているだろう。交差点か。それとも、かつて目を通した下書きか。
