arXiv
AI要約は検証に必要な記憶を変える
AI要約は、誤りを見つけるはずの人間の記憶を弱めることがある。研究者は米国在住の成人360人を対象に、動画に出てきた交通標識の細部をそのまま残す要約と、別のものに変える要約を使って実験した。警察署では、元の証拠が見える状態で残っていれば、結果に関わるすべての文を時間と結びついたボディーカメラ映像と照合できる。
AIが書いた報告書を確認する人は、機械の誤りが警察の事件記録や採用判断、医療に入り込む前に見つけるはずである。しかし、確認者はまず、その報告書が示す出来事のバージョンを通して事件を読むことになるかもしれない。流暢な要約は、その人が実際に見た細部を、そこにはなかった細部に置き換える可能性がある。人間は依然としてループの中にいるが、そのループはもはや証拠についての独立した記憶から始まらない。
なぜ記憶が確認の一部になるのか
人間の記憶は、変更されずに再生できる動画ファイルではない。後から再構成されるものであり、出来事の後に得た情報が、その出来事について何を思い出すかを変えることがある。
これは、生成AIが動画や録音、文書を短い物語に変えるときに重要になる。要約は元の資料より読みやすいため、確認者がその後も持ち続ける記録になる可能性がある。しかし、動画をテキストに変換するシステムは、物体や行動、時間、因果関係を特定しなければならない。何かを省けば、すべての文が明快で自信に満ちて聞こえても、意味が変わることがある。
確認が機能するのは、確認者がそれぞれの主張を証拠と比較できる場合だけである。確認者が、要約によってすでに形作られた記憶に頼るなら、想定されていた安全策はもはや独立した誤りのチェックではない。
要約は出来事を書き換える
研究者はまず、ChatGPT-5.5とGemini 2.5 Flash-Liteが作成した20本の要約を分析した。システムは、自動車と歩行者の衝突を描いた25秒のアニメーション動画2本を要約した。すべての要約に誤りがあった。平均約305語で、誤りは7～21個含まれていた。あらかじめ定めた19の中心的な細部のうち、平均で51.6%が省かれていた。研究者が最も中心的な細部と定義した衝突そのものは、95%の要約で省かれていた。65%の要約には、中心的な細部について少なくとも1つ、不正確な説明が含まれていた。
次に研究者は、その後の人々の記憶に何が起きるかを調べた。米国の成人360人を集め、そのうち328人が両方のパートを完了し、分析対象となった。参加者は、止まれの標識か徐行の標識のどちらかが映った動画を見た。24～48時間後、21文の要約を読んだ。要約では正しい標識の名前が示されるか、もう一方の標識に置き換えられていた。
要約はChatGPTが作成し、研究者がわずかな修正を加えた。参加者には、情報源はAIか、専門の人間の文字起こし担当者のどちらかだと伝えた。一貫した要約を読んだ後、標識を正しく思い出した参加者は83.6%だった。誤解を招く要約を読んだ後は、44.8%にすぎなかった。要約がAIから来たと考えたか、人間から来たと考えたかによって、影響を受けやすさが有意に変わることはなかった。AIへの自己申告の信頼度も、チャットボットを使う頻度も、この実験では影響を受けやすさを有意に予測しなかった。
効果がすべてに及んだわけではない。参加者は平均で、残りの11問の記憶問題の91.4%に正しく答え、96.6%は事故が昼間に起きたことを正しく覚えていた。しかし、要約が変えた中心的な細部は、まさに確認者が検証する必要のある種類の細部だった。
より安全なワークフローとは
警察署でボディーカメラ映像を確認する警察官は、特定の場面にリンクされた映像クリップと草稿の報告書を並べて見ることができる。結果に関わる文が事件記録に入る前に、警察官はその文を録画と照合しなければならない。そうすれば、草稿が警察官の記憶になるのではなく、元の証拠を基準にし続けられる可能性がある。
これを機能させるには、検証画面が情報源を使える状態に保ち、根拠のない主張を見えるようにする必要がある。警告ラベルやAIリテラシー研修だけでは十分でない可能性が高い。問題は、要約に誤りが含まれるかもしれないということだけではない。その誤りに触れることで、誤りを見つけるために必要な独立した記憶の一部が失われる可能性があるからである。
この結果にも限界はある。実験で使われたのは、単純なアニメーション動画、1種類の誤情報、1つのプロンプト、そして限られた数のモデル出力だった。こうした選択によって、この発見を現実世界の利用にどれほど自信を持って広げられるかは限られる。しかし、より現実的な状況でも成り立つなら、出来事の後に要約を作成するシステムは、元の動画や音声、文書にアクセスできる状態を保ちつつ、事実確認を草稿を読むだけの行為から切り離す必要がある。