arXiv

改訂の痕跡が削除した詳細を受け手に伝える

2026年10月5日 09:30

AIアシスタントは削除依頼に従っても、編集の説明の中で削除した詳細を明らかにすることがある。研究者らは26,753件の改訂依頼を分析し、改訂された返信の8.8%に削除された内容の痕跡を見つけた。下書きツールが私的な編集コメントを引き渡しに含めなければ、管理職は請負業者に空いている予定だけを送れる。

AIが書いたメッセージから文を削除しても、その中の情報まで常に削除されるとは限らない。管理職が請負業者に送る前に、従業員の通院予定をスケジュールから削除したとしても、アシスタントが「通院予定を削除した」と付け加える可能性がある。これで請負業者は、管理職が非公開にしておきたかった内容を知ることになる。アシスタントの返信全体を転送するチームも同じ問題に直面する。完成したメッセージと、アシスタントの私的な編集履歴が一つのパッケージとして届く可能性があるからだ。

隠れた2つ目のメッセージ

AIアシスタントは、メールや報告書、コードコメント、職場の文書を他人のために下書きする用途で、ますます使われている。その下書きの途中で、ユーザーが事実を追加し、後からそれを削除または置き換えるようアシスタントに依頼することがある。依頼された本文はきれいになっていても、前置きや後書き、コメントが何が消えたのかを説明することがある。

この説明は改訂痕跡である。編集について受け手に伝える説明だ。下書きを作る人には役に立つように聞こえるかもしれない。しかし、結果を受け取る人にとって安全とは限らない。「これを削除して」という指示も、確実なアクセス制御の境界ではない。同じ返信の中に、受け手向けの情報と、その返信を生み出した非公開の過程に関する情報が混在する可能性がある。

この問題は、通常の文書システムにおける変更履歴やコメント、メタデータ、失敗した墨消しに似ている。ただし言語モデルは、目に見えるマークアップ層を示さず、通常の文章の中でこの問題を再現できる。

説明が編集内容を漏らすとき

研究者らはこれを、情報開示の独立した経路だと説明している。モデルは本文では編集に従いながら、編集について説明する中で撤回された項目を再び持ち出す。研究者らは3つの公開会話コレクションから26,753件の改訂依頼を分析し、改訂された返信の8.8%に改訂痕跡があることを見つけた。

次に研究者らは、私的な会話とAIエージェントを対象に100件のタスクを収録したテストセット、RevLeakBenchを構築した。テストでは、読者は納品物とされた部分だけを見て、撤回された項目を復元しようとした。読者は会話のケースの13.7%でそれを復元できた。個人情報は、ユーザーが単に送らないと決めた情報よりも高い割合で復元された。

この結果は、単純だが重要な違いを示している。依頼された文書から言葉を削除するだけでは不十分だ。システムは、自分自身による説明のどの部分が受け手に属するのかも決めなければならない。アシスタントの返信全体を文書として扱う転送インターフェースには、この2つの間に信頼できる境界がない。

研究者らは、その境界を作る方法を検証した。納品物だけを返すようアシスタントに指示すると、痕跡の割合が下がり、復元も減った。特定された編集文を削除する出力フィルターを使うと、復元はさらに減り、会話テストでは1.3%になった。ただし、このフィルターには2種類の情報が必要だ。撤回された項目の別名と、残さなければならない内容に関する注記である。実際のツールでは、こうした制約をやり取りから、または別のコンポーネントから取得する必要がある。

Refer to caption — Figure 2: Overview of RevLeakBench and the evaluation pipeline.Large language model (LLM) assistants are increasingly used to draft messages, reports, and other outputs for third-party recipients \[[6](https://arxiv.org/html/#bib.bib56), [40](https://arxiv.org/html/#bib.bib36), [50](https://arxiv.org/html/#bib.bib37)\]. During private drafting, an item may be introduced and later removed or replaced \[[60](https://arxiv.org/html/#bib.bib4), [42](https://arxiv.org/html/#bib.bib30)\]. The model may comply with the revision while still bringing the removed item back in its account of the edit. 出典: "Nothing to See Here'': Unintended Disclosure through Revision Traces of LLM Deliverables（arXiv）

安全な引き渡しとはどのようなものか

職場のチャットでは、管理職が通院予定を削除し、請負業者には空いている時間だけが届くことになる。通院予定を名指しする説明文は存在しない。ツールは編集コメントを転送するのではなく、受け手専用の引き渡しを強制する必要がある。

同じ境界はコードレビューでも重要になる可能性がある。エンジニアが設定例から認証情報や内部エンドポイントを削除することがある。公開コメントには修正後の例が含まれる一方、フィルタリングによって、共同作業者がなお必要とする技術的な指示を削除せず、秘密を名指しする文だけを除去することになる。

この未来は、必要な内容と私的な下書き履歴をツールが確実に分離できるかどうかにかかっている。また、フィルターが何を撤回し、受け手が何をまだ必要としているのかを把握できるかどうかにもかかっている。このベンチマークは、多言語、長期にわたるやり取り、実行可能なコードの設定を対象としていないため、この境界はまだあらゆる場面で検証されたわけではない。それでも中心的な教訓はすでに明らかだ。「削除済み」とは、単に文書の本文からなくなることではなく、引き渡しから存在しなくなることを意味しなければならない。

出典

arXiv, “Nothing to See Here'': Unintended Disclosure through Revision Traces of LLM Deliverables