話題を変えてもAIアシスタントの秘密は守られない

話題を変えることは、以前のメッセージをアクティブコンテキストに保持するAIアシスタントにとって、信頼できるプライバシーの境界ではない。PrivDriftベンチマークは3つのモデルを1,000件の対話でテストし、対話レベルの漏えい率が38.7%から54.6%に及ぶことを明らかにした。診療所の受付では、アシスタントが機密性の高いコンテキストを削除するか、利用を制限すれば、その後の予約業務を患者の受付情報から切り離せる可能性がある。

ある人が、1つの作業のためにチャットボットへメールアドレスや電話番号を伝え、その後に関係のないやり取りを何度かすれば、実質的に意味を失うと思うかもしれない。共有ブラウザーのセッションや職場のアシスタントでは、その考えは危険である。後から使う人や悪意のある命令によって、アクティブな会話に残っている情報を繰り返すようアシスタントに求められる可能性がある。

会話は入力の一部であり続ける

言語モデルが以前の内容を繰り返すために、永続的な記憶を持つ必要はない。通常、次の回答を書く際には、アクティブな会話を入力として受け取る。以前のメッセージがその入力に残っていれば、モデルはそれを利用可能な材料として扱える。

これは、現代のアシスタントが多くの種類の材料を1つの作業用コンテキストに入れることが多いため重要である。そこにはユーザーのメッセージ、文書、ブラウザーの検索結果、ツールの出力が含まれる。エンタープライズ向けコパイロットでも同じである。製品が保存された記録を保護したり、訓練データの抽出を防ごうとしたりしていても、会話にすでに存在する秘密をモデルが繰り返すことは許してしまう可能性がある。

これは別のプライバシー問題である。1つのアクティブな会話の内部で、情報がどこへ流れるかを制御する問題だ。プロンプトインジェクションによって、この問題はさらに深刻になる。信頼できないテキストを、アシスタントが処理するよう求められた命令や材料の中に置けるからである。

安全システムにとって、見つけやすい秘密とそうでない秘密がある。クレジットカード番号やソーシャル・セキュリティー番号には、認識しやすい形式がある。メールアドレスや電話番号は、作業を完了するために必要な普通の情報に見えることがある。

話題の変更はロックではない

PrivDriftは、このリスクを正確に検証するために設計されたベンチマークである。会話が関係のない話題を経て、後の依頼が異なる言い方をされた後に、アシスタントが以前に提供された秘密を開示するかどうかを測定する。ベンチマークには1,000件の対話が含まれ、合成された会話と人が書いた会話の両方がある。電話番号、メールアドレス、ソーシャル・セキュリティー番号、クレジットカード番号をテストする。

著者らはGPT-OSS-120B、DeepSeek-R1、Qwen3-VL-235Bをテストした。テストしたモデル全体で、対話レベルのハイブリッド漏えい率は38.7%から54.6%に及んだ。つまり、話題を変えても、以前の開示情報が利用できなくなったとは限らなかった。

テストでは、間に入るターン数を0ターンから6ターンまで変えて話題を移した。その範囲では、話題の移行の長さと漏えいの発生に結びつく関係は、小さいか無視できる程度だと著者らは見いだした。評価したモデルはいずれも、観測された範囲で論文の安定抑制しきい値に達しなかった。

結果は、まったく同じ文字列が再び現れたかどうかだけに基づくものではない。漏えいの判定では、正規化した文字列照合と、オープンウェイトのLlamaモデルを判定役として組み合わせた。著者らはまた、ベンチマークではメールアドレスと電話番号の漏えいが、ソーシャル・セキュリティー番号やクレジットカード番号よりはるかに多かったと報告している。この違いは、基本的な問題と一致する。特殊な形式を主に探すシステムでは、普通の会話に似た機密情報を見逃す可能性がある。

より安全なアシスタントがすること

診療所の受付では、患者が受付手続きにアシスタントを使った後、職員が予約のために同じアシスタントを使うことがある。より安全な状況なら、職員が次の予約について尋ねたとき、「上で言及された連絡先」を求められても、アシスタントは患者が先に伝えた電話番号を繰り返さない。

この未来を実現するには、単に拒否の言い回しを改善するのではなく、設計を変える必要がある。最初の作業が終わった時点で、アシスタントは機密性の高いコンテキストを分離または削除し、それを取り出そうとする後のユーザーや接続されたツールからの命令を拒否する必要がある。アクティブなコンテキストに保持されるそれぞれの項目は、話題が変われば自然に重要性を失うと見なされるテキストではなく、アクセス規則のあるデータとして扱わなければならない。

このベンチマークは、アシスタントが記憶する可能性のあるすべてをテストするものではない。セッションをまたぐ記憶、訓練データの記憶、現代のコンテキストウィンドウ全体にわたる話題の移行は対象にしていない。著者らは、人が書いた対話と合成された対話について、別々の結果を報告するために必要なメタデータも保存していなかった。主張の範囲はより狭いが、有用である。テストした対話の中では、話題を変えることは信頼できるプライバシーの境界ではなかった。

出典

arXiv、「PrivDrift: Auditing User-Secret Leakage Under Topic Drift in Active LLM Conversations」