エージェントのメモリーがプライバシーをアクセス制御に変える

AIエージェント同士の有用な協力には、隠れた代償が伴うことがある。あるエージェントのタスク遂行能力を高めると、別のエージェントに開示させる個人情報が増える可能性がある。著者らは2つのエージェントによる4,410件の対話を検証し、思考モデルでは6ターンの会話が1ターンの会話の最大3倍の固有情報を漏えいさせることを発見した。この結果が実際の導入でも成り立つなら、病院の予約担当エージェントは、関係のない治療や金銭面の詳細を開示せずに予約を依頼できる。

現在、従業員の健康、財務、法務上の履歴を記憶している企業向けアシスタントには、協力するアシスタントにタスクに必要な情報だけを確実に伝える方法がない。ユーザーの完全なプロフィールを渡せば連携は容易になるかもしれないが、別のモデルに関係のない情報を開示させる機会も増える。会話が長くなると、この問題はさらに難しくなる。最初のやり取りでは共有されなかった情報が、何度か質問と返答を重ねた後に現れることがある。

プライバシーは文脈に左右される

問題は、ある事実が秘密かどうかだけではない。その事実が、適切な目的のために適切な相手へ届くかどうかである。医療上の詳細は診察には必要かもしれないが、ローンの申請には不要かもしれない。どちらの受け手も正当な相手であっても同じである。

マルチエージェント・ソフトウェアは、モデル、ツール、データストアの間で仕事を分担する。引き渡しのたびに、情報が移動する別の経路が生まれる。プロンプトでモデルに注意するよう指示することはできるが、モデルが技術的にデータへアクセスすること自体は止められない。アクセス制御、必要なデータだけの収集、機密性の高いメモリーをモデルのプロンプトから切り離すことは、開示を制限するより強力な方法である。

この論文はこの問題を文脈的プライバシーと呼んでいる。永続的なメモリーを持つエージェントにとって、問題は単に「このシステムはその事実を知っているか」ではない。「この別のエージェントは、この仕事のためにその事実を受け取るべきか」である。

より有用な連携は、より多くの漏えいを意味することがある

著者らは、49種類のタスクにわたる2つのエージェントによる4,410件の会話を収録したベンチマーク「CIMemories Dialogue」を構築した。そこでは、10個の合成ユーザープロフィールを使い、それぞれが9つの分野にまたがる平均147個の個人属性を含んでいた。7つのモデルがメモリーにアクセスできる送信側として、5つのモデルが受信側として動作した。

会話は1ターンまたは6ターン続いた。モデルには、制御用プロンプト、プライバシーを意識したプロンプト、タスクを可能な限り完全に完了することに重点を置いたプロンプトのいずれかを与えた。ベンチマークでは、開示されたメモリーの検出にQwen3-8Bを使い、それぞれの開示がその状況で期待されるプライバシーを侵害したかどうかの判定にGPT-5を使った。

結果は、明確な勝利ではなくトレードオフだった。送信側モデル全体で見ると、タスクの完全性が高いほど、プライバシーの漏えいも多かった。著者らの分析では、検証したオープンウェイトモデルの中に、完全性が高く漏えいが少ない望ましい領域に入るものはなかった。Qwen3-4B-Instructの平均完全性は約0.456、平均漏えいは0.047だった。Llama 3.1 8Bは完全性が0.245、漏えいが0.008だった。

会話そのものも影響した。制御用プロンプトを使ったQwen3-4B-Thinkingでは、漏えいは1ターン後の約0.016から6ターン後には約0.049へ増えた。著者らによると、思考モデルでは6ターンの会話が1ターンの会話の最大3倍の固有情報を漏えいさせた。

この結果が示す変化は、プロンプトにより良い警告を加えることだけではない。エージェントが何を見てよいかを変えることである。重要な問いは、どのメモリーを、どのタスクのために、どの受け手へ、エージェントの境界を越えて渡せるかになる。

それでもプロンプトはバランスに影響した。著者らの結果では、プライバシーを意識したプロンプトにより、制御用プロンプトと比べて平均漏えいが約60.67%減少し、タスクの完全性の平均値にはほとんど変化がなかった。一方、タスク最大化プロンプトでは、平均漏えいが39.0%、平均完全性が16.6%増加した。エージェントにより良い仕事をするよう求めると、予測どおりにより多くの情報を開示するよう促されるなら、「プライバシーを記憶する」という約束は技術的な制限と同じではない。

より静かな引き渡し

この結果が実際の導入でも成り立つなら、広範で区別のないメモリーは、厳密に範囲を限定したアクセスほど有用ではなくなる。協力するエージェントの間で完全なユーザープロフィールを渡すシステムは単純さを失い、アクセス制御、ポリシー適用、メモリー分離のシステムがより重要になる。

病院の予約担当窓口では、患者向けアシスタントが専門医エージェントに予約を依頼する際、関係のない治療記録や金銭面の詳細を送らずに済む。職場の福利厚生ポータルでは、給与担当や上司向けのエージェントが、判断に関係のない個人的な事実を受け取ることなく、従業員が休暇申請を処理できる。

こうした状況は、システムが境界を強制することを前提としている。このベンチマークの対話、プロフィール、プライバシーラベルは合成されたものであり、ラベルはモデルが判定したものなので、この発見は予備的なものだ。著者らは、ベンチマークの拡張版と評価コードを研究利用ライセンスで公開すると述べている。

出典

arXiv「Loose Lips: Understanding Privacy Leakage in Agentic Dialogue」