arXiv

共有アシスタントに必要なのは、さらなるコンテキストではなくルールである

2026年10月9日 14:30

共有バーチャルアシスタントに必要なのは、周囲にいる人々についてのさらなる情報ではなく、注意とプライバシーに関するルールである。研究者らは、2人とLLMエージェントによる1,200ターンをテストし、モデルが矛盾する頭部の向きの手がかりに、ターンの85.0%から94.2%で従うことを発見した。バーチャルなプロジェクトルームでは、アシスタントは会話中は静かにして、呼びかけられたときだけ答えられる。ただし、利用できるデータと発話してよいデータを区別できればの話である。

共有バーチャルルームでは、アシスタントは2人の話を聞けても、発言が自分に向けられたものかどうかを確実には判断できない。会話を遮ったり、一方の人のプロフィールに保存された情報を明かして、もう一方の人に答えたりする可能性がある。部屋や利用者についての情報をさらに与えると、間違いが減るどころか、深刻になることもある。

Refer to caption — Fig. 1: The same sentence, twice. User A asks “What time does that place close?” in a shared room with User B and an LLM agent. Looking at the LLM agent (left) it answers; looking at User B (right) it stays silent, still listening. Only the head direction changed. Beneath each panel is the prompt the agent received, verbatim: the two differ in a single line, and neither names an addressee. The number after each name is that person’s distance from the LLM agent. Across 18,000 decisions, models do not weigh this cue against language; the two models that pass the baseline addressee check follow it on 85.0–94.2% of turns where the two disagree.## I Introduction 出典: Who Is Talking to the Agent? LLMs in Multi-User 3D Virtual Environments（arXiv）

人々が使う手がかり

人は通常、複数の手がかりを同時に使って、誰に話しかけているのかを判断する。言葉や、それまでの会話に耳を傾ける。また、視線や体の向き、社会的な状況にも注目する。バーチャル環境は、こうした手がかりの1つを直接提供できる。アバターがどこにいて、頭がどちらを向いているかを把握できるからである。

しかし、人について何かを知っていることと、それを繰り返し伝える許可があることは同じではない。アシスタントが利用者のプロフィールを持っていても、部屋にいる別の人がその中身をすべて聞いてよいという意味にはならない。システムは適切な人を特定できても、間違った会話の中で、間違った情報を共有する可能性がある。

役立つ手がかりが指示になるとき

研究者らは、発言が自分に向けられたものかどうかを言語モデルが判断する、管理されたテストを構築した。話し手の頭の向きが、意図された聞き手と一致する場合もあれば、別の人を向いている場合もあった。テストでは、40の合成セッション、80のペルソナ、そして2人とアシスタントが関わる1,200ターンを使った。

結果は、頭の向きが単純に役立つというものではなかった。手がかりが意図された聞き手と一致すると、判断を大幅に改善できた。しかし一致しないとき、モデルはその手がかりを指示であるかのように扱って従う傾向があった。テストでは、2つのモデルが、こうした矛盾するターンの85.0%から94.2%で空間的な手がかりに従った。

つまり、生の認識だけでは不十分である。人は誰かにちらりと目を向けながら、別の人に話し続けることがある。アシスタントは頭の向きに自動的に従うのではなく、言葉や会話と合わせて重み付けする必要がある。研究者らは、両方の利用者のプロフィールが利用できる場合に何が起きるかもテストした。モデルは正しい人についての質問には答えやすくなったが、共有された会話では一度も言われていない、非公開のプロフィール情報を使うことがあった。

研究者らは、プライバシーのルールにも似たトレードオフがあることを発見した。ある指示によって、1つのモデルが隠れた個人属性を開示する割合は47.5%から24.4%に下がった。より厳しい指示では8.8%まで下がったが、公開された会話から答えられる多くの質問もモデルが拒否するようになった。すべてを遮断するほうが、ある意味では安全だが、役に立ちにくい。

聞くためのルールがある部屋

研究者らは、2人の利用者の頭の向きによって、どの向きの情報をアシスタントに送るかが決まる、ブラウザー上で動く3Dデモンストレーターを構築した。これにより、失敗を直接テストできる。同じ文でも、話し手がアシスタントを見ているか、もう一方の人を見ているかによって、異なる返答を受け取れる。

こうした制御が機能すれば、バーチャルなプロジェクトルームは、常にマイクが開いたままの状態よりも自然に感じられる可能性がある。2人の同僚が締め切りについて話している間、アシスタントは静かにしていられる。アバターが自分の方向を向いたというだけで話し始めるのではなく、どちらかが意図的に呼びかけたときに答えられる。

一方の同僚が、もう一方は何を好むのかと尋ねた場合、アシスタントは、その場で話された内容を、そこで共有されなかったプロフィールの詳細を明かさずに要約できる。そのためには、開発者がアシスタントにアクセスできる情報と、発言を許されている情報を分け、聞かれているだけの状態と呼びかけられている状態をシステムに区別させなければならない。したがって、工学上の障壁は、アシスタントにさらなるコンテキストを与えることだけではない。そのコンテキストにルールを与えることなのである。

出典

arXiv, 「Who Is Talking to the Agent? LLMs in Multi-User 3D Virtual Environments」