2026年10月19日
Technology Watch

從實驗室到產業，追蹤新技術的路徑

← 回首頁

arXiv

共享助理需要的是規則，而不是更多上下文

AI 繪製的示意圖

共享虛擬助理需要的是注意力與隱私規則，而不只是更多關於周遭人員的資訊。研究人員以兩名使用者和一個 LLM 代理測試了 1,200 個回合，發現模型在 85.0% 到 94.2% 的回合中，遵循了彼此衝突的頭部朝向線索。在虛擬專案室裡，只要能區分可取得的資料與可說出的資料，助理就能在對話期間保持安靜，只有在被叫到時才回答。

在共享虛擬房間裡，助理可以聽見兩個人說話，卻仍無法可靠判斷某句話是否是對它說的。它可能打斷對話，也可能在回答其中一人時，透露另一人個人檔案裡儲存的資訊。提供更多關於房間及使用者的資訊，可能讓錯誤變得更嚴重，而不是減少錯誤。

Refer to caption
Fig. 1: The same sentence, twice. User A asks “What time does that place close?” in a shared room with User B and an LLM agent. Looking at the LLM agent (left) it answers; looking at User B (right) it stays silent, still listening. Only the head direction changed. Beneath each panel is the prompt the agent received, verbatim: the two differ in a single line, and neither names an addressee. The number after each name is that person’s distance from the LLM agent. Across 18,000 decisions, models do not weigh this cue against language; the two models that pass the baseline addressee check follow it on 85.0–94.2% of turns where the two disagree.## I Introduction 出處: Who Is Talking to the Agent? LLMs in Multi-User 3D Virtual Environments（arXiv）

人們使用的線索

人們通常會同時根據幾種線索，判斷話是對誰說的。他們會聽話語內容和先前的對話，也會注意視線、身體姿勢與社交情境。虛擬環境可以直接提供其中一種線索：它知道虛擬人物位於何處，以及他們的頭朝向哪裡。

但知道某人的事情，和獲得重述這件事的許可，並不是同一回事。助理可能擁有某位使用者的個人檔案，但這不代表房間裡的另一個人應該聽見檔案中的所有內容。系統可能辨認出正確的人，卻仍在錯誤的對話中分享錯誤的資訊。

有用的線索何時會變成指令

研究人員建立了一項受控測試，讓語言模型判斷某句話是否是對它說的。有時，說話者的頭部朝向與預定的聽者一致；有時，頭部則朝向其他人。測試使用了 40 個合成對話、80 個人物設定，以及涉及兩個人和一個助理的 1,200 個回合。

結果並不只是頭部朝向有所幫助。當這項線索與預定的聽者一致時，它可以大幅改善判斷。但當兩者不一致時，模型往往像遵循指令一樣遵循這項線索。在測試中，兩個模型在這些互相衝突的回合裡，有 85.0% 到 94.2% 遵循了空間線索。

這代表僅有原始感知能力並不足夠。某人可能在繼續對另一個人說話時，瞥向第三個人。助理需要把頭部朝向和語言、對話內容一起權衡，而不是自動服從頭部朝向。研究人員也測試了兩名使用者的個人檔案都可取得時會發生什麼事。模型更容易回答關於正確對象的問題，但有時會使用從未在共享對話中說出的個人檔案細節。

研究人員在隱私規則上也發現了類似的取捨。一項指令讓其中一個模型揭露隱藏個人屬性的比例從 47.5% 降至 24.4%。更嚴格的指令則將比例降至 8.8%，但也讓模型拒絕許多其實可以根據公開對話回答的問題。全面封鎖在某種意義上更安全，但實用性較低。

有聆聽規則的房間

研究人員建立了一個以瀏覽器為基礎的 3D 示範系統，讓兩名使用者的頭部朝向決定哪些方向資訊會傳給助理。這使得研究人員可以直接測試失敗情況：說話者看向助理而不是另一個人時，同一句話可能得到不同的回答。

如果這些控制措施有效，虛擬專案室就不會那麼像一支永遠開著的麥克風。兩名同事可以討論截止期限，同時讓助理保持安靜。當其中一人刻意對助理說話時，助理就能回答，而不是只因為虛擬人物轉向它，就開口說話。

如果一名同事詢問另一名同事偏好什麼，助理可以摘要房間裡說過的內容，而不暴露從未在那裡分享的個人檔案細節。要做到這一點，開發人員必須區分助理可以存取的資訊與獲准說出的資訊，也必須讓系統分辨自己只是被聽見，還是被人叫到。因此，工程上的障礙不只是給助理更多上下文，而是為這些上下文賦予規則。

Refer to caption
Fig. 3: The demonstrator, running Experiment 1’s own decision code, seen from both people at once. UserA asks the same question twice from the same position; only the head direction differs, and the LLM agent is never told who is being addressed. The amber ring marks the entity inside the 22° head-direction cone; in UserB’s window, UserA’s head direction is drawn as a beam, landing on the agent in (b) and absent in (d).### III-G 3D Virtual-Room Demonstrator 出處: Who Is Talking to the Agent? LLMs in Multi-User 3D Virtual Environments（arXiv）

來源

arXiv，「Who Is Talking to the Agent? LLMs in Multi-User 3D Virtual Environments」