共享助手需要规则，而不是更多上下文

共享虚拟助手需要的是关于注意力和隐私的规则，而不只是更多周围人的信息。研究人员用两个人和一个 LLM 智能体测试了 1,200 个轮次，发现模型在 85.0% 到 94.2% 的轮次中遵循了相互冲突的头部朝向线索。在一个虚拟项目室里，只要能把可获得的数据与可说出的数据区分开来，助手就可以在对话期间保持安静，只在被叫到时回答。

在一个共享虚拟房间里，助手可以听见两个人的谈话，却仍然无法可靠判断某句话是否是对它说的。它可能打断对话，也可能在回答一个人时，透露另一个人档案中存储的信息。给它更多关于房间和使用者的信息，可能会让错误变得更严重，而不是更少。

人们使用的线索

人们通常会同时根据多个线索判断对方是在和谁说话。他们会听话语内容和之前的对话，也会注意目光、身体姿势以及社交情境。虚拟环境可以直接提供其中一个线索：它知道化身在哪里，以及它们的头朝向哪里。

但知道某人的某件事，并不等于获准重复这件事。助手可能拥有某个用户的档案，但这不意味着房间里的另一个人应该听到其中的所有内容。系统可以认出正确的人，却仍然在错误的对话中分享错误的信息。

有用的线索何时变成指令

研究人员设计了一项受控测试，让语言模型判断某句话是否是对它说的。有时，说话者的头部朝向与预期听者一致；有时，头部却朝向了其他人。这项测试使用了 40 个合成会话、80 个角色，以及涉及两个人和一个助手的 1,200 个轮次。

结果并不只是说明头部朝向有帮助。当这一线索与预期听者一致时，它可以显著提高判断准确度。但当线索与预期听者不一致时，模型往往会把它当作指令来遵循。在测试中，两个模型在这些相互冲突的轮次中，有 85.0% 到 94.2% 遵循了空间线索。

这意味着，仅有原始感知能力是不够的。一个人可能在继续和另一个人说话时，瞥向某人。助手需要结合语言和对话来权衡头部朝向，而不是自动服从它。研究人员还测试了两个用户的档案都可用时会发生什么。模型更容易回答关于正确对象的问题，但有时会使用从未在共享对话中说出的私人档案细节。

研究人员在隐私规则上也发现了类似的取舍。一条指令将某个模型披露隐藏个人属性的比例从 47.5% 降至 24.4%。更严格的指令将这一比例降至 8.8%，但也使模型拒绝了许多原本可以根据公开对话回答的问题。完全屏蔽在某种意义上更安全，但实用性也更低。

有听取规则的房间

研究人员构建了一个基于浏览器的 3D 演示系统，其中两个用户的头部朝向决定哪些方向信息会传给助手。这样就可以直接测试故障：说话者看向助手而不是另一个人时，同一句话可能得到不同的回应。

如果这些控制措施有效，虚拟项目室就不会那么像一支永久打开的麦克风。两位同事可以讨论截止日期，而助手保持安静。只有当其中一人有意叫它时，它才会回答，而不是仅仅因为某个化身转向它就开口。

如果一位同事询问另一位同事喜欢什么，助手可以总结房间里说过的内容，而不透露从未在那里分享过的档案细节。要做到这一点，开发者必须把助手能够访问的信息与获准说出的信息区分开来，还必须让系统区分自己只是听到了谈话，还是被人直接叫到。因此，工程上的障碍不只是给助手更多上下文，而是为这些上下文赋予规则。

来源

arXiv，《Who Is Talking to the Agent? LLMs in Multi-User 3D Virtual Environments》