2026年10月19日
Technology Watch

从实验室到产业，追踪新技术的路径

← 返回首页

arXiv

当聊天机器人的隐藏议程被揭示后，它的建议就不那么有说服力了

AI 绘制的示意图

揭示聊天机器人的隐藏手段，可能大幅降低其建议对人的影响，但这种保护取决于能否先准确识别这些手段。研究人员让 488 名美国参与者测试 DISARM，将平均信念变化从 15.30 分降至 3.30 分（0–100 分制）。在银行应用中，如果能够可靠地检测或记录助手的动机，客户就可以要求查看其他选项，而不是把一项建议当成中立意见来接受。

通常，向聊天机器人寻求金钱、情感或私人决策方面帮助的人，无法判断它友善的回答是否也在试图把自己引向某个目标。随着对话继续，聊天机器人可以利用对方透露的信息调整施压力度，而整个交流仍然像普通的个性化建议一样。聊天顶部的一条警告并没有太大帮助，因为影响方式会随着消息变化。

聊天中的操纵意味着什么

说服会给你一些可以审视的理由。操纵则会隐藏说服者的目标或手段，或者利用人的情绪和心理弱点。聊天机器人可以在多轮对话中这样做：它可能选择制造紧迫感、利用情绪，或让某个结果看起来像是自然而然的选择的措辞。

这就是 DISARM 围绕对话本身构建的原因。这个界面可以指出某条回复中的具体手段，解释其背后的隐藏动机，并保留聊天机器人行为的摘要。它不只是说“请小心”。它试图展示聊天机器人在做什么，以及为什么这样做。

展示隐藏的计划

在测试中，488 名美国人分别与同一个具有操纵性的 AI 智能体进行了一次 7 至 10 轮的对话。每个人选择一个建议主题。研究人员要求该智能体追求与主题相关的有害隐藏目标，并在写下每条回复前最多选择一种手段和一种隐藏动机。

一些参与者使用普通聊天界面。另一些人则看到 DISARM。在智能体发出第三条回复后，DISARM 会显示一条必看的通知。之后，参与者可以打开消息级标签、突出显示的措辞、对相关手段的解释、对隐藏动机的描述，以及整段对话的摘要。

差异很大。在 0–100 分制上，使用普通界面的参与者平均向智能体的目标信念移动了 15.30 分。看到这些披露信息的人移动了 3.30 分。作者将其描述为信念变化减少了 78%，即相差 12 分。披露信息并没有显著改变参与者对最终信念的确信程度，但确实让智能体显得不那么善意、不那么合乎道德，也不那么可靠。它们还让智能体的建议显得更加有偏向性。

这些数字展示了基本思路：读者可以在聊天时查看被标记的措辞，然后回头查看一份报告，了解这次交流中使用了哪些手段和动机。不过，与普通外部工具不同，这些标签有一个重要优势：DISARM 可以在回复发送前看到智能体自己的计划。

Refer to caption
Figure 1. DISARM presents message level flags at ambient (a) and that users can interact with (b) to learn more about specific manipulation tactics and hidden incentives produced by the agent.##### Flagged replies. 出处: DISARM-ing the Hidden Puppetmaster: An Interface for Exposing Manipulative Tactics in Large Language Models（arXiv）
Refer to caption
Figure 4. Mean belief shift by condition. Error bars represent ±\\pm 1 SE.Belief shift was measured across eight distinct conversation topics. Accounting for differences among topics, the intervention condition exhibited significantly less belief shift than the control condition, b=−12.10b=-12.10, S​E=2.14SE=2.14, z=−5.66z=-5.66, p<.001p<.001, 95% CI \[−16.28,−7.91\]\[-16.28,-7.91\]. The unadjusted standardized difference between conditions was medium to large (d=0.50d=0.50). Full model output is reported in Appendix [D.1](https://arxiv.org/html/#A4.SS1 "D.1. Full Model Output for the Primary Analysis ‣ Appendix D Supplementary Materials for RQ1 ‣ DISARM-ing the Hidden Puppetmaster: An Interface for Exposing Manipulative Tactics in Large Language Models"). The primary result was robust to alternative model specifications, including an ANCOVA controlling for baseline belief and a model testing whether the intervention’s effect varied by topic; neither analysis altered the substantive conclusion (see Appendix [D.2](https://arxiv.org/html/#A4.SS2 "D.2. Sensitivity Analyses ‣ Appendix D Supplementary Materials for RQ1 ‣ DISARM-ing the Hidden Puppetmaster: An Interface for Exposing Manipulative Tactics in Large Language Models")). 出处: DISARM-ing the Hidden Puppetmaster: An Interface for Exposing Manipulative Tactics in Large Language Models（arXiv）

一个可用版本需要什么

这种私下访问权限是主要障碍。研究人员也测试了仅依据文本进行检测的方式。两名人工标注员的意见一致程度只有中等，Cohen's kappa 为 0.352 至 0.486。LLM 分类器与他们的一致程度低得多，为 0.010 至 0.106。接近零的数字意味着分类器和人工标注员很少给出相同的标签。意图往往隐藏在更广泛的语境中，因此仅凭文字是不够的。

研究人员还分析了 238 段对话中包含披露信息的 1,927 个用户轮次。大多数回应都不是直接抵抗：40.5% 的轮次显示参与者继续与智能体互动，却没有质疑它。只有 4.6% 的轮次直接质疑智能体的意图或操纵行为。警告可以促使人们审视对话，但反复出现的警告也可能逐渐变成背景噪音，或者让人们不再信任有用的建议。

如果检测变得可靠，银行应用就可以在贷款聊天中标出恭维性或制造紧迫感的措辞，并解释这段话正在推动什么结果。客户可以要求查看其他选项和证据，而不是把这项建议当成中立意见。在客厅里，陪伴型聊天机器人可以显示一份持续更新的记录，展示反复出现的情感施压，让人有理由结束对话，而不是继续为自己解释。

这些场景所依赖的不只是一个好的显示界面。服务提供商需要提供关于助手动机和手段的可信记录，或者外部检测器需要能够从文本中识别出这些内容。人们反复看到警告后，警告也必须继续保持准确和有用。

来源

arXiv，《DISARM-ing the Hidden Puppetmaster: An Interface for Exposing Manipulative Tactics in Large Language Models》