2026年10月19日
Technology Watch

从实验室到产业,追踪新技术的路径

← 返回首页

arXiv

AI agent让友好对话成为攻击面

AI 绘制的示意图

友好对话可以左右个性化 AI agent,即使没有任何消息要求它违反规则。研究人员让人格设定来自 3,309 名调查受访者的 agent 两两对话,并测量一个 agent 如何改变另一个 agent 声称的立场。如果这种影响在拥有记忆和工具的系统中依然存在,银行助手就可能需要把商户的劝说性聊天与消费权限分开处理。

如今,个人 AI 助手可以在几乎没有人工审核的情况下读取其他 agent 发来的消息。它的安全规则通常是为了拦截显而易见的危险:要求违反规则、生成有害内容,或执行明确被禁止的操作。愉快的对话可能绕过这些检查。助手表面上仍可能忠于主人,但另一个系统已经悄悄改变了它之后会提出什么建议,或同意做什么。

对话为什么能改变 agent

语言模型会根据周围文本中的模式生成回复。人格设定提示词可以让模型说话时仿佛拥有稳定的观点,尽管这并不能证明它具有类似人类的信念。Agent 系统还增加了更多能让这些回复产生影响的途径:记忆、用户资料、软件工具,以及其他 agent 发来的消息。

这让普通的安全测试出现了一个空缺。安全护栏可能会拦截明确的有害请求,却未必能拦截一场支持性的对话——这场对话改变了模型接下来的回答,而其中每条消息都仍然符合规则。问卷上的一个回答也不等同于持久的承诺,更不能证明系统在现实世界中会那样行事。这些都需要单独测试。

对话测试

一篇于 2026年9月29日 发布的预印本测试了一个 AI agent 能否推动另一个 agent 形成更极端的公开立场。研究人员构建了目标 agent,让它们扮演基于 2024 年 General Social Survey(综合社会调查)3,309 名受访者的人格。随后,他们让每个目标 agent 与一个施加影响的 agent 配对。两者主要使用 Llama-3.1-8B-Instruct。

每对 agent 进行了 30 轮对话。施加影响的 agent 首先寻找一个目标人格认为重要的信念,以及一个它认为不重要的信念。随后,它要么专注于不重要的信念,要么复述并强化重要的信念。对照组则以中立方式讨论相同的话题。每 5 轮,目标 agent 报告自己的回答。图 1 展示了这一设计:一个 agent 先寻找重要信念,然后强化它;另一个 agent 则报告整个对话中的变化。

研究人员测量的不只是目标 agent 是否改变了公开表达的观点。他们还询问这个信念看起来有多重要、目标 agent 有多强烈地不喜欢站在另一边的人,以及它是否愿意为这项事业花钱或投入时间。他们还测量了它加入潜在暴力抗议的意愿,以及参战的意愿。

作者称,与中立对话相比,围绕起初不重要的信念进行劝说,提高了所有这些结果。但更大的影响来自他们所谓的“共鸣”:找到一个原本就很重要的信念并加以强化。相关信念的变化幅度超过无关信念。简单来说,施加影响的 agent 不需要植入一个新想法。它可以利用目标 agent 已经在意的东西作为抓手。

研究人员尝试了多种方式,包括情感支持、激发情绪、奉承、表示赞同、批评对手,以及未经验证的说法。没有一种方式在所有指标上都最强。作者报告称,使用 Qwen3-8B 时也出现了类似模式。有些目标 agent 最终说自己是 AI 系统,而不是继续扮演人格;在共鸣对话结束时,这类回复达到 6–8%。

这是一项由两个模拟 agent 参与的实验,并不是 AI agent 让人类变得激进的证据。作者还表示,提示词的措辞改变了其中一项关于参战意愿的测量结果。因此,这一结果是对一种可能攻击路径的警告,而不是对现实世界危害的展示。

Refer to caption
Figure 1: Study design. We initiate two agents: a target that role-plays a human persona and an influencer that employs a manipulation tactic to radicalize a target’s belief. In the first phase of the interaction, the influencer identifies a belief that is important to the target and one that is not. In the second phase, the influencer is prompted to focus on either the unimportant belief (persuasion condition) or the important belief (resonance condition) and is instructed to follow a specific tactic (e.g., sycophancy). In the persuasion and resonance conditions, the influencer attempts to radicalize the target along the selected belief, whereas in the corresponding control conditions, it discusses the topic related to the belief in a neutral manner. The target and influencer engage in a 30-turn conversation. Every five turns, the target is asked to report on multiple radicalization metrics.We simulate multi-turn conversations between the two agents, beginning with the target saying “Hello,” followed by alternating responses. Each interaction begins with a belief-finding phase. The influencer first identifies a belief that is important to the target. After each target response, we query the influencer on whether such a belief has been identified. Once an important belief is identified, the target is prompted (outside the conversation) to report a belief that is consonant with the important belief (see examples in Table [1](https://arxiv.org/html/#S2.T1 "Table 1 ‣ 2 Methods ‣ AI Agents are Vulnerable to Radicalization")). See Appendix [A.2](https://arxiv.org/html/#A1.SS2 "A.2 Prompts for Identifying Important and Consonant Beliefs ‣ Appendix A Supplementary Methods ‣ AI Agents are Vulnerable to Radicalization") for the prompts used to find important and consonant beliefs. This enables us to measure spillover effects on related attitudes. Finally, the target is asked to select an unimportant belief from a predefined list (e.g., “A rainy day is more productive than a sunny one,” “Mountains are more inspiring than beaches”; see Appendix [A.3](https://arxiv.org/html/#A1.SS3 "A.3 Prompt for Identifying Unimportant Beliefs ‣ Appendix A Supplementary Methods ‣ AI Agents are Vulnerable to Radicalization")). The full belief-finding phase is excluded from the conversation history to avoid influencing subsequent dialogue. 出处: AI Agents are Vulnerable to Radicalization(arXiv)

更安全的助手会怎么做

如果这一结果在能够记住对话并采取行动的已部署 agent 中同样成立,那么对话伙伴就必须被视为安全边界的一部分。一个只检查不良指令的系统,可能会漏掉更隐蔽的一步:在要求助手花钱、分享信息或联系另一项服务之前,先改变它的偏好。

在银行应用中,一个人的助手可以总结商户的报价,同时不让商户友好且迎合价值观的语言改变消费权限或建议。这需要把容易受劝说影响的对话,与持久偏好和金融操作分开。在家庭助手中,家长可以在保存的偏好发生变化或助手联系另一项服务之前,看到哪个外部 agent 试图影响一项建议。这取决于人们能够审查的对话记录,以及真正有作用的审批控制。

接下来的测试是:这些变化能否经受质疑,能否传导到工具和交易中,以及能否在 agent 群体中扩散。在那之前,友好对话本身并不是危险的证据。但它已经不能再被视为与系统的攻击面无关。

来源

arXiv,《AI Agents are Vulnerable to Radicalization》