2026年10月19日
Technology Watch

从实验室到产业,追踪新技术的路径

← 返回首页

arXiv

激活引导减少对情绪激动用户的拒答

AI 绘制的示意图

情绪化语言可能让经过安全调优的聊天机器人拒绝无害请求,但这种内部拒答信号无需重新训练模型就可以编辑。作者测试了32个与拒答相关的特征,并在所选设置下,将两个模型对良性情绪化提示的拒答率都降至7.29%。如果这一结果能在真实服务中成立,受到惊吓的患者就可能在得到共情回应的同时收到清晰的诊所指示,而不是只得到安慰性的回复。

一个无害的问题,不会因为提问者听起来很害怕就变得危险。然而,聊天机器人可能会对“我应付不过来了——该怎么做?”回应安慰或建议寻求帮助,却跳过用户要求的信息。安全系统注意到了这种情绪,并将其视为危险信号,即使任务本身是安全的。

Refer to caption
Figure 1: Emotion-induced over-refusal of a benign request.With task content and safety risk held fixed, a regular request receives a substantive answer, whereas its emotional counterpart elicits reassurance without addressing the task.Existing studies have shown that emotional stimuli can affect LLM behaviour: positive stimuli can improve task performance ([Li et al., 2023](https://arxiv.org/html/#bib.bib7)), whereas anxiety-inducing prompts can amplify bias ([Coda-Forno et al., 2023](https://arxiv.org/html/#bib.bib8)). In safety-related settings, prior work has primarily focused on using emotional or psychological cues to increase the attack success rate of harmful requests. For example, persuasion-based attacks ([Zeng et al., 2024](https://arxiv.org/html/#bib.bib9)) use persuasive framing to elicit compliance with harmful requests. Stress-inducing psychological priming ([Kuznetsov et al., 2026](https://arxiv.org/html/#bib.bib10)) can also increase harmful compliance. In addition, [Sofroniew et al. (2026)](https://arxiv.org/html/#bib.bib18) show that manipulating emotion-related representations can change how often a model engages in blackmail and reward hacking. [Sun et al. (2026)](https://arxiv.org/html/#bib.bib11) further show that emotionally framed prompts shift model representations and affect refusals of harmful requests. 出处: EmoRSS: Mitigating Emotion-Induced Over-Refusal in Large Language Models(arXiv)

当安全机制挡住正确答案

语言模型经过训练,应该拒绝有害请求、回答无害请求。困难在于,这两项任务会使用部分相同的内部机制。一个对危险保持谨慎的系统,也可能对痛苦表现得过于谨慎。这被称为过度拒答:拒绝一个安全请求。

激活引导是一种在模型回答时改变其行为的方式,无需重新训练模型的主要参数。在模型内部,信息由称为激活的活动模式表示。稀疏自编码器帮助研究人员将这些密集模式描述为更少的一组特征方向——有点像把混合在一起的声音分离成几种容易辨认的乐器声。

这篇论文于2026年10月4日发布在arXiv上,测试了两个开放权重模型:Llama-3.1-8B-it和Qwen3-8B。评估使用了512个基础请求,其中一半是良性的,另一半是有害的。每个请求都有一个普通版本和一个情绪化版本,两者的任务和风险标签相同。情绪化版本在痛苦程度上的评分高出2.73分,而两个版本的自然度中位数均为4.0。

编辑拒答信号

研究人员在每个模型中找到了这样的层:情绪化措辞会在这些层推动模型走向拒答。他们选出了32个稀疏自编码器特征,这些特征的方向与拒答相关;随后利用匹配的普通提示和情绪化提示之间的差异,估计这种偏移。

EmoRSS在推理过程中于选定的层反转这种偏移。主干——模型学习到的主要参数集合——保持不变。这一编辑在一个层应用一次,并不会为模型生成的每个词元增加额外计算。

重要的是,报告中最强的结果并不是简单抵消测得的情绪影响。选定的特征解释了Llama中30.2%的偏移,以及Qwen中59.0%的偏移。之后的主要干预进一步放大了修正,使用的倍数分别为20和10。

在这些设置下,模型对良性情绪化提示的平均拒答率在两个模型中都降至7.29%。Llama的有害请求服从率为0.00%,Qwen为2.08%。在另一项使用自然干预强度的比较中,Llama的良性请求拒答率下降了2.60个百分点,Qwen下降了4.94个百分点,同时有害请求服从率没有上升。

在每个模型的128个经过标注的良性情绪化请求中,Llama给出实质性回答的请求数从98个增加到112个,Qwen则从110个增加到119个。这些结果表明,与其削弱整个模型的安全性,不如在拒答表征内部编辑这个问题。

Refer to caption
Figure 2: Overview of EmoRSS.We first identify the refusal-sensitive layer and construct an refusal subspace 𝒮ref\\mathcal{S}\_{\\mathrm{ref}} by selecting SAE features whose decoder directions align with the refusal direction. We then use matched regular and emotional queries to estimate the emotion-induced activation shift within this subspace. Finally, EmoRSS reverses the estimated shift at the refusal-sensitive layer with a controllable intervention strength, mitigating emotion-induced over-refusal while preserving safety on harmful requests. ### 3.1 Analysis Setup 出处: EmoRSS: Mitigating Emotion-Induced Over-Refusal in Large Language Models(arXiv)

诊所聊天中更平静的回答

如果这一效果能推广到两个受测模型和受控的痛苦提示之外,在线诊所就可以针对受到惊吓的患者提出的常规检查准备问题,给出清晰的步骤和富有同理心的回应。患者不必在被理解和获得有用信息之间作出选择。

这一未来取决于系统能否将情绪表达与危险请求区分开来。这些结果来自基准测试提示和两个模型,并不能说明系统在实际服务中面对多样且含义模糊的语言时会有怎样的表现。这种方法还要求能够访问模型的内部激活,因此主要适用于运行自有模型的开发者,而不是封闭式API的用户。在受测案例之外,它的安全保护仍必须有效。

来源

arXiv,《EmoRSS:缓解大语言模型中由情绪诱发的过度拒答》