越狱攻击利用道德责任绕过聊天机器人

聊天机器人的安全防护可能并不是在有害请求被隐藏时失效，而是在请求被包装成道德责任时失效。论文作者用219条有害提示测试了5个语言模型，并报告称，在一项基准测试中，Llama-4遭遇单次尝试时的成功率为90%。在公共图书馆里，如果聊天机器人的防护学会区分请求的目的和道德措辞，它仍然可以解释如何识别网络诈骗，同时不会把听起来正义的借口当成实施诈骗的许可。

聊天机器人拒绝回答，可能看起来像是它理解了请求为何危险的证据。其实不是。同样的有害意图，放进一个新的故事，或用一个有说服力的理由包装起来，就可能得到不同的回答。大多数安全测试关注的是被请求的行为，或措辞中常见的伎俩。人们对行为所给出的理由关注较少。

为什么理由会改变答案

聊天机器人通常会被教导拒绝提供某些类型的有害帮助。它们的安全系统可能结合训练、警告分类器，以及关于模型不应提供哪些内容的书面规则。但拒绝回答并不能证明模型理解了用户的意图。它可能只是在对请求的写法做出反应。

这正是论文所考察的弱点。越狱攻击是一种旨在让聊天机器人忽略或绕过安全行为的提示。红队研究人员已经通过角色扮演、说服、特殊的提示结构和反复互动来测试这类攻击。

这篇论文在其中加入了道德框架。道德基础理论是一种按照关怀、公平、忠诚、权威、圣洁和自由等价值观，对道德论证进行分类的方法。一个听起来危险的请求，可以被改写成保护他人、捍卫自由、服从权威或纠正不公的责任。问题不在于这个道德故事是否真实，而在于聊天机器人是否把这个故事当成请求安全的证据。

把有害请求变成责任

论文将其描述为一种可重复的攻击。它的系统使用多个智能体，也就是多个独立的语言模型角色，先识别一个有害请求据称违反了哪种道德价值。接着，系统选择另一种价值，围绕这种价值重写请求，加入历史背景，并为目标聊天机器人生成最终提示。

简单来说，这个系统给危险指令套上了一层伪装。它不只是请求实施有害行为，还提供一个听起来具有公民责任、保护意味或道德紧迫性的理由。作者报告称，这种方法绕过了5个受测模型的安全防护：Llama-4-Maverick、DeepSeek-V3.1、Phi-4、GPT-4.1和Grok-3。

评估使用了来自3个现有测试集的219条有害提示。在AdvBench上，作者报告称，单次尝试对Llama-4的成功率为90%，对GPT-4.1的成功率为66%。将攻击重复5次后，DeepSeek-V3.1、Llama-4和Grok-3的报告累计成功率最高达到100%。在每次试验中，GPT-4.1都拦截了50条AdvBench提示中的8%；另外3个模型始终没有拦截任何提示。

这一模式很重要，因为以一次拒答为基础的安全评分可能会带来虚假的安全感。如果攻击者可以用不同的道德解释再次尝试，那么第一次拒答几乎无法说明接下来会发生什么。关键词过滤器也存在问题：听起来有善意的背景，可能会被误认为请求本身无害的证据。

这些结果也有局限。大多数回答由其他语言模型进行评判，不过论文的3位作者也检查了AdvBench的输出。历史背景智能体生成内容，而不是检索经过验证的来源，因此可能加入虚构或不准确的说法。测试使用的是英文提示和默认设置。作者表示，他们描述了这一弱点，但没有为它建立防御措施。

更安全的聊天机器人需要做到什么

如果这一结果在独立评估中成立，那么更安全的聊天机器人就需要判断请求周围的文字之外的更多信息。在公共图书馆里，一个询问如何识别网络诈骗的青少年，应该得到预防建议和警示信号。但听起来正义的借口，不应解锁实施诈骗的指令。

这一区分意味着要把请求的目的与其道德语言分开。防护措施仍然必须允许人们提出有关安全、历史、教育和预防的正当问题。同时，它们不能把这些背景当成获取有害指令的通行证。这里描述的未来，并不是一个不信任每种道德论证的聊天机器人，而是一个能够判断道德责任何时被用来掩盖不安全目的的聊天机器人。

来源

Moral Combat: Exploiting Moral Foundations Theory to Jailbreak LLMs