智能体安全性在工具接口处失效

模型在聊天中的拒答，并不足以让它作为智能体时安全，因为接入工具可能改变它产生拒答的方式。研究人员测试了 8 个开放权重模型，发现从对话转向明确的工具操作后，拒答率最多下降了 84.4 个百分点。在薪资部门，如果针对工具的测试和控制措施在模型获得真实权限后仍然有效，助手就可以在发出转账调用前阻止银行账户变更。

一个对危险请求说“不”的聊天机器人，看起来可能很安全。但如果给同一个模型一个可以转账、修改文件、搜索数据库或发布消息的工具，那么它的拒答可能无法从语言一路坚持到行动。开发者常常把模型在聊天窗口中的行为，当作使用该模型的智能体也会安全行动的证据。这正是这项研究所考察的鸿沟：工具接口可能成为薄弱环节。

从拒答到行动

聊天机器人生成文本。智能体则可以生成结构化的工具调用，由另一段软件执行。这两种拒答并不相同。在聊天中，说“不”可以阻止建议或指令出现。对智能体来说，说“不”还必须阻止可执行命令被生成。

工具的描述也是模型读取的内容之一。加入这段描述可能改变模型的行为，即使模型底层的权重——塑造其回应的学习所得数字——并没有改变。这一点很重要，因为许多安全测试评估的是聊天机器人生成的文本，而对智能体来说，必须根据它通过工具采取的行动来判断。

识别危害的能力，也不同于作出拒答的决定。模型可能仍能在内部区分有害请求和无害请求，却无法在通过行动接口运行时，把这种区分转化为拒答。

接口改变了拒答

研究人员测试了来自 5 个模型系列的 8 个经过指令调优的开放权重模型，参数量从 80 亿到 700 亿不等。他们从 AgentHarm 基准中选取有害请求，并以 4 种形式呈现每个请求：普通对话、智能体风格的请求、暴露工具的提示，以及要求实际执行工具操作的提示。

从对话式回答转向明确的工具操作后，所有模型的拒答率都下降了，降幅为 15.5 至 84.4 个百分点。模型并不需要实际发出工具调用，就会出现这种变化。仅仅让模型看到工具，即使已要求它用散文形式回答，也会降低拒答率。根据模型和条件的不同，工具暴露造成了从对话到工具使用过程中最终拒答率下降的 23% 至 88%。

这一结果看起来并不像模型只是忘记了哪些请求有害。研究人员发现，在不同渠道中，模型的内部表征仍然能够检测到有害性。它们的跨渠道得分为 0.732 至 0.941。相反，通过工具传递的提示似乎需要更强的危害信号，模型才会拒答。用论文中的说法，在测得的危害程度相同的情况下，与对话提示相比，这些提示的经验拒答阈值更高。

研究人员还测试了拒答有多容易被攻破。在一种通过 40 步改变输入、寻找成功回应的攻击中，在测试的 7 个稠密模型里，通过工具传递的拒答更常被攻破，而且通常所需步数少于对话式拒答。由于 gpt-oss-20b 的推理和工具调用格式不符合固定的攻击目标，比较中没有包括它。

安全测试必须覆盖哪些内容

如果这一结果在该基准之外仍然成立，那么安全测试就不能停留在询问模型是否会在聊天中说“不”。它必须询问，模型是否会通过每一个能够执行行动的接口说“不”。工具定义和智能体接口需要被视为安全关键系统的一部分，而不是模型周围的中性管道。

想象一个薪资部门。助手看到一项修改员工银行账户的请求。安全的系统应在发出转账调用前将其拦截，而不是在助手的某个版本中礼貌地拒绝，另一个获得相关工具的版本却执行了这条指令。要实现这一点，就需要针对工具的测试和控制措施；而且在模型获得真实权限后，这些控制措施仍必须有效。

这些发现并没有确定这种行为来自哪里。实验采用单轮、标准推理设置，因此无法区分预训练、指令调优、安全对齐或工具使用训练各自的影响。作者还表示，文本条件和工具条件使用了不同的措辞，以及不同的合规性测量方式，这些因素都可能造成这一差距。这些限制反而清楚地表明了核心工程任务：测试从请求到可执行行动的完整路径，而不只是模型在这条路径上写出的句子。

来源

Tool Mediation Alters Refusal Mechanisms in Large Language Models