2026年10月19日
Technology Watch

从实验室到产业,追踪新技术的路径

← 返回首页

arXiv

机器人控制器将后门藏在记忆中

AI 绘制的示意图

LLM 机器人控制器在常规检查中可以表现正常,同时隐藏一条会根据机器人自身动作历史激活的规则。论文作者将这样的后门植入模拟控制器,在几乎所有报告的案例中,它都在 10 次试验中有 10 次成功。如果这一结果在实体机器人上也成立,独立监控器就可以在检查机器人的隐藏状态出现异常变化时将其停下。

机器人买家可以测试 LLM 控制器是否遵循普通指令、避开可疑词语,以及能否处理熟悉的物体。但这些检查无法揭示控制器隐藏的系统提示词——也就是指导它工作的私有指令。控制器之所以看起来安全,可能只是因为测试从未产生过能激活隐藏规则的条件。

风险背后的记忆

LLM,即大语言模型,可以把一个目标和传感器数据摘要转化为机器人的下一步计划或指令。它的动作记忆能帮助机器人完成包含多个步骤的任务,并避免重复同一个循环。它会记录机器人刚刚做过的事:转向、移动和其他动作。

后门是一条隐藏规则,在某个选定条件出现之前不会改变正常行为。机器人领域早期的例子使用过外部线索,例如奇怪的词语、视觉标记或环境中的某样东西。这里描述的风险更难发现,因为线索可能来自机器人自己的近期历史。

论文的威胁模型假设,第三方供应商通过黑盒 API 提供定制控制器。客户可以向它发送信息并接收指令,却无法查看供应商的系统指令。因此,正常完成任务可能看起来像是安全的证明,但实际上只能证明隐藏条件尚未出现。

以过去的动作作为触发条件的后门

作者说,他们通过修改控制器的系统提示词,植入了一个基于历史的后门。隐藏指令要求 LLM 监测机器人近期动作中一个罕见的、有顺序的序列。如果这个序列出现,控制器就会放弃原本的目标,发出恶意指令。

演示中的响应是紧急停止。图 1 用一个机器人说明了同样的想法:机器人先转向一扇门,然后在动作历史出现触发条件后,忽略这扇门,转而朝一面墙移动。图中只使用了一个过去的动作,以便读者更容易看懂;实验使用的是由多个过去状态组成的更复杂序列。

测试在模拟环境中进行,使用了 3 种四足机器人模型。机器人处在 Gazebo 房间中,房间有 1 扇、2 扇或 4 扇门。攻击在第 20 步之后注入。在报告的案例中,除 1 个案例外,其他每个案例都在 10 次试验中有 10 次成功;剩下的案例在 10 次中成功了 9 次。在无害试验中,机器人完成任务的次数在 10 次中为 8 到 10 次。

这种对比正是关键所在。控制器可以完成正常工作,同时仍然包含一个只有在特定历史出现后才会改变行为的条件。图 2 展示了提出的路径:修改后的系统提示词位于黑盒控制器内部,控制器接收传感器信息,并向机器人发送指令。

A two-part diagram comparing a benign robot action with a malicious one. The top shows a robot turning right towards a door. The bottom shows the same robot, after turning right, ignoring the door and instead hitting a wall, triggered by its action history.
Figure 1: Illustration of the history-based backdoor attack workflow. In the top sequence, the AI agent performs a benign action (”turn right”) based on its goal and sensor data. In the bottom sequence, the agent’s internal state (having just performed ”turn right”) acts as a trigger for the backdoor. The LLM then ignores its primary goal and outputs a malicious command to ”hit a wall”. Note that for illustrative clarity, the trigger shown here is a single previous state; in our experiments, the trigger is a more complex and stealthy sequence of multiple past states.Large Language Models (LLMs) are revolutionizing the field of robotics, providing the high-level reasoning and planning capabilities necessary to build more versatile and intelligent autonomous agents \[[13](https://arxiv.org/html/#bib.bib1 "Long-horizon locomotion and manipulation on a quadrupedal robot with large language models"), [11](https://arxiv.org/html/#bib.bib2 "Code as policies: language model programs for embodied control")\]. By leveraging the commonsense and code-generation abilities of LLMs, robots can now translate complex, abstract human instructions into concrete sequences of actions, enabling them to tackle long-horizon tasks in navigation, manipulation, and human-robot interaction \[[2](https://arxiv.org/html/#bib.bib3 "Do as i can, not as i say: grounding language in robotic affordances"), [7](https://arxiv.org/html/#bib.bib4 "Language models as zero-shot planners: extracting actionable knowledge for embodied agents")\]. 出处: Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems(arXiv)
A workflow diagram showing an attacker injecting a malicious instruction into an AI controller. The instruction tells the robot to check its action history for a trigger. If the trigger is present, the robot executes a malicious goal. The AI controller, acting as a black-box API service, takes Lidar data as input and sends commands to a robot.
Figure 2: The proposed attack workflow. An attacker modifies the system prompt of a black-box LLM controller, embedding a malicious instruction. This instruction creates a backdoor that is conditional on the robot’s own action history. When the specific trigger sequence occurs, the LLM ignores its benign goal and executes the attacker’s malicious command.Our attack, illustrated in Figure [2](https://arxiv.org/html/#S4.F2 "Figure 2 ‣ 4 Methodology ‣ Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems"), is achieved by manipulating the system prompt of a black-box LLM. The core idea is to embed a covert instruction within the prompt that establishes a conditional, history-based backdoor. This section formalizes this process. 出处: Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems(arXiv)

模型之外的安全层

如果这一结果经受住了实体机器人的测试,仓库里的检查机器人就可能正常穿过通道,直到出现一串异常的转向和侧移。独立监控器可以识别出这个意外的状态变化,并在机器人执行无法解释的指令之前,让它进入受控停止状态。

这个场景依赖于不单独信任 LLM 的安全控制措施。论文指出,可审计的指令、独立的移动限制、对动作历史的监控、平台侧提示词分析、运行时异常检测、上下文重置和自动化红队测试,都可能成为防御手段。论文还表示,这项工作尚未在实体机器人上得到验证;在实体机器人中,传感器噪声、延迟、机械限制和独立的安全系统,都可能改变攻击的表现方式。

对买家来说,仅靠普通的成功测试将不再足够。他们有理由要求查看提示词审计,进行条件行为测试,并在不透明的控制器之外设置安全层。论文的结果提醒人们应该在哪里寻找问题:不仅要看有什么从外部进入机器人,也要看控制器在工作时隐藏的逻辑和保留的记忆。

来源

arXiv,《Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems》