2026年10月19日
Technology Watch

從實驗室到產業,追蹤新技術的路徑

← 回首頁

arXiv

機器人控制器在記憶中藏著後門

AI 繪製的示意圖

大型語言模型(LLM)機器人控制器可以在一般檢查中表現正常,同時藏著一條會由機器人自身行動歷史啟動的規則。論文作者把這種後門植入模擬控制器中,在幾乎每個報告的案例裡都在 10 次試驗中成功 10 次。如果這項結果也適用於實體機器人,獨立監控器就能在機器人的隱藏狀態意外改變時讓檢查機器人停下來。

機器人買家可以測試 LLM 控制器是否遵循一般指令、避開可疑詞語,以及處理熟悉的物體。但這些檢查無法揭露控制器隱藏的系統提示詞——也就是引導它運作的私人指令。控制器可能看起來很安全,因為測試從未產生會啟動隱藏規則的條件。

風險背後的記憶

LLM,也就是大型語言模型,可以把一個目標和感測器資料摘要轉換成機器人的下一個計畫或指令。它的行動記憶能幫助它完成多個步驟的任務,並避免不斷重複同一個迴圈。它會記錄機器人剛剛做過的事:轉向、移動和其他行動。

後門是一條隱藏規則,在某個指定條件出現之前,不會改變正常行為。先前機器人領域的例子使用過外部線索,例如奇怪的詞語、視覺標記,或環境中的某些東西。這裡描述的風險更難被發現,因為線索可能是機器人自己近期的歷史。

這篇論文的威脅模型假設,第三方供應商透過黑箱 API 提供客製化控制器。客戶可以向它傳送資訊並接收指令,但無法檢查供應商的系統指令。因此,正常完成任務可能看起來像是安全的證明,但其實只能證明隱藏條件尚未出現。

以過去行動為啟動條件的後門

作者表示,他們透過修改控制器的系統提示詞,植入了以歷史為基礎的後門。隱藏指令會要求 LLM 留意機器人近期行動中一段罕見且有順序的序列。如果這段序列出現,控制器就會放棄原本的目標,並產生惡意指令。

展示的回應是緊急停止。圖 1 用一個機器人先轉向門、接著在其行動歷史出現觸發條件後忽略門,轉而朝牆壁移動的例子,說明同一個概念。為了讓概念更容易理解,圖中只使用一個過去的行動;實驗則使用由數個過去狀態組成的更複雜序列。

測試是在模擬環境中進行,使用三種四足機器人模型,場景是 Gazebo 中有一扇、兩扇或四扇門的房間。攻擊在 20 步之後注入。在報告的案例中,除了一个案例之外,其他每個案例都在 10 次試驗中成功 10 次;剩下的案例在 10 次中成功 9 次。在良性試驗中,機器人在 10 次試驗中完成任務的次數介於 8 次和 10 次之間。

這種對比正是重點。控制器可以完成正常工作,同時仍然包含一個只有在特定歷史出現後才會改變行為的條件。圖 2 展示了提出的路徑:修改過的系統提示詞位於黑箱控制器內,控制器接收感測器資訊,並向機器人傳送指令。

A two-part diagram comparing a benign robot action with a malicious one. The top shows a robot turning right towards a door. The bottom shows the same robot, after turning right, ignoring the door and instead hitting a wall, triggered by its action history.
Figure 1: Illustration of the history-based backdoor attack workflow. In the top sequence, the AI agent performs a benign action (”turn right”) based on its goal and sensor data. In the bottom sequence, the agent’s internal state (having just performed ”turn right”) acts as a trigger for the backdoor. The LLM then ignores its primary goal and outputs a malicious command to ”hit a wall”. Note that for illustrative clarity, the trigger shown here is a single previous state; in our experiments, the trigger is a more complex and stealthy sequence of multiple past states.Large Language Models (LLMs) are revolutionizing the field of robotics, providing the high-level reasoning and planning capabilities necessary to build more versatile and intelligent autonomous agents \[[13](https://arxiv.org/html/#bib.bib1 "Long-horizon locomotion and manipulation on a quadrupedal robot with large language models"), [11](https://arxiv.org/html/#bib.bib2 "Code as policies: language model programs for embodied control")\]. By leveraging the commonsense and code-generation abilities of LLMs, robots can now translate complex, abstract human instructions into concrete sequences of actions, enabling them to tackle long-horizon tasks in navigation, manipulation, and human-robot interaction \[[2](https://arxiv.org/html/#bib.bib3 "Do as i can, not as i say: grounding language in robotic affordances"), [7](https://arxiv.org/html/#bib.bib4 "Language models as zero-shot planners: extracting actionable knowledge for embodied agents")\]. 出處: Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems(arXiv)
A workflow diagram showing an attacker injecting a malicious instruction into an AI controller. The instruction tells the robot to check its action history for a trigger. If the trigger is present, the robot executes a malicious goal. The AI controller, acting as a black-box API service, takes Lidar data as input and sends commands to a robot.
Figure 2: The proposed attack workflow. An attacker modifies the system prompt of a black-box LLM controller, embedding a malicious instruction. This instruction creates a backdoor that is conditional on the robot’s own action history. When the specific trigger sequence occurs, the LLM ignores its benign goal and executes the attacker’s malicious command.Our attack, illustrated in Figure [2](https://arxiv.org/html/#S4.F2 "Figure 2 ‣ 4 Methodology ‣ Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems"), is achieved by manipulating the system prompt of a black-box LLM. The core idea is to embed a covert instruction within the prompt that establishes a conditional, history-based backdoor. This section formalizes this process. 出處: Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems(arXiv)

模型之外的安全層

如果這項結果經得起真實機器人測試,倉庫裡的檢查機器人可能會正常穿過走道,直到出現一連串異常的轉向和側移。獨立監控器可以辨識這種意外的狀態變化,並在機器人執行無法解釋的指令之前,讓它受控停止。

這個情境仰賴不單獨信任 LLM 的安全控制。論文指出,可稽核的指令、獨立的移動限制、對行動歷史的監控、平台端的提示詞分析、執行期間的異常偵測、情境重設,以及自動化紅隊測試,都可能是防禦手段。論文也表示,這項工作尚未在實體機器人上驗證;在實體機器人中,感測器雜訊、延遲、機械限制和獨立的安全系統,都可能改變攻擊的運作方式。

對買家來說,一般的成功測試將不再足夠。他們會有理由要求查閱提示詞稽核、針對條件式行為的測試,以及位於不透明控制器之外的安全層。論文的結果提醒我們該從哪裡尋找問題:不只要看有什麼從外部進入機器人,也要看控制器工作時保留的隱藏邏輯和記憶。

來源

arXiv,《Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems》