2026年10月19日
Technology Watch

研究室から産業へ。新しい技術の道筋を追う

← トップへ

arXiv

ロボットのコントローラーはメモリーにバックドアを隠す

AI が描いたイメージ

LLMロボットコントローラーは、通常の検査では正しく振る舞いながら、ロボット自身の行動履歴によって作動するルールを隠せる。論文の著者らはシミュレーション上のコントローラーにこのようなバックドアを仕込み、報告されたほぼすべてのケースで10回中10回成功した。実物のロボットでもこの結果が再現されるなら、独立した監視装置が、隠れた状態が予想外に変化したときに検査ロボットを停止できる可能性がある。

ロボットの購入者は、LLMコントローラーが通常の指示に従うか、疑わしい単語を避けるか、見慣れた物体を扱えるかをテストできる。しかし、こうした検査では、コントローラーの隠れたシステムプロンプト、つまりコントローラーを導く非公開の指示は明らかにならない。テストで隠されたルールを作動させる条件が生じなければ、コントローラーは安全に見える。

リスクの背後にあるメモリー

LLM(大規模言語モデル)は、目標とセンサーデータの要約を、ロボットの次の計画や命令に変換できる。その行動メモリーは、数段階にわたるタスクを完了したり、同じループを繰り返さないようにしたりするのに役立つ。そこには、ロボットが直前に行ったこと、つまり方向転換や移動などの行動が記録される。

バックドアとは、選ばれた条件が現れるまで通常の振る舞いを変えない隠れたルールである。ロボット工学におけるこれまでの例では、奇妙な単語や視覚的な印、環境内の何かなど、外部の手がかりが使われてきた。ここで説明するリスクは、手がかりがロボット自身の直近の履歴になり得るため、見つけるのがより難しい。

この論文の脅威モデルでは、第三者の提供者がカスタマイズしたコントローラーをブラックボックスAPI経由で提供する。顧客はそこに情報を送り、命令を受け取れるが、提供者のシステム指示を検査することはできない。そのため、通常のタスクの成功は安全性の証拠に見えても、実際には隠れた条件がまだ現れていないことの証拠にすぎない可能性がある。

過去の行動を鍵にしたバックドア

著者らは、コントローラーのシステムプロンプトを変更することで、履歴ベースのバックドアを仕込んだと述べている。隠された指示は、ロボットの直近の行動に、まれな順序のシーケンスがあるかをLLMに監視させる。そのシーケンスが現れると、コントローラーは通常の目標を放棄し、悪意のある命令を出す。

実際に示された反応は緊急停止だった。図1は、同じ考え方を、ドアの方向に向きを変えたロボットが、行動履歴にトリガーが現れた後、ドアを無視して壁に向かうという例で示している。この画像では考え方を分かりやすくするため、過去の行動を1つだけ使っている。実験では、過去の状態をいくつも含む、より複雑なシーケンスを使った。

テストはシミュレーションで行われ、Gazeboの部屋に配置した3種類の四足歩行ロボットモデルを使った。部屋にはドアが1つ、2つ、または4つあった。攻撃は20ステップ後に注入された。報告されたケースのうち1つを除くすべてで、10回中10回成功し、残るケースでは10回中9回成功した。無害な試験では、ロボットは10回中8回から10回の範囲でタスクを完了した。

この対比が重要な点である。コントローラーは通常の仕事をこなしながらも、特定の履歴の後にだけ振る舞いを変える条件を含むことができた。図2は、提案された経路を示している。変更されたシステムプロンプトがブラックボックスコントローラーの内部にあり、コントローラーはセンサー情報を受け取り、ロボットに命令を送る。

A two-part diagram comparing a benign robot action with a malicious one. The top shows a robot turning right towards a door. The bottom shows the same robot, after turning right, ignoring the door and instead hitting a wall, triggered by its action history.
Figure 1: Illustration of the history-based backdoor attack workflow. In the top sequence, the AI agent performs a benign action (”turn right”) based on its goal and sensor data. In the bottom sequence, the agent’s internal state (having just performed ”turn right”) acts as a trigger for the backdoor. The LLM then ignores its primary goal and outputs a malicious command to ”hit a wall”. Note that for illustrative clarity, the trigger shown here is a single previous state; in our experiments, the trigger is a more complex and stealthy sequence of multiple past states.Large Language Models (LLMs) are revolutionizing the field of robotics, providing the high-level reasoning and planning capabilities necessary to build more versatile and intelligent autonomous agents \[[13](https://arxiv.org/html/#bib.bib1 "Long-horizon locomotion and manipulation on a quadrupedal robot with large language models"), [11](https://arxiv.org/html/#bib.bib2 "Code as policies: language model programs for embodied control")\]. By leveraging the commonsense and code-generation abilities of LLMs, robots can now translate complex, abstract human instructions into concrete sequences of actions, enabling them to tackle long-horizon tasks in navigation, manipulation, and human-robot interaction \[[2](https://arxiv.org/html/#bib.bib3 "Do as i can, not as i say: grounding language in robotic affordances"), [7](https://arxiv.org/html/#bib.bib4 "Language models as zero-shot planners: extracting actionable knowledge for embodied agents")\]. 出典: Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems(arXiv)
A workflow diagram showing an attacker injecting a malicious instruction into an AI controller. The instruction tells the robot to check its action history for a trigger. If the trigger is present, the robot executes a malicious goal. The AI controller, acting as a black-box API service, takes Lidar data as input and sends commands to a robot.
Figure 2: The proposed attack workflow. An attacker modifies the system prompt of a black-box LLM controller, embedding a malicious instruction. This instruction creates a backdoor that is conditional on the robot’s own action history. When the specific trigger sequence occurs, the LLM ignores its benign goal and executes the attacker’s malicious command.Our attack, illustrated in Figure [2](https://arxiv.org/html/#S4.F2 "Figure 2 ‣ 4 Methodology ‣ Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems"), is achieved by manipulating the system prompt of a black-box LLM. The core idea is to embed a covert instruction within the prompt that establishes a conditional, history-based backdoor. This section formalizes this process. 出典: Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems(arXiv)

モデルの外側にある安全層

この結果が実際のロボットでのテストでも再現されるなら、倉庫の検査ロボットは、異常な方向転換や横歩きの連続が現れるまで、通路を通常どおり進む可能性がある。独立した監視装置は予想外の状態変化を認識し、説明のない命令を実行する前に、ロボットを制御された停止状態にできる。

この場面には、LLMだけを信頼しない安全制御が必要である。論文は、監査可能な指示、動作に対する独立した制限、行動履歴の監視、プラットフォーム側でのプロンプト分析、実行時の異常検知、コンテキストのリセット、自動化されたレッドチームテストを、可能な防御策として挙げている。また、センサーのノイズや遅延、機械的な制限、独立した安全システムによって攻撃の振る舞いが変わる可能性がある実物のロボットでは、まだ検証されていないとも述べている。

購入者にとって、通常の成功テストだけではもはや十分でない。プロンプトの監査、条件付きの振る舞いを調べるテスト、不透明なコントローラーの外側にある安全層へのアクセスを求める理由が生じる。この論文の結果が示す警告は、どこを見るべきかということだ。ロボットの外部から入るものだけでなく、コントローラーが動作中に隠し持つロジックとメモリーにも目を向ける必要がある。

出典

arXiv, “Silent Sabotage: Internal State Triggered Backdoor Attacks on LLM-Powered Robotic Systems”