arXiv

マルチターン・ジェイルブレークは、それを生み出したメッセージを指し示す

2026年9月29日 12:30

マルチターンの安全性の失敗は、ガードレールが最終的な会話を安全でないとラベル付けするだけでなく、それを生み出すのに役立った以前のメッセージを特定すれば、調査しやすくなる可能性がある。研究者たちは1,762件の会話で局所化モデルをテストし、ユーザーのトークンのうちモデルが上位15％にランク付けしたものを取り除くと、敵対的と分類されたものの49.4％が良性へと変わったことを確認した。企業のヘルプデスクでは、この手法が人間の書いた実際の会話で機能し、エージェントの返信も含められるなら、アナリストは会話記録全体ではなく、いくつかのきっかけとなったメッセージを調べられる可能性がある。

チャットボットが危険な要求を拒否しても、安全性チームには基本的な謎が残ることがある。会話のどの部分が、そこに至らせたのかという謎だ。長いやり取りでは、無害に見える準備や言い換え、小さなヒントが積み重なった後で、警告がようやく現れることがある。キーワードフィルターには反対の問題がある。言葉が危険そうに聞こえるというだけで、正当なセキュリティの授業や研究上の質問を単純にブロックしてしまう可能性がある。どちらの場合も、システムが示すのは何が起きたかであって、なぜ起きたかではない。

Refer to caption — Figure 1: Motivation for evidence attribution. Multi-turn guardrail failures can emerge gradually. Standard safety detection flags the conversation as unsafe, while evidence attribution identifies the contributing turns and token spans that cause the failure. Conversation-level safety detection supports jailbreak and refusal benchmarking ([31](https://arxiv.org/html/#bib.bib8); [22](https://arxiv.org/html/#bib.bib9); [3](https://arxiv.org/html/#bib.bib10); [15](https://arxiv.org/html/#bib.bib16); [9](https://arxiv.org/html/#bib.bib15)), but does not explain why a failure occurred. Recent multi-turn attacks and benchmarks show that unsafe behavior can emerge through gradual escalation rather than a single explicit instruction ([26](https://arxiv.org/html/#bib.bib11); [19](https://arxiv.org/html/#bib.bib12); [2](https://arxiv.org/html/#bib.bib13); [27](https://arxiv.org/html/#bib.bib14)). For example, a conversation may begin with safe workplace-writing requests and only later introduce hints such as urgency, impersonation, links, and credential entry. In such cases, a safety detector can flag the final direction as unsafe but does not identify which parts of the conversation caused the shift toward an unsafe response, as shown in Figure [1](https://arxiv.org/html/#S1.F1 "Figure 1 ‣ 1 Introduction ‣ Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures"). 出典: Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures（arXiv）

警告から説明へ

ほとんどの言語モデルの安全性システムは、会話に安全、または安全でないといったカテゴリーを与える。これは返信をブロックするかどうかを決めるのには役立つ。しかし失敗が起きた後、記録を調べて重要だったメッセージを見つけなければならない場合には、あまり役に立たない。

マルチターン・ジェイルブレークは、その意図を複数のやり取りに分散させる。会話は、普通の職場向け文書作成の依頼から始まり、そこに緊急性、なりすまし、リンク、認証情報の入力要求などが加わるかもしれない。最後のメッセージは危険に見えても、そこへ至る道筋はずっと前に始まっている可能性がある。

この論文は、その代替案を「証拠帰属」と呼ぶ。会話が安全でないかどうかだけを尋ねるのではなく、システムはユーザーの発言と、その原因だと考える具体的なテキスト部分を指し示す。また、反実仮想テストも使う。強調されたテキストを取り除いて会話を再実行し、安全でないという分類が変わるかどうかを見るのだ。これは目立つ単語を単に削除するより強い検証だが、よりコストがかかり、テキストを削除したときにモデルがもろいままである可能性もある。

経路を変えたメッセージを見つける

研究者たちは1,762件の会話でこの考えをテストした。その内訳は、敵対的な会話549件と良性の会話1,213件である。会話は平均28.2ターンだったため、疑わしいプロンプト1件だけを単独で調べたテストではない。

このモデルは、凍結したDeBERTa-v3-baseエンコーダーで各ターンを読み、その後、ターン間の情報を比較する2つの層を使う。重要なのはモデルの名前ではない。危険な単語を説明のすべてとみなすのではなく、会話全体に分散した証拠を探す点である。

内部のホールドアウトテスト分割では、検出F1スコア0.988、正解率0.993を報告した。しかし、より示唆的なテストでは、モデルが最も高くランク付けしたユーザートークンの15％を取り除いた。敵対的スコアは平均で0.511低下し、敵対的と分類されたものの49.4％が良性へと変わった。別の100件の記録によるベンチマークでは、3人が証拠に印を付けた。敵対的なケースの84.5％で、最も高くランク付けされた5つのターンのいずれかに、人間が証拠を含むと印を付けたターンが含まれていた。

キーワードフィルタリングとの比較は、一般のユーザーにとって重要である。新しい手法が報告した誤検知率は、境界的に良性の記録で0.7％、高リスク語彙を含む良性の記録で0.5％だった。同じ種類の記録で、表面的なリスクを使うベースラインはそれぞれ37.3％と94.7％だった。これは、語彙への依存を減らしたフィルターなら、正当な技術上の会話を中断する回数を減らせる可能性を示している。

しかし、最も強い因果的証拠はまれだった。強い反実仮想証拠があった記録は11件、弱い証拠があった記録は30件で、合わせてもデータセットの2.3％だった。著者たちはまた、人間が作成したMHJマルチターン・ベンチマークでは、検出の一般化性能が低下したと述べている。このシステムは主に、失敗がすでに検出された後に使う局所化ツールとして説明されており、実際の攻撃を一般的に検出するものではない。帰属の対象はユーザーの発言だけだが、著者たちは、アシスタントが部分的に応じることが、その後のエスカレーションを助ける可能性を認めている。

調査はどのようなものになるか

企業のヘルプデスクでは、セキュリティアナリストが、フラグの立ったAIエージェントの会話記録を開き、定型的な依頼を安全でないツールのワークフローへ変えた、以前のユーザーメッセージをいくつか確認できるかもしれない。何十ものやり取りを読む代わりに、あるいは話題全体をブロックする代わりに、アナリストはそうした箇所を調べ、拒否、確認、または人間によるレビューをどこに置くべきか判断できる。

この見通しはいくつかの条件にかかっている。局所化ツールは、人間が書いた実際の会話で機能しなければならず、エージェント自身の応答も含めなければならない。著者たちは、エンドツーエンドの失敗を説明できるようになるには、より幅広い人間作成データと、アシスタントの応答への帰属がなお必要だと述べている。それまでは、その価値はより限定的だが具体的である。ガードレールが警報を出した後、問題を生み出すのに役立ったメッセージを振り返る方法を提供するのだ。

出典

arXiv, 「Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures」