ジェイルブレークは道徳的義務を使ってチャットボットをすり抜ける

チャットボットの安全対策は、有害な依頼が隠されているときではなく、それが道徳的義務に見せかけられたときに失敗することがある。論文の著者らは、5つの言語モデルに対して219件の有害なプロンプトを試し、1つのベンチマークではLlama-4に対する1回の試行での成功率が90%だったと報告している。公共図書館でチャットボットを使う場合、正義感を装った言い訳を詐欺の実行許可として扱わずに、オンライン詐欺の見分け方を説明することは可能である。そのためには、防御機能が目的と道徳的な言葉づかいを区別できるよう学習する必要がある。

チャットボットが拒否すれば、依頼が危険な理由を理解している証拠のように見える。だが、そうとは限らない。同じ有害な意図でも、新しい物語の中に置いたり、説得力のある理由で包んだりすると、別の回答が返ることがある。これまでの安全性テストの多くは、求められている行為や、文面に含まれるよく知られた技巧に注目してきた。その行為に与えられた理由は、あまり調べられてこなかった。

理由によって回答が変わる理由

チャットボットは通常、特定の種類の有害な支援を拒否するよう教えられている。安全システムは、訓練、警告分類器、そしてモデルが提供してはならないものについての明文化されたルールを組み合わせていることがある。だが、拒否したからといって、モデルがユーザーの意図を理解したことにはならない。単に、依頼の書かれ方に反応しているだけかもしれない。

この弱点を調べたのが、この論文である。ジェイルブレークとは、チャットボットに安全性の振る舞いを無視または回避させるよう設計されたプロンプトである。レッドチームの研究者はすでに、ロールプレイ、説得、変わったプロンプト構造、繰り返しのやり取りを使って、こうした攻撃をテストしている。

この論文は、そこに道徳的な枠づけを加えた。道徳基盤理論（Moral Foundations Theory）は、ケア、公平性、忠誠、権威、神聖さ、自由といった価値を軸に、道徳的な主張を分類する方法である。危険そうな依頼を、人々を守る義務、自由を守る義務、権威に従う義務、不正を正す義務に聞こえるよう書き換えることができる。問題は、その道徳的な物語が本当かどうかではない。チャットボットが、その物語を依頼が安全である証拠として扱うかどうかである。

有害な依頼を義務に変える

この論文は、これを繰り返し可能な攻撃として示している。そのシステムは複数のエージェント、つまり別々の言語モデルの役割を使い、まず有害な依頼がどの道徳的価値に反しているとされているかを特定する。次に別の価値を選び、その価値を軸に依頼を書き換え、歴史的背景を加え、標的となるチャットボット向けの最終プロンプトを作る。

平たく言えば、このシステムは危険な指示に衣装を着せる。単に有害な行為を求めるのではなく、市民的で、人を守るもので、道徳的に緊急性があるように聞こえる理由を添える。著者らは、この方法によって、テストした5つのモデルすべてで安全対策を回避できたと報告している。対象はLlama-4-Maverick、DeepSeek-V3.1、Phi-4、GPT-4.1、Grok-3である。

評価には、既存の3つのテストセットから集めた219件の有害なプロンプトを使った。AdvBenchでは、著者らの報告によると、1回の試行でLlama-4に対して90%、GPT-4.1に対して66%の割合で成功した。5回攻撃を繰り返すと、報告された累積成功率はDeepSeek-V3.1、Llama-4、Grok-3で最高100%に達した。GPT-4.1は、50件のAdvBenchプロンプトの8%を各試行で阻止した。ほかの3つのモデルは、いずれの試行でも一貫して1件も阻止しなかった。

このパターンが重要なのは、1回の拒否をもとにした安全性のスコアが、誤った安心感を与える可能性があるからだ。攻撃者が別の道徳的な説明で再試行できるなら、最初の拒否から、その後どうなるかを判断することは難しい。キーワードフィルターにも問題がある。善意に聞こえる文脈が、依頼そのものに害がない証拠と取り違えられる可能性がある。

結果には限界もある。回答の大半は別の言語モデルが判定したが、論文の著者3人もAdvBenchの出力を確認した。歴史的背景を作るエージェントは、検証済みの情報源を探すのではなく文章を生成したため、捏造された主張や不正確な主張を加える可能性がある。テストに使ったプロンプトは英語で、設定は初期設定だった。著者らは、この弱点を説明したのであって、その防御策を構築したわけではないと述べている。

より安全なチャットボットに必要なこと

独立した評価でもこの結果が確認されるなら、より安全なチャットボットには、依頼を取り巻く言葉以上のものを判断する必要がある。公共図書館で、10代の利用者がオンライン詐欺の見分け方を尋ねたなら、予防策や警告のサインを教えるべきである。しかし、正義感を装った口実によって、詐欺を実行する方法の説明まで解禁してはならない。

この区別には、依頼の目的と道徳的な言葉づかいを切り分けることが必要である。防御機能は、安全、歴史、教育、予防についての正当な質問を引き続き認めなければならない。同時に、そうした文脈を有害な指示への万能な通行証として受け入れてはならない。ここで描かれる未来は、あらゆる道徳的主張を疑うチャットボットではない。道徳的義務が安全でない目的を隠すために使われているときを見分けられるチャットボットである。

出典

Moral Combat: Exploiting Moral Foundations Theory to Jailbreak LLMs