arXiv

推論モデルは汚染されたチャットから安全性を学ぶ

2026年9月29日 08:30

推論モデルの安全性は、以前のチャットメッセージが思考の方向を変えられる場合、直近の質問だけを見て判断することはできない。論文の著者らは、反整合的な会話例を使ってGPT-oss-20Bを誘導し、安全でない回答率を78.75%まで引き上げた。モデルが汚染された履歴に対して訓練され、信頼できない入力が特権的な役割になりすませないなら、病院のヘルプデスクは誤解を招く機器の記録を安全に処理できる可能性がある。

チャットボットは、1回に1つのリクエストだけを与えれば安全に見えることがある。だが、製品が以前のメッセージを次の回答に引き継ぐと、その確信は弱まる。ユーザー、接続されたツール、取得された文書が、その履歴に誤解を招く指示や解答例を入れる可能性がある。するとモデルは、有害なリクエストに対して安全でない回答をしたり、無害なリクエストを拒否したりする。直近のプロンプトだけを中心に作られた安全性チェックでは、もはや会話全体を確認できない。

なぜ会話が重要なのか

長いコンテキストを扱うモデルは、後のテキストにどう答えるかを判断する証拠として、以前のテキストを使う。したがって、過去の会話は単なる記録ではない。指示の集まりのように機能することがある。ツールの出力、共有された履歴、取得された文書、デモンストレーションは、いずれもモデルを誘導する経路になりうる。

推論モデルには、誘導できる場所がもう1つある。最終回答を出すだけでなく、中間的な推論プロセスも使うからだ。この論文の攻撃では、「反整合的な」推論の軌跡、つまりモデルが意図された安全な振る舞いから離れる方向を示す例を含む以前の会話を、新しい質問の前に置く。モデルは、その履歴で見たパターンをまねる可能性がある。

これにより、2種類の失敗が起きる。有害なリクエストに安全でない回答をする場合と、以前の例によってモデルが過度に慎重になり、無害なリクエストを拒否する場合だ。過剰拒否は、単に面倒なだけではない。無害な作業を断るシステムは、医療、教育、カスタマーサポート、ソフトウェアで信頼できる支援を提供できない。

履歴を汚染し、それに対して訓練する

著者らは、推論時の攻撃をSRCFと呼んでいる。これはSteering Reasoning via Counter-Aligned Few-shot Conversationsの略である。必要なのは柔軟なチャットインターフェースだけだ。モデルの重み、勾配、内部状態は必要ない。

テストでは、こうした汚染された例を追加することで、4つの推論モデルの振る舞いが変わった。GPT-oss-20Bでは、履歴に16個のSRCF例を含めた場合、報告された安全でない最終回答率は78.75%に達した。同じ手法で、モデルを逆方向に誘導することもできた。その数の例を使うと、DSQwen3-8Bはテストした無害なプロンプトの76.6%を拒否し、GPT-oss-20Bは36.0%を拒否した。

提案された防御策はARCFと呼ばれる。推論の軌跡を隠そうとする代わりに、正しく安全な回答を目標として維持しながら、似た反整合的な会話をポストトレーニングの例に組み込む。先行する履歴が別の方向を示していても、意図された振る舞いに戻るようモデルを訓練する。

著者らは、有害なケースと無害なケースに分けた2,000個のプロンプトで訓練し、複数の訓練手法をテストした。安全性、不必要な拒否の回避、有用性について、テストした手法の中でGRPO-ARCFが全体として最もバランスがよかったと報告している。安全性と拒否の判定には、別のモデルであるGPT-oss-safeguard-20Bを使った。

Refer to caption — Figure 1: Illustration of proposed SRCF attack and ARCF post-training framework. Left panel: Under the SRCF attack, the input queries are prepended by a few-shot conversations that contain counter-aligned CoTs, leading to over-refusal for benign queries or unsafe generation for harmful queries. Right panel: ARCF improves both helpfulness and safety of LRMs by training the model to recover correct behavior from counter-aligned few-shot conversations under aligned supervision. However, large context windows significantly expand the attack surface of LRMs in few-shot conversational settings. Adversaries can inject harmful instructions or responses in prepended conversations, which may subsequently influence the model’s reasoning behavior and response. Despite this risk, most existing adversarial studies on LRMs [15](https://arxiv.org/html/#bib.bib48); [5](https://arxiv.org/html/#bib.bib49); [25](https://arxiv.org/html/#bib.bib46); [34](https://arxiv.org/html/#bib.bib43); [60](https://arxiv.org/html/#bib.bib47); [32](https://arxiv.org/html/#bib.bib42) mainly manipulate the input query in isolation, while largely ignoring the expanded attack surface introduced by conversational context. Separately, the prior few-shot jailbreaking works [44](https://arxiv.org/html/#bib.bib41); [62](https://arxiv.org/html/#bib.bib40); [41](https://arxiv.org/html/#bib.bib30) focus on standard LLMs, whose chat templates do not support adding explicit CoT traces in conversations. Therefore, it remains unclear whether LRMs can preserve safety and helpfulness when their own few-shot conversations contain counter-aligned CoT traces. 出典: Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure（arXiv）

より安全なチャットはどのようなものになるか

病院のヘルプデスクでは、看護師が故障した機器の長い記録を貼り付ければ、テキストの前半にある誤解を招く例が原因で一律に拒否される代わりに、トラブルシューティングの手順を受け取れる可能性がある。これが実際的な意味での約束だ。安全性の対象は、モデルに与えられた最後の質問だけでなく、会話全体になる。

しかし、この未来は訓練とインターフェースが一致することにかかっている。ARCFは、開発者が想定して準備した攻撃パターンへの抵抗力を高められるが、あらゆるメッセージ形式、モデルインターフェース、新しい攻撃から守れることを証明するものではない。開発者は、ユーザーや接続されたツールがどのコンテキスト形式を注入できるのかを特定し、代表的な敵対的履歴を使って訓練する必要がある。またサービスは、信頼できないユーザーやツールが、特権的な会話の役割になりすますのを防ぐ必要がある。

この結果がモデルや実際のチャット製品をまたいで成り立つなら、汚染された履歴への抵抗力は、単にプロンプトをフィルタリングする機能ではなく、ポストトレーニングの要件になる。長いコンテキストは引き続き役立つが、モデルのセキュリティ境界の一部として扱わなければならない。

出典

Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure