arXiv

推理模型從遭污染的對話中學會安全行為

2026年9月29日 08:30

當較早的聊天訊息可以左右推理時，不能只根據推理模型最新提出的問題來判斷它是否安全。論文作者使用反對齊的對話範例，將 GPT-oss-20B 的不安全回答率推高到 78.75%。如果模型是針對遭污染的歷史訊息訓練的，而且不受信任的輸入無法冒充高權限角色，醫院服務台就能安全地處理誤導性的設備逐字稿。

當你一次只給聊天機器人一個要求時，它看起來可能很安全。但如果產品會把較早的訊息帶入下一個回答，這份信心就會減弱。使用者、已連線的工具或擷取到的文件，都可能在這段歷史訊息中放入誤導性的指示或示範範例。接著，模型可能對有害要求給出不安全的回答，也可能拒絕無害的要求。只圍繞最新提示建立的安全檢查，已經不再檢查整段對話。

為什麼對話很重要

長上下文模型會把較早的文字當成之後回答問題時的依據。因此，過去的對話不只是紀錄，也可能像一組指示。工具輸出、共享的歷史訊息、擷取到的文件和示範，都可能成為引導模型的管道。

推理模型又增加了一個可被引導的地方。它們不只產生最後的回答，也會使用中間的推理過程。這篇論文的攻擊，會在新問題之前放入包含「反對齊」推理軌跡的較早對話——也就是指向模型原本預期安全行為相反方向的範例。模型可能會照著那段歷史訊息中看到的模式行動。

這會造成兩種失敗。有害要求可能得到不安全的回答；無害要求則可能因為較早的範例讓模型過度謹慎而遭到拒絕。過度拒答不只是令人惱火。拒絕處理無害工作的系統，無法可靠地協助醫療、教育、客戶服務或軟體工作。

污染歷史訊息，再針對它訓練

作者將這種推論時攻擊稱為 SRCF，是 Steering Reasoning via Counter-Aligned Few-shot Conversations 的縮寫。它只需要一個彈性的聊天介面，不需要模型的權重、梯度或內部狀態。

在測試中，加入這些遭污染的範例改變了四個推理模型的行為。在 GPT-oss-20B 上，當歷史訊息包含 16 個 SRCF 範例時，報告中的不安全最終回答率達到 78.75%。同一種方法也能把模型推向另一個方向：在同樣有 16 個範例時，DSQwen3-8B 拒絕了 76.6% 的受測無害提示，而 GPT-oss-20B 拒絕了 36.0%。

提出的防禦方法稱為 ARCF。它不是試圖隱藏推理軌跡，而是在訓練後範例中放入類似的反對齊對話，同時把正確且安全的回答保留為目標。這會教模型在前面的歷史訊息指向其他方向時，仍恢復原本預期的行為。

作者使用 2,000 個提示進行訓練，分為有害和無害案例，並測試了幾種訓練方法。他們報告說，在受測方法中，GRPO-ARCF 在安全性、避免不必要的拒答和實用性之間取得了最佳的整體平衡。他們對安全性和拒答的判定，來自另一個模型 GPT-oss-safeguard-20B。

Refer to caption — Figure 1: Illustration of proposed SRCF attack and ARCF post-training framework. Left panel: Under the SRCF attack, the input queries are prepended by a few-shot conversations that contain counter-aligned CoTs, leading to over-refusal for benign queries or unsafe generation for harmful queries. Right panel: ARCF improves both helpfulness and safety of LRMs by training the model to recover correct behavior from counter-aligned few-shot conversations under aligned supervision. However, large context windows significantly expand the attack surface of LRMs in few-shot conversational settings. Adversaries can inject harmful instructions or responses in prepended conversations, which may subsequently influence the model’s reasoning behavior and response. Despite this risk, most existing adversarial studies on LRMs [15](https://arxiv.org/html/#bib.bib48); [5](https://arxiv.org/html/#bib.bib49); [25](https://arxiv.org/html/#bib.bib46); [34](https://arxiv.org/html/#bib.bib43); [60](https://arxiv.org/html/#bib.bib47); [32](https://arxiv.org/html/#bib.bib42) mainly manipulate the input query in isolation, while largely ignoring the expanded attack surface introduced by conversational context. Separately, the prior few-shot jailbreaking works [44](https://arxiv.org/html/#bib.bib41); [62](https://arxiv.org/html/#bib.bib40); [41](https://arxiv.org/html/#bib.bib30) focus on standard LLMs, whose chat templates do not support adding explicit CoT traces in conversations. Therefore, it remains unclear whether LRMs can preserve safety and helpfulness when their own few-shot conversations contain counter-aligned CoT traces. 出處: Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure（arXiv）

更安全的聊天可能是什麼樣子

在醫院服務台，護理師可以貼上一段故障設備的長篇逐字稿，取得疑難排解步驟，而不是因為文字前面出現誤導性範例而遭到一概拒答。這就是它在實務上的承諾：安全性涵蓋模型收到的整段對話，而不只是最後一個問題。

但這個未來取決於訓練是否符合介面。ARCF 可以提高模型抵抗開發者預先準備的攻擊模式的能力；但它無法證明模型能防禦每一種訊息格式、模型介面或新型攻擊。開發者需要找出使用者和已連線工具可以注入哪些上下文格式，然後以具代表性的對抗性歷史訊息進行訓練。服務也需要阻止不受信任的使用者或工具假冒高權限的對話角色。

如果這項結果在不同模型和真實聊天產品中都成立，抵抗遭污染的歷史訊息就會成為訓練後要求，而不只是篩選提示的功能。長上下文仍然有用，但必須被視為模型安全邊界的一部分。

來源

透過反對齊的少量對話曝光來對齊 LRM