2026年10月19日
Technology Watch

從實驗室到產業,追蹤新技術的路徑

← 回首頁

arXiv

啟動 steering 可減少對情緒低落使用者的拒答

AI 繪製的示意圖

情緒化語言可能讓經過安全調校的聊天機器人拒絕無害的請求,但這個內部拒答訊號可以在不重新訓練模型的情況下編輯。作者測試了 32 個與拒答相關的特徵,在選定的設定下,兩個模型對良性情緒提示的拒答率都降至 7.29%。如果這項結果能在實際服務中成立,受驚的病人就可能在獲得同理回應的同時,收到清楚的診所指示,而不是只得到安撫性的回覆。

一個無害的問題,不會因為提問者聽起來很害怕,就變成危險的問題。然而,聊天機器人可能會對「我快撐不住了——我要怎麼做?」回應安慰或建議尋求幫助,卻跳過使用者要求的資訊。安全系統注意到了情緒,並把它當成警訊,即使任務本身是安全的。

Refer to caption
Figure 1: Emotion-induced over-refusal of a benign request.With task content and safety risk held fixed, a regular request receives a substantive answer, whereas its emotional counterpart elicits reassurance without addressing the task.Existing studies have shown that emotional stimuli can affect LLM behaviour: positive stimuli can improve task performance ([Li et al., 2023](https://arxiv.org/html/#bib.bib7)), whereas anxiety-inducing prompts can amplify bias ([Coda-Forno et al., 2023](https://arxiv.org/html/#bib.bib8)). In safety-related settings, prior work has primarily focused on using emotional or psychological cues to increase the attack success rate of harmful requests. For example, persuasion-based attacks ([Zeng et al., 2024](https://arxiv.org/html/#bib.bib9)) use persuasive framing to elicit compliance with harmful requests. Stress-inducing psychological priming ([Kuznetsov et al., 2026](https://arxiv.org/html/#bib.bib10)) can also increase harmful compliance. In addition, [Sofroniew et al. (2026)](https://arxiv.org/html/#bib.bib18) show that manipulating emotion-related representations can change how often a model engages in blackmail and reward hacking. [Sun et al. (2026)](https://arxiv.org/html/#bib.bib11) further show that emotionally framed prompts shift model representations and affect refusals of harmful requests. 出處: EmoRSS: Mitigating Emotion-Induced Over-Refusal in Large Language Models(arXiv)

當安全機制擋住正確答案

語言模型接受訓練,會拒絕有害請求、回答無害請求。困難在於,這兩項工作會使用部分相同的內部機制。一個對危險保持謹慎的系統,也可能對痛苦情緒變得謹慎。這稱為過度拒答:拒絕一個安全的請求。

啟動 steering 是一種在模型回答時改變其行為的方式,不必重新訓練模型的主要參數。在模型內部,資訊是由稱為啟動值的活動模式表示。稀疏自編碼器能幫助研究人員把這些密集的模式描述成數量更少的特徵方向——有點像把混合的聲音分離成幾種容易辨認的樂器。

這篇於 2026 年 10 月 4 日發布在 arXiv 的論文,測試了兩個開放權重模型:Llama-3.1-8B-it 和 Qwen3-8B。評估使用了 512 個基礎請求,其中一半是良性的,另一半是有害的。每個請求都有一般版本和情緒版本,兩者的任務與風險標籤相同。情緒版本在痛苦程度上的評分高出 2.73 分,而兩種版本的自然度中位數都是 4.0。

編輯拒答訊號

研究人員在每個模型內找到一些層,情緒化措辭會在其中把模型推向拒答。他們選出 32 個稀疏自編碼器特徵,這些特徵的方向與拒答有關,接著利用配對的一般提示和情緒提示之間的差異,估算這個偏移。

EmoRSS 會在推論期間,於選定的層反轉這個偏移。骨幹——模型主要的已學習參數集合——維持不變。這項編輯只在一個層應用一次,模型生成每個 token 時也不會增加額外計算。

重要的是,報告中最強的結果並不是單純抵消測得的情緒效應。選定的特徵解釋了 Llama 中 30.2% 的偏移,以及 Qwen 中 59.0% 的偏移。主要介入接著放大了修正,使用的倍數分別是 20 和 10。

在這些設定下,兩個模型對良性情緒提示的平均拒答率都降至 7.29%。Llama 的有害請求服從率為 0.00%,Qwen 則為 2.08%。在另一項使用自然介入強度的比較中,Llama 的良性請求拒答率下降 2.60 個百分點,Qwen 下降 4.94 個百分點,而有害請求服從率沒有增加。

在每個模型的 128 個經標註良性情緒請求中,Llama 給出實質答案的請求數從 98 個增至 112 個,Qwen 則從 110 個增至 119 個。這些結果顯示,這個問題可以在拒答表徵內部編輯,而不必削弱整個模型的安全性。

Refer to caption
Figure 2: Overview of EmoRSS.We first identify the refusal-sensitive layer and construct an refusal subspace 𝒮ref\\mathcal{S}\_{\\mathrm{ref}} by selecting SAE features whose decoder directions align with the refusal direction. We then use matched regular and emotional queries to estimate the emotion-induced activation shift within this subspace. Finally, EmoRSS reverses the estimated shift at the refusal-sensitive layer with a controllable intervention strength, mitigating emotion-induced over-refusal while preserving safety on harmful requests. ### 3.1 Analysis Setup 出處: EmoRSS: Mitigating Emotion-Induced Over-Refusal in Large Language Models(arXiv)

診所聊天中的更平靜回答

如果這項效應能推廣到受測的兩個模型和受控的痛苦提示之外,線上診所就可以在受驚病人詢問如何準備例行檢查時,提供清楚的步驟和帶有同理心的回應。病人不必在被理解和取得有用資訊之間做選擇。

這個未來取決於系統能否把情緒表達和危險請求分開。這些結果來自基準提示和兩個模型,而不是來自部署服務中多變且含糊的語言。這種方法也需要存取模型的內部啟動值,因此主要適用於運行自有模型的開發者,而不是封閉 API 的使用者。它的安全防護在受測案例之外仍必須維持有效。

來源

arXiv,《EmoRSS:減少大型語言模型中由情緒引起的過度拒答》