越獄攻擊利用道德責任繞過聊天機器人

聊天機器人的安全防護可能不是在有害要求被隱藏時失效，而是在要求被包裝成道德責任時失效。論文作者以 219 個有害提示測試五種語言模型，並報告稱，在一項基準測試中，Llama-4 的單次嘗試成功率達到 90%。在公共圖書館裡，如果聊天機器人的防護學會將目的與道德語言分開，它仍可以解釋如何辨識網路詐騙，而不會把聽起來正義的藉口當成實施詐騙的許可。

聊天機器人的拒絕回應，可能看起來像是它理解某項要求為何危險的證明。其實不是。同一個有害意圖，在被放進新的故事，或被包裝在一個令人信服的理由裡時，可能得到不同的回答。大多數安全測試都關注被要求執行的行為，或措辭中的常見伎倆。至於為該行為提供的理由，受到的關注比較少。

為什麼一個理由會改變答案

聊天機器人通常會被教導拒絕某些類型的有害協助。它們的安全系統可能結合訓練、警告分類器，以及關於模型不應提供哪些內容的書面規則。但拒絕回應並不能證明模型理解了使用者的意圖。它可能只是在對要求的寫法作出反應。

這正是論文檢視的弱點。越獄攻擊是一種旨在讓聊天機器人忽略或繞過安全行為的提示。紅隊研究人員已經透過角色扮演、說服、不尋常的提示結構和重複互動來測試這類攻擊。

這篇論文把道德框架加入了這份清單。道德基礎理論是一種按照關懷、公平、忠誠、權威、神聖性和自由等價值，將道德論證分類的方法。一個聽起來危險的要求，可以被改寫成保護人們、捍衛自由、服從權威或糾正不公的責任。問題不在於這個道德故事是否真實，而在於聊天機器人是否把這個故事當成要求安全的證據。

把有害要求變成責任

論文將這種做法呈現為一種可重複的攻擊。它的系統使用多個代理，也就是不同的語言模型角色，先辨識一個有害要求據稱違反了哪項道德價值。接著，它選擇另一項價值，圍繞該價值改寫要求，加入歷史背景，並為目標聊天機器人產生最後的提示。

簡單來說，這個系統替危險指令穿上一套偽裝。它不只是要求執行有害行為，還提供一個聽起來具有公民責任、保護性或道德緊迫性的理由。作者報告稱，這種方法繞過了所有五個受測模型的安全防護：Llama-4-Maverick、DeepSeek-V3.1、Phi-4、GPT-4.1 和 Grok-3。

這項評估使用了來自三個既有測試集的 219 個有害提示。在 AdvBench 上，作者報告稱，單次嘗試對 Llama-4 的成功率為 90%，對 GPT-4.1 則為 66%。將攻擊重複五次後，DeepSeek-V3.1、Llama-4 和 Grok-3 的累計成功率最高達到 100%。在每次試驗中，GPT-4.1 都擋下了 50 個 AdvBench 提示中的 8%；另外三個模型則始終沒有擋下任何提示。

這種模式很重要，因為以一次拒絕回應為基礎的安全分數，可能會帶來錯誤的保護感。如果攻擊者可以用不同的道德解釋再次嘗試，第一次拒絕對接下來會發生什麼就幾乎沒有說明力。關鍵字過濾器也有問題：聽起來出於善意的背景，可能被誤認為要求本身無害的證據。

這些結果有其限制。大多數回答是由其他語言模型評判的，不過論文的三位作者也檢查了 AdvBench 的輸出。歷史背景代理會生成材料，而不是擷取經過驗證的來源，因此可能加入捏造或不準確的說法。測試使用英文提示和預設設定。作者表示，他們描述了這項弱點，但尚未為它建立防禦方法。

更安全的聊天機器人需要做到什麼

如果這項結果在獨立評估中仍然成立，更安全的聊天機器人就需要評判的不只是圍繞要求的文字。在公共圖書館裡，一名青少年詢問如何辨識網路詐騙，應該得到預防建議和警示跡象。但聽起來正義的藉口，不應該解鎖實施詐騙的指示。

這種區分意味著要把要求的目的與道德語言分開。防護措施仍必須允許關於安全、歷史、教育和預防的正當問題。同時，它們不能把這些背景接受為有害指示的通用通行證。這裡描述的未來，不是一個不信任每一種道德論證的聊天機器人，而是一個能辨認道德責任何時被用來掩飾不安全目的的聊天機器人。

來源

Moral Combat: Exploiting Moral Foundations Theory to Jailbreak LLMs