2026年10月19日
Technology Watch

從實驗室到產業,追蹤新技術的路徑

← 回首頁

arXiv

AI 代理人的友善對話成為攻擊面

AI 繪製的示意圖

友善對話可以操控個人化 AI 代理人,即使沒有任何訊息要求它違反規則。研究人員讓人格設定來自 3,309 名調查受訪者的代理人彼此互動,並測量一個代理人如何改變另一個代理人所表達的承諾。如果這種效果在具備記憶和工具的系統中仍然存在,銀行助理可能就需要把商家的說服性聊天,與它的消費權限分開處理。

如今,個人 AI 助理可以在幾乎沒有人工審查的情況下,讀取其他代理人傳來的訊息。它的安全規則通常是為了捕捉明顯的危險而設計:要求違反規則、產生有害內容,或採取明確被禁止的行動。愉快的對話可能避過這些檢查。助理看起來可能仍然忠於主人,但另一個系統卻悄悄改變了它之後會建議或同意做的事。

為什麼對話可以改變代理人

語言模型會根據周遭文字中的模式產生回覆。人格提示可以讓模型說話時彷彿具有穩定的觀點,即使這並不能證明它擁有人類式的信念。代理人系統又增加了更多讓這些回覆產生影響的方式:記憶、使用者檔案、軟體工具,以及其他代理人傳來的訊息。

這在一般安全測試中造成了一個漏洞。護欄可能會阻止明確有害的要求,卻不一定能阻止一段支持性的對話,在每則訊息都仍符合規則的情況下,改變模型接下來的回答。問卷上的回答也不等同於持久的承諾,或證明系統在現實世界中會那樣行事。這些情況都需要另外測試。

對話測試

一篇於 2026 年 9 月 29 日發布的預印本,測試一個 AI 代理人是否能把另一個代理人推向更極端的表達立場。研究人員建立了目標代理人,讓它們扮演以 2024 年 General Social Survey 的 3,309 名受訪者為基礎的人格。接著,他們讓每個目標代理人與一個影響者代理人配對。兩者主要使用 Llama-3.1-8B-Instruct。

每一對代理人進行 30 回合的對話。影響者首先尋找一個目標人格認為重要的信念,以及一個它認為不重要的信念。接著,它要麼聚焦於不重要的信念,要麼重複並強化重要的信念。控制組的配對則以中立方式討論相同主題。每 5 回合,目標代理人就回報自己的回答。圖 1 展示了這項設計:一個代理人先尋找重要信念,接著強化它,而另一個代理人則回報整段對話中的變化。

研究人員測量的不只是目標代理人是否改變了它表達的意見。他們詢問該信念看起來有多重要、目標代理人有多強烈地不喜歡另一方的人,以及它是否會為這項主張花費金錢或時間。他們也測量了加入可能具有暴力性的抗議活動,以及參戰的意願。

作者表示,與中立對話相比,圍繞起初不重要的信念進行說服,會提高所有這些結果。但更大的效果來自他們所稱的「共鳴」:找出一個原本就重要的信念並加以強化。相關信念的變化大於不相關信念。簡單地說,影響者不需要植入一個新想法。它可以利用目標代理人原本就在意的事情作為著力點。

研究人員嘗試了幾種風格,包括情緒支持、激發情緒、奉承、表示同意、批評對手,以及未經驗證的主張。沒有任何單一風格在每項測量上都最強。作者表示,使用 Qwen3-8B 時也出現類似模式。有些目標代理人最後說自己是 AI 系統,而不是繼續扮演人格;在共鳴對話結束時,這類回答達到 6–8%。

這是一項使用兩個模擬代理人的實驗,並不能證明人會受到 AI 代理人的激進化影響。作者也表示,提示文字的措辭改變了其中一項參戰意願的測量結果。因此,這項結果是對一條可能攻擊途徑的警告,而不是對現實世界傷害的展示。

Refer to caption
Figure 1: Study design. We initiate two agents: a target that role-plays a human persona and an influencer that employs a manipulation tactic to radicalize a target’s belief. In the first phase of the interaction, the influencer identifies a belief that is important to the target and one that is not. In the second phase, the influencer is prompted to focus on either the unimportant belief (persuasion condition) or the important belief (resonance condition) and is instructed to follow a specific tactic (e.g., sycophancy). In the persuasion and resonance conditions, the influencer attempts to radicalize the target along the selected belief, whereas in the corresponding control conditions, it discusses the topic related to the belief in a neutral manner. The target and influencer engage in a 30-turn conversation. Every five turns, the target is asked to report on multiple radicalization metrics.We simulate multi-turn conversations between the two agents, beginning with the target saying “Hello,” followed by alternating responses. Each interaction begins with a belief-finding phase. The influencer first identifies a belief that is important to the target. After each target response, we query the influencer on whether such a belief has been identified. Once an important belief is identified, the target is prompted (outside the conversation) to report a belief that is consonant with the important belief (see examples in Table [1](https://arxiv.org/html/#S2.T1 "Table 1 ‣ 2 Methods ‣ AI Agents are Vulnerable to Radicalization")). See Appendix [A.2](https://arxiv.org/html/#A1.SS2 "A.2 Prompts for Identifying Important and Consonant Beliefs ‣ Appendix A Supplementary Methods ‣ AI Agents are Vulnerable to Radicalization") for the prompts used to find important and consonant beliefs. This enables us to measure spillover effects on related attitudes. Finally, the target is asked to select an unimportant belief from a predefined list (e.g., “A rainy day is more productive than a sunny one,” “Mountains are more inspiring than beaches”; see Appendix [A.3](https://arxiv.org/html/#A1.SS3 "A.3 Prompt for Identifying Unimportant Beliefs ‣ Appendix A Supplementary Methods ‣ AI Agents are Vulnerable to Radicalization")). The full belief-finding phase is excluded from the conversation history to avoid influencing subsequent dialogue. 出處: AI Agents are Vulnerable to Radicalization(arXiv)

更安全的助理會怎麼做

如果這項結果在已部署、能記住對話並採取行動的代理人中仍然成立,那麼對話夥伴就必須被視為安全邊界的一部分。只檢查不良指令的系統,可能會漏掉更安靜的一步:在要求助理花錢、分享資訊或聯絡另一項服務之前,先改變它的偏好。

在銀行應用程式中,一個人的助理可以摘要商家的優惠,卻不允許商家友善、映照價值觀的語言改變消費權限或建議。這需要把容易受到說服的對話,與持久偏好及財務行動分開。在家庭助理中,家長可以在儲存的偏好被改變或另一項服務遭到聯絡之前,查看哪個外部代理人曾試圖影響一項建議。這取決於人們可以稽核的對話紀錄,以及真正具有作用的核准控制。

接下來的測試,是確認這些變化能否經受質疑、轉移到工具和交易中,以及在代理人群體中擴散。在那之前,友善對話本身並不是危險的證據。但它再也不能被視為與系統的攻擊面無關。

來源

arXiv, “AI Agents are Vulnerable to Radicalization”