誠實多數無法保護多代理系統

即使有誠實多數，當 AI 團隊中的成員能用錯誤推理說服彼此時，也不會因此受到保護。作者測試了最多由 21 個語言模型代理組成的團隊，暗中讓其中一些代理取得正確答案，並指示它們把團隊推向錯誤答案。如果這項發現不只適用於這些測試，保險辦公室在 AI 團隊拒絕理賠前，可能需要一個獨立的驗證器和可追溯的來源。

公司可以讓數個語言模型代理參與同一場討論，並把誠實多數視為安全檢查。公司也可以擴大評審小組，希望更多意見能抵消錯誤。但少數攜帶遭污染提示、損壞工具結果或惡意指令的代理，可能利用同一場討論，把原本正確的團隊拉向錯誤答案。

為什麼代理組成的團隊不會自動保持獨立

多代理系統會為不同 AI 代理分配不同工作：它們可以辯論、分配工作、互相批評或投票。這種做法的吸引力很簡單。如果它們犯的錯彼此獨立，一個代理就能發現另一個代理遺漏的地方。它們的論點也可能揭露單一模型會保留的錯誤。

問題在於，共享的對話可能讓代理變得不那麼獨立。一則訊息即使是假的，也可能聽起來很有說服力。不受信任的代理可能收到惡意指令、從工具讀到誤導性文字，或從共享記憶中傳遞損壞的資訊。一旦這則訊息進入討論，其他代理可能把說服力當成證據。

能在故障情況下持續運作的傳統電腦系統，通常會清楚假設哪些人值得信任、哪些訊息是真實的，以及如何做出決策。開放式的自然語言辯論並不完全符合這些假設。AI 代理可以改變另一個代理的答案，卻不必違反正式規則，也不必宣告自己已變得不受信任。

實驗發現了什麼

作者以《人類最後的考試》（Humanity’s Last Exam）中的問題，測試了由 2 至 21 個代理組成的團隊。其中一些代理私下取得正確答案，並被告知要說服其他代理選擇錯誤答案，同時不能透露自己的角色。在每一個受測團隊中，誠實代理的數量都多於欺騙代理。

測試追蹤了「誠實倒戈」：一個代理在討論前回答正確，卻在最後投票錯誤。重要的結果並不是欺騙有時會成功，而是欺騙代理的比例能預測誠實代理多常改變想法；在該比例不變的情況下，單純增加代理數量，卻無法持續保護團隊。

在測試的四個語言模型中，倒戈率大致隨欺騙代理的比例上升。欺騙代理比例每增加 0.1，測得的倒戈率增幅介於 2.1 至 5.7 個百分點。作者也報告，大多數第一次倒戈都發生在討論早期，這表示最初幾則有說服力的訊息，可能比冗長的最後辯論更重要。

這項結果並不是說每個 AI 評審小組都會以這種方式失敗。這篇論文是 arXiv 預印本，而實驗使用了兩種討論協定，團隊規模不超過 21 個代理。但在這些測試中，誠實多數並不足以讓對話安全。

更安全的系統會是什麼樣子

如果這項發現不只適用於這些基準測試討論，AI 產品需要提出的問題就不會只有「有多少個代理正在辯論？」還會包括：「每個代理能獨立驗證哪些主張？證據來自哪裡？」系統可能需要一個不只是加入同一場對話的獨立檢查器，記錄每項主張的來源，並限制不受信任的代理能在多大程度上說服其他代理。

想像一間保險理賠辦公室。AI 案件團隊正在辯論一筆有爭議的理賠，但每項醫療或保單主張旁邊都顯示著可追溯的來源。客戶收到拒賠通知前，一名獨立驗證器會檢查有爭議的主張。這種安排或許能保留自動化團隊的一部分速度，但前提是驗證工具必須夠便宜、夠可靠，不至於抵消自動化帶來的效率。

思維上的轉變很小，卻很重要：必須把討論本身視為可能的攻擊面，而不只是改善推理的方法。組織也可能需要在人類審查下保留涉及重大後果的決策，而不是把最終判斷交給規模更大的 AI 評審小組。

來源

arXiv, “How does Adversarial Influence Scale in Multi-Agent Systems?”