arXiv
多代理系統在看不到模型標籤時能更好地合作
混合模型的 AI 團隊在不知道每項貢獻由哪個模型系列產生時,可能合作得更好。研究人員測試了由最多五個開放權重模型系列組成的團隊,發現 100 次未標籤的 25 個代理排除任務中,有 88 次達成共識;而標籤組則一次也沒有。如果這項結果能延伸到正式工作流程,辦公室軟體團隊就能在看不到每則註記由誰產生的情況下,核對合約、試算表和政策手冊,同時讓操作人員保留來源資訊以供稽核。
混合模型的 AI 團隊目前可能浪費時間互相爭論,有時甚至無法對答案達成共識,即使每個代理收到的任務都相同。提示詞或訊息標頭中的標籤,可以告訴一個代理另一個代理使用的是哪家供應商或哪個模型系列。這項資訊對操作人員可能很有用,但也可能讓代理以一個與任務無關的區別為基礎組成群體。
身分為什麼會進入對話
多代理系統會把工作分配給數個語言模型。代理之間可以交換訊息、批評彼此的答案、投票,或共同選出最終答案。使用不同的模型系列可以提供不同能力,或降低對單一供應商的依賴。但這也讓協調成為系統設計的一部分。
模型身分可以透過系統提示詞、名稱或訊息標頭傳達給代理。協調器——也就是負責指揮代理的系統部分——可能需要這些資訊來進行路由、除錯、校準和問責。代理本身則不一定需要看到這些資訊。
這項區別很重要,因為可見的身分不總是中性的事實。如果一個代理知道另一個代理來自某個特定模型系列,團隊可能開始圍繞該標籤組織,而不是圍繞必須完成的工作組織。
隱藏標籤會改變遊戲規則
研究人員測試了由最多五個開放權重模型系列組成的團隊。代理參與了 Leader Election、Exclusion 和 GPQA-Diamond 問答,這些任務都要求團隊協調或得出答案。
關鍵變化很簡單:代理能否看到模型系列標籤。在部分測試中,標籤被刻意打亂,因此代理被告知自己屬於一個與真實身分不同的系列。接著,團隊依循公布的標籤,而不是真實的模型系列。當模型系列名稱被替換成中性的顏色標籤時,也出現了相同效果。代理回應的是可見的類別,不一定是模型運作方式的真實差異。
當沒有顯示身分中繼資料時,這些與標籤一致的派系消失了。協調器仍可保留身分資訊,用於路由和稽核;只是沒有把這項資訊放進同儕代理共享的對話中。
這項差異代價不小。在嚴格合作的任務中,帶有標籤的團隊平均多使用 55% 的 token。論文也報告,未標籤團隊的平均成功率為 96%,帶有標籤的團隊則降至 81%。在 25 個代理的 Exclusion 測試中,帶有標籤的測試一次也沒有在允許的時間內達成共識,而 100 次未標籤測試中有 88 次達成了共識。
因此,論文的核心主張並不是某個模型比另一個模型更好,而是告訴代理誰產生了某項貢獻,本身就可能改變它們合作的方式。移除這項資訊是一個小型的系統設計選擇,但它能在不改變模型或任務的情況下,移除一個衝突來源。


未標籤團隊可能是什麼樣子
想像一個辦公室工作流程:有人請軟體團隊核對一份合約、一份試算表和一本政策手冊。代理交換證據,並回傳一個答案。如果這項結果能從論文中的受控任務延伸到正式工作流程,對話就可以省略每則註記由哪家公司或哪個模型系列產生。團隊將根據眼前的貢獻接受評估,而不是根據公布的內部群體或外部群體接受評估。
這個未來取決於把來源資訊——也就是每項貢獻來自何處的紀錄——保留在代理共享對話之外。操作人員仍需要這些資訊來追蹤錯誤、分派工作和稽核系統。這項來源只報告使用開放權重模型執行的受控、純文字任務。更大的團隊、封閉模型、其他解碼方法和更豐富的工作流程仍未經測試。實際問題在於,同樣簡單的分離方式——讓操作人員知道身分,但不讓同儕知道——是否能讓真實的 AI 團隊少花力氣討論誰在發言,多花力氣解決需要處理的問題。
來源
arXiv,《Prompted Identity Degrades Cooperation in Multi-Agent LLM Systems》