マルチエージェントシステムはモデルのラベルなしで協力する

異なるモデルで構成されたAIチームは、それぞれの貢献をどのモデルファミリーが生み出したか知らされないほうが、うまく協力できる場合がある。研究者が最大5つのオープンウェイトモデルファミリーからなるグループをテストしたところ、ラベルなしの25エージェントによるExclusionの実行では100回中88回が合意に達した一方、ラベルありの実行では1回も達しなかった。これが本番のワークフローにも当てはまるなら、オフィス向けソフトウェアチームは、どのエージェントが各メモを作成したかを見ずに、契約書、スプレッドシート、ポリシーマニュアルの内容を突き合わせられる。その一方で、運用担当者は監査のために来歴を保持できる。

異なるモデルで構成されたAIチームは現在、全エージェントに同じ指示が与えられていても、互いに議論して時間を浪費したり、答えを決められなかったりすることがある。プロンプトやメッセージヘッダーのラベルによって、あるエージェントは別のエージェントがどのプロバイダーやモデルファミリーによって作られたかを知ることができる。その情報は運用担当者には役立つかもしれないが、エージェントにとっては、課題とは関係のない違いを軸に集団を作る理由にもなりうる。

なぜアイデンティティが会話に入り込むのか

マルチエージェントシステムは、複数の言語モデルに作業を分担させる。エージェントはメッセージを交換し、互いの答えを批判し、投票し、あるいは一緒に最終回答を選ぶことがある。異なるモデルファミリーを使えば、異なる能力を得たり、1つのプロバイダーへの依存を減らしたりできる。しかしその一方で、協調もシステム設計の一部になる。

モデルのアイデンティティは、システムプロンプト、名前、メッセージヘッダーを通じてエージェントに届くことがある。エージェントを指揮するシステムの一部であるオーケストレーターは、ルーティング、デバッグ、キャリブレーション、説明責任のためにその情報を必要とする場合がある。エージェント自身がそれを目にする必要はないかもしれない。

この違いが重要なのは、目に見えるアイデンティティが常に単なる中立的な事実とは限らないからだ。あるエージェントが、別のエージェントは特定のモデルファミリーから来たと知れば、グループは完了すべき作業ではなく、そのラベルを軸に組織され始める可能性がある。

ラベルを隠すとゲームが変わる

研究者は、最大5つのオープンウェイトモデルファミリーからなるグループをテストした。エージェントは、Leader Election、Exclusion、GPQA-Diamondの問題回答に参加した。これらは、グループが協調したり、答えに到達したりしなければならない課題である。

重要な変更は単純だった。エージェントが自分たちのモデルファミリーのラベルを見られるかどうかである。いくつかの実行では、ラベルを意図的に入れ替え、エージェントに実際とは異なるファミリーに属していると伝えた。その結果、グループは実際のモデルファミリーではなく、伝えられたラベルに従った。ファミリー名を中立的な色のラベルに置き換えた場合にも、同じ効果が現れた。エージェントは、モデルの動作の実際の違いではなく、目に見えるカテゴリーに反応していた。

アイデンティティのメタデータを何も表示しなかった場合、ラベルに沿った派閥は消えた。オーケストレーターはルーティングと監査のためにアイデンティティ情報を保持できた。単に、仲間のエージェントが共有する会話の中にその情報を置かなかったのである。

この違いにはコストがあった。厳密に協調的な課題では、ラベルありのグループは平均で55%多くのトークンを使った。論文によると、平均成功率もラベルなしのグループの96%からラベルありでは81%に低下した。25エージェントによるExclusionの実行では、ラベルありの実行は許された時間内に1回も合意に達しなかったが、ラベルなしの実行では100回中88回が達した。

したがって、この論文の中心的な主張は、あるモデルが別のモデルより優れているということではない。貢献を誰が作ったかをエージェントに伝えること自体が、エージェントの協力の仕方を変えうるということだ。その情報を取り除くのは小さなシステム設計上の選択だが、モデルや課題を変えずに、対立の原因を1つ取り除ける。

ラベルのないチームはどのようなものになるか

ある人がソフトウェアチームに、契約書、スプレッドシート、ポリシーマニュアルの内容を突き合わせるよう依頼するオフィスのワークフローを想像してみよう。エージェントは証拠を交換し、1つの答えを返す。論文の管理された課題で得られた結果が本番のワークフローにも当てはまるなら、会話から、どの会社やモデルファミリーが各メモを生成したかを省ける。チームは、あらかじめ示された内集団や外集団ではなく、目の前の貢献によって評価されることになる。

この未来には、プロベナンス、つまり各貢献がどこから来たかを示す記録を、エージェントが共有する会話の外に保管することが必要になる。運用担当者は、エラーを追跡し、作業を振り分け、システムを監査するために、引き続きそれを必要とする。今回の情報源が報告しているのは、オープンウェイトモデルを使った、管理されたテキストのみの課題に限られる。より大きなグループ、クローズドモデル、その他のデコーディング手法、より複雑なワークフローは、まだテストされていない。実際のAIチームが、誰が話しているかに費やす労力を減らし、解決すべきことにより多く取り組めるようにするには、同じ単純な分離、つまり運用担当者にはアイデンティティを知らせ、仲間のエージェントには知らせないことが有効なのか。それが実務上の問いである。

Sources

arXiv, “Prompted Identity Degrades Cooperation in Multi-Agent LLM Systems”