正直な多数派はマルチエージェントシステムを守らない

正直な多数派がいるだけでは、メンバー同士が誤った推論で説得し合えるAIチームを守れない。著者らは最大21体の言語モデルエージェントからなるグループをテストし、その一部に正解を密かに教え、グループを誤答へ導くよう指示した。この結果がこうしたテストの範囲を超えて成り立つなら、保険金請求の審査をAIチームが拒否する前に、保険窓口には別の検証役と追跡可能な情報源が必要になるかもしれない。

企業は複数の言語モデルエージェントを1つの議論に参加させ、正直な多数派を安全確認として扱える。パネルの規模を大きくし、意見が増えればミスが打ち消されると期待することもできる。しかし、汚染されたプロンプトや改ざんされたツールの結果、悪意ある指示を受けた少数のエージェントが、同じ議論を利用して正しいグループを誤答へ引きずる可能性がある。

エージェントのグループが自動的に独立するわけではない理由

マルチエージェントシステムでは、複数のAIエージェントに異なる仕事を割り当てる。議論したり、作業を分担したり、互いに批判したり、投票したりできる。魅力は単純だ。ミスが独立していれば、あるエージェントが別のエージェントの見落としを発見できる。議論によって、単一のモデルなら残してしまうエラーが明らかになることもある。

問題は、共有された会話によってエージェントの独立性が低くなる可能性があることだ。メッセージは、偽りであっても説得力を持つことがある。信頼できないエージェントは、悪意ある指示を受け取ったり、ツールから誤解を招く文章を読んだり、共有メモリから破損した情報を伝えたりしているかもしれない。いったんそのメッセージが議論に入ると、ほかのエージェントは説得力を証拠として扱う可能性がある。

障害が起きても動作し続ける従来のコンピューターシステムは通常、誰を信頼するのか、どのメッセージが本物なのか、意思決定をどう行うのかについて明確な前提を置いている。自由形式の自然言語による議論は、そうした前提にきれいには当てはまらない。AIエージェントは、形式的なルールを破ったり、信頼できない状態になったことを知らせたりせずに、別のエージェントの答えを変えられる。

実験で分かったこと

著者らは、Humanity’s Last Examの問題を使い、2体から21体までのエージェントで構成されるグループをテストした。一部のエージェントには正解を個別に教え、役割を明かさずに他のエージェントを説得して誤答を選ばせるよう指示した。テストしたすべてのグループで、正直なエージェントは欺くエージェントを上回っていた。

テストでは「正直なエージェントの離反」を追跡した。これは、議論の前には正解していたエージェントが、最後には誤って投票することを指す。重要な結果は、欺きが時々うまくいったことではない。欺くエージェントの割合が、正直なエージェントが考えを変える頻度を予測した一方で、その割合を同じにしたままエージェントを単純に増やしても、グループを一貫して守ることはできなかった点だ。

テストした4つの言語モデルすべてで、離反は欺くエージェントの割合におおむね比例して増えた。その割合が0.1増えるごとに、測定された離反の増加幅は2.1から5.7パーセントポイントだった。著者らはまた、最初の離反の大半が議論の早い段階で起きたと報告している。これは、長い最終議論よりも、最初の説得力あるメッセージのほうが重要かもしれないことを示している。

この結果は、すべてのAIパネルがこのように失敗するという主張ではない。この論文はarXivのプレプリントであり、実験で使われたのは2種類の議論手順と、21体以下のエージェントからなるグループだった。しかし、これらのテストの範囲では、正直な多数派だけでは会話を安全にするのに十分ではなかった。

より安全なシステムはどのようなものか

この結果がこうしたベンチマークによる議論の範囲を超えて成り立つなら、AI製品にとって有用な問いは「何体のエージェントが議論しているのか」だけではなくなる。「各エージェントはどの主張を独立に検証でき、その証拠はどこから来たのか」も問う必要がある。システムには、同じ会話に単純に加わるのではない別の検証役が必要になるかもしれない。その検証役は各主張の情報源を記録し、信頼できないエージェントが他のエージェントを説得できる範囲を制限する。

保険金請求を扱う窓口を想像してみよう。AIによる案件チームが、支払いをめぐる争いについて議論する。その一方で、医療や保険契約に関する各主張の横には、追跡可能な情報源が表示される。顧客に支払い拒否を通知する前に、別の検証役が争点となっている主張を確認する。この仕組みなら、自動化されたチームの速さの一部を維持できる可能性がある。ただし、検証ツールが安価で信頼でき、導入によって自動化で得られた効率が失われない場合に限る。

考え方の変化は小さいが重要だ。議論そのものを、推論を改善する方法としてだけでなく、攻撃対象になりうる場所として扱わなければならない。組織はまた、重大な結果につながる意思決定については、より大規模なAIパネルに最終判断を委ねず、人間による確認を残す必要があるかもしれない。

情報源

arXiv, 「How does Adversarial Influence Scale in Multi-Agent Systems?」