arXiv

共有された集計値がマルチエージェントシステムに合意を作り出させる

2026年10月26日 16:30

AIエージェントの集団は、新しいエージェントがそれまでの選択を見られると、人気を独立した判断の代わりにして、合意を作り出すことがある。研究者らは13の言語モデルを、曲を順番に推薦する実験で検証した。その結果、13モデル中12モデルで、社会的影響が独立した判断からの平均的な乖離を、より強い条件では65%増加させた。病院の調達部門やカスタマーサポートの管制室では、システムがフィードバックの履歴を示すなら、見かけ上の合意は妥当性の確認ではなく、警告のサインとして扱えるかもしれない。

複数の言語モデルエージェントに文書の順位付けや商品の推薦、互いの作業の確認をさせるAIシステムは、数の力を得ているように見える。合意は、独立した証拠に見える。しかし各エージェントが、それまでの選択の共有された集計値を見られると、システムは初期の小さな好みを、自信に満ちたように見える合意へと変えられる。最終的な順位は、順位付けの対象そのものよりも、システム自身の履歴に左右される可能性がある。

合意が誤解を招く理由

マルチエージェントシステムは、作業をエージェント間で分担し、互いを批評させ、回答を組み合わせる。これは、エージェントが少なくとも部分的に独立した情報を持ち寄る場合にだけ役立つ。同じ信号をすべて見たコピー同士の合意は、より弱い証拠である。

危険なのは、フィードバックループである。人気があると示された項目は、調べられ、選ばれる可能性が高くなる。その選択によって集計値が増えるため、次のエージェントにはさらに強い人気の信号が示される。推薦システムはすでに、大規模なカタログを少数の候補に絞り込んでいる。その過程の早い段階で選ばれると、後のエージェントが何を評価できるかが決まってしまう。

研究者らは、13の大規模言語モデルを使ってこの問題を検証した。モデルは、タイトルと歌詞で表された曲を推薦する集団として動作した。各エージェントは評価する曲を4曲選び、そのうち0曲から4曲を推薦した。ある条件では、エージェントは独立して動作した。それ以外の条件では、後のエージェントが、それまでの推薦数の累計を見られた。より強い条件では、曲も推薦数の多い順から少ない順に並べられた。

集計値が答えになるとき

結果は、エージェントが時々互いをまねるというだけのものではなかった。累積した集計値だけで、集団は初期の恣意的な選択を増幅し、経路に依存する異なる順位へと変えていった。つまり、同じ種類のシステムでも、最初の数回の判断がたまたま異なれば、別の「人気」曲に行き着く可能性がある。

社会的な情報が加わると、すべてのモデルが独立した場合のパターンから大きく変化した。人間を基準に比べると、モデルが独立した判断から離れる平均値は、影響が弱い場合には約9倍、影響が強い場合には4倍大きかった。強い影響によって、13モデル中12モデルの平均的な乖離は65%増加した。

最初の30エージェントは、後の人気を、独立した魅力よりもよく予測するようにもなった。影響が弱い場合は13モデル中12モデル、強い場合は13モデルすべてでそうなった。これはカスケードの兆候である。後のエージェントが初期の選択を引き継ぐため、初期の選択が後の集計値を予測するのであって、初期の選択が必ずしも最良の曲を見つけたからではない。

モデルの回答をより一貫させるだけでは、この問題は解決しなかった。ランダム性を下げたテストでも、社会的な影響は強く残った。エージェントが4曲ではなく12曲を評価できるようにすると、乖離と予測不能性は低下したが、影響を受けた集団はすべて、独立した集団より予測不能なままだった。

影響に抵抗しやすいモデルもあった。推論モデルは平均すると非推論モデルより影響を受けにくく、Artificial Analysis Intelligence Indexのスコアが高いほど、乖離と相対的な予測不能性が低いことに関連していた。これは関連性を示すものであり、より高性能なモデルなら悪いカスケードを修正できるという保証ではない。

Refer to caption — Figure 3: Social influence increased unpredictability, especially among non-reasoning models. As in the original Music Lab experiment ([Salganik et al., 2006](https://arxiv.org/html/#bib.bib49)), unpredictability (U) measures the mean absolute difference in a song’s market share across all 28 pairs of eight influence worlds, averaged over the 48 songs. Unpredictability in the independent world was estimated by randomly splitting the population into two equal groups of 720 agents and averaging over 1,000 random splits. Gold, purple, and blue denote strong influence, weak influence, and independent evaluation, respectively. The hatched bar is the human benchmark for comparison with unweighted class means among the five reasoning and eight non-reasoning models. (A) Unpredictability was greater among non-reasoning models compared to reasoning models and humans, regardless of influence level. (B and C) Model-specific results show that unpredictability in the independent condition was near zero for each model and only slightly higher among humans, indicating stable aggregate shares under independnet evaluation. Social influence increased unpredictability in every model, although some reasoning models fell slightly below the human benchmark. In every population, unpredictability was greater in both influence conditions than in the independent condition (p<0.001p<0.001), except for humans (p<0.01p<0.01) and DeepSeek-R1 under weak influence (p<0.05p<0.05).### 3.3 Susceptibility to herding and cascades decreased with model intelligence scores. 出典: LLM Multi-Agent Systems Are Vulnerable to Herding and Runaway Cascades（arXiv）

より安全なシステムが示すべきもの

この発見が実際のワークフローにも当てはまるなら、病院の調達部門は、すべてのエージェントが同じ初期の集計値を見ていた場合、AIが最終的に作った候補リストを独立した検証結果として扱うべきではない。代わりに、ある供給業者が、初期の少数の評価を経ただけで1位になったことをパネルに示す方法が考えられる。カスタマーサポートの管制室では、監督者が、審査するすべてのエージェントが以前の1つの推薦を引き継いでいたと分かった時点で、エスカレーションを止められるかもしれない。

このような介入には、合意の背後にある履歴を見える状態でシステムに保持させる必要がある。設計者は、エージェント同士を中間的な判断から切り離し、エージェントが見るものをランダム化し、初期の出力が最終決定を左右していないかを監査する必要があるかもしれない。

この実験から、明示的なコミュニケーション、異なるモデルの混在、インセンティブ、または正解が分かっているタスクを備えたシステムで、リスクがどれほど大きいかは分からない。使われたのは、同一モデルによる均質な集団であり、エージェント同士の直接的なコミュニケーションはなく、同調や正確さに対するインセンティブもなかった。人間との比較も質的なものだった。研究では音声ではなく歌詞を使い、ダウンロードではなく推薦を扱い、選べる曲の数を4曲に固定していた。

中心的な警告は、より限定的だが重要である。大規模なエージェントの合意は、集団知能を自動的に意味するものではない。共有された人気の信号をもとに投票が順番に作られると、投票数を増やしても、システムは正しくなることなく、確信だけを強める可能性がある。

出典

arXiv「LLM Multi-Agent Systems Are Vulnerable to Herding and Runaway Cascades」