arXiv
交渉エージェントには評判スコアを超える信頼ルールが必要だ
交渉するAIには、評判に基づいて行動するためのルールが必要だ。妨害者を特定しただけでは、取引を成立させられないからである。研究者らは5者のエージェントを20回の反復エピソードで検証し、第5エピソードまでに、評価の最大100%で隠れた敵対者を検出できることを確認した。市の調達部門では、エージェントが信頼情報を安全に使うよう訓練・検証されていれば、疑わしい阻止役の投票なしでも、受け入れ可能なサプライヤー案を維持できる可能性がある。
現在、言語モデルエージェントに何度も交渉させる組織は、厄介な問題を抱えている。参加者の1人が、すべての取引をひそかに失敗させようとできるのだ。その阻止役は、もっともらしい異議を唱えられる。するとほかのエージェントは、ほかの全員が受け入れられる妥協案まで拒否し、交渉は崩壊する。「この相手を信頼してはいけない」と記録しておくだけでは、その結果を防げない。
スコアは意思決定ではない
評判スコアは、エージェントの行動を変える場合にのみ役に立つ。誰を信じるのか、何を提案するのか、いつ合意を受け入れるのかに影響しなければならない。複数の当事者が参加する交渉では、これは単純ではない。当事者が本当の個人的な理由で取引を拒否することもある。公の場での行動だけでは、その当事者が集団を妨害しているとは証明できない。
言語モデルでは、この問題はさらに難しくなる。ある瞬間には戦略についての指示に従えても、長いやり取り全体を通して、その指示を確実に適用できるとは限らないからだ。シミュレーションなら、エージェントに非公開の採点ルールと固定された投票ルールを与えることで、この問題を研究しやすくできる。ただし、このようなテストで成功しても、その手法が実際の契約や調達、公共政策の交渉で機能することの証明にはならない。
阻止役を見つけるだけでは仕事の半分にすぎない
研究者らはTASMANを構築した。これは、言語モデルエージェントが信頼スコアを次のエピソードに持ち越す、反復型の交渉テストである。各テストには5者、5つの争点、各争点について4つの選択肢があり、1つのエピソードは最大15ラウンドで構成された。同じ当事者が20エピソードに登場した。1者だけが、すべてのシナリオに誠実な当事者全員の受け入れ基準を満たす取引が少なくとも1つ含まれているにもかかわらず、ひそかに合意を阻止する目的を持っていた。
著者らは信頼を評価する方法として、数学的なベータ評判スコア、評価基準に基づく評価、自由記述による判断の3つを試した。第5エピソードまでに、主な設定ではエージェントが82.5%から100%の評価で隠れた敵対者を検出した。ベータ評判システムだけが、著者らが検証したすべての条件で89%を超える検出率を維持した。
しかし、妨害者と疑われる相手を認識しても、合意が自動的に増えるわけではなかった。エージェントに意思決定で信頼情報をどう使うかを指示しなかった場合、信頼情報を使うどの条件でも、信頼情報のないシステムに比べて合意が有意に改善することはなかった。エージェントは信頼できなさそうな相手を記憶できても、提案や投票、取引の受け入れ方を変えられなかった。
転機となったのは、意思決定の指針だった。研究者らが信頼情報の使い方を具体的に指示すると、評価対象となった1つのモデルでは、信頼情報を使わない場合の基準値に比べて合意率が9～23パーセントポイント上昇した。ある設定では、スコアのみの指示の下で集めた信頼情報を再利用しながら、この指針を加えることで、grok-rの合意率が16.5～30.5ポイント上昇した。
これが「信頼と合意の隔たり」である。エージェントは、誰を信じてはいけないかを知っていても、その相手に集団を止めさせてしまうことがある。評判は記憶である。機能する交渉方針には、その記憶をどう使うかの判断が必要だ。そこには、受け入れ可能な取引を、妨害者と疑われる相手の支持なしで成立させられるかどうかも含まれる。
これが意味を持つ可能性のある現場
市の調達部門では、交渉エージェントが、あるサプライヤーの土壇場の異議を、ほかの入札参加者全員が交渉を引き延ばす理由として扱うのをやめられる可能性がある。ほかの当事者がすでにある提案を受け入れられると示しているなら、エージェントは疑わしい相手の投票に頼らず、その提案を推奨できる。これにより妨害者の影響力が低下し、エージェントが信頼できる異議と戦略的な妨害を区別できないことが問題である場合には、人間へのエスカレーションも減らせる可能性がある。
この未来には、評判を表示するダッシュボード以上のものが必要だ。今回の研究で使われたのは、指示を与えられたエージェントと1人の敵対者だけだった。このような方針を信頼できるものにするには、複数の適応型敵対者を相手にしたテストと、いつ、どのように信頼情報に基づいて行動するかを教える訓練が必要になる。正当な少数派の異議に対する安全策も必要だ。重要な問いは、エージェントが問題を起こしている当事者を特定できるかどうかだけではない。自らの投票と提案戦略によって、受け入れ可能な取引を維持できるかどうかである。