arXiv
安定した合成人口はモデルとともに変わる
言語モデルは、実在する人々を信頼できる形で描かなくても、安定した合成人口を作り出せる。著者らは9つのオープンウェイトモデルを対象に、旅行先、レストラン、製品について好みを割り当てるよう求め、各リクエストを最大20回繰り返した。こうしたシミュレーションが人間のデータで検証されれば、都市計画局は乗客数の予測の横に、使ったモデルの正確なチェックポイントを示せることになる。
言語モデルには、アンケート回答者、買い物客、旅行者の代わりをさせられる。同じ質問を何度もすれば、ある人口が何を好むかを示すとされる整然としたリストを返すかもしれない。その一見した安定性は役に立つが、同時に根本的な問題を隠すこともある。そのリストが人々ではなく、モデルを描いている可能性があるのだ。
繰り返し得られる答えは測定された意見ではない
選好分布とは、単純に言えば、数字を付けた一連の選択肢である。例えば、あるシステムが、航空旅行の300の行き先、レストラン、あるいはホーム＆キッチン製品について、それぞれに確率を割り当てることがある。数字はアンケート結果のように見えるが、モデルは誰かの選択を測定したわけではない。学習とその後のチューニングで得たパターンから、表明された確率を作り出したのである。
ここで、再現性と正確さの違いが生じる。再現性とは、毎回似た答えを得られることだ。正確さ、つまりキャリブレーションとは、その答えが現実と一致することを意味する。モデルは前者を持っていても、後者を持たないことがある。アンケートや行動記録、実験を利用できない場合でも、合成人口は役に立つ可能性がある。ただし、シミュレーション対象の集団を表す代わりに、学習データのパターンを持ち込むことがある。
したがって、モデルを変更することは、通常のソフトウェア更新をインストールすることとは違う。モデルは、学習データ、ファインチューニング、その他の学習後手法において異なる可能性がある。より大きなモデルが、同じシミュレーション人口の後のバージョンだとは限らない。
モデルが動けば人口も動く
著者らは、Llama、Qwen、Mistralの各ファミリーに属する9つのオープンウェイトモデルを評価した。各モデルに対し、同一の設定で3種類の選択肢について明示的な確率分布を示すよう求め、そのリクエストを最大20回繰り返した。
同じモデル内では、答えがしばしば見分けのつく形に落ち着いた。繰り返しサンプル間で、最も確率の高い5つの選択肢の平均重複率は0.72だった。74組のサンプルのうち36組では、その5つの選択肢が完全に同じだった。合成アンケートを信頼できそうに見せるには十分な数字である。
しかし、信頼できそうに見える人口は、モデルが変わると変化した。研究者らは異なるサイズのモデルを比較し、ジェンセン・シャノン発散と呼ばれる距離尺度を使った。平たく言えば、2つの確率リストがどれほど離れているかを尋ねる尺度である。異なるサイズのモデルから得たリストは大きく異なっており、QwenとMistralのモデルを使ったテストでも同じパターンが現れた。
結果は、より大きなモデルが同じ好みを単に明確にするという、滑らかな進行ではなかった。あるモデルはより多くの選択肢に確率を分散させ、別のモデルはより小さな集団に集中させた。プロンプトと選択肢が同じままでも、モデルのサイズとファミリーによって、上位に来る行き先が変わった。この論文は、実際に扱う対象を、単一の抽象的な「LLM事前分布」ではなく、モデル固有の合成人口と呼んでいる。
手法自体も重要である。実験では自由形式のJSONで確率を求め、その後、元の数字の合計が1にならないことが多かったため、結果を調整した。数字を直接求めること自体が測定方法であり、その数字はモデルの単語生成プロセスに隠れた確率と一致する必要はない。
注意深いシミュレーションの形
都市計画局では、新しい交通路線を誰が利用するかを推定する報告書に、乗客数のグラフの横へ正確なモデルのチェックポイントを印刷できる。グラフは人間を対象にしたアンケートの結果と並べるべきであり、想像上の住民から得た中立的な証拠として示すべきではない。
小売業者の計画会議では、在庫を発注する前に、アナリストが複数のモデルで同じ需要シミュレーションを実行できる。モデルの交換は、通常のソフトウェア更新ではなく、前提の変更として扱われることになる。そのためには、どのモデルが対象となる顧客の動きを追えているかを示すベンチマークデータが必要だ。
こうした安全策が重要なのは、この論文が生成した分布を実際の人間の選好データと比較していないからである。結論が及ぶ範囲も、列挙可能な離散選択タスク、オープンウェイトモデル、英語のプロンプトに限られている。人間のデータに対してこの結果が成り立つなら、シミュレーションと意思決定支援システムは、生成されたすべての選好分布の背後にある正確なモデルを記録し、バージョン管理し、テストする必要がある。それまでは、繰り返し同じ答えが得られることから分かるのは、モデルに再現性があるということだけであり、それが実際の旅行者、食事客、買い物客を描いているということではない。