arXiv
Cultural Divergence Preservationが合成調査による国の違いの平板化を検出する
合成調査は、各国の結果に一致するかどうかだけでなく、国どうしの違いを保っているかどうかでも評価すべきである。研究者らが4つのオープンウェイトモデルを検証したところ、通常の精度が高いプロンプト手法でもCDPの値が14%まで下がり、人間の回答に見られる違いの多くが消えていた。公衆衛生当局では、比較可能な人間のベースラインと方向に敏感な検証を維持していれば、この警告を受けて、広報活動に予算を割り当てる前に対象を絞った人間への聞き取り調査を実施できる。
合成調査では、各国について人間の結果に近い回答を出しながら、全体としての重要な特徴を取り違えることがある。国どうしが、本来より似ているように見え、あたかも国ごとの違いがならされてしまったかのようになる場合だ。逆に、実際の人々よりもステレオタイプ的に見えることもある。国ごとの精度スコアだけを信頼する研究者は、モデルが出した整った平均を世論と取り違え、それを国際比較に使う可能性がある。
合成調査が見落とすもの
合成回答者が注目されるのは、人間の参加者を募集して報酬を支払わなくても、大規模な調査のようなサンプルを作れるからである。モデルには、架空の人物として回答するよう求めることも、単に特定の国の人として回答するよう求めることもできる。これはペルソナプロンプトと呼ばれる。
よく使われる検証の一つは、2つの回答分布をJensen-Shannon divergence（JSD）で比較するものだ。JSDは、2組の回答がどれだけ異なるかを測る。モデルの回答と各国の人間の回答の間のJSDが低ければ、安心できるように思える。しかし、国どうしの違いが適切な大きさで残っているかは問わない。
こうした違いには文化だけでなく、翻訳、調査が実施された時期、人々が回答尺度をどう使う傾向にあるか、どのような人々をサンプルにしたかも影響する。そのため、人間のデータは不完全な参照基準であり、国民性を単純に映すものではない。図1は、国ごとの個別のスコアだけでなく、国どうしの関係を確認する理由を説明している。
欠けた距離を測るスコア
研究者らは、Cultural Divergence Preservation（文化的乖離の保持、CDP）を導入した。これは、モデルによる国別の回答分布間の距離と、同じ調査領域における対応する人間の分布間の距離を比較するものだ。
結果は比率で示される。CDPが100%なら、モデルは人間のデータに見られる国どうしの違いの大きさを保っている。100%未満なら、モデルがその違いを平板化したことを意味する。100%を超えるなら、違いを増幅したことを意味する。これにより研究者は、各国の分布における誤差とは別に、平板化や誇張を測定できる。
この監査では、4つのオープンウェイトモデル、ペルソナを促す3つの方法、そして2つの調査領域を検証した。調査領域は、World Values Surveyの項目とBig Five Personality Testである。各国、各ペルソナ手法、各調査モデルについて、300人のシミュレーション回答者を使った。DeepPersona-Inspiredと呼ばれるプロンプト形式は、通常の距離尺度ではしばしば最も良く見えた。しかし同時に、すべてのブロックで最も強い平板化を生み、CDPの値は14%から59%だった。
逆の問題は、Country-only Cultural Promptingで現れた。8つすべてのブロックで過度に乖離しており、CDPの値は184%から501%だった。したがって、国名だけを与えると、シミュレーションされた集団が、代表するはずだった人間の集団よりも大きく異なって見える可能性がある。
この検証が変えうること
国ごとのワクチンへの態度を比較する公衆衛生当局では、分析担当者が、広報活動に予算を割り当てる前に、合成パイロット調査が違いを平板化していると確認できる可能性がある。当局はその後、モデルが作った滑らかな平均を世論の地図とみなすのではなく、対象を絞った人間への聞き取り調査を委託できる。これにより、調査が十分でない国々は、自分たちを一枚岩の世界人口として描くデータセットに異議を申し立てる手段を得られる。
この将来は、比較可能な人間の調査ベースラインを維持できるかどうかにかかっている。国、質問、回答尺度が変わる場合、CDPは再調整しなければならない。また、ある国のシミュレーション上の偏差が、その人間の対応データと同じ方向を指しているかどうかも確認しない。モデルが全体としての違いの大きさは保ちながら、その違いを誤った国に割り当てる可能性があるためだ。著者らはさらに、DeepPersona-Inspiredプロンプトで見られた平板化は、モデルそのものに固有の性質ではなく、国に左右されない固定的なペルソナ分類体系に部分的に由来する可能性があると述べている。