arXiv

人工有権者集団は正確な得票総数の陰に集団ごとの誤りを隠す

2026年10月30日 09:30

AIで作った有権者集団は全体の得票を一致させながら、一部の集団の好みをひそかにステレオタイプへ置き換えることがある。研究者は米国の選挙回答者を対象にClaudeとLlamaを検証し、2020年には両モデルがネイティブアメリカンの回答者における民主党の得票率を約13.5ポイント過大に見積もった。人工世論調査を意思決定の指針にするなら、全体の数字を1つ示すだけでなく、集団ごとの誤りも示す必要がある。

コンピューターは今や、有権者を1人ずつ仮想の集団に組み入れられるようになった。だが、説得力のある全国得票総数が出ても、その仮想の有権者が、代表するはずの人々に似ているとは限らない。ある集団を実際の有権者より民主党寄りに、別の集団を共和党寄りに見せることで、全体の結果を正しく出すシステムもあり得る。

人工有権者集団とは何か

言語モデルには、人種や民族、性別、年齢、学歴、政治的イデオロギー、政治への関心といった情報を含むプロフィールを与えられる。するとモデルは、その人物がどのように投票したかを予測する。こうした予測を何千人分も合計すると、人工有権者集団、つまりコンピューターが作る有権者集団の代替物になる。

これは世論調査や政策研究、デジタル民主主義のツールに役立つ可能性がある。特に、ある種の有権者には接触しにくい場合に有用だ。だが、2種類の正確さは分けて考えなければならない。個人レベルの忠実度とは、シミュレーションされた人物の投票が、そのプロフィールを持つ実在の人物が報告した投票と一致することだ。集計レベルの正確さとは、シミュレーションされた集団全体の得票率が、おおむね正しいことだ。

この2つの指標は一致しないことがある。異なる集団で生じた間違いが互いに打ち消し合うことがあるからだ。すると全体は信頼できそうに見える一方で、モデルは一部の人々の好みをひそかにステレオタイプへ置き換えている。図1はこの問題を示している。個人レベルの正確さが高く、全体の誤差が小さくても、ある集団については大きな誤差が生じることがある。

Refer to caption — Figure 1. Voter misrepresentation in AI representation. High individual accuracy (85%) and a small overall error (3 points) can coexist with a large error for one group (Group C, 14 points), reversing its ordering relative to another group.Large language models (LLMs) are increasingly used to emulate human respondents by grounding predictions on demographic, ideological, and contextual profiles ([Argyle et al., 2023](https://arxiv.org/html/#bib.bib2); [Zhang et al., 2024](https://arxiv.org/html/#bib.bib4); [Li et al., 2025a](https://arxiv.org/html/#bib.bib3); [Majumdar et al., 2026](https://arxiv.org/html/#bib.bib1); [Ziems et al., 2024](https://arxiv.org/html/#bib.bib20)). In electoral settings, an LLM can predict a voting choice for each real voter profile and aggregate these predictions into a synthetic electorate. We refer to this process as *AI representation of voters*. It is used to pilot and complement pre-election polling and forecasting ([Cerina and Rouméas, 2025](https://arxiv.org/html/#bib.bib39); [Markaki et al., 2026](https://arxiv.org/html/#bib.bib40)), to estimate the preferences of abstaining or hard-to-reach voters who are missing from surveys ([Majumdar et al., 2026](https://arxiv.org/html/#bib.bib1); [Gholamnia et al., 2026](https://arxiv.org/html/#bib.bib41)), to build synthetic populations for policy and social-science research ([Argyle et al., 2023](https://arxiv.org/html/#bib.bib2); [Zhang et al., 2024](https://arxiv.org/html/#bib.bib4)), and to support deliberation and collective decision-making in digital democracy ([Majumdar et al., 2026](https://arxiv.org/html/#bib.bib1); [Rymon, 2026](https://arxiv.org/html/#bib.bib42)). In each of these uses, AI representation is valuable only if the resulting electorate reproduces aggregate vote shares and individual voters and demographic groups are represented faithfully and as intended. We distinguish *individual fidelity*, where an emulated vote matches the corresponding human respondent’s reported vote, from *aggregate accuracy*, where the simulated electorate reproduces empirical vote-share distributions. These attributes do not align: aggregate agreement can conceal errors that are systematically concentrated within particular voter groups. Prior work on LLM-based opinion simulation shows that model responses to survey and political questions shift with the demographic profile the model is conditioned on, and often align better with some groups’ opinions than others ([Argyle et al., 2023](https://arxiv.org/html/#bib.bib2); [Sun et al., 2024](https://arxiv.org/html/#bib.bib8); [Lee et al., 2024](https://arxiv.org/html/#bib.bib9); [Santurkar et al., 2023](https://arxiv.org/html/#bib.bib18); [Bang et al., 2024](https://arxiv.org/html/#bib.bib34)). Studies that emulate voters specifically report a second problem: the predicted vote totals can miss the real election result, and the predicted differences between groups can be larger than those observed in real voters ([Kreutner et al., 2026](https://arxiv.org/html/#bib.bib5); [Potter et al., 2024](https://arxiv.org/html/#bib.bib36); [Von der Heyde et al., 2024](https://arxiv.org/html/#bib.bib10); [Yu et al., 2024](https://arxiv.org/html/#bib.bib6)). What remains open is whether the error in predicting individual votes is itself unevenly distributed across voter groups, and whether this unevenness distorts the group vote shares of the emulated electorate. 出典: AI Alignment for Digital Democracy: Fairer Voters Representation against LLM Biases（arXiv）

全体の数字の下にある監査

著者らは、2012年、2016年、2020年の米国大統領選挙について、American National Election Studiesの回答者を対象にClaude Sonnet 4.6とLlama-3.1-8B-Instructを検証した。2020年には、両モデルが個々の投票を正しく予測した割合は84.8%と85.8%だった。

これは強い結果に聞こえるが、予測を集団ごとに分けると様子が変わる。2020年のネイティブアメリカンの回答者について、両モデルはシミュレーション上の民主党得票率を、回答者が報告した得票率より約13.5ポイント高くした。3回の選挙すべてで、両モデルは男性と、高校以下の学歴しか持たない人について、民主党の得票率を報告された割合より低くした。Claudeは男女間の差を、実際の回答者における差の約3倍にした。Llamaはそれを2.3倍から3倍にした。

そこで研究者は、集団ごとの誤差を独立した安全性チェックとして扱っている。1つの正確さのスコアや、全体の予測だけを信頼するのではなく、各集団のシミュレーション上の得票率を、その集団が報告した投票と比較する。使ったデータは重み付けされていない調査集団のものなので、これらの結果が示すのは全国の有権者ではなく、調査の回答者である。

モデルの回答がランダムに変わる場合、同じプロンプトを何度も実行することには意味がある。しかし、モデルがプロフィールと同じ想定上の政治的選好を結びつけて繰り返す回答を直すことはできない。検証では、Claudeはほぼすべての回答者について、ほぼすべての実行で同じ投票を示した。Llamaも非常に一貫していた。処理を繰り返しても、人種集団で最も大きかった誤差は大幅には減らなかった。

著者らはプロフィールの項目を削除することも試した。2020年のデータでは、プロフィールから性別を削除すると、Claudeで最悪の集団誤差が、正確さを大きく損なうことなく小さくなった。学歴を削除すると、Claudeではさらに大きな改善が見られた。しかし人種を削除すると、両モデルで集団誤差の平均は悪化した。人種は、他の項目がステレオタイプ化を促す一方で、観測された集団ごとの投票パターンを再現するのに役立つ場合もあった。

一般的な公平性の指示から、信頼できる答えは得られなかった。人種に焦点を当てたプロンプトを使うと、Claudeで人種集団の最悪の誤差は大きくなった。Llamaの内部的な振る舞いを変えることを狙った介入では、予測の多くが民主党候補の方向へ動き、全体の誤差が大きくなった。

これによって何が変わるか

市役所の意見聴取ポータルでは、年齢、学歴、性別、人種・民族の各集団について別々に誤差を示すまで、近隣地域についてAIが作った推定値を保留できる。住民が見るのは、自信ありげな市全体の数字1つだけではなく、その数字が集団ごとの忠実な推定から作られているかどうかになる。そのためには、比較に使う人間の回答を独立して集める必要がある。

世論調査会社では、分析担当者が、学歴による差を誇張するプロフィール項目を削除し、観測された人種集団ごとの投票パターンの再現に役立つ項目を残すことができる。人工世論調査を公表する前に、そうした選択を記録しなければならない。検証は、選挙、国、調査設計、より詳しい有権者プロフィールをまたいで行う必要がある。それまでは、安価な人工的な全体推定値は、代表性のある集団ごとの推定値の代わりにはならない。

Sources

arXiv, “AI Alignment for Digital Democracy: Fairer Voters Representation against LLM Biases”