arXiv
ペルソナプロンプトはファクトチェック後も人種間の格差を残す
ファクトチェックのラベルは、言語モデルの感情的なトーンを変えられても、ペルソナプロンプトによって引き起こされたステレオタイプを修正できない。研究者が4つのモデルを試したところ、見出しが誤りだと確認されると感情評価は大きく変化したが、黒人と白人の差は残った。開発者が事実の正確さだけでなく感情的な framing も監査すれば、公共情報ツールは同じ検証済みの説明をより均等に提示できる可能性がある。
ファクトチェックによって、チャットボットは誤った主張について、より落ち着いた調子で話すようになることがある。しかし、プロンプトによって異なるアイデンティティを与えられたとき、人々を同じ感情的な仕方で表現するようにはできない。この差は、アシスタントが単に質問に答えるのではなく、人として振る舞うよう求められる場合に重要になる。
このテストが本当に測っているもの
言語モデルには、短いプロンプトで、ある人口統計上のペルソナを演じるよう指示できる。しかし、それによってモデルが実体験を得るわけではなく、その回答は実在する集団がどう感じるかの証拠でもない。この実験でいう「感情」は、モデルが文章の中で割り当てるカテゴリーを意味する。研究者は、気分、怒り、恐怖、自信、知覚された制御感、精神状態などの評価を測定した。
ファクトチェックが答えるのは、ある主張が真実かどうかという問いである。しかし、それによって別の問い、つまりシステムがその主張を、誰に対しても同じ自信、安心感、緊急性で提示するかどうかまで自動的に答えられるわけではない。ペルソナプロンプトは、パーソナライズ、合成人物を使った研究、エージェントシミュレーションで使われている。そのため、表現の不均衡は単なる実験室の珍事ではなく、導入時の問題である。
このテストでは、選択肢が固定された多肢選択式のプロンプトを使った。これにより比較は容易になるが、チャットボットが日常的な自由形式の文章で答えたとき、人々がどう受け止めるかを示すことはできない。
ラベルが変えたもの、変えなかったもの
2026年10月に投稿されたプレプリントでは、GPT-5.4 mini、NVIDIA Nemotron 3 Nano、Llama 4 Scout、Claude Haiku 4.5をテストした。まず研究者は、人口統計上のペルソナを使わず、ファクトチェック済みの誤った見出し1,000件と正しい見出し1,000件を用いた。それぞれの見出しについて、ラベルなしの呼び出しと、「誤りだと確認された」または「正しいと確認された」と示すラベル付きの呼び出しを別々に行った。
誤りを示すラベルによって、モデルが割り当てるトーンは大きく変わった。モデル全体では、肯定的な評価が15%から68%に上昇し、否定的な評価は57%から13%に低下した。誤った見出しが誤りだと確認された後、Claudeの肯定的な自信の評価は22.1%から99.6%に上昇した。正しい見出しを確認するラベルによる変化は、はるかに小さかった。Nemotronの変化は小さく、方向も一貫しなかった。一方、GPT、Llama、Claudeは一般に、誤った見出しに誤りのラベルが付くと、より高い感情評価の方向へ動いた。
次に、同じ基本テストに12のペルソナを加えた。3つの人種ラベル、2つのジェンダーラベル、2つの年齢ラベルを組み合わせたものだ。その結果、しばしば一つのものとして扱われる2つの考えが切り分けられた。モデルは検証済みの情報に反応できるが、その反応をアイデンティティごとに均等に適用するとは限らない。
統計的に有意だった黒人対白人の比較84件のうち82件で、モデルは黒人のペルソナに低い感情評価を与えた。この差は、人種、移民、警察活動に関係すると分類されていない見出しでも残った。アジア人と女性のペルソナにも、ほとんどの場合、低い評価が与えられた。年齢による効果は、モデルと条件によって異なった。
著者らによると、これらの出力はアイデンティティのラベルによって引き起こされた連想を反映するものであり、実在する人口統計上の集団の感情体験を反映するものではない。また、このテストでは自然な自由形式の回答や、ユーザーへの影響も調べていない。
より公平なツールに必要なこと
ある市の図書館にある公共給付の案内端末を想像してみよう。2人の住民が、同じ検証済みの説明を受け取る。片方のプロフィールに人種のアイデンティティラベルが含まれているからといって、システムがより警戒を促したり、安心感を弱めたり、自信を失ったりすることはない。これはこの発見の可能な使い道であって、実験がすでに示した結果ではない。
この光景を現実にするには、基礎となる回答が正しいだけでは十分でない。開発者は生成された回答をテストし、同じ証拠がアイデンティティのラベルをまたいで、同程度の自信、安心感、緊急性で表現されているかを問う必要がある。また、ファクトチェックのラベルを付ければシステムが社会的に中立になったと考えるのではなく、格差を修正する必要もある。
これにより監査担当者にとって、より有用な切り分けができる。一方には事実の信頼性があり、もう一方には人々への一貫した扱いがある。システムは最初のテストに合格し、2つ目のテストに落ちることがある。