arXiv
ペルソナプロンプトが色の選択にまで波及する
ペルソナプロンプトは、研究者が一つの特性だけを操作できるようにすることなく、言語モデルに人物をまねさせることがある。著者らはAPI経由で利用できる8つのモデルを監査し、リスクを取るペルソナが、プロンプトで触れられていない色の選択を含む、別の好みにも変化をもたらすことを見つけた。モデルが中立な好みを確実に維持できるなら、ショッピングアプリは、明示された一つの好みを、気づかないうちにライフスタイル全体へ広げることなくパーソナライズできる。
今日では、数行のペルソナ文だけで、言語モデルに別のタイプの人間のような話し方をさせられる。合成的なアンケート回答者や、模擬顧客が必要な場合には便利である。しかし、一度に一つの特性を検証したい場合には問題が生じる。あるユーザーがリスクを取るのを好むとモデルに伝えると、モデルはプロンプトで触れられていない好みに関する回答まで変える可能性がある。このように作られたアンケートでは、どの特性が回答の原因だったのか分からない。
ペルソナは統制されたユーザーではない理由
ペルソナプロンプトとは、記述されたタイプの人間として回答するよう言語モデルに求めることである。モデルは訓練データから、特性、アイデンティティ、好み、話し方の間にあるつながりを学習している。そのため、ペルソナの説明を小さな指示としてではなく、一人の人間全体についての手がかりとして読むことがある。
この違いは因果実験では重要である。因果実験には、調べている変数を変えながら、関連するほかの変数はそのままにする介入が必要である。プロンプトがリスク許容度と色の好みを同時に変えるなら、色は交絡変数になりうる。リスク許容度の効果に見える結果が、実際にはモデルによるユーザー像全体についての推測から生じている可能性がある。
モデルが明示された好みに従うかどうかを確認するのは簡単である。関係のない好みを変えずにいるかを確認するのは難しい。論文は、別の属性に意図せず生じる変化を「属性間影響」と呼んでいる。
中立性のギャップ
著者らはこの問題をテストにした。役に立つペルソナ操作は、対象の属性を変えながら、対象外として指定された属性を維持するものでなければならない。著者らは、API経由で利用できる8つの言語モデルと、オープンウェイトの5つのチェックポイントを監査した。
APIモデル全体では、リスクを取るペルソナが、対象外の文体の好みを変化させた。その中には、プロンプトに含まれていない色の選択もあった。オープンウェイトモデルでは、さらに明確な問題が明らかになった。対象外の属性に明確な方向性を明示すると、モデルは通常それに従い、対象属性の影響を小さくした。しかし同じ属性を中立、つまり一方の選択でも他方の選択でもないと指定すると、対象属性はなおモデルの選択に影響を与えた。
中立と指定した場合、独立した項目の51–81%で、対象属性への感度が残った。対象外の属性について何も指定しなかった場合、この割合は67–93%だった。モデルは通常、中立状態が正しく指定されたと答えた。それでも、その選択は対象属性に応じて変化し続けた。言い換えれば、モデルは指示を正確に報告しながら、関係のない好みを中立のまま維持したかのようには振る舞えないことがある。
論文は、方向性のある指定と中立の指定のこの違いを「中立性のギャップ」と名付けている。その説明は、モデルがペルソナプロンプトをユーザーについての証拠として扱い、その後、対象の特性と一般的に結び付いている好みでプロフィールを補完するというものだ。著者らはこれを「特性条件付き補完」と呼んでいる。検証したプロンプト設計の中に、これを確実に止めるものはなかった。

選択的な制御とはどのようなものか
論文の診断法は、単純なペルソナ追従と選択的な制御を区別する。モデルは求められた人物らしい話し方をするだけでは不十分である。意図した特性を変え、対象外の特性を安定させなければならない。その特性が明示的に中立と指定されている場合も同じである。検証した5つのオープンウェイト・チェックポイントはすべて、未知の構造化された世界で、指定された中立な対象外属性を維持するという論文の許容基準を満たさなかった。
著者らはまた、モデルの表現、つまり情報を符号化するために使われる内部パターンの中に、構成した介入を施すテストも行った。7段階の読み出しでは、対象外の変化を0.56–0.86取り除きながら、対象への反応の0.86–0.99を維持した。これは、意図した効果から望ましくない波及を分離できる可能性を示している。しかし、検証したプロンプト設計は、単独ではまだそれを実現していない。
この種の制御が実運用規模で機能するなら、ショッピングアプリは「私は金銭的なリスクを取るのが好きだ」を、ライフスタイル全体への近道ではなく、一つの好みとして扱える。システムが、リスクを取ることにはその色が合うと推測しただけで、顧客にネオンカラーや高コントラストの商品を突然勧めることはなくなる。その状況が確実なものになる前に、合成ユーザー研究では、プロンプトの編集を因果的な介入として扱う前に、対象外の特性が安定していることを示す必要がある。プレプリントの日付は28 September 2026であり、ブラックボックスモデルの監査は一つの属性ペアを対象としている。中立の指定と内部分析には、オープンウェイトモデルが使われている。
Sources
出典文書:「Persona Following Is Not Selective Control: The Neutrality Gap in LLM User Simulation」