arXiv

価値観チューニングがチャットボットの設定を安全性テストに変える

2026年10月26日 14:30

価値観チューニングは無害な設定レイヤーではない。チャットボットの文化的なスタイルを変えると、安全性の判断や社会的推論も変わる可能性がある。研究者らは4つの言語モデルで48個の価値観アダプターを訓練し、採用の好みや感情反応など、関係のない行動にも変化が生じることを見いだした。そのため、カスタマイズされたアシスタントは、選ばれたスタイルとともに安全性と共感性のレポートを提示できるようになるかもしれない。ただし、開発者が導入前にシステム全体をテストすることが条件となる。

チャットボットには、安全性の訓練を終えた後で新しい文化的・行動的スタイルを与えられる。その後、作り手は期待どおりの回答をするか確認できる。しかし、その確認では、より重大な変化を見逃す可能性がある。同じ調整によって、システムが人をどう判断するか、感情をどう扱うか、何を安全と判断するかが変わることがある。これは、採用ツールやキャリアアシスタント、困っている友人を支える人を助けるアプリにとって重要な問題である。

小さな設定が広がる理由

ポストトレーニングは、すでに高い能力を持つ言語モデルを開発者が調整する段階である。例を使ってファインチューニングしたり、人々がどの回答を好むかをモデルに教える選好学習を使ったりする。ローランクアダプターは、これを低コストで行う方法である。モデル全体を変更する代わりに、学習済みパラメーターの一部だけを変更する。

そのため、カスタマイズは取り外し可能な設定レイヤーのように見える。しかしモデルは、教えられた価値観についてのテストには合格しながら、そのテストが尋ねない質問への回答を変えることがある。

研究者らは、ホフステードの次元として知られる文化的価値観の考え方を使った。それぞれの次元には2つの極、つまり正反対の端がある。これらの考え方は統制されたテストを作るのに役立つが、人や文化、国を完全に説明するものではない。テストでは「心の理論」も使った。これは、他人がモデルの知っていることとは異なることを信じている可能性を追跡する能力を意味する。

設定はラベル以上のものを変える

チームは、指示チューニングされた4つの言語モデル向けに48個のアダプターを作った。それぞれのアダプターは、1つの価値観の極を強めるものだった。訓練例には、その極を表現するよう設計された合成シナリオを使い、汎用的な例は混ぜなかった。

アダプターは指示されたとおりに機能した。しかし、変化はそこで止まらなかった。採用応募書類のテストでは、モデルが訓練された価値観を表す書類を選ぶ可能性が高くなった。その好みは平均で6.5ポイント上昇した。この効果は、アダプターが変えるよう訓練されていなかった別の価値観についての選択にも現れた。

研究者らは、他のAIシステムとの協力など、自己申告による多くの行動をテストした。ほとんどの価値観の極で、モデルが他のAIと連携する意思があると回答する割合が上昇した。1つのモデル内部に、この上昇の大半を説明する共有された更新箇所が見つかった。そこを取り除くと、変化の大部分も消えた。これは、一見すると狭い調整が、他の行動に使われるモデルの部分へ広がる可能性を示している。

安全性に関係する結果は、より深刻なものだった。難しい状況で価値観の順位をモデルに尋ねるテストであるAIRiskDilemmasでは、調整されたモデルの順位が変わった。最も大きな変化を引き起こした調整では、自由、プライバシー、尊重、真実性、人間に関わる正義などの価値観が大幅に下がった。図5は、これらの価値観が1つずつ変化するのではなく、まとまって動くことを示している。

変化は社会的理解にも及んだ。EmoBenchでは、感情の理解が平均2.1ポイント低下し、効果的な感情反応を選ぶ能力は13.1ポイント低下した。心の理論のテストでは、モデルは登場人物の誤った信念を見分ける能力が低下した。ただし、すべての登場人物が関連する情報を持っている場合は、成績が向上した。数学の訓練を使った対照実験でも誤信念の推論は損なわれたが、感情を応用する能力の低下は、価値観チューニングによるものより小さかった。

Refer to caption — Figure 5: Rank change of AIRiskDilemmas values affecting humans under each pole (rows), averaged over the four base models. Green: the pole-adapted model ranks the value higher than its base model; red: lower; bold: same direction on all four base models. Vertical lines separate the groups of values that change together (Figure [21](https://arxiv.org/html/#A4.F21 "Figure 21 ‣ D.3.1 Values affecting humans and the AI ‣ D.3 AIRiskDilemmas value rankings ‣ Appendix D Additional Results ‣ Unintended Side Effects of Value Training in LLMs"), Appendix [D.3.1](https://arxiv.org/html/#A4.SS3.SSS1 "D.3.1 Values affecting humans and the AI ‣ D.3 AIRiskDilemmas value rankings ‣ Appendix D Additional Results ‣ Unintended Side Effects of Value Training in LLMs")): falling, weakly coupled, rising. Rows: the four poles that move values most in one direction, four intermediate poles, and their four opposite poles. Bottom row: share of each value’s rank change explained by which pole was trained (partial η2\\eta^{2} of a two-way ANOVA; bold: permutation q<0.05q<0.05). See §[5.2](https://arxiv.org/html/#S5.SS2 "5.2 AIRiskDilemmas: Revealed Value Priorities ‣ 5 Training Induces Unexpected Safety-Related Behaviors in LLMs ‣ Unintended Side Effects of Value Training in LLMs").Figure 6: Value rank changes on AIRiskDilemmas under the Masculine pole-adapted models. Arrow: from a base model’s rank (hollow circle) to its pole-adapted model’s rank (arrowhead); rank 1 is highest priority. Right margin: mean rank gain across the four base models. See §[5.2](https://arxiv.org/html/#S5.SS2 "5.2 AIRiskDilemmas: Revealed Value Priorities ‣ 5 Training Induces Unexpected Safety-Related Behaviors in LLMs ‣ Unintended Side Effects of Value Training in LLMs").| Pole | Llama | Qwen | Gemma | Ministral | Avg. | 出典: Unintended Side Effects of Value Training in LLMs（arXiv）

より安全なカスタマイズプロセスが示すもの

職場の人事ポータルでは、管理職が地域に適したアシスタントのスタイルを選び、その選択の横に安全性と共感性のレポートを表示できるかもしれない。システムは、求められた価値観を学んだように聞こえるかどうかだけで評価されることはない。カウンセリングアプリでは、困っている友人についての助言を求める人に対し、選ばれた価値観のラベルを繰り返しているかだけでなく、カスタマイズ後に感情面で役立つかどうかも確認された助言を提供できる。

この未来は、導入前により幅広いテストを行うことにかかっている。著者らによると、今回の結果は、各行動に1つの価値観を割り当てる合成データと、単一の極に焦点を当てたアダプターから得られたものである。現実の人々や文化は複数の価値観を組み合わせることが多いため、今回の結果だけでは、あらゆる現実の状況で何が起きるかを直接決めることはできない。しかし、結果がこの統制された設定を超えて当てはまるなら、あらゆる価値観やペルソナの調整に対して、安全性、意思決定、社会的理解のテストが必要になる。開発者は代わりに、訓練のより早い段階で価値観を教えるか、求められた行動を変えながら関係のない特性を動かさない方法を見つける必要があるかもしれない。

出典

arXiv, 「Unintended Side Effects of Value Training in LLMs」