2026年11月1日
Technology Watch

研究室から産業へ。新しい技術の道筋を追う

← トップへ

arXiv

アクティベーション・ステアリングは新しいプロンプトや再学習なしでアシスタントを変える

AI が描いたイメージ

AIの礼儀正しさを調整するダイヤルは、技術的には実現可能になりつつある。ただし、モデルを回答しにくくする傾向を弱めても、知識が増えるわけではない。著者らは、ベースモデルを再学習せず、GPT-2とGemma-2-2Bの内部特徴を変えることでNeuroSteerをテストした。こうした制御が事実性を保ち、リスクを認識できるなら、銀行のサポートチャットは日常的な質問には直接答えながら、個人の金融データを求める依頼は拒否できる可能性がある。

現在、AIアシスタントに信頼できる礼儀正しさのダイヤルを与えることはできない。アシスタントをより温かく、毒性を低く、回答に積極的に、あるいはより正式なものにするには、通常、状況ごとにプロンプトを書き換えるか、モデルを再学習して別々のバージョンを維持する必要がある。慎重になるよう訓練されたシステムは、害のない質問を拒否することがある。その慎重さを緩めると、十分な根拠がない場合でも自信ありげに答えるかもしれない。

ダイヤルが変えるもの

ファインチューニングは、特定の仕事に合わせてモデルの内部設定を変える。プロンプトは、モデルが回答している間、同じモデルを誘導しようとする。どちらの方法でも振る舞いを変えられるが、新しい設定ごとに上げ下げできる単純な制御ではない。

提案されている制御は、モデルがテキストを生成する途中でモデルの内部に働きかける。言語モデルは、各単語を選ぶ前に、多くの層を通して数値を渡す。この中間的な数値はアクティベーションと呼ばれる。アクティベーション・ステアリングは、通常なら訓練中に更新されるモデルの保存済み重み、つまり設定を変えずに、これらの数値を変える。

NeuroSteerはスパース・オートエンコーダーを使い、こうしたアクティベーションの中にあるパターンを見つける。平たく言えば、複雑に絡み合った数値を、追跡しやすい少数の特徴で表そうとするものだ。システムは、ある振る舞いを示す例と、示さない例を比較する。肯定的な例により頻繁に現れる特徴が、ステアリングの候補になる。その後、モデルの実行中に係数を使って、それらを増幅したり抑制したりできる。

ただし、各特徴が完全に切り離された1つの意味を持つということではない。論文は、スパースな特徴が重なり合う可能性を指摘している。また、拒否が自動的に問題になるわけでもない。依頼が安全でない場合や、モデルに信頼できる情報がない場合、拒否が正しい答えになることがある。

振る舞いを設定に変える

この論文は、感情、毒性の低減、立場、礼儀正しさについてNeuroSteerをテストしている。GPT-2の毒性低減テストの1つでは、ステアリングなしのモデルが0.527だったのに対し、最大毒性スコアとして0.069を報告した。この結果は、対象のタスクのために新たな訓練を行わなくても、内部特徴を変えることで、測定可能な表面的振る舞いの出現を減らせることを示唆している。

どこに介入するかは重要だ。モデルの層ごとに運んでいる情報の種類が異なるため、同じ特徴の調整でも、場所によって効果が異なる可能性がある。報告された感情テストでは、感情を反転させることとテキスト品質を保つことの、テスト上の最も良いバランスが得られたのは6～8層だった。

制御を強くしすぎれば代償がある。肯定的な感情について、論文は、ある設定ではほぼすべての出力が肯定的になった一方、モデル自身の品質指標ではテキストの予測しやすさが大幅に低下したと報告している。したがって、強い振る舞いの変化は、測定対象の振る舞いには成功していても、流暢さを損なう可能性がある。

最も示唆に富むテストは、拒否に関するものだった。拒否を生じさせるよう設計した少数の例では、ステアリングの強度を下げると、拒否率が75%から40%に低下した。しかし、その結果得られた回答の1つは、Nvidiaの2023年の売上高について根拠のない推定を示した。制御装置は、モデルをより回答しやすくしたが、知識を持つ能力を高めたわけではなかった。

Refer to caption
Figure 2: An overview of the NeuroSteer architecture. The feature amplification includes steps: ① SAE Feature Collections: The SAE collects neuron activation frequencies of positive and negative samples; ② Feature Filtering: The SAE extracts target neurons and denoises based on frequency differences; ③ Inference-time Feature Amplifying: The SAE activates target neuron combinations and decodes their effects into the GPT hidden space, which is also shown in Figure [1](https://arxiv.org/html/#Sx1.F1 "Figure 1 ‣ Introduction ‣ From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification"). The work of NeuroSteer is inspired by previous work on activation engineering and sparse autoencoders. 出典: From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification（arXiv）
Refer to caption
Figure 3: The overview of the steering experiment across layers. (a) shows that greener outputs correspond to better sentiment reversal performance, while (b) demonstrates that greener results maintain higher text quality. The parameter values inside the dashed-line box balance behavior change and text quality preservation.Since different layers of LM represent distinct semantic information, the choice of layer to steer impacts the intervention effect. To understand the semantic representation across LM layers, we expanded the grid search in the sentiment control experiment to examine the behavior of SAE neurons across different GPT layers. We varied both the layer (0–11) and the Top-K value of target SAE neurons, sorting them based on activation frequency differences (K), with higher activity in the target data and lower activity in the source data. 出典: From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification（arXiv）

信頼できる制御装置が導く可能性

より強力なモデルでも効果が保たれ、より広いテストに耐えるなら、1つの導入済みアシスタントが、口調やリスク方針ごとに別々のファインチューニング済みモデルを維持する代わりに、状況ごとに異なる設定を使える可能性がある。銀行の顧客サポートチャットでは、パスワードについての質問には直接的で丁寧な回答を返し、他人の個人の金融データを求める依頼には、毎回同じ一律の慎重さを適用するのではなく、慎重に判断した拒否を返せるかもしれない。

同じように、教室で使う学習支援アプリは、小学生に対して、別に再訓練した家庭教師モデルを導入せず、分数をより温かく簡単に説明できる可能性がある。ただし、スタイルの変更によって、その下にある説明がゆがまない場合に限られる。

中心となる条件は、ダイヤルが意図した振る舞いを変えながら、それ以外の部分を損なわないことだ。これが信頼できる制御装置になる前に、この手法には、事実の正確さ、安全性、堅牢性、意図しない影響について、より幅広い評価が必要になる。拒否を減らしても、拒否を捏造された回答に置き換えるだけなら役に立たない。

Sources

arXiv, “From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification”