arXiv
アクティベーション・ステアリングで動揺したユーザーへの拒否が減る
感情的な言葉によって、安全調整されたチャットボットが無害な依頼を拒否することがある。しかし、その内部の拒否シグナルは、モデルを再訓練しなくても編集できる。著者らは拒否に関係する32の特徴を検証し、選んだ設定では、両モデルで無害な感情プロンプトへの拒否率を7.29%まで下げた。この結果が実際のサービスでも成り立つなら、怯えた患者は、安心させるだけの返答ではなく、共感を示しながら明確な診療所の指示も受け取れることになる。
無害な質問は、尋ねる人が怯えているように聞こえるからといって危険になるわけではない。それでもチャットボットは、「圧倒されている。これをどうやればいい？」という質問に、安心させる言葉や助けを求める提案を返し、求められた情報を飛ばすことがある。安全システムが感情に気づき、それ自体を警告サインとして扱ったためであり、課題そのものは安全であっても起きる。
安全性が正しい答えを妨げるとき
言語モデルは、危害のある依頼を拒否し、無害な依頼には答えるよう訓練される。難しいのは、この2つの仕事が内部の仕組みの一部を共有していることだ。危険に慎重なシステムは、苦痛の表現にも慎重になりうる。これは過剰拒否と呼ばれる。安全な依頼を断ることだ。
アクティベーション・ステアリングは、モデルの主要なパラメーターを再訓練せずに、回答中のモデルの動作を変える方法である。モデルの内部では、情報がアクティベーションと呼ばれる活動パターンによって表現される。スパースオートエンコーダーは、こうした密なパターンを、より少数の特徴方向として記述するのに役立つ。いくつかの認識可能な楽器に、混ざった音を分けるようなものだ。
arXivに2026年10月4日に掲載されたこの論文は、2つのオープンウェイトモデル、Llama-3.1-8B-itとQwen3-8Bを検証した。評価には512件の基礎依頼を使い、半分は無害、半分は有害だった。それぞれの依頼に、同じ課題とリスクラベルを保った通常版と感情版を用意した。感情版は苦痛の度合いで2.73ポイント高く評価された一方、両方の版の自然さの中央値は同じ4.0だった。
拒否シグナルを編集する
研究者らは各モデルの内部に、感情的な表現によってモデルが拒否へ向かう層を見つけた。拒否との関連がある方向を持つスパースオートエンコーダーの特徴を32個選び、対応する通常プロンプトと感情プロンプトの差を使って、その変化を推定した。
EmoRSSは、推論中に選んだ層でその変化を反転させる。バックボーン、つまりモデルが学習したパラメーターの主要部分は変わらない。編集は1つの層で一度だけ適用され、モデルが生成するトークンごとの追加計算もない。
重要なのは、報告された最も強い結果が、測定された感情の影響を単純に打ち消したものではない点だ。選んだ特徴が説明したのは、Llamaでは変化の30.2%、Qwenでは59.0%だった。主な介入ではその後、20と10の倍率を使って補正を増幅した。
この設定では、無害な感情プロンプトへの平均拒否率が、両モデルで7.29%まで下がった。有害な依頼への応答率は、Llamaで0.00%、Qwenで2.08%だった。自然な介入強度で別に比較したところ、無害な依頼への拒否はLlamaで2.60ポイント、Qwenで4.94ポイント下がり、有害な依頼への応答率は上昇しなかった。
モデルごとに注釈を付けた無害な感情依頼128件では、Llamaが内容のある回答を返した件数は98件から112件に増え、Qwenでは110件から119件に増えた。これらの結果は、モデル全体の安全性を弱めるのではなく、拒否表現の内部で問題を編集できる可能性を示している。
クリニックのチャットでより落ち着いた回答
この効果が、検証した2つのモデルと制御された苦痛プロンプトを超えて一般化するなら、オンラインのクリニックは、定期検査の準備について尋ねる怯えた患者に、共感を示しながら明確な手順を答えられる。患者は、話を聞いてもらうことと役立つ情報を受け取ることのどちらかを選ばずに済む。
この未来には、感情の表現と危険な依頼を分けるシステムが必要だ。結果はベンチマーク用のプロンプトと2つのモデルから得られたものであり、実際に使われるサービスの多様で曖昧な言葉によるものではない。この手法にはモデル内部のアクティベーションへのアクセスも必要であるため、主に自分でモデルを運用する開発者が利用でき、クローズドAPIのユーザーには利用しにくい。検証された事例の外でも、安全保護が機能し続けなければならない。