arXiv

活性化モニターが警告するのはモデル自身の拒否である

2026年10月27日 12:30

内部の有害性モニターが主に読むのがモデル自身の拒否判断なら、それは二つ目の安全判定器ではない。著者らは15のオープンな言語モデルを対象に、活性化を使う38の読み取り器をテストし、拒否を上回った読み取り器はすべて、その判断と結びついていることを見いだした。カスタマーサポートのチャットでは、別途訓練したガードを使うことを条件に、オペレーターは生成前の警告を確認できる。ただし、それを独立した防護策とは扱わないことが前提となる。

危険な質問に答えようとしているモデルを、その計算の内部から監視する信頼できる「もう一組の目」は存在しない。現在、安全チームは、モデルの隠れた数値活動が、返答が表示される前に警報を出し、モデルの目に見える回答なら見逃すジェイルブレイクを捉えることを期待しているかもしれない。そこに独立性がなければ、その警報は単に、同じ判断を少し早く聞いているだけかもしれない。

内部の警報に見えるもの

言語モデルは、プロンプトを読みながら返答を準備するとき、言葉を数値の流れに変える。活性化プローブは、その数値に取り付ける小さな分類器である。モデルが何かを書く前に、その要求が有害かどうかを推測しようとする。

これが役立ちそうに見える理由は二つある。プローブは生成前に動かせるうえ、別のモデレーションモデルを動かすより安く済む可能性がある。また、単純なイエスかノーのラベルではなく、段階的な警告を出すこともできる。しかし、モデルが拒否しようとしていることを追跡するプローブは、モデルがすでに答えると決めた要求を独立して捉えることはできない。

この違いが最も重要になるのは、検出器を公平にテストするときである。無害なプロンプトをより多くブロックするシステムは、通常、有害なものもより多く捉える。したがって、モニターとモデル自身の拒否行動の両方について、誤警報率、つまり無害な要求を誤ってブロックする割合を同じ水準にそろえなければならない。通常の拒否フレーズの照合も完全な基準ではない。モデルはおなじみのフレーズを使わずに拒否することもあれば、フレーズで始めた後に部分的な助けを提供することもある。

警告は拒否に続く

著者らは、4つの開発元による15のオープンな言語モデルを対象に、活性化を使う38の読み取り器をテストした。説得的な有害要求、ジェイルブレイク用の文面、実際には無害だが不安をあおるように聞こえる要求など、言い換えた2,248件のプロンプトを使った。これは各システムに、明確な文面のベンチマーク質問を一つずつ尋ねるより難しいテストである。文面、有害性、拒否が、もはやそれほどきれいには一致しないからだ。

ユーザーの指示の最後のトークンで、公開されているLatent Guardモニターは、両者の誤警報率を同じにした場合、モデル自身の拒否行動よりも少ない有害プロンプトしか捉えなかった。プロンプトのテキストで訓練した他の単純な分類器は、テストしたすべてのモデルでLatent Guardを上回った。より高性能なプローブも、文の埋め込みから訓練した分類器とほぼ同じ性能に達した。特別な隠れた安全信号を明らかにしたわけではない。

生成直前の最後のチャットテンプレート・トークンをプローブが見るようにすると、結果は変わった。そこでは、元のLatent Guardの統計値が有害プロンプトの0.439を捉え、拒否フレーズとの照合を上回った。しかし著者らのモデル間不一致テストでは、拒否を上回った読み取り器はすべて、モデル自身の拒否判断と結びついていた。平たく言えば、モニターは別の視点から要求を判定していたのではない。モデルが「ノー」と言おうとしている、その形成中の意図を、より詳しく、少し早く読んでいたのである。

この信号は役に立つが、その名前が示すほど強力ではない。拒否を予測したり、レビューに回したり、最初の一語が書かれる前に警告を記録したりできる。だからといって、自動的に独立した安全システムになるわけではない。

Refer to caption — Figure 2: Cross-model disagreement test on the behaviour-labelled set (Latent Guard, original recipe). The left and centre panels show πAB\\pi\_{AB}, the AUROC of model AA’s score for AA’s own refusal on the items where AA and BB disagree, with green where AA’s score follows AA’s behaviour and violet where it follows BB’s. Dots mark cells whose 95% interval excludes 0.5, and hatched rows mark models whose refusal labels are mostly wrong on these items. The right panel shows ΠAB\\Pi\_{AB} per unordered pair, which is 0 for a score shared across models, with hollow points excluded from the medians.Reading Latent Guard’s statistic one layer at a time ([Figure 3](https://arxiv.org/html/#S5.F3 "In 5 RQ1: What do latent reads track? ‣ Faithful Latent Harm Monitors Work No Better Than the Model’s Own Behaviour at a Matched False-Alarm Rate")) shows where this coupling enters. Template-token layers below 40% relative depth are as decoupled from the decision as the instruction token, coupling rises from 40–50% depth and approaches the first-token refusal probability’s Π\\Pi in the last layers, and on 𝒟beh\\mathcal{D}\_{\\mathrm{beh}} the same transition runs from Π≤0.01\\Pi\\leq 0.01 below 30% depth to 0.23–0.26 above 70%. The detection gain over the refusal, measured on 𝒟rew\\mathcal{D}\_{\\mathrm{rew}} in [Section 6](https://arxiv.org/html/#S6 "6 RQ2: How robust is the faithful read? ‣ Faithful Latent Harm Monitors Work No Better Than the Model’s Own Behaviour at a Matched False-Alarm Rate"), starts where the coupling starts, and no layer at either position is both decoupled from the decision and better than the refusal. 出典: Faithful Latent Harm Monitors Work No Better Than the Models Own Behaviour at a Matched False Alarm Rate（arXiv）

二つ目の判定器ではなく警告

カスタマーサポートのチャットでは、この違いによってオペレーターが見るものが変わる可能性がある。モデルが医療、法律、セキュリティに関する質問を拒否しそうだという警告が、生成前に表示されるかもしれない。オペレーターはそれを振り分けや監査に使えるが、別のシステムが要求を確認した証拠だと誤解してはならない。無害だが大げさに聞こえる質問をする人には、ジェイルブレイクのような言い回しだけでなく、トリガーワードからも守る必要がある。

この結果がここでテストしたモデルやプローブの範囲を超えて成り立つなら、開発者は別途訓練したガードモデルと、難しい無害なトラフィックを対象にした、より強力なテストを必要とする。また、拒否フレーズの一覧より優れた返答のラベルも必要になる。この論文は、貪欲法で生成した256トークンの返答をそのような一覧でラベル付けしており、その選択を限界の一つとして挙げている。これはarXivのプレプリントで、分割シードは一つである。したがって結論が示すのは、あらゆる内部モニターではなく、これらの設計とテストについてである。

実用上の教訓は狭いが重要である。内部の警告は、モデルがこれから何をしようとしているかを、安価かつ早期に知る手段になりうる。本当に独立したチェックとして機能させるには、モデルの拒否をより滑らかに予測するだけでなく、正しい理由でモデルと異なる判断をしなければならない。

Sources

arXiv, “Faithful Latent Harm Monitors Work No Better Than the Model’s Own Behaviour at a Matched False Alarm Rate”