arXiv
互換可能な幻覚ニューロンが監査担当者をグループへ導く
有用な発見は、幻覚を起こすニューロンが固定された集合として存在することではない。検出可能な警告が、モデル内の互換可能な部分に分散しているという証拠である。arXivのプレプリントは、Gemmaファミリーの2つのモデルを3つの質問応答データセットで検証し、選ばれた22個のニューロンのうち19個が、選ばれなかった特徴と強く相関していることを見つけた。病院の事務室では、AIアシスタントは、問題があるとされる1個のニューロンを無効にする代わりに、信頼できない内部状態を警告できるかもしれない。ただし、その警告が医療タスク全体で信頼でき、役に立つ推論を保てることが条件となる。
チャットボットは自信満々に間違った答えを出すことがあり、研究者はその間違いを警告するモデルの隠れた活動パターンを見つけられることが多い。だが、その警告が「幻覚ニューロン」と呼ばれる小さな集合にあり、それを単純に無効にできるとは、安全に言えない。同じ情報が多くの内部特徴によって運ばれている可能性があるため、ある分析で選ばれたニューロンを変更すると、望ましくない挙動以外も変わるおそれがある。
信号は原因ではない
モデルの隠れた活動は、ここで特徴と呼ぶ多数の数値信号から成る。特徴はモデル内部の計算の一部になりうるが、1つの挙動だけを制御する専用のつまみとは限らない。Transformerモデルは情報をそのような多数の活性化に分散させるため、1個のニューロンを変えると、別の挙動にも影響する可能性がある。
この論文は、混同しやすい2つの問いを分けている。検出器は、モデルが幻覚を起こしそうなときを予測できる。それだけでは、検出器が選んだ特徴が幻覚を生み出す仕組みだとも、それらを変更すれば安全に幻覚を防げるとも証明できない。
よく使われる手法の1つに、L1正則化回帰がある。これは短い特徴リストを選ぶよう設計されている。しかし、多数の特徴が似た情報を含んでいる場合、この手法は相関した大きなグループから代表となる1つを選ぶことがある。そのため、選ばれたニューロンは重要に見えても、同じ信号の多くを運ぶ別の特徴で置き換えられる可能性がある。
ニューロンが特別かどうかを検証する
24 September 2026付のarXivプレプリントは、指示チューニングされたGemma 3 4BとMedGemma 4Bのモデルを、3つの質問応答データセット、TriviaQA、BioASQ、NQ-Openで検証した。各モデルは34のTransformer層と、層ごとに10,240個のフィードフォワード特徴を持ち、選択対象となる特徴は合計348,160個だった。
各質問について、特定の手順は10個の回答を生成した。すべての回答が正しいか、どの回答も正しくない質問だけを残した。すると、スパースプローブは幻覚と結び付いたパターンを検出できた。Gemma 3 4Bでは、AUROCスコア、つまり検出器が2つの結果をどれだけうまく区別できるかを測る指標は、TriviaQAで0.811、BioASQで0.974、NQ-Openで0.628だった。MedGemmaも同じ基本的なパターンを示し、スコアはそれぞれ0.735、0.955、0.612だった。
しかし、選ばれたニューロンは唯一の操作パネルのようには振る舞わなかった。3つのGemmaの設定全体で、選ばれた22個のニューロンのうち19個は、選ばれなかった特徴と0.7を超える相関を持っていた。選択を繰り返しても重なりは中程度にとどまり、ブートストラップ・ジャッカード類似度は0.45から0.69の範囲だった。順位付けの方法を変えると、L1で選ばれたニューロンのうち、同じ数だけ選んだ上位セットに現れたのはわずか0%から25%だった。3つすべてのGemmaのデータセット設定で共通して選ばれたニューロンはなかった。
因果テストは、検出器のスコアが示唆するほど強いものではなかった。選ばれたニューロンを抑制すると、Gemma TriviaQAでは判定の正解率が0.496から0.472に、MedGemma BioASQでは0.486から0.477に変わった。論文はこれらの差を統計的に有意だと報告しているが、差は小さい。因果テストでは、条件ごとに500個のホールドアウトサンプルと5つの乱数シードを使った。著者らは、介入によってMMLUの成績のような一般的能力が保たれるかどうかを検証していない。
ニューロンからグループへ
この診断手法が有効だと確認されれば、監査担当者は検出されたパターンを、少数の特別なニューロンにある挙動の場所ではなく、モデル活動の相関したグループまたは部分空間についての証拠として扱うべきである。これにより、安全性チームにはチェックリストが与えられる。特徴同士が相関しているか、再サンプリング後も結果が保たれるか、順位付けの方法が一致するか、介入に適切な対照があるか、同じ特徴がデータセットやモデルをまたいで現れるかを検証するのだ。
病院の事務室では、AIアシスタントを使う臨床医は、問題があるとされる1個のニューロンが無効になったと告げられる代わりに、信頼できない回答と結び付いたモデル状態に基づいて回答が導かれているという警告を見るかもしれない。その場面が成り立つには、警告が医療タスク全体で信頼でき、どのような介入もモデルの役に立つ推論を保つことが必要である。ニューロン編集が、より安全に実際に導入できるモデルへの信頼できる道になるには、対象の挙動を変えると同時に、関係のない能力を損なわないことの両方を示さなければならない。