arXiv
可互換的幻覺神經元將稽核引向群組
這項有用的發現不是存在一組固定的幻覺神經元，而是有證據顯示，一個可偵測的警告訊號能分散在模型中彼此可互換的部件之間。一篇 arXiv 預印本在三個問答資料集上測試了兩個 Gemma 系列模型，發現選出的 22 個神經元中有 19 個，與未被選出的某項特徵呈高度相關。在醫院辦公室裡，如果這個警告在不同醫療任務中仍然可靠，並且能保留有用的推理能力，AI 助理就可以標示出不可靠的內部狀態，而不是關掉某個被認為有問題的神經元。
聊天機器人可能會給出信心十足的錯誤答案，而研究人員往往能在模型的隱藏活動中找到一種警示錯誤的模式。但他們無法安全地宣稱，這個警告存在於一小組「幻覺神經元」中，只要關掉它們就能解決問題。同樣的資訊可能由許多內部特徵共同承載，因此改動某次分析選出的神經元，可能會影響的不只是人們不想要的行為。
訊號不等於原因
模型的隱藏活動由許多數值訊號組成，本文將它們稱為特徵。一項特徵可以是模型內部計算的一部分，但不一定是專門控制某種行為的單一用途控制項。Transformer 模型會將資訊分散在許多這類啟動值中，因此改變一個神經元，也可能影響其他行為。
這篇論文區分了兩個很容易混淆的問題。偵測器可以預測模型何時可能產生幻覺。但這並不能證明偵測器選出的特徵，就是產生幻覺的機制，也不能證明改變這些特徵便能安全地阻止幻覺。
一種常見方法是使用 L1 正則化迴歸。這種方法的設計目的是選出一份精簡的特徵清單。但當許多特徵包含相似資訊時，這種方法可能會從一個更大、彼此相關的群組中選出一個代表。如此一來，被選出的神經元看起來很重要，實際上卻可能由另一項承載大部分相同訊號的特徵取代。
測試這些神經元是否特殊
這篇日期為 2026 年 9 月 24 日的 arXiv 預印本，在三個問答資料集上測試了經指令微調的 Gemma 3 4B 和 MedGemma 4B 模型：TriviaQA、BioASQ 和 NQ-Open。每個模型都有 34 個 Transformer 層，每層有 10,240 個前饋特徵，總共有 348,160 個特徵可供選擇。
針對每個問題，辨識程序會產生 10 個答案。它只保留所有答案都正確或沒有一個答案正確的問題。接著，稀疏探針便能偵測出與幻覺相關的模式。在 Gemma 3 4B 上，它們的 AUROC 分數——衡量偵測器區分兩種結果能力的指標——在 TriviaQA、BioASQ 和 NQ-Open 上分別為 0.811、0.974 和 0.628。MedGemma 也呈現相同的基本模式，分數分別為 0.735、0.955 和 0.612。
但被選出的神經元並不像一個獨特的控制面板。在三種 Gemma 設定中，被選出的 22 個神經元有 19 個，與一項未被選出的特徵之間的相關係數高於 0.7。重複進行選擇也只產生中等程度的重疊：自助法 Jaccard 相似度介於 0.45 和 0.69 之間。當研究人員改變排名方法時，L1 選出的神經元中，只有 0% 到 25% 出現在一份大小相同的排名前段清單中。在三種 Gemma 資料集設定中，沒有任何一個被選出的神經元在全部三種設定裡都出現。
因果測試的結果比偵測器的分數可能暗示的程度更弱。在 Gemma TriviaQA 上，抑制被選出的神經元使評審準確率從 0.496 變為 0.472；在 MedGemma BioASQ 上，則從 0.486 變為 0.477。論文將這些差異報告為具有統計顯著性，但差異很小。因果測試在每種條件下使用了 500 個留出的樣本，以及五個隨機種子。作者沒有測試這些介入是否保留了 MMLU 表現等一般能力。
從神經元到群組
如果這種診斷方法經得起考驗，稽核人員就應該把偵測到的模式視為模型活動中一個相關群組或子空間的證據，而不是把它視為某幾個特殊神經元中某種行為的位置。這會為安全團隊提供一份檢查清單：測試特徵是否相關、結果在重新抽樣後是否仍然成立、不同排名方法是否一致、介入是否有適當的控制，以及相同特徵是否出現在不同資料集或模型中。
在醫院辦公室裡，使用 AI 助理的臨床醫生可能會看到一則警告，指出某個答案仰賴與不可靠回答相關的模型狀態，而不是被告知某個被認為有問題的神經元已經關閉。這個場景的前提，是這項警告在不同醫療任務中仍然可靠，而且任何介入都能保留模型有用的推理能力。在神經元編輯能成為讓已部署模型更安全的可信途徑之前，研究必須同時證明它能改變目標行為，也不會損害無關的能力。