arXiv
可互换的幻觉神经元让审计转向群组
有用的发现并不是存在一组固定的幻觉神经元，而是有证据表明，一种可检测的警告信号可以分布在模型中彼此可替换的部分之间。一篇 arXiv 预印本在三个问答数据集上测试了两个 Gemma 系列模型，发现选中的 22 个神经元中有 19 个与一个未被选中的特征高度相关。在医院办公室里，如果这一警告在医疗任务中仍然可靠，并且能保留有用的推理能力，AI 助手就可以标记出一个不可靠的内部状态，而不是关闭某个被认为有问题的神经元。
聊天机器人可能会给出自信但错误的答案，研究人员通常也能在模型的隐藏活动中找到一种预示错误的模式。但他们不能放心地说，这种警告存在于一小组“幻觉神经元”中，只要将它们关闭就行。同样的信息可能由许多内部特征共同承载，因此，改变一次分析中选出的神经元，可能会影响不止那种不希望出现的行为。
信号不是原因
模型的隐藏活动由许多数值信号组成，本文将它们称为特征。一个特征可以参与模型的内部计算，但不一定是专门控制某一种行为的单一用途开关。Transformer 模型会把信息分散到许多这样的激活中，而改变一个神经元也可能影响其他行为。
这篇论文区分了两个容易混淆的问题。一个检测器可以预测模型何时可能产生幻觉。但这并不能证明，检测器选中的特征就是产生幻觉的机制，也不能证明改变这些特征就能安全地阻止幻觉。
一种常见方法使用 L1 正则化回归。它的设计目标是选出一份较短的特征列表。但当许多特征包含相似信息时，这种方法可能会从一个更大的相关群组中选出一个代表。于是，被选中的神经元看起来很重要，但实际上可能被另一个携带大部分相同信号的特征替代。
测试这些神经元是否特殊
这篇日期为 24 September 2026 的 arXiv 预印本，在三个问答数据集上测试了经过指令微调的 Gemma 3 4B 和 MedGemma 4B 模型：TriviaQA、BioASQ 和 NQ-Open。每个模型都有 34 个 Transformer 层，每层有 10,240 个前馈特征，因此共有 348,160 个特征可供选择。
对于每个问题，识别程序生成 10 个答案。它只保留这样的题目：要么每个答案都正确，要么没有一个答案正确。之后，稀疏探针就可以检测出与幻觉相关的模式。在 Gemma 3 4B 上，它们的 AUROC 分数——衡量检测器区分两种结果能力的指标——在 TriviaQA、BioASQ 和 NQ-Open 上分别为 0.811、0.974 和 0.628。MedGemma 也呈现出相同的基本模式，分数分别为 0.735、0.955 和 0.612。
但这些被选中的神经元并不像一个独特的控制面板。在三个 Gemma 设置中，选中的 22 个神经元有 19 个与一个未被选中的特征的相关性高于 0.7。重复进行选择也只得到中等程度的重叠：自助法 Jaccard 相似度介于 0.45 和 0.69 之间。当研究人员改变排序方法时，L1 选中的神经元中只有 0% 到 25% 出现在规模相同的排名靠前集合中。在三个 Gemma 数据集设置中，没有一个选中的神经元都共同出现。
因果测试没有检测器分数看起来那么有力。在 Gemma TriviaQA 上，抑制选中的神经元后，评审准确率从 0.496 变为 0.472；在 MedGemma BioASQ 上，则从 0.486 变为 0.477。论文报告称，这些差异在统计上具有显著性，但差异很小。因果测试为每种条件使用了 500 个留出的样本和 5 个随机种子。作者没有测试这些干预是否保留了 MMLU 性能等通用能力。
从神经元转向群组
如果这种诊断方法经得起检验，审计人员就应把检测到的模式视为模型活动中一个相关群组或子空间的证据，而不是把某种行为定位在几个特殊神经元中。这为安全团队提供了一份检查清单：测试特征之间是否相关，结果在重新抽样后是否仍然成立，不同排序方法是否一致，干预是否有适当的控制，以及相同特征是否出现在不同数据集或模型中。
在医院办公室里，使用 AI 助手的临床医生可能会看到这样一条警告：某个答案调用了与不可靠回答相关的模型状态，而不是被告知某个被认为有问题的神经元已经被关闭。这一场景取决于该警告在不同医疗任务中仍然可靠，也取决于任何干预都能保留模型有用的推理能力。在编辑神经元成为让已部署模型更安全的可信路径之前，它必须证明两点：确实改变了目标行为，而且没有损害无关的能力。