arXiv

AI 文本检测器的评分需要版本号

2026年10月13日 14:30

AI 文本检测器无法在语言模型不断变化的情况下继续保持公平和可靠。研究人员用 23 个模型版本生成的改写文本，测试了 4,000 篇科学摘要，发现当检测器只见过更早的版本时，对 GPT-5 改写文本的检测率降至 26.6%。如果出版商继续使用这类筛查工具，编辑可能需要把评分视为临时证据，并随着时间推移检查每一代模型。

AI 写作评分可能影响一篇科学论文是否被延迟、质疑或拒稿。但同一个评分也可能让未披露的 AI 辅助通过审核，因为编辑为了避免指责人类作者，可能会提高阈值。作为通用筛查工具出售的检测器，并不一定在检查作者当下使用的模型：模型更新可能在没有任何预警的情况下改变用词和文风。

检测器为什么会出错

AI 文本检测器不会读取文档中某个隐藏的标签。它们会寻找语言中的统计模式，并利用这些模式猜测文本是由人还是语言模型生成的。这使检测器的阈值变得很重要。阈值设得低，它能抓到更多 AI 生成的段落，但也会错误指责更多人。阈值设得高，错误指责会变少，但也会漏掉更多 AI 生成的文本。

在科学出版中，这个评分应当只是给编辑的第一个信号，而不是证明谁写了稿件，或证明使用 AI 是否违反规定。这一区分在模型本身不断变化时更难维持。根据昨天的写作训练出来的检测器，可能认不出明天的写作，即使两者都来自同一家公司。

模型变了，筛查工具也看不见了

研究人员用 ChatGPT 发布前发表的 4,000 篇科学摘要，以及由 OpenAI、Meta 和阿里巴巴的 23 个语言模型版本生成的改写文本，测试了这个问题。这些版本涵盖了 2023 年 6 月至 2026 年 8 月发布的模型。改写文本是对 AI 辅助的模拟，并不是对真实作者撰写论文过程的观察。

他们对检测器进行了设置，使其只会误报 1% 的人类撰写校准摘要。当检测器使用正在筛查的确切模型版本进行训练时，它检测出了几乎所有改写文本。但当它只使用同一厂商更早版本的数据训练时，检测成功率可能大幅下降。对于 GPT-5 的改写文本，检测率降至 26.6%；对于 Muse-Glimmer 的改写文本，则降至 3.8%。

原因并不只是新模型更擅长写作。它们的词汇和模式发生了变化。研究人员发现，这种变化的幅度与检测器无法从一个版本迁移到另一个版本的失败程度之间存在很强的联系。图 2 映射了这两种变化：两个版本的语言相距越远，检测效果往往越难迁移。

试图覆盖每个版本则会造成相反的问题。一组针对不同版本的检测器检测出了 98.6% 的 Muse-Glimmer 改写文本，但也误报了 11.9% 的人类撰写摘要。一个使用混合版本训练的单一检测器避免了大多数这类错误指责，却漏掉了 33.8% 的 Muse-Glimmer 改写文本。经过测试的商业检测器将其中 79.8% 的改写文本标记为完全由人类撰写。

这些不只是相互竞争的技术评分。它们描述了一种编辑无法悄悄回避的选择。一个经过调整、旨在减少错误指责的系统，会漏掉一些 AI 写作。一个经过调整、旨在几乎全部捕捉的系统，则会指责太多人。模型不断更替意味着，在整个持续变化的模型名单中，不存在一个能同时解决这两个问题的固定设置。

Refer to caption — Figure 2: Cross-version detection and vocabulary closeness for all pairs of the 23 LLM versions. (a) Each cell shows the TPR at 1% FPR of the detector trained on the rewrites of the row version and evaluated on the rewrites of the column version, averaged over the 10 random splits. (b) Each cell shows the closeness between the rewrites of the row version and the rewrites of the column version, measured by the JSD. In both panels, each cell is colored by the percentile rank of its value among all 23×2323\\times 23 cells of that panel. In panel (a), a rank of 100 means the highest TPR. In panel (b), a rank of 100 means the smallest JSD. Taken together, detectors trained only on earlier versions worked for most new versions, and their largest failures coincided with the largest vocabulary shifts between successive versions. This raises the question of whether an institution can keep up with the LLM turnover by collecting rewrites of every new LLM version and retraining its own detectors. 出处: Large Language Model Turnover Undermines Screening for Artificial Intelligence-Assisted Scientific Writing（arXiv）

编辑部还可以怎么做

在期刊编辑部，一篇稿件不会再因为仪表盘变红就被拒绝。编辑会要求作者披露 AI 使用情况，并检查作品、数据和作者的回应。检测器的结果仍可作为临时线索，但不应单独成为编辑处分的理由。

这种做法取决于出版商是否把检测视为一项持续维护的任务，而不是一次性购买。他们需要用新的和较旧的模型版本测试评分，并持续检查人类写作被误报的频率。研究人员研究的是某一本期刊的英文摘要，并使用两阶段改写来模拟辅助，而现实中的 AI 辅助可能包括语法纠正、起草、反复编辑或研究支持。在这些评分能够发挥更大作用之前，出版商必须弄清楚，这些发现是否适用于这一狭窄模拟之外的情况。

来源

arXiv，《大型语言模型更替削弱了对人工智能辅助科学写作的筛查》