arXiv

AI 文字偵測器的分數需要版本號

2026年10月13日 14:30

AI 文字偵測器無法在語言模型不斷變化的情況下，持續保持公平與可靠。研究人員將 4,000 篇科學摘要與 23 個模型版本生成的改寫版本進行比對，發現當偵測器只看過較早的版本時，對 GPT-5 改寫版本的偵測率降至 26.6%。如果出版商繼續使用這類篩查工具，編輯可能需要把分數視為暫時性證據，並持續檢查每一代模型。

AI 寫作分數可能影響一篇科學論文是否延遲刊登、受到質疑或遭到拒絕。但同一個分數也可能讓未披露的 AI 協助順利通過，因為編輯若提高門檻，就能避免指控人類作者。以一般性篩查工具出售的偵測器，不一定正在檢查作者目前使用的模型：模型更新可能在沒有預警的情況下改變用字與文風。

偵測器為何可能出錯

AI 文字偵測器不會在文件中讀取某個隱藏標籤。它們會尋找語言中的統計模式，再根據這些模式猜測文字是由人還是語言模型產生。這使偵測器的門檻非常重要。門檻設得低，能抓到更多 AI 撰寫的段落，但也會誤指控更多人。門檻設得高，誤指控會變少，但也會漏掉更多 AI 撰寫的文字。

在科學出版中，這個分數本來應該只是給編輯的第一個訊號，而不是用來證明誰寫了稿件，或證明使用 AI 是否違反規定。當模型本身持續變化時，這項區分就更難維持。以昨天的文字訓練的偵測器，可能認不出明天的文字，即使兩者都來自同一家公司。

模型變了，篩查工具也看不見它了

研究人員以 4,000 篇在 ChatGPT 出現前發表的科學摘要，以及由 OpenAI、Meta 和 Alibaba 的 23 個語言模型版本生成的改寫版本，測試了這個問題。這些版本涵蓋 2023 年 6 月至 2026 年 8 月發布的模型。這些改寫是對 AI 協助的模擬，而不是對真實作者撰寫論文過程的觀察。

他們設定偵測器，使只有 1% 的人類撰寫校準摘要會被誤標記。當偵測器以正在篩查的確切模型版本進行訓練時，它幾乎能偵測出所有改寫版本。但當它只以同一供應商較早的版本進行訓練時，成功率可能大幅崩落。對 GPT-5 改寫版本的偵測率降至 26.6%；對 Muse-Glimmer 改寫版本的偵測率則降至 3.8%。

原因不只是新模型更擅長寫作。它們的詞彙與模式已經改變。研究人員發現，這種變化的幅度與偵測器無法從一個版本延續到另一個版本的失效程度之間，有很強的關聯。圖 2 同時呈現了這兩種變化：兩個版本的語言差異越大，偵測效果通常越難轉移。

試圖涵蓋每一個版本，則會造成相反的問題。一組針對特定版本的偵測器，抓到了 98.6% 的 Muse-Glimmer 改寫版本，但也誤標記了 11.9% 的人類撰寫摘要。一個以混合版本訓練的單一偵測器，避開了大多數這類誤指控，卻漏掉了 33.8% 的 Muse-Glimmer 改寫版本。受測的商業偵測器將其中 79.8% 的改寫版本標記為完全由人類撰寫。

這些不只是彼此競爭的技術分數。它們描述的是編輯無法悄悄迴避的選擇。把系統調校到很少誤指控，就會漏掉一些 AI 寫作。把系統調校到幾乎什麼都抓得到，就會指控太多人。模型不斷更替，意味著不存在一個固定設定，能在持續變化的整個模型清單中同時解決這兩個問題。

Refer to caption — Figure 2: Cross-version detection and vocabulary closeness for all pairs of the 23 LLM versions. (a) Each cell shows the TPR at 1% FPR of the detector trained on the rewrites of the row version and evaluated on the rewrites of the column version, averaged over the 10 random splits. (b) Each cell shows the closeness between the rewrites of the row version and the rewrites of the column version, measured by the JSD. In both panels, each cell is colored by the percentile rank of its value among all 23×2323\\times 23 cells of that panel. In panel (a), a rank of 100 means the highest TPR. In panel (b), a rank of 100 means the smallest JSD. Taken together, detectors trained only on earlier versions worked for most new versions, and their largest failures coincided with the largest vocabulary shifts between successive versions. This raises the question of whether an institution can keep up with the LLM turnover by collecting rewrites of every new LLM version and retraining its own detectors. 出處: Large Language Model Turnover Undermines Screening for Artificial Intelligence-Assisted Scientific Writing（arXiv）

編輯部可以改做什麼

在期刊編輯部，一篇稿件不會再因為儀表板變紅就遭到拒絕。編輯會要求作者披露 AI 使用情況，並檢視研究成果、資料和作者的回應。偵測器結果仍可作為暫時性的線索，但不能單獨成為編輯處分的理由。

這種做法取決於出版商是否把偵測視為持續維護的工作，而不是一次性購買。他們需要以新舊模型版本測試分數，並持續檢查人類文字被誤標記的頻率。研究作者研究的是同一期刊的英文摘要，並採用兩階段改寫；但真實的 AI 協助可能包括文法修正、起草、反覆編輯或研究支援。在這些分數能承擔更多分量之前，出版商必須先了解這些結果在這種狹窄模擬之外有多大適用性。

來源

arXiv，《Large Language Model Turnover Undermines Screening for Artificial Intelligence-Assisted Scientific Writing》