arXiv

AIテキスト検出器のスコアにはバージョン番号が必要だ

2026年10月13日 14:30

AIテキスト検出器は、言語モデルがその内部で変化していくなか、公平で信頼できる状態を保ち続けることができない。研究者らは、4,000本の科学論文の抄録を23バージョンのモデルによる書き換えと照合し、検出器が以前のバージョンしか見ていなかった場合、GPT-5による書き換えの検出率が26.6%まで低下することを突き止めた。出版社がこうした検査を使い続けるなら、編集者はスコアを暫定的な証拠として扱い、時間をかけてモデルの世代ごとに確認する必要があるかもしれない。

AIによる執筆のスコアは、科学論文の掲載が遅れたり、疑義を呈されたり、却下されたりするかどうかに影響しうる。しかし同じスコアは、人間の書き手を告発するのを避けるため編集者がしきい値を上げれば、申告されていないAI利用を見逃すこともある。汎用的な検査として販売されている検出器が、著者たちが現在使っているモデルを実際に検査しているとは限らない。モデルの更新によって、予告なく単語の選び方や文体が変わることがあるからだ。

検出器が誤る理由

AIテキスト検出器は、文書に埋め込まれた隠れたラベルを読むわけではない。言語に現れる統計的なパターンを調べ、それを使って文章を人間が作ったのか、言語モデルが作ったのかを推測する。だから検出器のしきい値が重要になる。低く設定すれば、AIが書いた文章をより多く検出できるが、人間を誤って告発することも増える。高く設定すれば、誤った告発は減るが、AIが書いた文章をより多く見逃す。

科学出版では、このスコアは編集者にとって最初のシグナルであり、原稿を書いたのが誰か、またはAIの利用が規則違反だったかを証明するものではない。その区別は、モデル自体が変わり続けると維持しにくくなる。昨日の文章で訓練された検出器は、同じ企業のモデルから生まれた文章であっても、明日の文章を認識できないかもしれない。

モデルが変わり、検査が見えなくなった

研究者らは、ChatGPT登場前に発表された科学論文の抄録4,000本と、OpenAI、Meta、Alibabaの23バージョンの言語モデルによる書き換えを使って、この問題を検証した。対象となったバージョンは、2023年6月から2026年8月までにリリースされたものだ。書き換えはAIによる支援のシミュレーションであり、実際の著者が論文に取り組む様子を観察したものではない。

研究者らは、人間が書いた調整用抄録のうち誤ってフラグを付ける割合が1%だけになるよう、検出器を設定した。検出器を検査対象と同じモデルのバージョンで訓練した場合、書き換えのほぼすべてを検出できた。しかし同じ提供元の以前のバージョンだけで訓練した場合、検出の成功率は急落することがあった。GPT-5による書き換えでは検出率が26.6%に、Muse-Glimmerによる書き換えでは3.8%に低下した。

理由は単に、新しいモデルのほうが文章を書くのが上手くなったからではない。語彙とパターンが変化していたのだ。研究者らは、その変化の大きさと、検出器がバージョン間で機能を引き継げなかったこととの間に強い関連を見いだした。図2はその両方の変化を示している。2つのバージョンの言語が遠く離れているほど、検出の転用がうまくいかない傾向があった。

すべてのバージョンを対象にしようとすると、逆の問題が生じる。バージョンごとの検出器を組み合わせた仕組みは、Muse-Glimmerによる書き換えの98.6%を検出したが、人間が書いた抄録の11.9%に誤ってフラグを付けた。複数のバージョンを混ぜて訓練した単一の検出器は、こうした誤った告発の大半を避けた一方、Muse-Glimmerによる書き換えの33.8%を見逃した。検証した市販の検出器は、こうした書き換えの79.8%を完全に人間が書いたものと判定した。

これは単なる技術的スコアの競争ではない。編集者がひそかに避けることのできない選択を示しているのだ。誤った告発を少なくするよう調整したシステムは、AIが書いた文章を一部見逃す。ほぼすべてを検出するよう調整したシステムは、あまりにも多くの人を告発する。モデルが入れ替わるため、変化するモデルの一覧全体に対して両方の問題を解決する固定的な設定は存在しない。

Refer to caption — Figure 2: Cross-version detection and vocabulary closeness for all pairs of the 23 LLM versions. (a) Each cell shows the TPR at 1% FPR of the detector trained on the rewrites of the row version and evaluated on the rewrites of the column version, averaged over the 10 random splits. (b) Each cell shows the closeness between the rewrites of the row version and the rewrites of the column version, measured by the JSD. In both panels, each cell is colored by the percentile rank of its value among all 23×2323\\times 23 cells of that panel. In panel (a), a rank of 100 means the highest TPR. In panel (b), a rank of 100 means the smallest JSD. Taken together, detectors trained only on earlier versions worked for most new versions, and their largest failures coincided with the largest vocabulary shifts between successive versions. This raises the question of whether an institution can keep up with the LLM turnover by collecting rewrites of every new LLM version and retraining its own detectors. 出典: Large Language Model Turnover Undermines Screening for Artificial Intelligence-Assisted Scientific Writing（arXiv）

編集部が代わりにできること

学術誌の編集部では、ダッシュボードが赤くなったという理由だけで原稿が却下されることはなくなる。編集者はAI利用の申告を求め、研究内容、データ、著者の回答を調べる。検出器の結果は暫定的な手がかりではあり続けるが、編集上の制裁を科す単独の理由にはならない。

この方法には、出版社が検出を一度購入すれば済むものではなく、継続的な保守作業として扱うことが必要になる。出版社は、新旧のモデルのバージョンに対してスコアを検証し、人間の文章に誤ってフラグが付く頻度を確認し続けなければならない。著者らが調べたのは1つの学術誌の英語の抄録であり、AIによる支援には2段階の書き換えを使った。一方、実際のAI支援には、文法の修正、下書き、繰り返しの編集、研究の支援などが含まれうる。こうしたスコアにより大きな重みを持たせる前に、出版社はこの知見がその狭いシミュレーションの外でもどの程度当てはまるのかを確かめなければならない。

出典

arXiv, 「大規模言語モデルの入れ替わりがAI支援による科学執筆の検査を損なう」