arXiv
バージョン管理の履歴がAIコードを見えないままにしない
AIは、提出されたプログラムを学生ごとに違うものに見せられる。しかし、コードがどのように作られたかには、役立つ手がかりが残ることがある。Argusは、パデュー大学のC言語コース6回分から42,695件の宿題提出物を分析し、コードに見られる珍しい特徴や急速な追加を使って、スタッフが手作業で確認すべきケースを絞り込んだ。大学のプログラミング実習で、コースが詳細な履歴とAI支援に関する明確なルールを維持していれば、教員は判断を下す前に疑わしい編集の流れを調べられる。
提出されたプログラムは、プログラミングの教員が目にする唯一のものになりがちである。そのため、2人の学生が互いにコピーした場合は見つけやすい。コードが似ている可能性があるからだ。だが、学生がAIアシスタントを使って課題を書き、提出前に結果を変更したかどうかを見分けるのは、はるかに難しい。大規模なクラスでは、すべての下書きを読むことはできない。誤った告発は、学生の学業記録や心身の健康を損なうおそれがある。
ファイルがすべてではない
従来のコード盗用検出ツールは、学生同士の提出物の類似性を探す。これは、ある学生が別の学生のコードをコピーした場合には機能する。だが、AIが学生ごとに異なる解答を生成する場合は、うまく機能しない。最終的なファイルは、学生が一人で解答を作り上げていなくても、オリジナルに見えることがある。
バージョン管理の履歴は、ファイルが時間とともにどのように変化したかを記録したものである。完成した絵だけでなく、保存された描画の各段階をすべて見るようなものだ。コードが小さな手順で現れたのか、それとも大きな塊として一度に現れたのかを示せる。また、作成にどれほど時間がかかったかも示せる。ただし、そのような記録だけで証明できるわけではない。学生のプログラミングスタイルには、それまでの経験が反映されることがある。また、苦労している学生ほど外部の助けを求めやすい可能性もある。珍しいコード履歴と低い試験成績の間に関連があっても、AIが学習を弱めたことの証明にはならない。
見えない手がかりを確認対象のリストに変える
Argusは、その履歴を人が調べるためのリストに変えるよう設計されている。コードに見られる珍しい特徴と、バージョン管理の記録に残る行動を組み合わせる。指標には、コースで教えていない高度なC言語の機能、コースの慣例に合わないスタイル、短い開発期間、そして1分あたり15行以上の速度で少なくとも30行の新しいコードが現れる集中した追加が含まれる。ある指標がクラス全体でよく見られる場合、Argusはその重みを小さくする。
このシステムは、パデュー大学の学部C言語コース1つで使われた。コースのサーバーは、学生がmakeを実行するたびにコードを自動的にコミットし、そのことは学生に伝えられていた。2020年と2022～2026年の春学期6回分を通じて、Argusは3,893件の学生・学期の組み合わせと、42,695件の宿題提出物を分析した。2026年春学期には、サーバーが7,769件の提出物について381,748件のコミットを記録した。
この数値は判定として扱われなかった。スタッフはスコアが最も高い学生を個別に確認し、合意に達した。確認対象は、累積スコア上位300人と、1つの課題で上位150人に入った学生だった。3人のスタッフがそれぞれ約8時間を費やした。スコア上位150人のうち、4人については証拠が不十分だと確認担当者は判断した。
Argusの平均スコアは、2020年春学期の1.1と2022年春学期の0.5から、2025年春学期には4.2、2026年春学期には11.9へ上昇した。2026年春学期には、最初の中間試験を受けた584人の学生のうち267人（45.7%）に、手作業による確認後もフラグが立った。フラグが立った学生の3回の試験の平均点は61.9%で、フラグが立たなかった学生の73.5%と比べて低かった。平均スコアと試験成績の相関は-0.537だった。これらの数値は、スタッフがどこを調べるかを決める助けにはなるが、個々の学生がその成績になった理由を説明することはできない。
プログラミング実習で見えるもの
この方法が有効なら、大学のプログラミング実習の課題は、締め切り前にアップロードされた最終コードだけで判断されることはなくなる。スタッフは編集の流れを調べ、貼り付けられた疑わしいコードの塊に注目し、そのケースについてさらに対応する価値があるかを判断できる。自分で課題を行った学生は、クラスメートからコピーされた解答だけを教員が見つけることに、以前ほど左右されなくなる。
この未来には、検出器以上のものが必要である。コースは詳細な開発履歴を収集し、どのようなAIの助けが許されるかを明確に示さなければならない。告発に責任を持ち続けるのは人間の確認担当者であり、誤った主張から学生を守るのに十分な強さの証拠が必要である。その環境では、AI利用の検出はトリアージになる。限られた確認時間を振り分ける方法であって、自動的に処分を決めるシステムではない。