AIの来歴はGitの履歴より前に始まる

Gitの履歴だけでは、AIが研究にどう関わったかを信頼性高く説明できない。記録されるのは保存されたファイルであり、人がAIの提案を受け入れ、変更し、却下した瞬間ではないからだ。この論文は2つのリポジトリを調べ、よく使われるAIラベルの1つだけでは、AIを示すラベルが付いた121件のコミットのうち55件を見落としていたことを明らかにした。編集ツールやコーディングエージェントがそうした出来事をその場で記録すれば、大学の研究者は記憶から経緯を作り直す代わりに、検証可能な開示パネルを開けるようになる。

AIの支援を受けた研究プロジェクトが終わって数カ月後、著者はどの部分がAIツールによるものか説明を求められることがある。通常の証拠はGitリポジトリだ。保存されたバージョンのタイムラインと、それを保存した人が書いたメッセージが入っている。しかし、そのタイムラインは日記ではない。変更せずに受け入れたAIの提案や、それを生み出したプロンプト、2つの保存バージョンの間にあった手順を示すことはできない。

Gitが覚えていること

Gitはファイルのバージョンを保つためのツールである。誰かが作業をコミットすると、Gitはスナップショットと、ユーザーが提供したいくつかの情報を記録する。通常、各行がどのように作られたかまでは記録しない。

プロジェクトによっては、コミットメッセージに短いラベルを加える。これはコミットトレーラーと呼ばれる。慣例によって使われる、自由形式のキーと値のフィールドである。AI Co-Authored-Byというラベルがあれば、AIツールが関わったことを示している可能性がある。しかし、ツールが何をしたかを普遍的に記録するものではなく、AIが支援していてもラベルがないことがある。

現在のファイルには、Gitから消去せずに以前のテキストを隠せる。その古いテキストを見つけるには、プロジェクトの履歴を検索しなければならない。そのため、この記録はすぐ使える作業記録からさらに遠ざかる。後から誰かが復元しなければならない証拠なのである。

これは重要な問題である。出版社や研究助成機関は、生成AIが研究にどう貢献したかを研究者に説明させるようになっている。コミットのラベルに基づく、精密そうな割合は役に立つように見えるかもしれないが、実際には別の問いに答えている。作業中に何が起きたかではなく、後から誰かが何を印付けしたかという問いである。

この論文は、同じ1人の研究者が作成した環境科学のリポジトリ2つを調べている。研究対象、期間、ツール、作業の段階が異なるため、著者らは違いの原因が1つのツールだけだとは主張していない。

プロジェクトAには466件のコミットがあり、AIの痕跡として常設ルールファイルを使っていた。集計時点で、その痕跡に追加されたことのある2,236行のうち1,915行がまだ見えていた。プロジェクトBには103件のコミットがあり、バージョン管理されたCursorのスクラッチパッドを使っていた。挿入された1,537行のうち、現在のファイルで見えていたのは335行だけだった。残る1,202行はGitの履歴にのみ残っていた。

これが中心的な問題である。現在のチェックアウトだけを見る研究者は、記録の多くを見落とす。ラベルだけを見る研究者は、別の部分を見落とす。プロジェクトBでは、39件のコミットがスクラッチパッドを修正していたが、AI Co-Authored-Byトレーラーが付いていたのは1件だけだった。プロジェクトAでは、66件のコミットにそのトレーラーが付いていた一方、3種類のAIを示すトレーラーキーのいずれかが付いていたコミットは121件あった。一般的なCo-Authored-Byラベルだけを使うと、その121件のうち55件を見落としていたことになる。

その瞬間を記録する

提案されている変更は、古いGitログをより賢く検索する方法ではない。人間とAIのやり取りが起きたときに、それを記録することである。

編集ツールやコーディングエージェントは、採用イベントを記録できる。研究者が提案を受け入れた瞬間のことである。どのツールを使ったかを記録し、追記のみ可能なセッション記録を保ち、エージェントが関わったという事実と、そのエージェントの身元を分けて記録することもできる。そうすればセッションはスナップショットの山ではなく、一連の出来事のように読める。提案が現れ、人がそれを受け入れるか変更し、その後ファイルが移動または書き換えられた、という具合である。

ファイルが変更された後も、記録は見える状態で残らなければならない。共通のフィールド、意識的な追跡、名前が変更されたファイルを追える仕組みも必要になる。自己申告された日付は、リポジトリの履歴と照合することもできる。こうした手順を踏んでも、Gitが研究の完全な記憶になるわけではない。欠けている証拠を作業のそばに置くことで、数カ月後に誰かが復元する必要をなくすのである。

そこにすでにある開示

大学の研究室で計算科学の論文を投稿する研究者は、分析に関係するエージェントのセッション、受け入れた提案、編集、ツールをすでに一覧にした開示パネルを開けるようになるかもしれない。古いコミットを検索し、何が起きたかを思い出そうとする代わりに、作業中に作られた記録を確認できる。編集者、査読者、研究公正の担当チームは、説明のない割合に頼るのではなく、申告の背後にあるプロセスを調べられる。

その未来は、コーディングエージェント、編集ツール、研究ツールが、こうした出来事を標準化された形式で記録し、後から検証できる状態に保つことにかかっている。共有された記録がなければ、AIの利用開示は、不完全なスナップショット、消えていく痕跡、記憶から組み立てられ続けることになる。したがって、足りない技術はより優れたGit監査ではない。Gitの履歴が始まる前から始まる、信頼できる来歴の記録である。

出典

arXiv, 「What Git Does Not Record: Provenance Legibility in Two AI-Assisted Research Repositories」