arXiv
診断せずに採点するLLM
LLMは詳細なルーブリックの形をまねられても、学生が何を誤解しているのかを伝えられないことがある。研究者が学部コンピューターサイエンスの解答3,041件を3つのモデルで調べたところ、モデルの点数は教員の採点に沿っていたが、フィードバックが誤解を特定することははるかに少なかった。大学のプログラミング実習では、明確に手順化された課題には対応できた一方、概念的な解答や設計の比重が大きい解答は、大学側がその限界を検証していれば教員に回すことができた。
学生は、個別の点数や称賛、修正のための助言が付いた、AIが生成したルーブリックを受け取ることがある。それは、学生が何を理解しているのかを注意深く説明しているように見える。しかし、弱い解答では、どの考えが間違っているのか、あるいはどれほど深刻に誤解しているのかが、学生に分からないままになることがある。ルーブリックの整然とした行は、診断を実際には行わずに、診断したような印象を生み出すことがある。
有用なルーブリックが明らかにすべきこと
分析的ルーブリックは、異なる技能を分けて示すためのものだ。たとえば、事実は覚えているが推論が弱いことや、考えは妥当だがうまく伝えられていないことを示せる。この区別が重要なのは、それぞれの問題に必要な取り組みが異なるからだ。
点数だけでは同じことにならない。機械は教員の点数に近い点を付けながら、学習に役立つ支援をほとんど提供しないことがある。有用な形成的フィードバックは、何が欠けているかを列挙するだけでなく、誤りや誤解を特定しなければならない。
この違いはコンピューターサイエンスで特に重要だ。手順に関する問題には明確に期待される手順があるため、判断しやすいことがある。設計問題では、トレードオフを検討し、考えた理由を説明することが求められる。こうした解答は、固定された理想解答から評価するのが難しい。
詳細さが装飾になるとき
この研究は、スペインのUniversidad Francisco de Vitoriaの学部課程で出された、コンピューターサイエンスに関する自由記述問題50問への実際の解答3,041件を分析した。解答は2025–2026学年度のもので、すでに教員による0–10の尺度での採点と、文章によるコメントが付いていた。
DeepSeek-chat-V3.2、Qwen-flash-2025-07-28、Gemini-2.5-flash-lite-001が、同じ指示を使ってすべての解答を採点した。各モデルが見たのは、問題、学生の解答、教員が定めた理想解答である。人間による採点や、ほかの学生の解答は見ていない。
モデルの点数は全体として、教員の点数とかなりよく一致した。点数の相関は0.785から0.815の範囲だった。平均誤差が最も小さかったのはGeminiで、1.22点だった。しかし、科目によって性能は変わった。Testingとtest-driven developmentの問題が最も安定して採点された。Architecture and integration、Spring Boot and RESTの問題では、誤差が最も大きかった。Spring Bootでは、Qwenの平均誤差は2.36点で、点数が高すぎる方向に強く偏る傾向があった。
より大きな問題は、詳細なルーブリックの内部に現れた。LLMが付けた個別の点数は互いに非常に近い動きをし、相関は0.82から0.99だった。実際には、複数の列が明確に異なる技能を測るのではなく、1つの大まかな判断を繰り返していることが多かった。研究の分散拡大係数は44.6に達し、各次元が独立して機能していないことを示す別の兆候となった。
フィードバックも、苦戦している学生が最も必要とするものをほとんど見つけられなかった。教員がコメントの中で誤解を特定した割合は15.0%だった。LLMでは4.8%から7.4%にすぎなかった。人間が0–2点を付けた解答では、教員がコメントの31.5%で誤解を見つけたのに対し、モデルでは5%から7%だった。
機械は、もっと慎重になるべき場面でも、より安心させるような反応を示した。最低点の解答の47%から57%を称賛したのに対し、教員が称賛したのは22.6%だった。人間のコメントは平均59語だったが、LLMのコメントは23語から28語だった。人間のフィードバックは、出来の悪い答案にはより否定的に、出来の良い答案にはより肯定的になった。LLMのフィードバックは、成績の水準にかかわらず肯定的なままだった。
より安全な評価とはどのようなものか
大学のプログラミング実習で、設計に関する解答が根本的に間違っている学生に、安心させるようなAIの点数3つと「詳細を追加せよ」という一般的な提案だけが届くことはない。システムは解答を教員に送り、または自分の回答がスコアのみであることを明確に示す。
これは自動採点を放棄するという意味ではない。このデータセット以外でもこうした傾向が見られるなら、大学は、手順が明確に定められた解答を持つ課題の選別や採点にLLMを使える。システムを、形成的な診断を独立して提供するものと見なすべきではない。
詳細なAIフィードバックが教員のルーブリックと同じ権威を持つには、システムはルーブリックのカテゴリーについて独立した判断を下し、誤解を検出し、出来の良し悪しに合わせてフィードバックを変えられることを示す必要がある。大学側も、科目ごとにツールをテストし、実際に検証した能力に限って使う必要がある。