arXiv
LLM 能評分，卻不會診斷
LLM 可以模仿詳細評分規準的形式，卻無法告訴學生自己誤解了什麼。研究人員讓三個模型評估 3,041 份大學生電腦科學作答，發現它們給出的分數與教師評分一致，但其回饋找出迷思概念的頻率低得多。在一所大學的程式設計實驗課中，這套系統能處理明確的程序性作業；但如果學校先確認其限制，它也可以把概念性或設計比重高的答案交由教師處理。
學生可以收到一份由 AI 生成的評分規準，其中包含分開的分數、肯定和修改建議。它看起來像是在仔細解釋學生理解了什麼。但一份薄弱的答案，仍可能讓學生不知道哪個想法錯了，也不知道自己究竟誤解得多嚴重。評分規準整齊的欄列，可能營造出已經完成診斷的假象，卻沒有真正做出診斷。
有用的評分規準必須揭示什麼
分析式評分規準的目的，是把不同技能分開。它可能顯示學生記住了事實，卻缺乏推理能力；也可能顯示想法本身合理，但表達不佳。這種區分很重要，因為每個問題都需要不同的努力。
單獨的分數並不等同於這件事。機器可以給出接近教師評分的分數，卻仍無法為學習提供良好幫助。有用的形成性回饋必須找出錯誤或迷思概念，而不只是列出缺少了什麼。
這種差異在電腦科學中尤其重要。程序性問題可能有清楚的預期步驟，因此較容易評判。設計問題則要求答題者權衡取捨並解釋推理。若拿固定的理想答案來比對，這些作答會更難評估。
當細節變成裝飾
這項研究分析了西班牙 Universidad Francisco de Vitoria 大學部課程中，50 道開放式電腦科學問題的 3,041 份真實作答。這些作答來自 2025–2026 學年，並已有教師以 0–10 分制給出的分數，以及書面評語。
DeepSeek-chat-V3.2、Qwen-flash-2025-07-28 和 Gemini-2.5-flash-lite-001 使用相同指示評估每一份作答。每個模型都看到了題目、學生的答案和教師定義的理想答案，但沒有看到人工評分或其他學生的答案。
整體而言，模型給出的分數與教師評分相當一致。它們的分數相關係數介於 0.785 至 0.815。Gemini 的平均誤差最小，為 1.22 分。但模型的表現會隨科目改變。測試與測試驅動開發問題的評分最可靠。架構與整合，以及 Spring Boot 與 REST 問題造成的誤差最大。在 Spring Boot 方面，Qwen 的平均誤差為 2.36 分，而且明顯傾向給出過高的分數。
更大的問題出現在詳細評分規準的內部。LLM 分別給出的各項分數彼此變動得非常接近，相關係數介於 0.82 至 0.99。實際上，幾個欄位往往只是重複一個籠統的判斷，而不是清楚衡量不同技能。研究中的變異膨脹因子最高達 44.6，這也顯示各個維度並非獨立運作。
回饋也很少找出苦苦學習的學生最需要知道的問題。教師在 15.0% 的評語中指出了迷思概念；LLM 做到這一點的評語比例則只有 4.8% 至 7.4%。對於人工評分為 0–2 分的答案，教師在 31.5% 的評語中找出了迷思概念；模型的比例則為 5% 至 7%。
機器在應該更加謹慎時，也更常給出安撫性的評語。它們對最低分答案中的 47% 至 57% 給予肯定；教師則只有 22.6%。人類評語平均有 59 個字，LLM 評語平均有 23 至 28 個字。對於表現不佳的作業，人類回饋會變得更負面；對於表現出色的作業，則會變得更正面。LLM 的回饋在各個分數區間都維持正面。
更安全的評量會是什麼樣子
在大學程式設計實驗課中，一名設計答案從根本上就是錯的學生，不會收到三個令人安心的 AI 分數和一個泛泛的「補充更多細節」建議。系統會把答案交給教師，或清楚標示這份回應只能提供分數。
這不代表要放棄自動評分。如果這些模式在這份資料集之外仍然成立，大學可以使用 LLM 篩選或評分具有明確程序性答案的作業。但它們不應把這些系統視為能獨立提供形成性診斷的工具。
在詳細的 AI 回饋值得擁有教師評分規準的權威之前，這些系統需要證明自己能對評分規準的各個類別作出獨立判斷、偵測迷思概念，並根據作業品質調整回饋。學校也需要按科目測試這些工具，只將它們用於已實際驗證的能力。