arXiv
LLM会打分，却不会诊断
一个LLM可以模仿详细评分量规的形式，却无法告诉学生自己误解了什么。研究人员用3,041份本科计算机科学课程的答卷测试了三个模型，发现它们给出的分数与教师评分相符，但其反馈发现误解的频率要低得多。在一所大学的编程实验课上，如果学校验证了这种系统的适用边界，它可以处理步骤明确的程序性任务，同时把概念性强或设计要求高的答案转交给教师。
学生可能会收到一份由AI生成的评分量规，其中包含分项分数、表扬和修改建议。它看起来像是在仔细解释学生理解了什么。但一份薄弱的答案仍可能让学生不知道究竟哪个想法错了，或者自己到底误解得有多严重。评分量规整齐的分栏可能营造出已经完成诊断的假象，却没有真正完成诊断工作。
有用的评分量规必须揭示什么
分析式评分量规的作用，是把不同技能区分开来。它可以显示学生记住了事实，但推理能力较弱；也可以显示想法本身合理，却表达得很差。这种区分很重要，因为每个问题都需要不同的改进方式。
单独一个分数并不等于这些东西。一台机器可以给出接近教师评分的分数，却仍然无法为学习提供多少帮助。有用的形成性反馈必须指出错误或误解，而不只是列出缺少了什么。
这种差别在计算机科学中尤其重要。程序性问题可能有明确的预期步骤，因此更容易评判。设计问题则要求答题者权衡取舍并解释自己的推理。对于这类答案，依据一个固定的理想答案进行评估更为困难。
细节何时变成装饰
这项研究分析了西班牙 Universidad Francisco de Vitoria（弗朗西斯科·德·维多利亚大学）本科课程中50道开放式计算机科学问题的3,041份真实答卷。答卷来自2025–2026学年，并且已经有教师按0–10分制给出的分数和书面评语。
DeepSeek-chat-V3.2、Qwen-flash-2025-07-28和Gemini-2.5-flash-lite-001使用相同的指令为每份答卷评分。每个模型都看到了题目、学生的答案和教师定义的理想答案，但看不到人工评分或其他学生的答案。
总体而言，这些模型给出的分数与教师评分相当吻合。它们的分数相关系数介于0.785和0.815之间。Gemini的平均误差最小，为1.22分。但模型的表现会随科目改变。测试和测试驱动开发问题的评分最可靠。架构与集成，以及Spring Boot和REST问题产生的误差最大。在Spring Boot问题上，Qwen的平均误差为2.36分，而且明显倾向于给出过高的分数。
更大的问题出现在详细评分量规内部。LLM给出的各项分数彼此高度同步，相关系数介于0.82和0.99之间。实际上，多个分栏往往只是在重复一个笼统判断，而不是清楚地衡量不同技能。研究中的方差膨胀因子最高达到44.6，这也表明这些维度并没有独立发挥作用。
反馈也很少找出 struggling 学生最需要知道的东西。教师在15.0%的评语中指出了误解。LLM做到这一点的比例只有4.8%到7.4%。对于人工评分为0–2分的答案，教师在31.5%的评语中发现了误解，而模型的比例为5%到7%。
机器在本应更加谨慎时，也更容易让人安心。对于得分最低的答案，它们有47%到57%的评语包含表扬；教师的比例为22.6%。教师评语平均有59个词，而LLM评语平均有23到28个词。对于质量较差的作业，人工反馈会变得更加负面；对于质量较高的作业，反馈则会更加正面。LLM的反馈在各个分数段都保持正面。
更安全的评估应是什么样
在大学编程实验课上，如果学生的设计题答案在根本上是错误的，系统不应给他三个令人安心的AI分数和一个泛泛的“补充更多细节”建议。系统应把答案转交给教师，或者明确标注自己的回应仅供评分。
这并不意味着要放弃自动评分。如果这些模式在这组数据之外仍然成立，大学可以使用LLM筛选或评估那些答案明确、步骤清晰的程序性任务。但它们不应把这些系统当作能够独立提供形成性诊断的工具。
在详细的AI反馈配得上教师评分量规的权威之前，系统需要证明自己能够对评分量规的各个类别作出独立判断，发现误解，并根据作业质量调整反馈。学校还需要按科目测试这些工具，只将它们用于已经实际验证过的能力。