LLM 评分器在哪成功、在哪失效：来自两门计算机科学考试的实证

一篇 arXiv 论文在一门大型课程的 Computer Vision 实践考试（570 名双评分学生）上，用跨闭源与开源权重的 171 种配置测试 LLM 评分。最佳配置平均绝对误差为 1.64/35，低于两名人类评分者之间的 2.61/35。但在提示词前加一段简短“严格评分者”开场白后，17 个开源权重模型中有 14 个掉出可评分区间，3 个完全停止评分。

此前关于 LLM 评分的讨论多集中在模型能力或规模上，而该证据显示，决定成败的不是模型大小或语气，而是提示词里两句扣留部分分的措辞；并且这种脆弱性在第二门考试中可复现，但影响方向因考试而异，说明单一考试的验证结果不足以推广。

作者把失效来源锁定在前言中的两句扣留学分的话，而非语气或模型规模，其中“绝不给予部分分”一句就让三个被测模型中的两个停止评分。三家厂商的闭源旗舰模型在该前言下只改变校准、仍留在可评分区间，说明能力更强的模型对冲突指令更容忍。对两门考试约 3900 个已评分样本做轻量 LoRA 微调后，五个小型开源模型达到与人类评分者相当或更好的水平，对三种严厉人设的敏感度降到 0.32 MAE 以内。

对依赖 LLM 做作业或考试评分的教育产品，评分提示词需要像代码一样做回归测试，尤其要检查扣留部分分这类指令是否引发拒答或评分崩塌；使用小型开源模型时，微调可在保证成本优势的同时修复稳定性，但需针对具体考试重新验证方向。

• 为 LLM 评分产品建立提示词回归测试集，覆盖“严格”“不给部分分”等指令，监控 MAE 与拒答率
• 在小型开源模型上按课程数据做 LoRA 微调，提供比直接调用闭源旗舰更低成本且校准稳定的评分方案
• 面向教育客户提供双评分样本对齐与一致性报告，把人类评分者间误差作为验收基线
• 将评分提示词版本与成绩分布绑定，出现异常偏移时自动回退到已验证配置

• 在更多学科和语言环境下，严格评分前言的失效方向是否仍因考试而异
• 微调后的模型在新考试或新题型上的迁移效果与再校准成本有多大
• 闭源旗舰模型在严格前言下保持可评分区间的机制是否可复现于其他厂商
• 论文提到的匿名数据集、消融网格和评分微调资源在何处获取、许可条件如何