从判断质量到下游效用：重新思考开放式任务中的 LLM-as-a-Judge

一篇 arXiv 论文系统研究 LLM-as-a-Judge 在开放式任务中的判断质量与下游效用。作者分别改变判断生成协议（结论粒度、评语使用、评估分批）和判断用途（策略训练，以及 Best-of-N 选择、Judge 引导修订、beam search 等测试时推理），发现判断质量与下游效用并不总是一致，协议设计同时影响二者，且 Judge 引导能把测试时算力转化为性能提升，但不同推理策略收益不同。

此前多数工作直接把 Judge 输出当奖励信号用于策略训练，较少关注判断本身的质量，也基本把 Judge 限定在训练阶段。该研究把 Judge 的生成方式与使用方式一起纳入实验变量，并延伸到测试时推理，提示单纯用判断准确率衡量 Judge 可能不足。

机制上，判断结果既作为监督信号影响策略更新，也可在推理阶段作为选择或修订依据；结论粒度、评语和分批方式会改变 Judge 输出的信息量与噪声，从而改变其被下游使用时的效果。因此判断质量与效用脱钩，可能来自信号与具体推理策略、任务分布的匹配程度差异。

对使用 LLM 做评估或数据筛选的团队，评估方案需要同时看判断质量和下游任务收益，而非只对比 Judge 打分准确率。工程上可考虑把 Judge 用于推理阶段的选择与修订，将额外算力换成效果，但需按不同推理策略分别验证成本收益。

• 在模型或策略上线前，搭建同时记录 Judge 判断质量与下游指标的评测流水线，避免仅凭打分准确率上线评估器。
• 针对 Best-of-N 与 Judge 引导修订分别做小规模消融，确认哪些任务上增加测试时算力能带来正向收益。
• 把结论粒度、是否附带评语、评估分批方式作为可配置项，针对不同任务调优 Judge 协议。

• 论文中判断质量与下游效用不一致的具体幅度和任务范围尚未确认。
• 结论粒度、评语使用、评估分批三个维度中哪个影响最大，证据未给出结论。
• Judge 引导带来的测试时算力收益是否在不同规模模型上稳定，尚不清楚。