AgentJudgeBench：评估 LLM 裁判在智能体工具调用中表现的多难度基准

AgentJudgeBench 是首个系统研究 LLM 裁判在基于工作流 DAG 的智能体工具调用中可靠性的多难度基准，包含 3808 个实例、六种拓扑和三个难度层，使用五个生成器与六个裁判评估。结果显示裁判一致性随难度增加而单调下降，无真实标签时下降速度快 1.5 倍，且硬查询中所有裁判的一致性集中在 77-82% 区间，表明存在模型规模无法克服的结构性上限。

此前 LLM 裁判的评估多聚焦于开放式文本或偏好判断，而智能体工具调用依赖结构化、有序的 DAG 流程，裁判在此场景的可靠性未被系统验证。该基准首次揭示裁判在复杂任务中存在一致性天花板，且受任务难度主导，为构建可靠的智能体评估体系提供了实证依据。

基准通过对比有无真实标签的配对条件，量化了任务难度对裁判一致性的影响。无真实标签时，裁判缺乏参照，一致性加速下降；即便有真实标签，部分模型（如 GPT-5.4、Gemini-2.5-Pro）的一致性反而降低，提示过度锚定效应。结构化评分标准虽可提升一致性达 6.5 个百分点，但效果因模型组合而异。

对构建智能体产品或服务的企业，此基准可用于选择评估工具和设置评估流程。裁判在困难任务可能失真，尤其无真实标签时，需谨慎对待自动评估结果。不同规模裁判的表现差异不明显，意味着大模型不一定更可靠，或可考虑采用更小、透明的模型并配合结构化评分标准。

• 基于 AgentJudgeBench 开发智能体功能验收的自动评估工具，内置结构化评分标准以提升裁判一致性。
• 为使用 LLM 裁判的团队提供最佳实践指南，建议在困难任务场景引入人类抽查或程序化基准对齐。
• 开发难度分级评估插件，允许开发者在不同难度层独立验证智能体工具调用的正确性。
• 在无真实标签的敏捷迭代中，采用小型开源裁判（如 QwQ-32B）替代前沿模型以降低成本并保持一致性。

• 基准中的裁判一致性是否适用于其他语言或行业领域的智能体工具调用？
• 结构化评分标准在不同裁判与生成器组合间的不均匀效果，具体影响因子为何？
• 无真实标签条件下出现的结构化性能上限，是否可通过任务分解或更细粒度的评估维度突破？