LLM 评估法官面板的停止与路由策略

arXiv AI 发布论文，提出将 LLM 评估中的法官面板设计视为按角色分配的问题。该方法基于标注审计集、声明切片和法官成本，估计法官的补充、专业等角色，从而制定调用策略：丢弃复制法官、全局添加补充法官、条件调用专家，并在验证增益低于阈值时停止。多个评估测试表明，该方法优于单一法官、扁平面板等基线，并输出可审计的调用计划。

此前 LLM 评估通常依赖单一法官或固定面板，未系统考虑法官间的角色差异与调用成本。该论文首次将法官面板设计形式化为按角色分配的问题，并提出可操作的停止与路由策略，有助于在控制成本的同时提升评估质量，对大规模 LLM 评估实践具有直接参考价值。

该方法通过少量标注数据识别法官的角色：复制法官不增加新信息，补充法官全局提升评估，专家法官仅在特定切片有效。据此制定策略：丢弃复制法官，全局添加补充法官，条件调用专家法官，并在验证增益低于阈值时停止构建面板。这种机制将评估资源分配转化为可优化和可审计的决策问题。

对依赖 LLM 评估的产品或研发流程，该策略可直接用于优化评估管线，减少不必要的法官调用，降低成本，并提升评估准确性与可靠性。产品团队可依据此方法设计更经济的评估流程，或在自动化评估平台中内置该策略。

• 在自动化评估平台中集成该路由策略，帮助用户自动生成每次评估批次的法官调用计划，降低调用成本。
• 为特定领域（如代码、安全）提供专家法官路由功能，根据输入切片自动选择专用评估器，提升评估精度。

• 该方法在真实大规模评估场景中的实际成本节省程度尚未由证据给出具体数字。
• 论文是否提供开源代码或公开实现，以便产品团队直接采用？
• 法官角色估计对标注审计集的规模和代表性有多敏感？
• 该策略与闭源 LLM 评估服务（如 API）集成时，延迟和成本影响如何？