JuryFlow：分歧引导的人在回路多智能体评估框架

论文提出 JuryFlow，一个由分歧引导、带人在回路的多智能体评估框架。它把每个候选回答拆成原子主张，由异构评委分别给出逐主张判定，并构建分歧图：节点按判定熵评分，边表示主张间的结构相似度。人只做一次最小干预，选择要解决的分歧点，随后焦点主张被重新评估，修正沿图边传播到历史相似案例，并沉淀为所有评委继承的评分细则。在 MT-Bench 与 LLMBar 上，其与金标签的一致率高于单评委和多数投票面板基线，消融实验分离了分歧定向重评、传播与细则归纳的贡献。

此前 LLM 自动评审多依赖单评委或评委面板多数投票，分歧被平均掉而非被解决。JuryFlow 把分歧当作定位不确定性的细粒度信号，用人的一次最小干预替代整条回答重标，并将纠正固化为可复用细则，使评估器随使用逐步自我改进。

机制分三层：主张级拆解把整体评判变成可定位的原子判定；分歧图用判定熵排序、用边结构关联相似主张，从而找出最值得干预的点；人的一次选择触发焦点重评，结果沿边传播并写入评分细则，被全部评委继承，形成低成本纠错加知识沉淀的闭环。自动配置下焦点选择由熵排序完成，便于规模化可复现评测。

对做模型评测、数据标注或内容审核的团队，可把人工投入从整条样本复标降到单点分歧裁决，降低标注成本并提高一致性；细则库的累积让评估标准可继承、可审计，减少评委更替带来的漂移。工程上需要支持主张拆解、异构评委调度与分歧图谱存储。

• 在现有 LLM 评测流水线中接入主张级拆解与分歧图，优先把人工审核预算投向熵最高的分歧点。
• 构建可继承的评分细则库，让新评委或新模型版本直接复用历史裁决，减少重复标注。
• 面向内容审核或客服质检场景，做分歧引导的人工抽检工具，用一次裁决替代整条记录复标。
• 在模型迭代中把评审细则作为回归资产，用一致率对比单评委与多数投票基线验证收益。

• 人工干预的准确率与评委质量、领域差异之间的关系尚未在证据中说明。
• 细则库长期累积后是否存在冲突、冗余或需要版本治理，证据未涉及。
• 除 MT-Bench 与 LLMBar 外的真实业务数据上效果是否稳定，尚不明确。
• 单次人工干预的延迟与吞吐成本，以及自动配置与人工配置的差距，证据未给出。