JudgeProfile：理解并引导 LLM 评判者的主观性

研究者提出 JudgeProfile 框架，把 LLM 评判拆解为感知（对清晰度、正确性、细节等属性的比较）与优先级（各属性对最终选择的影响权重）。团队构建 SubjectiveSet 数据集，含来自 17 个公开来源的 50,013 组回答对、21 个 LLM 评判者和 87 个属性。实验发现评判者常在属性感知上一致，但整体选择分歧；按其自身选择估计的属性权重可随参考标签重新学习，重加权后与参考标签的留出集一致率从 66.48% 提升到 71.97%，优于微调和评分标准提示。

此前对 LLM 评判者分歧的处理多集中在换模型、改提示或微调，把分歧当成整体噪声。该工作把评判拆成感知与优先级两层，指出分歧主要来自权重而非认知，并给出可重加权对齐参考标准的方法，为评估流程的可控性提供了一条低成本路径。

机制是先固定评判者对属性的比较判断，再由其整体选择反推各属性权重，从而把“看到什么”和“更看重什么”分离开。由于感知层存在隐含共识，只需从参考标签学习新的属性权重，就能在不改动模型参数的情况下调整最终决策，因此效果超过微调和 rubric prompting。

对有评估、标注或模型选型环节的团队，可把评判者偏差从换模型问题转为权重配置问题：先收集属性级判断，再按业务标准重估权重，成本低于微调。数据集与权重估计流程可用于校准内部 LLM-as-judge，但需验证跨领域迁移与权重稳定性。

• 在内部评测平台加入属性级打分与权重层，按业务标准重新加权而非更换评判模型
• 基于 SubjectiveSet 的公开来源构建垂直领域偏好集，估计并版本化自有权重
• 将重加权作为 A/B 评审前的校准步骤，减少评判者之间不可解释的分歧
• 提供评判者画像报告，展示其属性权重分布以供人工复核

• 重加权方法在 SubjectiveSet 之外的领域和语言上是否同样有效
• 66.48% 到 71.97% 的提升是否在人工标注的黄金标准上可复现
• 属性权重估计对样本量和参考标签质量有多敏感
• 感知层共识是否会在更强或不同家族的评判模型上消失