将校准作为 LLM 评估的一等标准

一篇 arXiv 论文指出，语言模型的校准程度（即模型表达或隐含的置信度与经验正确率之间的一致程度）虽在 NLP 内部已有成熟度量方法，但外部研究在提出新模型、数据集和基准时普遍不报告校准指标。作者认为这一采纳缺口妨碍可信的 LLM 评估，主张每个 NLP 子领域在主性能指标之外同时报告校准分数，并将其视为模型的必备属性。

此前校准被视为 NLP 内部的小众研究方向，新模型与新基准的发布通常只报告准确率等性能指标。该论文把校准从可选项提升为评估的必备维度，并指出标准校准指标只需置信度与正确性两个输入，而现有多数基准已同时具备，这意味着校准可从“未来议题”变为可立即执行的报告项。

论文区分两类失准风险：部署环节中过度自信的错误会带来实际损害；研究流程中 LLM-as-a-judge、合成数据生成和主动学习等方法本身就依赖校准后的置信度，却未加以验证。由于校准指标对每个样本只需置信度分数和正确性判断，而多数基准已提供这两项，报告成本很低，因此障碍主要是采纳意愿而非技术可行性。对开放式生成任务，如何定义这两个输入仍未解决。

对研发团队而言，在现有评测流程中加入校准分数可暴露模型在高置信度下的错误分布，减少下游依赖置信度的环节出错。使用 LLM-as-a-judge、合成数据或主动学习的产品线，需先验证置信度是否可靠，否则会放大错误。开放生成场景暂缺统一定义，短期内难以直接套用标准指标。

• 在现有评测报告中，为已有基准补充置信度与正确性字段，输出校准分数作为性能指标的并列项。
• 针对使用 LLM-as-a-judge 或主动学习的内部流程，加入校准验证步骤，筛除高置信度错误样本。
• 开发面向开放式生成的校准度量方案，明确置信度与正确性判定口径，作为差异化能力。
• 将校准分数纳入模型选型或上线检查清单，作为与准确率同级的评估维度。

• 论文未给出具体的校准阈值或可接受的失准范围。
• 开放式生成中置信度与正确性两个输入应如何定义，论文称仍是开放挑战。
• 各子领域如何将校准分数与主性能指标组合报告，尚无统一格式。
• 论文未提供校准指标落地后对模型表现或用户信任的实测效果数据。