评估分数是易逝的知识主张

一篇论文指出，当前语言模型评估常通过平均聚合自动指标、人工评估等多种信号，这会导致“信任膨胀”——整体置信度超过最弱信号的可信度。作者主张评估分数应视为具有形式性、范围和有效期的认知主张。以HELM排行榜为例，按平均分和按最弱环节排名的前五模型完全不重叠。

此前评估默认分数可信，但该论文揭示平均聚合产生虚假置信度，且排行榜排名存在系统性偏差。这要求评估方法必须引入元数据（如有效期）和更保守的聚合方式，否则依赖排行榜选型可能导致错误决策。

平均聚合会平滑各信号的噪声，但实际可靠性受限于最弱环节（如自动指标）。基于多种研究传统，论文论证最弱环节聚合更保守合理。同时，评估分数因数据污染和分布偏移随时间失效，需标注有效期。

若产品使用平均聚合的评估方法，可能高估模型能力，引发上线风险。需改用最弱环节聚合或附加形式级别、范围、有效期等元数据，这会增加评估流程复杂度，但提升结果可信度。

• 开发支持最弱环节聚合和元数据（形式级别、有效期）的评估工具，嵌入现有评测流程。
• 对已有模型排行榜重新按最弱环节排名，输出差异报告，供选型参考。

• 最弱环节聚合的参数（如悲观程度）如何根据业务场景调整？
• 论文提及的参数化算子族在实践中能否高效计算？
• 人工评估作为最强证据，其成本与可靠性如何在产品中平衡？