并非所有标准都同等重要：面向评分表式 LLM 评估的重要性感知标准加权

一篇 arXiv 论文指出，现有基于评分表（rubric）的 LLM 评估通常对各项标准的验证结果采用均匀加权，使次要、重叠的标准与关键标准权重相同，导致评估分数失真。论文提出 Importance-Aware Criteria Weighting（ICW），由 LLM 进行成对重要性比较，检查并修正不一致的比较，再从比较矩阵的主特征向量导出各标准权重。实验显示 ICW 持续优于均匀加权及同类加权方法，并能改善下游强化学习中的策略模型。

此前基于评分表的评估默认各标准同等重要，或让 LLM 一次性给出整体权重，后者在标准较多时难以稳定判断。ICW 把整体判断拆解为成对比较，改变了权重来源与评估分数的计算方式，并首次将权重质量与下游强化学习策略模型效果直接关联。

机制上，ICW 先让 LLM 对标准两两做重要性比较，避免一次性全局打分的不可靠；再对不一致的比较进行检查和修正，提升比较矩阵的一致性；最后用该矩阵的主特征向量作为权重，对各项验证结果加权聚合。这样次要和重叠标准的影响被压低，关键标准主导最终分数，权重质量进而影响下游强化学习中的策略模型表现。

对使用 rubric 评估 LLM 或训练策略模型的团队，评估流水线需引入成对比较与一致性修正环节，可能增加 LLM 调用次数与评估成本，但可减少因均匀加权导致的错误排序。评估结果更贴近人工判断时，模型选型和强化学习奖励信号会更可靠，代价是评估链路变长、需要处理比较不一致的情况。

• 在 LLM 评估平台中增加 rubric 权重自动生成模块，用成对比较替代人工设定权重。
• 为强化学习训练管线提供 ICW 加权奖励信号，作为现有均匀加权奖励的可替换选项。
• 提供成对比较一致性检查与修正工具，帮助团队定位冲突或冗余的评估标准。
• 沉淀行业 rubric 模板并附默认权重，降低新用户配置评估标准门槛。

• ICW 在标准数量很大的 rubric 上，成对比较的调用成本与延迟是否可接受？
• 论文未说明 ICW 在哪些任务或数据集上验证，跨领域泛化能力尚不明确。
• 成对比较一致性修正的具体规则与失败边界未在证据中披露。
• 下游强化学习策略模型改善的幅度与所用基准未在证据中给出。