基于DynamicRubric的LLM评估器与策略共同进化

论文提出DynamicRubric，一种响应集条件化的评估器与策略共同进化框架。随着策略模型改进，相近质量的样本导致评估器分数差距缩小，削弱优化信号。DynamicRubric通过为每个候选集生成加权二进制rubric项并聚合得分，解决了该问题。基于8B骨干的实验显示，其评估器性能优于70B奖励模型或235B静态rubric生成器，优化后的策略在推理和编码任务上也有提升。该模型已全面部署在微信搜索的AI回答场景，每日服务数千万请求，并改善了关键在线指标。

此前评估器在策略优化中保持静态，当策略提升后，评估器得分差距变小，导致优化信号弱化甚至误导。DynamicRubric使评估器随策略共同进化，始终提供有效的监督信号，从而突破性能瓶颈。

通过概率分配视角，理论表明评估器得分差距是策略更新中概率质量转移的方向性增益。DynamicRubric为每个候选响应集生成加权二进制rubric项，将rubric判断聚合为响应级得分，使评估器得分的间距能根据当前策略分布自适应调整，从而提供更强的监督信号。

该框架已部署在微信搜索AI回答场景，服务所有在线流量（每日数千万请求），并提升了关键在线指标。这表明DynamicRubric可实际用于改善搜索AI回答的质量，且不依赖超大模型即可获得优于大模型的效果。

• 在搜索推荐或对话产品中集成DynamicRubric，自动适应策略变化以保持回答质量。
• 利用该框架减少对人工标注或大型奖励模型的依赖，降低持续优化成本。
• 在推理或编码辅助工具中应用，提升模型在复杂任务上的输出准确性。

• DynamicRubric在更大规模模型（如几十B以上）上的表现是否与8B骨干一致？
• 部署时所需的实时计算资源与延迟具体是多少？
• 该框架是否适用于非搜索场景（如客服对话）且无需调整rubric设计？
• rubric项如何自动生成与更新，是否有领域适应性限制？