RISED：面向多环境 agent 选择的 rubric 与自蒸馏方法

arXiv 论文提出 RISED 方法，将 rubrics 用于多环境 LLM agent 的训练数据选择与策略监督。它通过 LLM judge 按跨环境共享的 rubric 词表为每条 rollout 打标签，并据此筛选与混合环境批次行为构成一致、且与已选数据重叠较小的样本；正向 rubric 作为 on-policy 自蒸馏教师的特权上下文提供 token 级监督，负向 rubric 则引导后续 rollout 生成。

此前多环境 agent 训练多以环境为单位分配数据，或只看局部标量奖励，难以刻画跨环境 rollout 之间的关系；当同组 rollout 全成功或全失败时，组相对奖励信号消失。RISED 把文本 rubric 从奖励扩展为数据选择与监督信号，尝试补上这两类信息缺口。

标量奖励只给出数值，无法表达跨环境行为关系，也无法在同组奖励相同时提供组内对比。RISED 用共享 rubric 词表把 rollout 行为转成结构化标签，标签既用于挑选与批次行为分布匹配且低冗余的数据，也用于区分正负行为：正向标签作为特权上下文进入自蒸馏，负向标签用于调整后续生成。

对做多环境 agent 训练或数据管线团队，这意味着数据筛选可加入行为标签维度，而非只按环境来源或奖励高低采样；同时需要维护一套跨环境可复用的 rubric 词表与 LLM judge 标注流程。若成立，可减少全成功/全失败样本的浪费，并增加 token 级监督信号。

• 为多环境 agent 训练平台增加 rubric 词表管理模块，支持跨环境共享与版本化。
• 在数据选择管线中接入 LLM judge 标注，按行为标签而非仅按环境或奖励做采样。
• 将正负 rubric 分别接入自蒸馏教师上下文与后续 rollout 生成策略，形成闭环标注流程。
• 针对全成功/全失败 rollout 组，设计基于 rubric 的替代监督信号以回收无效样本。

• RISED 在哪些具体环境和基准上验证，效果提升幅度是多少？
• LLM judge 打标的一致性、成本和可扩展性如何？
• 共享 rubric 词表如何构建和维护，是否需要人工设计？
• 与现有课程学习和数据选择策略相比，计算开销增加多少？