- 类型
- 论文
- 来源
- Hugging Face Daily Papers
- 发布
- 2026年9月17日 00:00
- 状态
- 单一信源
发生了什么
论文提出 CERA-MoA,一个迭代式强化学习框架,让动态路由器与各自独立的 agent 策略共同演化。它设计基于中间层隐藏状态的预测式熟悉度估计器,避免完整 rollout 开销,并据熟悉度分数用累积阈值自适应路由,只激活最小的 agent 子集,同时按能力变化主动分配训练样本,促进能力分化。在多个领域的实验显示其优于静态 agent 路由和固定工作流微调基线。
为什么重要
此前的 Mixture-of-Agents 通常把查询路由与 agent 微调当作两个独立过程,路由策略无法随 agent 能力变化而调整,agent 也难以形成数据驱动的专业化分工。CERA-MoA 把两者放入同一迭代强化学习循环,使路由与 agent 能力同步演化,改变的是 MoA 系统的训练与调度组织方式。
底层逻辑
机制上,路由器不依赖完整推理 rollout,而是用中间层隐藏状态估计各 agent 对当前查询的语义熟悉度,再以累积阈值动态选择最小 agent 子集,以调和效果与效率;训练侧则按 agent 当前能力分配有针对性的样本,使不同 agent 逐步分化出各自擅长的领域,从而与路由选择形成互相强化的循环。
产品与商业机会
对产品与研发的直接含义是:多 agent 系统可以把路由策略和 agent 微调纳入同一训练流程,减少为每个查询调用全部 agent 的推理成本,同时按能力动态裁剪参与 agent 数量。团队需要建设熟悉度估计、路由阈值调节和样本分配相关的训练与监控能力,评估方式也需从单点准确率扩展到效果与调用成本的联合指标。
- 在多模型或多 agent 产品中,先用中间层隐藏状态做熟悉度打分,再按阈值只调用必要 agent,以降低单次请求的推理成本。
- 把路由日志与 agent 训练样本分配打通,按各 agent 能力变化自动补足薄弱领域的训练数据。
- 针对已有固定工作流的多 agent 应用,提供路由与微调联合迭代的评估套件,对比静态路由基线。
仍待确认
- 证据仅说明实验优于静态路由与固定工作流微调基线,未给出具体数据集、模型规模和量化提升幅度。
- 预测式熟悉度估计器依赖中间层隐藏状态,对不开放隐藏状态的闭源模型是否可用尚未说明。
- 累积阈值路由在延迟、吞吐和成本上的实际收益缺少可核对的数字。
- 该方法在 agent 数量较多或任务分布快速漂移时的稳定性与训练开销尚未被证据覆盖。