ACLArena：多阶段后训练中的 Agent 持续学习

arXiv 论文提出 ACLArena 框架，用于研究、分析和评估 Agent 的持续学习（ACL）。作者先搭建顺序训练流水线，从模型层和 token 层分析遗忘与泛化的机制，再比较 on-policy 多教师蒸馏、自蒸馏微调和模型合并三种范式恢复旧能力、保留新能力的效果，并提出结合高质量轨迹离线回放与多 LoRA 专家路由网络的新配方，在四个推理与 Agent 任务上验证。

工业级通用 Agent 需要在不同训练阶段获得多种能力，但此前缺乏关于 Agent 持续学习的成熟配方，也不清楚各类集成范式之间的取舍。ACLArena 把遗忘与泛化拆到模型层和 token 层分析，并系统对比三类主流方案，使该问题从经验尝试转向可比较、可评估的研究对象。

顺序训练中，后阶段数据会覆盖或干扰前阶段形成的参数与表征，导致旧能力退化。论文从模型层与 token 层定位这种干扰来源，再以离线回放重放高质量轨迹来保留旧分布，并用路由机制把多个经 RL 专精化的 LoRA 专家分配给不同领域，从而在共享底座上减少任务间冲突。

对自研 Agent 的团队而言，多阶段训练后的能力回退是可观测的成本项，通常意味着重复训练与调参开销。该工作提示可把回放数据与多 LoRA 专家路由纳入后训练流程，在不整体重训的前提下按领域扩展能力，但落地前需在自身任务上复现其域内与域外评测结论。

• 在自有 Agent 训练流程中加入高质量轨迹回放环节，作为阶段间保留旧能力的常规步骤
• 针对不同业务领域分别训练 LoRA 专家并测试路由分配，替代单一模型承载全部能力
• 建立分阶段的遗忘与泛化评测集，在每次后训练后量化旧能力回退程度
• 将模型合并、自蒸馏与多教师蒸馏作为基线，纳入内部后训练方案的选型对比

• 论文提出的 ACL 配方在四个任务之外的领域是否同样有效
• 离线回放与多 LoRA 专家路由带来的推理与存储成本具体增加多少
• 该方法对基座模型规模和训练数据质量的敏感程度如何
• 是否有独立复现或第三方评测支持其域外泛化结论