资源受限智能体 LLM 后训练的协同协同进化方法

arXiv AI 论文提出 CoPES，一种面向资源受限环境的 Agentic LLM 后训练协同进化方法。它将全参数空间分解为低维子空间协同搜索，在 Qwen3.5-4B 工具使用智能体的数学任务上，以全参数 GRPO 最佳验证检查点的 GPU 时预算，恢复了 GRPO 验证准确率增益的 92%，优于标准 ES 的 67%，内存需求不足 GRPO 的八分之一。

此前进化策略虽内存高效，但 GPU 时需求高，难以在单机多卡等资源受限场景落地。CoPES 在相同 GPU 预算下显著缩小了与梯度 RL 的性能差距，为资源有限的团队提供了更可行的后训练方案。

CoPES 基于协同协同进化，将高维参数空间分解为多个低维子空间并行或交替搜索，降低优化复杂度，提升搜索效率。相比标准 ES 和 LoRA 策略，它在内存和训练时间上取得更优平衡，且无需反向传播。

对资源有限的团队，CoPES 可降低后训练 GPU 内存和时耗门槛，使在少量 GPU 上微调工具使用智能体变得可行，从而加速模型迭代，降低成本。

• 在内部开发流程中评估 CoPES，用于小模型工具调用能力的后训练，替代或补充 LoRA 方法。
• 将 CoPES 集成到模型微调工具链，提供资源受限环境下的后训练选项。
• 基于 CoPES 的代码库，设计针对垂直领域工具智能体的微调模板。

• CoPES 在不同规模和架构的模型上是否稳定复现？
• 其性能增益在复杂多步推理任务中能否保持？
• 与 LoRA 相比，训练时间的具体差异未量化。