SynCo：基于多智能体强化学习的数据合成协同训练实现自演化 LLM

arXiv 论文提出 SynCo，一个面向自演化 LLM 的多智能体强化学习数据合成协同训练框架。它联合优化两个独立参数化的智能体：Synthesizer 依据 Reasoner 不断变化的能力状态构造训练任务，Reasoner 则从合成经验中学习；每个任务产生多次 Reasoner rollout，其结果同时为两者提供互补奖励。论文称在八个数学推理基准上整体表现优于多种合成数据方法与对照基线。

此前自演化 LLM 的训练数据多依赖静态数据集或单独更新的合成模型，容易与智能体当前能力脱节：旧任务变得过于简单，过难任务又缺乏有效信号。SynCo 让任务分布随解题策略同步演化，把“训练经验更新”并入自演化闭环，针对的是持续自我改进难以维持的匹配问题。

SynCo 不把数据合成与模型训练拆成两段，而是让 Synthesizer 与 Reasoner 共同接受同一批 rollout 结果的反馈。正确性反馈改进 Reasoner；任务质量、答案可靠性和基于结果的可教性引导 Synthesizer。两者更新回流到后续合成轮次，使任务难度与能力状态共同变化，从而持续产生有信息量的训练样本。

对做模型训练或评测的团队，这意味着数据生成环节可能从固定语料或人工标注，转为与模型能力联动的在线闭环，减少重复标注和任务失效带来的算力与人力浪费。若方法可迁移，团队需要同时维护任务生成策略与解题策略，并建立按结果反馈质量分发的奖励管线，评测集也需覆盖动态难度而非固定样本。

• 在数学推理、代码等有自动正确性判定的场景中，先把 SynCo 式协同训练用于内部数据合成，减少人工标注依赖。
• 将 Synthesizer 的任务质量与可教性奖励产品化为训练数据质量评分模块，用于筛选现有合成数据管线。
• 面向模型训练平台提供“任务难度随能力自适应”的课程生成组件，作为现有静态数据集训练的替代或补充。
• 在评测产品中加入动态难度任务生成，避免固定评测集随模型迭代快速饱和而失去区分度。

• 论文在八个数学推理基准之外，是否能迁移到开放式生成、多轮对话或工具调用等缺乏自动正确性判定的任务？
• SynCo 相比现有合成数据方法的提升幅度、训练算力开销和稳定性数据尚未在证据中给出。
• 两个智能体的参数规模、奖励权重和协同训练轮次如何设置，是否对超参数敏感？
• 该方法是否已在真实产品流程或大规模模型上验证，而非仅限学术基准实验？