SPADE：自适应合成可执行环境中的自我对弈

arXiv 发布 SPADE 框架，让单个 LLM 同时扮演环境设计者和推理智能体，通过自我对弈生成可执行训练环境。在 30B 参数规模下，SPADE 在八个数学、科学、代码和推理基准上平均比最强固定环境基线提升 5.3，工具使用场景提升 5.7（BFCL-v4 多轮）和 13.9（ACEBench-Agent），游戏场景亦超越基线。

此前训练环境池固定，目标分布不随模型能力变化，限制了持续自我改进。SPADE 让环境随智能体能力动态调整，聚焦能力边缘，有望提升语言智能体在推理和工具使用上的泛化与自适应能力。

SPADE 由环境设计者生成带 reset()/step() 接口的代码环境，推理智能体在其中交互。通过计算有/无特权提示的奖励差距来估计遗憾，环境设计者据此优化，生成位于智能体能力边缘且可行的环境。使用预训练语料文档锚定和累积环境记忆是关键组件，使环境生成更可靠多样。

对依赖固定任务集训练的 AI 产品，SPADE 提供动态生成训练环境的方法，可能提升模型在复杂工具调用和多步推理上的表现，减少人工设计环境成本，加速模型迭代，但需较大算力支持 30B 参数训练。

• 将 SPADE 应用于智能客服的多步工具调用训练，提升复杂任务完成率。
• 基于 SPADE 构建内部评测环境，自动生成边缘案例用于模型回归测试。
• 为代码生成助手定制自我对弈训练，提升真实编程任务准确度。

• SPADE 在更大模型（如 70B+）上的扩展性如何？
• 环境设计者生成环境的代码质量如何保证，是否需人工审核？
• SPADE 的训练成本与固定环境基线相比增加多少？