LEGO-RL：面向编码智能体的原生 Harness 强化学习框架

LEGO-RL 是一个面向编码智能体的强化学习框架，在不修改原生 harness 内部控制流的情况下，通过进程内 LLM 代理、沙盒编排和训练监控插件，将原生编码 harness 与策略梯度优化桥接。在 Qwen3.5-35B-A3B 模型上使用 GSPO 训练，在 SWE-bench Verified 上，OpenHands SDK 准确率从 64.0% 提升至 70.4%，Claude Code 从 62.4% 提升至 68.2%，OpenCode 从 57.2% 提升至 66.6%，并保持 rollout-training 概率相关性高于 0.99。

此前强化学习训练编码智能体常因 harness 环境崩溃、奖励黑客和训练-推理差异而损害训练信号，且内部逻辑难以修改。LEGO-RL 无需修改 harness 内部控制流即可实现忠实优化和可靠执行，将三种主流 harness 的 SWE-bench 准确率提升 4-9 个百分点，验证了通用框架的可行性，有助于推动编码智能体规模化训练。

核心机制是进程内 LLM 代理捕获原始生成流，实现 token 级对齐和训练侧 log-probability 重算，即使 harness 压缩或重序列化也不失真；沙盒编排通过镜像缓存和分阶段防御减少奖励黑客；集成插件自动化验证和监控，Live UI 提供轨迹诊断。这些设计实质上是将 RL 训练与执行环境解耦，既保持环境原生性，又确保梯度信号可信。

采用 LEGO-RL 可提升编码智能体的任务完成准确率（如 SWE-bench 提高约 7-9%），且无需改动现有 harness 内部逻辑，降低集成成本。对开发平台：可增强基于 OpenHands、Claude Code 等工具的编码智能体性能；但需增加沙盒计算资源（镜像缓存）和训练监控组件，可能影响部署复杂度和成本。

• 在自有编码智能体产品中集成 LEGO-RL 框架，利用其兼容性快速提升 SWE-bench 基准表现，无需重构现有工具链。
• 将 LEGO-RL 的沙盒编排和奖励黑客防御能力作为独立安全模块，提供给其他强化学习训练平台。
• 基于其 Live UI 轨迹诊断功能，开发面向开发者的训练可视化产品，提高训练过程可观测性。
• 将 LEGO-RL 与 Qwen 等稀疏 MoE 模型结合，作为高性能编码智能体的默认训练方案，形成差异化卖点。

• LEGO-RL 是否适用于除 Qwen 和 GSPO 之外的其他模型和优化算法，泛化性未证实。
• 论文未披露训练成本（如算力、时间）和沙盒资源开销的具体数据。
• rollout-training 相关性高于 0.99 是否在所有 harness 配置下均稳定保持，待进一步验证。
• 在非编码任务或更长轨迹的场景下，该框架是否仍能保持同样效果，证据未覆盖。