FLARE：面向长周期编程 Agent 的全生命周期密集监督范式，基于生成式奖励模型

该论文提出 FLARE（全生命周期对齐与奖励引擎），由轻量生成式奖励模型（GRM）驱动的密集监督范式。其离线诊断框架 RADAR 通过因果链回溯提取无后见之明的监督信号，蒸馏出可实时给出步骤级风险反馈的 GRM。推理时 FLARE 作为主动脚手架拦截高风险生成步骤并局部断点重执行；后训练时 GRM 信号用作 SFT 重排序分数与 RL 步骤级密集奖励。

长周期软件工程 Agent 此前依赖 Pass/Fail 稀疏二值奖励，存在严重的信用分配问题，失败的探索轨迹被浪费，现有轨迹优化依赖启发式状态复用或延迟标量打分，缺乏因果诊断与在线可执行指导。FLARE 将监督粒度从结果级下沉到步骤级，并将同一奖励信号贯穿推理与训练两个阶段。

稀疏二值奖励难以定位长轨迹中哪一步导致失败，而延迟标量打分无法在生成过程中提供可执行反馈。RADAR 用因果链回溯从失败轨迹中提取与结果有因果关联的步骤信号，训练出轻量 GRM；该模型在推理时对高风险步骤做局部重执行而非全局重采样，从而压缩算力；在训练时同一结构化信号同时充当 SFT 的过程重排序分数和 RL 的步骤级密集奖励，缓解稀疏环境下的策略崩塌。

对构建编程 Agent 的团队，路径是把预算从多次全局采样转向步骤级拦截与重执行，以更低 token 消耗换取同等或更好表现。落地需要可插桩的 Agent 执行环境以支持步骤级截断与重放，并需维护 GRM 作为常驻推理组件，其延迟与准确率将直接影响产品体验和训练成本结构。

• 在自有编程 Agent 框架中接入步骤级风险打分，对高风险步骤做局部重执行，替代全局多次采样以降低 token 成本
• 为 SFT 数据构建过程级重排序流程，用 GRM 分数筛选失败轨迹中的可用片段，提高训练数据利用率
• 在 RL 训练管线中引入步骤级密集奖励，缓解长周期交互任务中的稀疏奖励与策略崩塌问题
• 将 RADAR 式因果诊断作为内部工具，用于复盘失败轨迹并定位具体失败步骤，服务研发迭代

• 论文仅给出摘要，GRM 的具体规模、训练数据量与蒸馏细节尚未确认
• FLARE 在真实生产级代码库与非基准任务上的泛化表现未知
• N=1 优于 Global Rollout N=5 的结论是否在多种任务与模型上稳定复现尚不明确
• 主动脚手架拦截高风险步骤带来的额外推理延迟与误拦截成本缺乏数据