面向数学推理的函数结构化强化学习与可执行验证器

该论文提出 Function-Structured Graph Reinforcement Learning（FSG-RL），将子问题图与 Python 实现结合，并引入多验证器反馈。策略先用 SFT 学习从函数图生成代码，再用 GRPO 结合答案门控奖励与片段级信用分配进行优化，同时支持教师监督与结构化记忆。基于 GSM8K、MathQA、MATH、Omni-MATH 构建的基准显示，GRPO 将最终答案准确率从 43.25% 提升至 67.50%，完整解题成功率从 32.25% 提升至 52.25%，继续 RL 并加入教师监督还有额外增益。

此前多数数学推理训练依赖最终答案奖励，对中间步骤错误缺乏指导，且代码执行成功并不等于数学正确。该工作把函数图、可执行代码与多验证器反馈接入强化学习，并采用片段级信用分配，使奖励信号能落到中间推理环节，这是训练信号粒度上的实质变化。

机制上，FSG-RL 先通过 SFT 让策略学会从子问题函数图生成 Python 代码，再以 GRPO 优化，并用答案门控奖励确保最终结果正确、用片段级信用分配定位中间步骤贡献；多验证器反馈同时对执行与数学正确性进行校验，教师监督和结构化记忆则进一步提供额外信号与上下文。

对研发而言，这意味着数学推理能力可以拆解为函数图、代码生成与验证器三部分分别迭代，验证器规格可私有化，便于在内部数据上做训练与评估；产品侧可把可执行验证结果作为可信度信号呈现给用户，但需注意基准为公开函数图配私有验证规格，落地时需自建验证器与评测协议。

• 在数学或代码辅导产品中，将解题过程拆成函数图与可执行代码，并展示每步验证结果，提升过程可信度。
• 为企业构建私有验证规格与函数图数据集，作为微调和强化学习的差异化资产。
• 把片段级信用分配思路用于其他多步任务（如数据分析、报表生成）的中间步骤评估。
• 基于公开代码仓库 FSG-RL 复现基线，验证在自有数学场景上的效果与成本收益。

• FSG-RL 在基准之外的真实数学题目和更开放场景中是否保持同样增益？
• 多验证器与私有验证规格的构建成本如何，是否需要大量人工标注？
• 教师监督带来的额外增益幅度与是否依赖特定教师模型，证据未给出具体数值。
• 片段级信用分配与答案门控奖励各自的独立贡献比例尚不明确。