SRPO：用于长程推理的自我反思策略优化

arXiv 论文提出 SRPO 框架，让 LLM 分析自身轨迹并生成反思片段，以反思条件化的教师分数作为稠密 token 级训练信号，无需外部评判或奖励模型。在数学推理和长程智能体基准上达到先进水平，Qwen3-8B 在 AIME'24 达 73.3%，仅用约 8% 的 SFT FLOPs，WebShop、ALFWorld 和 SWE-Bench-Lite 成功率分别达 64.7%、76.8% 和 31.2%。

此前 LLM 后训练常依赖外部评判或奖励模型进行信用分配，SRPO 展示了无需这些组件、仅靠模型自身反思即可将稀疏结果信号转化为稠密训练信号，且大幅降低计算成本，为高效后训练提供了新路径。

SRPO 让模型先完整生成轨迹，再自行分析错误并凝练成简短的反思片段，然后用这些片段作为条件，对学生的在线轨迹进行打分，产生稠密的 token 级信号。这一机制模拟人类学习中的反思行为，将最终的稀疏成败转化为逐 token 的指导，从而提升信用分配效率，避免依赖外部模型或额外奖励模型。

对依赖数学推理或长程智能体任务的产品，SRPO 可显著降低模型后训练算力和数据需求，缩短迭代周期，简化训练流程（无需奖励模型）。但对短任务或通用对话场景，其直接优势尚不明确。

• 在 Qwen3-8B 等中等规模模型上复现 SRPO，验证其在自身任务上的性能与数据效率。
• 将 SRPO 应用于数学解题类产品，例如自动解题或题目讲解，利用其在 AIME 上的表现。
• 在客服或工具调用型智能体场景中测试 SRPO，其长程规划能力可能提升任务完成率。
• 探索将 SRPO 与现有强化学习流程结合，替换或辅助奖励模型，降低训练成本。

• SRPO 的收益是否依赖基础模型的规模或架构，例如 Qwen3-8B 之外的模型表现如何。
• 论文中的数值是否有独立复现验证，代码仓库的可用性如何。
• 除数学和智能体任务外，SRPO 在通用对话或创作任务上的泛化能力未得到证据支持。
• 反射片段的具体质量和长度对训练效果的影响机制未在证据中细化。