基于已知事实的推理错误：面向LLM的步骤级自一致性群组相对策略优化

该论文发现LLM在长推理链中频繁出现上下文敏感事实幻觉，即模型具备相关知识但受上下文干扰出错。提出SSC-GRPO方法，通过多轮采样中各推理步骤的自一致性分数作为奖励信号，在数学推理基准和幻觉排行榜上达到当前最优。

此前方法多整体评估推理轨迹，难以定位具体幻觉步骤；SSC-GRPO首次在步骤级别利用自一致性评分进行奖励，能更精确地识别并减少推理中的事实错误。

SSC-GRPO在多次rollout中计算每个推理步骤被一致采纳的比例（自一致性分数），将此分数作为该步骤的奖励，通过群组相对策略优化（GRPO）更新策略，促使模型生成内部更一致的推理步骤。

该技术可直接用于改进依赖长推理的LLM产品（如AI数学辅导、代码生成），减少输出中的事实错误，提升用户信任度；但证据未提供具体产品集成或成本数据。

• 将SSC-GRPO集成到问答型LLM的推理模块，降低长答案中的事实错误率
• 基于步骤级自一致性分数开发幻觉可视化工具，协助开发者调试模型输出
• 在数学解题、逻辑推理等垂直领域使用SSC-GRPO微调模型以提升答案准确性

• SSC-GRPO在非数学领域（如常识推理）是否同样有效？
• 步骤级自一致性计算的计算成本在实际部署中是否可接受？
• 该方法与现有过程监督方法（如PRM）相比实际提升幅度有多大？
• 论文实验是否在主流开源模型上独立复现过？