HPFA：基于超图的配对失败归因框架，提升大语言模型推理能力

HPFA是一个基于超图的配对失败归因框架，用于提升大语言模型推理时的反思能力。该框架通过比较失败推理路径与成功参考路径的超边来定位根因，并利用监督微调和强化学习训练轻量级归因模型，可规模化合成归因数据。实验表明，在数学推理和智能体编码任务中，HPFA显著提升了归因准确率和效率，且训练后的归因模型能稳定提升推理准确率。

现有失败归因要么依赖昂贵的逐步反事实测试，难以扩展；要么将推理轨迹视为平坦序列，忽略非线性逻辑依赖。HPFA通过压缩搜索空间实现高效定位，并首次将超图结构与配对分析结合，兼顾准确性与效率，为大模型推理的可调试性和自我改进提供了新路径。

HPFA将推理路径建模为超图，超边可捕获步骤间的非线性依赖。它通过对比失败路径与成功参考路径的超边差异，快速定位根因，减少搜索空间。利用监督微调与强化学习训练轻量级归因器，实现数据规模化合成，使归因模型在测试时可直接提升推理准确率。

对依赖大模型推理能力的应用，如数学解题助手、智能体编程工具，HPFA可降低调试成本，提升错误定位速度。训练出的轻量归因模型可集成到现有流程，持续改进模型推理表现，减少人工干预，但需额外训练资源与数据准备。

• 开发基于HPFA的推理调试工具，为开发者提供失败根因的可视化定位。
• 将HPFA归因器集成到智能体编程环境，实时改进代码生成准确率。
• 利用HPFA合成训练数据，微调领域专用推理模型提升数学解题能力。

• HPFA在非数学、非编程领域的推理任务上效果如何？
• 训练归因器所需的数据量和计算成本具体是多少？
• HPFA对超长推理轨迹的扩展性是否优于现有方法？
• 论文是否提供了基线之外、独立复现的验证？