- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月30日 15:32
- 状态
- 单一信源
发生了什么
一篇 arXiv 论文在六个算法领域统一实验框架下研究递归推理模型,发现稳定且可泛化的关键在于中间梯度视野、大物理批次和受控的递归状态更新,而不需要显式层级架构。基于该配方训练的 13.6M 参数模型在评测的递归基线中整体表现最强,Arithmetic OOD 准确率从最强基线的 36.2% 提升到 71.2%,Sudoku 达 98.41%,ARC-AGI-1 的 pass@2 为 59.5%。
为什么重要
此前 HRM、TRM、URM 等模型在架构、梯度传播和训练流程上同时存在差异,难以判断性能来源,且优化常不稳定。该工作通过统一流程与受控消融,把性能差异主要归因于训练配方而非显式层级架构,并给出可复现的稳定配置。
底层逻辑
递归模型用少量共享 Transformer 块反复更新潜状态,以少量参数换取大有效深度。论文认为,中间梯度视野可平衡梯度回传长度,大物理批次降低更新方差,受控的递归状态更新避免状态漂移,从而在不引入显式层级结构的情况下稳定训练并改善分布外泛化。
产品与商业机会
对研发的直接含义是:做窄算法子问题求解器时,不必先投入复杂层级架构,可优先调优梯度回传窗口、批次规模与递归状态更新策略。更小的 13.6M 模型即可在部分算法任务上获得更好 OOD 表现,有助于降低推理与部署成本,也便于作为 LLM 可调用的工具。
- 在需要算术、数独类算法子问题的产品中,评估将该 13.6M 递归模型作为 LLM 外部工具调用,替代或补充大模型直接推理。
- 复现论文的稳定训练配方,在自有算法数据集上做消融,验证中间梯度视野与大物理批次对 OOD 泛化的效果。
- 围绕 ARC-AGI-1 等基准建立内部评测流程,跟踪递归模型在分布外任务上的 pass@2 变化。
仍待确认
- 该 13.6M 模型在真实产品负载与具体下游任务上的表现是否与论文基准一致,尚未验证。
- 除已研究的递归架构外,该配方能否迁移到其他模型结构或其他算法领域,证据有限。
- 论文摘要未给出完整方法细节与全部基线结果,需查阅全文确认可复现性。
- 模型在 ARC-AGI-1 上 59.5% 的 pass@2 是否具备实用价值,取决于任务定义与成本约束。