同信念、异策略：面向 LLM 推理早停的可复用表示学习

arXiv 论文提出 BELT 方法：将结果预测与停止控制拆开，先利用冻结 LLM 的隐藏状态学习对当前和未来答案的信念表示，再在此特征上拟合线性停止策略。在五个 OOD 数学基准上，BELT 分别在 Qwen3-1.7B 和 OLMo-3-7B-Think 上减少 41% 和 51% 生成 token 且不损失准确率；该方法在数学数据上训练后，还能迁移到编程和智能体任务。

此前控制推理何时停止通常依赖按 token 价格端到端训练控制器，更换成本约束需要重新训练；BELT 将预测目标与 token 价格解耦，使一次训练后的表示能通过重新拟合策略支持不同准确率—成本权衡，并且无需代码或智能体训练数据即可迁移。

BELT 把“当前答案是否正确、后续是否可能变好”的结果预测，与“是否继续生成”的控制决策分开：信念表示从冻结模型隐藏状态中学习，其预测目标不依赖 token 价格；停止策略则在这组冻结特征上做线性拟合，因此调整策略或阈值即可切换成本档位，而无需改动信念表示。

对推理产品或模型服务而言，这意味着可以在不重训主控制器的情况下，按不同用户或场景调整推理成本；若复用论文结论，较小模型和较大推理模型都可用更少 token 完成数学任务，并可能把同一停止模块扩展到编程和智能体流程，降低推理开销与延迟。

• 在推理 API 或助手产品中按准确率—成本档位调用 BELT，用同一探针切换低、中、高推理预算。
• 将 BELT 用于内部评测流水线，量化不同模型在数学、编程和智能体任务上的早停节省 token 比例。
• 针对客服、代码生成等场景验证数学训练得到的停止策略迁移效果，再决定是否接入生产。
• 基于隐藏状态探针开发轻量监控，标记模型已得出答案却继续推理的请求。

• BELT 在五个 OOD 数学基准之外的通用问答或长文本任务上是否仍不损失准确率？
• 从数学迁移到编程和智能体任务时，准确率—成本权衡的具体数值是多少？
• 线性停止策略在真实产品流量和不同 prompt 分布下的稳定性如何？
• 41% 和 51% 的 token 降幅是在何种解码配置和基准设置下测得的？