语言模型能从测试时计算中获得多少收益

研究者提出 SELF-POT 基准与评测框架，用于衡量语言模型在测试时计算中的潜力。该框架覆盖竞赛数学、竞赛编程和 agentic 工作流，把候选覆盖与最终准确率分开统计，并在统一预算规则下将所有模型调用（含选择与评审）按美元计费。

此前对测试时扩展的评估多局限于单一领域，且很少把选择与评审开销计入预算，容易高估额外推理的性价比。SELF-POT 把领域、选择规则与失败处理同时纳入比较，使“小模型加推理”能否替代大模型成为可测量的问题。

框架将候选覆盖与最终准确率拆开，并用正确性转移追踪修订过程；在固定 Direct 预算倍数下对比直接推理、并行采样与自我修订。由于选择、评审等每次调用都按美元计价，收益取决于领域特性、选择规则和判断失败时的兜底策略，而非单一模型能力。

对需要可靠答案的产品，可据此决定是否投入额外推理预算，并优先优化选择与兜底环节而非单纯扩大模型。证据显示公开示例选择可提升正确提交数并节省 12%–49% 的逻辑 API 成本，判断失败时保留候选可零成本挽回提交，提示评审与兜底逻辑是降本增效的关键点。

• 在编程与数学类产品中，用公开示例做候选筛选，并按任务域设定推理预算倍数，验证能否以更低 API 成本达到目标正确率。
• 在评审或判断失败时默认保留已有候选，作为零成本兜底策略，减少因判题失败而丢弃正确解的情况。
• 将选择、评审等调用成本纳入产品级评测指标，建立按美元计价的单位任务收益看板，指导模型与推理预算的组合选型。

• SELF-POT 在竞赛数学、竞赛编程和 agentic 工作流之外的其他任务类型上是否同样适用？
• 结论基于五个低成本推理模型与 350 个任务，样本扩展到更多模型与任务规模后收益是否稳定？
• 判断失败时保留候选在其他领域是否也能带来同等提交挽回效果，是否存在质量风险？