- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月23日 05:25
- 状态
- 单一信源
发生了什么
该论文提出 Planned Test-Time Scaling(PTTS),用协调式联合策略替代独立重复采样:planner 为每个分支生成解题大纲以引导不同推理路径,executor 依据大纲产出完整解答。作者证明 PTTS 严格泛化重复采样,并在 Qwen3-1.7B 与 4B 的五个数学推理基准上验证:PTTS-ZS 使 pass@64 较重复采样最多提升 6.7 分,PTTS-RL 最多提升 13.4 分。
为什么重要
此前测试时扩展主要依赖从单一策略独立重复采样,容易产生冗余尝试,增加算力却收益递减。PTTS 把采样从独立改为协调,使额外推理算力更可能覆盖互补推理模式,在相同模型不变的前提下提升 pass@k 扩展效率。
底层逻辑
独立采样下各分支共享同一策略,容易收敛到相似解法,边际收益低。PTTS 引入 planner 生成多样大纲,把分支导向不同推理模式,再由固定 executor 分别求解,从结构上扩大解空间覆盖。PTTS-ZS 在一次自回归中联合生成所有大纲;PTTS-RL 用截断执行轨迹按 pass@k 奖励直接优化 planner,以获得更锐利的奖励信号。
产品与商业机会
对推理类产品意味着可在不重新训练主模型的情况下,通过替换推理编排层提升数学等复杂任务的准确率,但需要额外算力与规划调用。研发上可把 planner、executor 拆成可独立优化的模块,并围绕 pass@k 而非单次准确率设计评测与训练目标。
- 在现有推理服务中把独立多次采样替换为 planner 加 executor 的两段式编排,评估 pass@k 与单位算力收益。
- 为高难度数学、代码等任务提供按分支大纲区分的并行推理接口,按调用量或分支数计费。
- 用截断执行轨迹加 pass@k 奖励对 planner 做轻量微调,作为独立于主模型的优化环节。
- 在评测体系中引入推理路径覆盖度指标,用于判断额外测试时算力是否产生互补解法。
仍待确认
- PTTS 在数学推理以外的任务类型上是否同样有效,证据未覆盖。
- planner 与 executor 拆分带来的额外推理开销和端到端延迟尚未在证据中量化。
- PTTS-RL 训练所需的截断执行轨迹与奖励设计的具体成本未说明。
- 重复采样基线之外的对比方法与实现细节未在证据中完整披露。