样本数量不够：候选生成策略影响 LLM 测试时扩展的能耗与性能

该论文指出，测试时扩展常以候选数量 N 描述推理预算，但 N 只说明生成多少候选，不说明执行方式。作者用 Phi-3-mini 和 Qwen2.5-1.5B 在 500 条 GSM8K 提示上实验：N 从 1 增至 8，准确率分别提升 8.4 和 18.4 个百分点；固定 N=8 比较 1x8、2x4、4x2、8x1 四种调度后发现，A100 上八次串行调用的 GPU 能耗是一次批量的 4.64–4.86 倍，P95 延迟为 5.77–6.12 倍。

此前讨论测试时扩展多聚焦候选数量与准确率，默认推理预算由 N 决定。该研究把执行调度纳入同一预算的比较，显示相同 N 在不同批次切分下能耗与尾延迟相差数倍，说明仅用候选数无法刻画系统成本，评估口径需要扩展到调度方式。

机制在于候选之间相互独立时，批量生成可让 GPU 并行处理多个序列，摊薄权重读取等固定开销并提高利用率；拆成多次小批量串行调用会重复这些开销，且串行排队拉长尾延迟。因此固定候选总数时，调用次数越少、单次批量越大，单位算力与能耗效率越高，前提是显存足以容纳批量。

对做推理侧产品的团队，候选数不能再作为成本与容量估算的唯一指标，需要把调用次数、批量大小和显存上限纳入配置与压测。在线服务若默认串行多次采样，尾延迟和能耗可能被显著高估或浪费；在显存允许时可改用大批量单次调用以降低 P95 延迟与 GPU 成本，同时保持推理准确率基本不变。

• 在推理服务配置中提供批量候选生成参数，允许在显存允许时把多次采样合并为单次大批量调用，并暴露对应能耗与延迟对比。
• 为测试时扩展的压测与容量规划增加调度维度指标，如调用次数、批量大小、GPU-hours 与 P95 延迟，而非只记录候选数 N。
• 针对独立候选场景提供自动调度建议：检测显存余量与序列长度，推荐更少调用、更大批量的执行计划。
• 在成本报表中区分批量与串行采样的能耗差异，帮助团队评估相同准确率目标下的算力支出。

• 该结论在更大模型、更长输出和不同推理框架上是否同样成立，证据仅覆盖 Phi-3-mini、Qwen2.5-1.5B 与 GSM8K/SciQ。
• 候选之间存在依赖或需要中间筛选时，减少调用次数是否仍能保持准确率，证据未涉及。
• 显存上限之外，批大小增大到何种程度会出现收益递减或触发其他系统瓶颈，未被确认。
• 论文中被打断的评估部分结论如何，是否包含更完整的准确率与能耗权衡分析，尚不清楚。