超越重复采样：为 LLM 推理学习搜索策略

该论文指出，当前大模型处理困难推理题主要靠重复采样，但这种方式只探索局部解码噪声，会产生大量近似重复的尝试。作者改为先采样问题相关概念、提示或策略，再据此生成答案，并用强化学习训练一个小型概念生成器，使其概念最大化更大冻结答案生成器的下游成功率。在困难数学推理任务上，该生成器在相同答案生成预算下显著提升 pass@k，超过更大未调优模型生成的概念，并可迁移到未训练过的答案生成器。

此前提升推理能力多依赖增加采样数量或扩大模型规模，本质是在同一种局部噪声中反复尝试。该工作把探索移到语义概念层面，并证明小模型可被训练为可复用搜索策略，为更大模型服务。这意味着推理能力的增益可以来自采样策略本身，而不只是模型体量和算力堆叠。

重复采样的多样性来自解码随机性，难以跳出同一思路，因此难以覆盖真正不同的解题路径。该方法先在语义层生成问题特定概念，再让答案生成器以概念为条件，把探索空间从 token 级提升到策略级。强化学习以较大冻结答案生成器的下游成功率为奖励信号，训练小概念生成器，使搜索策略可学习、可复用，并因输出的是概念而非答案而与具体答案生成器解耦。

对研发而言，可在不重训大模型的前提下，用一个小模型作为推理前端，提升相同算力预算下的答案命中率，降低对更大模型和更多采样的依赖。对产品而言，可把概念生成器作为可替换模块接入现有推理链路，按任务域优化探索策略，并在成本和延迟可控的前提下改善困难数学等任务的用户体验。

• 将小型概念生成器作为独立推理模块，接入现有大模型 API 调用链路，按任务类型切换搜索策略。
• 在数学、代码等困难推理场景中，用强化学习训练领域专用概念生成器，替代单纯提高采样数量。
• 面向企业客户提供推理策略调优服务，按相同答案生成预算衡量 pass@k 提升并定价。
• 将概念生成器与多个答案生成器解耦部署，支持跨模型家族复用，降低单一模型迁移成本。

• 该方法的增益在数学推理之外的任务上是否同样成立，证据未说明。
• 训练概念生成器所需的奖励信号计算成本与总推理成本的关系，证据未给出。
• 概念生成器迁移到不同家族答案生成器时的性能衰减幅度尚不明确。
• 在真实产品延迟约束下，多概念轨迹生成与答案生成的总开销是否可接受，未被验证。