大型推理模型推理阶段的能力与效率扩展规律

一项 arXiv 论文使用分层贝叶斯模型，评估 DeepSeek-R1-Distill 系列模型在四类算术与算法推理任务上的能力与效率。结果显示：固定模型规模下，解题正确率随题目规模近似指数衰减，衰减尺度随模型规模次线性增长；输出长度随题目规模呈幂律增长，但幂律参数不随模型规模系统性变化。

此前普遍假设扩大模型规模可同时提升能力与效率，但该研究用量化拟合指出两者走势分离：能力收益递减，效率几乎不随规模改善。这为“单纯堆规模”的路线提供了可讨论的反例证据。

证据给出的机制是：题目越难（实例规模越大），正确率按近似指数下降；模型越大，下降速度放缓但幅度次线性，因此能力提升逐渐变小。同时输出 token 数随难度按幂律上升，且幂律参数与模型规模无系统关系，意味着模型并未因变大而用更少 token 解题。

对依赖 CoT 推理的产品，输出长度随难度快速膨胀，直接影响推理延迟与 token 成本，而扩大模型规模未必降低这部分开销。团队在选型与定价时需分别评估能力与效率，而不是只按参数量判断性价比。

• 在推理产品中按题目难度动态设置 token 预算或提前终止策略，控制长输出带来的成本。
• 针对高难度任务设计难度分层路由，把简单实例交给小模型，避免统一使用大模型。
• 为推理类 API 定价时按输出 token 与难度分档，而非仅按模型规模计价。
• 建立同时记录正确率与 token 消耗的评测基准，用于比较不同模型的真实效率。

• 该结论是否仅适用于 DeepSeek-R1-Distill 系列与算术、算法类任务，尚不清楚。
• 论文未说明效率是否可通过 prompting、采样策略或推理时计算分配加以改善。
• 幂律参数不随规模变化的结论，在其他模型家族与任务类型上是否成立仍待验证。
• 证据未涉及训练成本与推理成本的整体权衡，无法判断规模扩展的总经济性。