推理税：不同任务类型和部署场景下大语言模型推理的Token经济分析

该论文提出Token Economy Score (TES)指标，衡量推理模型相对非推理基线的准确率增益与生成token倍率之比，并基于七个基准、151次模型评估运行，分析数学、代码、科学推理等任务中的推理效率。结果显示任务结构比名义难度更能预测推理效率，顺序推理链任务TES高，知识回忆任务TES低，且推理强度增加时收益递减，甚至额外思考会降低准确率。

此前评测多关注准确率，忽视推理成本。该研究首次系统量化推理token的边际收益，揭示任务结构对推理效率的影响，并指出推理成本可能主导推理模型部署的总成本，为模型选型和部署决策提供新依据。

推理模型通过生成额外思考token来提升准确率，但不同任务对推理的敏感度不同。顺序推理链任务（如数学、代码）需要逐步推导，推理收益高；知识回忆任务依赖参数记忆，推理价值有限。随着推理强度增加，边际收益递减，甚至因过度思考而产生错误，导致准确率下降。推理成本分摊和部署环境（如本地部署）会进一步影响经济可行性。

对产品团队，需重新评估推理模型在知识问答类产品中的性价比，避免为低收益任务支付高推理成本。推理强度应可配置，以平衡成本与效果。本地部署可能放大推理成本，需权衡云与本地方案。成本核算需包含内部推理token，避免低估总成本。

• 在知识问答型产品中，默认使用非推理模型，仅对数学、代码等推理密集型任务启用推理模式，以降低总token消耗。
• 开发推理强度自适应调节功能，根据任务结构自动调整推理token预算，避免过度思考带来的准确率下降和成本浪费。
• 在计费或成本分析工具中，增加推理成本分摊显示，帮助用户透明了解推理token占总成本的比例，优化预算。
• 针对知识回忆任务，采用检索增强或更小的快速模型替代推理模型，以类似准确率获得更低延迟和成本。

• 论文中提到的Deployment Cost Multiplier的具体数值和计算方式未在摘要中给出，本地部署的额外倍率是多少？
• 对不同模型家族而言，TES的稳定性如何？是否受基础模型能力影响？
• 推理强度增加的收益递减点具体在哪里？是否存在通用阈值来指导实践？
• 知识回忆任务中，低TES是否意味着推理模型完全无用？是否存在未考虑的边界情况？