RATIO：面向量化推理模型的推理分析与 token 级推理优化

arXiv 论文提出 RATIO 框架，针对量化后的推理模型。该框架先用 Quantization-aware Reasoning Behavior Analysis 对比全精度与量化模型差异，定位模型特有的过度思考 token，再用 Token-Specific Penalty Determination 借助全精度引导生成 token 级惩罚，无需额外训练。实验称相比量化基线准确率最高提升 9.8 点，CoT 长度最多缩短 51.3%。

此前研究表明，PTQ 用于推理模型不仅降低推理表现，还会加重过度思考、拉长推理轨迹，抵消低精度推理的效率收益。已有方案依赖复杂优化流程或预设过度思考标记，跨量化模型适应性有限，RATIO 转向按模型自动识别并定制惩罚。

机制核心是把全精度模型当作参照，通过对比其与量化模型在推理过程中的行为差异，找出量化后才出现的过度思考 token，再为每个 token 分配针对性惩罚，从而在不重训练的前提下压缩推理轨迹并保留准确率。

若结论可复现，量化部署推理模型时可在更短 CoT 下获得更高准确率，直接降低推理算力与延迟成本，并减少为抑制过度思考而做的提示工程或微调投入；团队可把 token 级惩罚纳入推理服务链路，作为量化模型的配套优化环节。

• 在自研推理服务中复现 RATIO，对比量化模型加惩罚前后的准确率与输出长度，评估是否纳入默认推理配置。
• 基于 token 级惩罚思路，为不同量化精度档位建立自动化的过度思考监控与惩罚参数配置流程。
• 关注论文给出的代码仓库，验证其与主流推理框架和量化方案的兼容性后再决定是否集成。

• RATIO 在哪些模型规模、任务类型和量化位宽上验证过，结论是否可外推？
• 9.8 点准确率提升与 51.3% CoT 缩短对应哪些基准，基线如何设定？
• 该方法是否会削弱需要长链推理的任务表现？
• 论文给出的代码仓库目前是否可获取并复现？