超越压缩：诊断后训练如何改变数学推理

论文对三条后训练路径做统一诊断：自训练 off-policy 蒸馏轨迹、Qwen3 的 off-policy 加 on-policy 蒸馏端点、以及用 GRPO 训练的 DeepSeek-Math 端点。探针覆盖原样 prompt、改写、数值同构与翻译的 pass@K，并做一致性、分布形状与 SFT 成员分析。结果显示两种状态：AMC 简单题上大 K 上限接近饱和，后训练主要压缩采样成本；AIME 难题上后训练抬高了大 K 上限，充足 off-policy 蒸馏已能提升上限，Qwen3 端点进一步提升，GRPO 在大 K 下未压过充足 off-policy 蒸馏。

此前评估多只看 pass@1 端点，难以区分提升来自新可达解法、潜在解采样变便宜、表层稳健性还是记忆。该工作把“压缩采样成本”和“抬高上限”区分为两种后训练状态，说明 pass@1 提升可能掩盖机制差异，也意味着难题与简单题需要不同评估口径。

作者用跨表层 pass@K 探针，在同一读出方式下比较不同后训练路径。简单题的大 K 上限已接近饱和，提升只能体现在更低采样成本；难题上大 K 上限尚未饱和，后训练可扩展可达解集合，因此不同方法在大 K 下表现出现分化。英文主导蒸馏能改善非英文推理但保留语言层级差距，说明能力迁移不等同于语言差距消除。

对数学推理类产品的评测与选型有直接影响：不能只用单次通过率判断模型或蒸馏方案。团队应补充大 K 采样、改写与数值同构等探针，按题目难度分层评估，并在难题场景关注能否抬高上限而非仅降低单次调用成本，同时为非英文场景单独验证语言层级差距。

• 在模型评测流程中加入 pass@K 跨改写、数值同构与翻译探针，区分压缩与上限扩展
• 对简单题优先优化采样成本，对难题优先选择能抬高 pass@K 上限的后训练方案
• 为多语言数学产品单独建立语言层级指标，避免英文蒸馏带来的表面提升误判
• 将后训练诊断结果纳入模型选型表，按题目难度和语言分别给出推荐路径

• GRPO 在大 K 下未压过充足 off-policy 蒸馏的结论是否在其他基座模型与数据规模上成立
• 当前 SFT 成员探针对受控过拟合敏感性有限，是否说明记忆影响被系统性低估
• 英文主导蒸馏保留语言层级差距的机制尚未解释，是否可通过数据配比消除
• 论文探针结论能否直接迁移到非数学推理任务与真实产品流量分布