S^3：谱零空间交换让推理模型更高效

研究者发现，推理能力的核心位于 Thinking 模型相对 Non-thinking 模型主奇异方向投影的零空间权重中，删除该子空间成分可在不损失思考模式后训练精度的前提下提升推理效率。据此提出 S^3，一种无需训练的成对 Non-thinking 与 Thinking 检查点组合方法，在 2B 至 30B 的稠密与 MoE 架构、28 个数学、多模态与音频推理环境上测试，平均减少 27.4% 推理 token 开销，同时整体准确率提升 1.0 个百分点。

已有模型组合或压缩多集中在主奇异子空间内操作，本文首次指出零空间承载关键推理能力，并据此实现免训练组合。这意味着在相同检查点下可能同时获得更低 token 成本与更高准确率，改变此前效率与精度需要权衡的常规预期。

机制上，S^3 保留 Non-thinking 模型在其自身的主子空间内，并将 Thinking 检查点置于该主方向之外，即零空间。作者用注意力熵解释被保留的成分。由于无需重新训练，仅通过权重层面的谱分解与交换即可组合两套检查点，从而把思考模式后训练获得的推理能力压缩到更少 token 中。

对产品与研发而言，该方法可直接作用于已有成对检查点，降低推理服务成本与延迟，同时不牺牲准确率。在数学、多模态和音频等推理场景中，27.4% 的平均 token 削减与 1.0 个百分点的准确率提升，可能改变推理模型的部署选型与成本预算方式。

• 在已有 Non-thinking 与 Thinking 成对检查点上评估 S^3 组合，验证自身业务场景的 token 节省与精度变化。
• 将 S^3 作为免训练推理加速层接入现有模型服务，优先覆盖数学与多模态推理等高 token 消耗场景。
• 针对 MoE 架构复现 2B 至 30B 范围的对比实验，确认规模化部署可行性。
• 基于注意力熵指标建立内部监控，判断组合后模型是否保留预期推理能力。

• 证据仅来自单一 arXiv 摘要，尚未确认是否经过同行评审或独立复现。
• S^3 在 28 个评测环境之外的任务上是否同样保持精度与效率优势。
• 该方法对训练数据分布、模型家族与检查点质量的依赖程度尚不明确。
• 注意力熵与推理能力保留之间的因果关系是否得到充分验证。