TailSFT：过滤式微调提升后训练性能

arXiv 上的论文提出 TailSFT，一种修改监督微调的方法，在训练中过滤掉已拟合的序列，聚焦于数据分布尾部（未充分建模区域）。在 OLMo-3 7B 上，该方法将数学和编程评估的 pass@16 提升最高 17 个百分点，并将后续 GRPO 的 pass@1 提升最高 4 个百分点，同时计算开销很小。

现有微调主要追求整体损失最小化，而 TailSFT 通过过滤已拟合样本，使模型专注于覆盖不足的尾部数据。这改变了模型在强化学习前的初始化质量，揭示了中间检查点对后续训练的重要性。

强化学习微调在已有能力的基座模型上效果最佳。TailSFT 基于覆盖率和 pass@K 作为后 RL 性能的预测指标，通过丢弃学习充分的序列来增加数据覆盖，使模型更好学习尾部区域，从而生成多样化和正确的候选答案，为后续 RL 提供更优起点。

对开发模型的公司而言，TailSFT 可降低微调及后续 RL 的计算成本，提升模型在数学和编程任务上的表现，减少试错。它提供了一个轻量诊断工具，帮助团队判断何时采用该方法，从而更高效地配置训练资源。

• 在监督微调管线中集成 TailSFT，以提升模型在数学和编程基准上的 pass@K 指标。
• 为不同数据集生成 TailSFT 适用性的轻量诊断报告，指导数据采集和模型迭代。
• 为需要强化学习后训练的场景，预先用 TailSFT 生成中间检查点，减少后训练轮次。

• TailSFT 在更大规模或不同架构的模型上效果是否稳定？
• 过滤策略的具体标准（如阈值）如何在不同数据分布上调整？
• TailSFT 对非数学/编程任务（如语言理解或生成）是否有类似提升？