后训练如何改变多语言推理能力

一项 arXiv 论文审计了 Qwen3 系列在 11 种语言的竞赛数学任务表现。10 种非英语语言中，在 16 次采样里能给出正确、可终止且可见推理的目标语言解答的比例仅 15.4–17.9%，英语为 92.9%。研究对比 13 个端点，涵盖已发布检查点、两种规模的多语言 SFT、受控 SFT 消融和三种 RL 奖励设计。

此前多语言差距常被当作性能波动，而该研究指出：模型有能力解题却无法用用户语言完整输出，语言本身成为能力获取的门槛，而非简单的分数差异，这改变了评估与优化的目标定义。

后训练的瓶颈会随阶段迁移：已发布模型倾向用英语推理；多语言 SFT 能恢复目标语言推理，但准确率在多语言、纯英语和单语言设置下都下降，说明代价并非来自语言混合；非英语推理轨迹还易陷入不终止循环；RL 可恢复终止且不损失准确率，但只有奖励中包含语言项时才真正保持目标语言。

对面向多语言用户的推理产品，仅优化准确率不足，需要在评测中同时跟踪正确性、语言一致性、终止性和交付效率；训练侧若奖励只含正确性，模型会退回英语输出，语言项需显式加入奖励设计。

• 在多语言推理产品的离线评测中，把语言一致性、终止率与正确率分开跟踪，避免单一准确率掩盖语言门槛。
• 在 RL 训练奖励中显式加入语言项，防止模型在追求正确率时退回英语推理。
• 针对非英语推理轨迹的不终止循环，增加终止性约束或后处理检测。
• 在多语言 SFT 数据配比上做消融，确认准确率下降是否由语言混合引起。

• 非英语推理轨迹出现不终止循环的具体原因尚未在证据中说明。
• 语言项奖励的具体形式与权重未被披露。
• 该结论是否能推广到数学竞赛以外的任务和其他模型家族尚不明确。
• 多语言 SFT 导致准确率下降的机制证据中没有给出解释。