低资源语言中的思考：SFT能建立什么，RL能修复什么，准确性无法揭示什么

一项研究对阿里巴巴、OpenAI、NVIDIA三家前沿混合专家模型（各3.6-4B活跃参数）进行低资源语言推理微调。准确性基准无明显变化，随机种子变化可造成7.7分波动，掩盖了真实效果。SFT使模型在98%的样本中按问题语言推理，语法性提升且通用能力保持，但无法修复格式遗漏、答案泄漏和遵循英文指令等问题。RLVR预先注册，将回退从24%降至2.5%，泄漏从3.5%降至0%，英文指令遵循提升9.1个百分点。

此前研究多关注通用能力提升，此项研究揭示准确性基准在低资源语言场景下不可靠（随机种子影响大于方法效果），并量化了SFT与RL对可观察行为的不同作用，为多语言模型的训练与评估提供了更精细的维度，对产品多语言支持策略有直接参考价值。

SFT能让模型在推理时使用用户的语言，获得可读、可审计的推理过程，但无法自我修正格式和泄漏等缺陷。RLVR通过可验证奖励信号，能针对性修复这些结构性问题，而准确性基准因样本量小、噪声大，无法捕捉此类行为变化。

若产品面向低资源语言用户，SFT可提升推理透明度，但需结合RLVR确保输出格式合规；评估时应避免仅依赖准确率，需监控推理语言一致性、格式遵循率等行为指标，以保障多语言产品的用户体验和可控性。

• 在多语言客服场景中，基于SFT+RLVR微调模型，要求推理语言与用户一致，减少因推理不可读导致的错误。
• 建立包含推理语言、格式遵循率、答案泄漏率等的行为评估面板，替代单一准确率指标。
• 对低资源语言模型采用预先注册的RLVR训练流程，以稳健降低回退和泄漏风险。
• 开发自动检查工具，监控模型是否按指定语言推理，并自动触发再训练以修复违规。

• 该研究使用四种模型，其结论是否可推广到其他架构或更大主动参数量的模型？
• RLVR的正面效果在长期运行或持续学习中能否保持？
• 英文指令服从度提升9.1个百分点的实际业务价值未量化。
• 研究未提及训练数据规模与语言类型对效果的具体影响。