GSM-Plus-BN：面向大语言模型孟加拉语数学推理的基于扰动的基准

研究者引入GSM-Plus-BN，一个从英文GSM-Plus基准导出的孟加拉语扰动数学数据集，包含9000个评估样本。他们在标准提示和链式思维提示下评估了六个开源大语言模型，包括Qwen3-32B、Llama系列和GPT-OSS系列。实验结果显示，GPT-OSS-20B在标准提示下种子问题准确率最高（96.08%），Llama-3.3-70B和GPT-OSS-120B在扰动类型上鲁棒性更强。链式思维提示显著提升了多数模型的推理能力，但所有模型在孟加拉语上的表现仍然明显落后于英文基准。

此前孟加拉语数学推理研究极少，缺乏系统性的扰动基准来评估模型真实理解能力。该基准首次提供了针对孟加拉语的扰动测试集，揭示了现有开源模型在低资源语言上数学推理的显著短板，推动多语言AI公平性研究。

对于计划部署数学推理功能的孟加拉语产品，需注意现有开源模型在基准上性能落后于英文，直接使用可能导致用户体验不佳，需要额外的领域数据微调或采用更强模型（如GPT-OSS-20B）。

• 针对孟加拉语数学推理场景，优先选择GPT-OSS-20B并默认启用链式思维提示以提升准确率。
• 基于GSM-Plus-BN数据集构建本地化微调训练集，专门优化模型在孟加拉语扰动问题上的鲁棒性。

• 其他闭源模型（如GPT-4、Claude）在孟加拉语数学推理上的表现如何？
• 链式思维提示在不同扰动类型（如数值、叙述变化）上的提升幅度是否一致？