BabelArena：面向 LLM Agent 的大规模多语言基准

该论文提出 BabelFlow，一种通过分析运行时依赖、协调结构保持的翻译并结合多层验证与人工审核，将现有 agent 基准适配到新语言的通用 agentic 工作流。基于此构建的 BabelArena 含 16,146 个实例，来自 4 个基准家族、13 个领域、23 种语言的 702 个标准任务。五个前沿模型测试显示无单一模型在各基准家族中全面领先。

此前 agent 评测大多以英语为中心，难以反映多语言场景下的真实能力。BabelArena 把评测扩展到 23 种语言并保持任务与评估语义，使跨语言能力差异、失败模式和 token 成本首次可在同一任务对齐条件下被系统比较。

BabelFlow 通过分析运行时依赖、做结构保持翻译、再叠加多层验证与人工复核，尽量不改变任务语义与评分方式，从而让同一任务在不同语言下可比。低资源语言中工具调用与控制流错误占比更高，说明问题更多出在执行可靠性而非答案质量。

面向多语言用户的产品若依赖 agent 执行多步流程，需按语言分别评估工具调用与控制流稳定性，而不能只测英语。低资源语言下输入 token 最高约为英语两倍且无明显交互变长，意味着同等任务成本更高，预算与限流设计需按语言区分。

• 在多语言 agent 发布前，按 BabelArena 的任务对齐方式建立分语言回归测试，重点监控工具调用与控制流错误率。
• 针对低资源语言的 token 膨胀，优化提示压缩与中间结果复用，降低单次任务的输入成本。
• 对需要结构化输出的多语言任务增加语言一致性检查，防止输出被切换为英语。
• 为客服、流程自动化等高频场景，先选取 BabelArena 覆盖的领域与语言做小范围成本与可靠性对比。

• BabelFlow 的结构保持翻译与人工审核在 23 种语言上的具体质量指标尚未给出。
• BabelArena 是否公开数据集与评测代码、能否直接用于内部回归测试，证据中未说明。
• 五个前沿模型的具体名称与各语言分项得分细节未在证据中列出。
• 低资源语言 token 消耗约为英语两倍的结论是否能推广到未覆盖的语言与任务类型，尚待验证。