SEA-HELM Audio：跨 SEA-HELM 子集评估多语言 ASR-LLM 流程表现

研究团队发布 SEA-HELM Audio 评估框架，将文本版 SEA-HELM 扩展到语音场景，用合成语音对比中文、英文、马来语、印尼语和泰米尔语五种语言在语音输入与文本输入下的表现。结果显示，级联 ASR-LLM 流程出现明显性能退化：多选题推理准确率下降 9.00 至 18.50 个百分点，指令跟随下降 20.00 至 42.86 个百分点，其中泰米尔语退化最大，超过 40 个百分点。

此前多语言语音智能体多依赖文本基准判断能力，该工作用同一套验证器量化文本与语音准确率之差，说明纯文本评测无法可靠预测语音场景表现。退化在多语言和低资源方向上更突出，提示语音智能体的可靠性评估需要单独基准。

级联流程先由 ASR 把语音转为文本，再交给 LLM 推理，ASR 错误会沿链路传导并叠加，使最终准确率低于直接文本输入。作者用合成语音统一输入条件，并以相同 verifier 比较两种输入，从而把语音差距归因到语音通道本身，而非任务或评分差异。

对做多语言语音助手或客服的产品团队，文本评测分数不能直接作为上线依据；需针对目标语言补充语音回归测试，重点检查指令跟随类任务，因为其退化幅度远大于多选题推理。低资源语言可能需要更保守的能力预期或额外纠错设计。

• 在多语言语音产品上线前，用 SEA-HELM Audio 或同类方法建立按语言划分的语音差距基线，并纳入发布门槛
• 针对指令跟随退化最大的场景，增加语音确认或多轮澄清交互，降低 ASR 错误对任务完成率的影响
• 为泰米尔语等高退化语言优先配置人工复核或文本回退路径，作为过渡方案

• 该评估使用合成语音，真实用户语音、口音和噪声条件下的退化幅度是否一致
• 哪些 ASR 或 LLM 组件是主要退化来源，证据未给出分项归因
• 除这五种语言外的其他东南亚语言表现如何，尚未被覆盖
• 该框架是否可用于持续监控生产环境语音智能体，证据未说明