BC-Bench：针对 ERP 领域特定语言的智能体工程评估基准

研究人员推出 BC-Bench，这是一个针对 ERP 领域特定语言 AL 的智能体工程基准。BC-Bench 包含从微软 Dynamics 365 Business Central 生产仓库提取的 101 个手工筛选任务，评估代码生成和测试生成，并支持多模态问题。在 Bug 修复类别中，模型间差异大于智能体框架差异，通用基准的改进未一致转移到 AL。

此前智能体工程评估多集中在通用领域，ERP 领域特定语言的评估稀缺。BC-Bench 填补了这一空白，揭示了通用基准的提升在 ERP DSL 上不一定成立，强调领域化评估的必要性，为 ERP 开发中的 AI 应用效果提供了可衡量的参考。

BC-Bench 采用 SWE-Bench 方法论，并适配 AL 生态的约束，如资源有限和环境配置复杂。基准不仅要求生成功能代码，还评估测试生成，并支持包含视觉上下文的多模态问题。通过多轮运行指标处理非确定性，基于 101 个真实任务进行评测，使结果更有代表性。

对于使用 Microsoft Dynamics 365 Business Central 的企业，BC-Bench 可用于评估和选择最适合 ERP 开发的 AI 辅助编码工具，减少盲目依赖通用基准。产品团队可参考该基准来优化 AL 开发流程，提升代码修复质量和测试覆盖，但具体成本或效率影响尚需进一步验证。

• 开发面向 Business Central AL 开发的 AI 辅助编码插件，并参照 BC-Bench 进行内部质量评估
• 基于 BC-Bench 的 101 个任务创建 AL 开发的 AI 效能基准测试服务，供其他企业比对
• 将 BC-Bench 的多模态问题支持融入现有开发流程，以应对包含截图或视觉上下文的开发任务
• 针对 Bug 修复类别，优化模型在 AL 上的能力，并建立持续跟踪通用与领域性能差异的机制

• BC-Bench 是否涵盖除微软之外的其他 ERP 系统？
• 具体哪些前沿模型被评估，结果是否已公开？
• BC-Bench 的 101 个任务是否能代表全部 AL 开发工作流？
• 基准对实际开发效率提升的可量化影响尚未验证。