EnterpriseBench：评测 LLM agents 的企业级战略推理与决策

arXiv 论文提出 EnterpriseBench，用于评测 LLM agents 在企业级战略推理与决策中的表现。该基准把已有的企业与金融问答数据集重组为按能力和难度标注的基础套件，并新增三个交互式场景：管理咨询式案例诊断、供应链啤酒游戏、企业数字孪生规划模拟。九种 agent 方法在四种基座模型上的实验显示，现有 agent 尚未在企业的场景中达到稳定、全面、跨任务的可靠表现。

此前企业与金融类基准多测信息抽取、数值计算、领域知识和金融问答等静态能力，交互式、长周期决策几乎未被覆盖。EnterpriseBench 把评测范围扩展到多轮信息获取、延迟反馈下的库存控制和项目规划，为判断 agent 能否进入真实企业流程提供了新的对照标准。

该基准的机制是分层评测：底层复用已有问答数据并按能力与难度统一标注，上层加入三个专业交互场景，分别施加信息缺失、延迟反馈和长周期权衡等约束。实验结果按 agent 方法与基座模型交叉比较，从而区分模型基础能力与 agent 策略在长程任务中的贡献。

对做企业 agent 产品的团队而言，选型和验收标准需要从单轮问答准确率转向多轮交互与长周期任务的成功率、稳定性和跨任务一致性。研发上需要补足反馈延迟建模、信息主动索取和长期权衡能力，并据此调整评测集与上线门槛。

• 在企业 agent 产品验收中引入多轮信息获取、延迟反馈和长周期规划三类测试，替代单轮问答指标
• 针对咨询诊断场景设计可复用的多轮追问与问题定位评测流程
• 围绕供应链与项目规划场景搭建内部模拟环境，用于上线前的 agent 稳定性回归测试

• EnterpriseBench 的具体评测指标、评分方式和数据集规模在证据中未披露
• 九种 agent 方法与四种基座模型的具体名单及得分差异未给出
• 该基准是否开源、是否可直接用于企业私有数据评测尚不明确