FDE-Bench：评估 LLM Agent 的部署环境配置能力

该论文提出 FDE-Bench，用 136 个部署配置任务评估 LLM Agent，覆盖 Docker 镜像、多服务 Compose 堆栈和 Kubernetes，分全新构建与诊断修复两种模式。Agent 提交声明式工件，在干净环境中重建并重新部署，通过构建、就绪、行为和规范一致性四层二元检查判定，不使用 LLM 裁判。七个来自四家供应商的模型使用同一套四工具脚手架，解决 52.9% 至 75.0% 的任务，就绪是最大失败阶段。

此前对编码 Agent 的评测多集中在生成代码或修 bug，较少系统检验其能否把代码变成真正跑起来、服务连通且可观测的系统。FDE-Bench 把部署配置拆成可程序化判定的多层检查，并设置发布门禁排除无效解法，为衡量 Agent 的端到端部署能力提供了可复现基准，也暴露就绪阶段是主要瓶颈。

基准把部署任务转化为声明式工件的重建与重部署，用四层程序化检查替代 LLM 裁判，减少主观评分。发布门禁要求存在可解析的参考解，并拒绝空操作、规格转写和通用桩提交，防止评分信号被捷径利用。对抗策略测试显示这些捷径无法解决任务，但空泛健康探针能通过就绪检查，说明单层检查可能被表面满足，需要下游行为与一致性检查补足。

对开发部署工具和 Agent 产品的团队，该基准提示需要把就绪与可观测性作为独立可验证层来设计，而不能只关注代码生成。产品若宣称能自动完成部署，应接受在干净环境中重建、重部署和程序化检查的验证。此外，同一脚手架下不同模型表现差异明显，选型时应以任务级部署成功率为依据，而非通用能力排名。

• 将 FDE-Bench 的四层检查思路产品化，做成面向部署 Agent 的持续评测与回归门禁。
• 在 Agent 部署产品中加入干净环境重建与重部署验证，作为发布前必需步骤。
• 针对就绪阶段失败率高的现状，开发专门的就绪诊断与修复辅助能力。

• 证据只给出摘要片段，136 项任务的完整分布和各模型逐任务结果尚未确认。
• 七种语言模型的具体名称与版本未在证据中列出。
• 空泛健康探针通过就绪检查的案例是否已在正式评分中修正，尚不明确。
• 基准的公开代码、数据与排行榜可用性未在证据中说明。