NetConfArena：用于闭环网络配置中 LLM 代理的可执行基准

arXiv 发布了 NetConfArena，一个用于评估 LLM 代理在网络配置任务中表现的基准。它在模拟的多设备网络中运行代理，利用 LLM 辅助管道将人类网络材料转化为参数化任务模板，并通过隐藏的测试用例评估。评估覆盖 96 个协议模板的 480 个任务实例，产生 3840 条轨迹，发现失败不仅限于命令错误，还涉及规范遵从和规划不足。

此前基准多将配置视为静态命令生成，或使用简化设置，未能反映真实网络配置中的协议复杂性和拓扑依赖。NetConfArena 通过模拟多设备环境和隐藏测试，更真实地评估代理，并揭示了任务规范遵循和规划执行的深层缺陷，为后续改进模型和监督信号提供了依据。

NetConfArena 采用仿真地面管道，将人工网络材料转换为参数化任务模板，并利用 LLM 辅助生成测试用例。代理在模拟环境中采取行动，通过隐藏测试检验网络行为，从而评估闭环配置能力。这种机制能捕捉基于拓扑和协议的复杂推理，而不仅限于命令生成。

对网络自动化产品，此基准可用于测试和验证 LLM 代理的可靠性，指导产品经理评估现有工具的性能短板。研发团队可利用该基准识别代理在任务遵从和规划上的不足，从而优化提示设计、训练数据或引入人工校验环节，以降低生产环境中配置错误风险。

• 将 NetConfArena 作为内部评估工具，量化 LLM 网络配置代理的可靠性，建立性能基线。
• 基于基准揭示的失败模式，开发增强代理任务遵循能力的提示模板或微调数据。
• 设计可观测的代理执行日志和审计机制，提升高合规需求场景下的问责性。
• 针对基准中的协议模板，开发特定领域的网络配置辅助工具或插件。

• 基准中 LLM 代理的实际成功率和失败率数据未在摘要中给出，具体数字未知。
• NetConfArena 是否支持除网络配置外的其他网络管理任务（如故障诊断）未提及。
• 该基准与真实生产网络环境的差距（如物理设备特性)未说明。
• LLM 辅助管道生成任务模板的准确性和偏差风险未披露。