面向嵌入式软件开发的 LLM Agent 闭环评估基准

研究者发布了一个用于嵌入式编码 Agent 闭环评估的基准。每个任务提供工程描述、受限工作区和可见的构建与运行接口，Agent 需将需求转化为实现与自验证并反复迭代。测试包含五个嵌入式控制任务和四种反馈场景，在模拟 ESP32 固件上运行七种 GPT 与 Qwen 配置，每种条件重复三次，共 420 次运行。gpt-5.4 通过率最高但未饱和基准，qwen3.5-27B 是表现最好的本地模型，更小的本地模型通过率与搜索效率明显下降。

以往嵌入式 Agent 评估多强调一次性代码生成或离线正确性，无法反映传感、时序与安全约束下的真实闭环行为。该基准首次把构建与运行反馈纳入评估流程，并对比不同反馈方式，使嵌入式编码 Agent 的能力差距变得可测量，也显示本地模型正在接近可用水平。

嵌入式固件的正确性依赖设备在时序和传感条件下的闭环表现，仅靠静态源码质量无法判断。该基准通过受限工作区和可运行的模拟固件，让 Agent 必须依据构建与运行结果自我验证并迭代修复，再用四种反馈场景隔离反馈信息量对通过率的影响，从而把闭环能力拆解为可重复测量的指标。

对做嵌入式工具链或 AI 编程产品的团队，该基准提供了可复用的评估方法和模拟硬件反馈回路，可用于筛选模型、设计 Agent 的验证步骤和反馈接口。对研发流程而言，它意味着嵌入式 Agent 的验收标准应从生成代码转向在模拟设备上跑通闭环行为，更小的本地模型在成本和延迟上的取舍需重新评估。

• 搭建基于模拟 ESP32 的嵌入式 Agent 回归测试集，把构建与运行反馈纳入持续集成。
• 为嵌入式 Agent 产品增加自验证步骤生成能力，让模型自动编写并执行设备行为检查。
• 针对本地部署场景评估 qwen3.5-27B 级别模型，比较通过率与推理成本的平衡点。
• 设计分层反馈接口，在 CI 红绿信号与详细诊断之间提供可配置的反馈粒度。

• 该基准的五个控制任务能否代表更广泛的嵌入式固件开发场景，证据未说明。
• 模拟 ESP32 环境与真实硬件的时序、传感和安全性差异程度尚不明确。
• gpt-5.4 未饱和基准，具体失败模式与瓶颈尚未在证据中披露。
• 各反馈场景的通过率差异和统计显著性未在证据中给出。