Agentic AI 生成程序可靠性研究

一篇 arXiv 论文用 fuzz 随机测试比较 agentic AI 生成的程序与人工编写的 Linux 工具程序。作者采用常见最佳实践的 agentic 工作流，以十个知名发布级 Linux 工具为对照，并用黑盒生成式测试与 AFL++ 覆盖引导测试评估可靠性。结果显示 AI 生成版本通常与人工版本同样可靠甚至更可靠，失败更少，但更易出现死循环类挂起，而非缓冲区溢出类内存错误。

此前关于 AI 写代码是否可靠的讨论多依赖主观体验或小样本样例，缺少与人写发布级程序的直接对照。该研究给出可复现的测试口径和具体故障类型差异，把争论从“能不能写”推进到“哪类缺陷更常见、需要何种监督”。

研究以人工编写的成熟 Linux 工具为 ground truth，用 fuzz 随机测试作为统一可靠性度量，同时覆盖黑盒生成式与 AFL++ 灰盒变异测试。这种设计将生成质量拆解为可观测的崩溃、内存错误与挂起率，并指出结果高度依赖 prompt、技能与人类引导方式，说明 agentic 工作流中人类监督是质量变量而非附属环节。

对研发流程的直接含义是：引入 agentic 编码后不能只测功能通过率，应把 fuzz 测试和挂起检测纳入验收环节，尤其关注无限循环类缺陷。同时需为 agent 工作流建立 prompt 与人工复核规范，把监督动作标准化，才能稳定复现可靠性收益。

• 在 CI 中集成 AFL++ 等 fuzz 测试，对 AI 生成代码单独设内存错误与挂起两类门禁指标
• 为 agentic 编码工作流提供可版本化的 prompt 与技能模板，并记录人类干预点以复现质量
• 开发针对死循环和超时行为的静态或运行时检测工具，补齐 AI 代码相对人写代码的故障短板
• 面向团队提供 AI 生成代码的对照评测服务，以公开工具程序为基准输出可靠性报告

• 摘要未给出十个 Linux 工具的具体名称与测试规模，结论可推广性待确认
• AI 生成版本挂起更多的原因尚未在证据中说明
• prompt、技能与人类监督各自对可靠性的贡献比例未被量化
• 上下文截断处提到的 agentic AI workfl 具体结论未知