评估前沿AI代理作为自主临床安全审计员

一篇论文评估了前沿AI代理（Claude Sonnet 4.6、GPT-4.1和GPT-4o）自主执行临床AI安全审计的能力。任务涉及实现四种攻击、计算安全态势评分并生成JSON报告。Claude和GPT-4.1在所有18次运行中获得完美评估分数，GPT-4o完成61%的运行，但每轮token消耗约为Claude的五倍。总API成本分别为12美元、8美元和27美元。

此前临床AI安全审计依赖统计学专家和专用工具，耗时长且成本高。该研究证明前沿AI代理可完全自主地完成结构化的安全审计流程，且表现优异，成本极低（8-12美元），使频繁、低成本的安全审计成为可能。

审计任务基于METR Task Standard v0.3.0，要求AI代理在Docker容器中仅通过bash接口实现伪代码攻击、计算安全态势评分并输出JSON。Claude和GPT-4.1能完美执行全流程，GPT-4o因会话提前终止、聚合错误等问题失败。不同模型在token消耗和成本上有显著差异。

对拥有临床AI模型的产品团队，可将安全审计环节自动化，减少人力投入和专家依赖。GPT-4o的高失败率和更高token消耗提示选择Claude或GPT-4.1更划算。API成本极低（每个审计8-12美元），可集成到CI/CD流程中。

• 提供基于AI代理的自动化临床AI安全审计SaaS服务，按次收费（约8-12美元/次）。
• 将审计代理集成到临床AI模型训练流水线中，作为部署前自动检查步骤。
• 针对GPT-4o失败案例，开发分步引导或错误重试机制以提高完成率。

• 该审计任务是否能覆盖真实世界临床AI面临的全部对抗性威胁？
• Claude和GPT-4.1的完美表现是否意味着它们在更复杂的审计场景下仍可靠？
• 在更大规模数据集（如全量MIMIC-IV）上，模型的成本和表现如何？
• 如果审计指令是自然语言而非伪代码，AI代理的表现是否会下降？