CatchBench：代理故障何时能被捕获？

CatchBench发布，提出在不同信息状态下评估AI代理故障检测能力，涵盖72个参赛者、1187个配置和1162次运行。结果显示多数对比无法排序，且发现规则检测可能反映数据集构建方式而非推理能力。

此前基准通常固定单一信息状态或改变遥测方式，CatchBench首次在同一任务-方法接口下统一评估PRE、LIVE、POST三种状态，弥补了现有评估缺口，为代理审计方法提供了更全面的比较框架。

CatchBench通过将同一审计问题置于三种信息状态（配置前、跟踪中、完成后），并设计七种任务契约，试图统一评估不同检测方法。但结果显示多数对比无法排序，且存在捷径：简单规则能达到完美F1，表明基准分数可能依赖数据集构建过程而非方法推理能力。

对AI代理产品而言，CatchBench提醒团队需关注审计方法在简化规则下的脆弱性，可能影响模型选择与监控策略；同时，基准的不可解释性要求产品团队更审慎地看待benchmark分数，并加强内部测试流程。

• 基于CatchBench的三种信息状态，开发内部代理故障检测工具，覆盖配置前、运行中和完成后阶段。
• 设计针对代理日志的自动化规则扫描器，快速识别配置后声明的能力，提升审计效率。
• 在发布基准分数时附上数据构建过程及快捷方式检验，增强评估透明度。

• CatchBench的七个任务契约具体如何定义标签和指标？
• 其余未解析的对比是否会在未来版本中补充？
• 该基准是否已覆盖主流代理框架或生产环境？