ClawProBench：带运行时覆盖与冻结保留集的AI代理追踪感知评估

ClawProBench 是一个面向运行时原生 AI 代理的追踪感知基准，实例化于 OpenClaw 运行时。它包含 102 个场景的全量配置和 68 个场景的冻结保留集。通过安全门控公式评估执行追踪。评估显示，原生运行时任务得分低于工作区实时任务，全量与保留排名弱相关（Spearman 0.1300）。

现有代理基准多只评估最终答案，忽略有状态运行时的过程细节。ClawProBench 首次引入追踪感知与运行时覆盖，揭示最终答案榜单可能隐藏原生表面缺陷，推动评估更全面。

ClawProBench 将评估单元定义为模型加运行时的配置，从证据获取、路由、安全边界和重复执行等维度评分。通过安全门控公式结合正确性、过程质量和效率，保留失败证据供审计。冻结保留集使用封闭 JSON 输出契约，提升排名的稳健性。

该基准可能影响代理产品的评估方式，促使开发者关注运行时任务的实际表现，而非仅最终答案。排名与正确性分离，可能导致产品研发更注重过程质量与安全边界，增加审计需求。

• 开发基于追踪的代理评估工具，集成安全门控评分，提升过程质量可观测性。
• 利用冻结保留集设计封闭合同测试，提高产品排名的稳健性与可比性。
• 针对原生运行时任务设计专项优化，缩小与工作区任务的性能差距。

• ClawProBench 的追踪评分方法是否适用于其他代理运行时？
• 排名弱相关（Spearman 0.1300）是否暗示评估维度需要调整？
• 安全门控公式的具体权重和阈值未明，可能影响结果通用性。