评估技能而非仅评估 Agent：技能代理持续评估方法

arXiv 发布论文提出 ACES 框架，用于对 Agent 技能包进行持续评估。该方法通过配对实时试验测量技能提升度，在 64 个生产技能中，58 个的 947 个配对案例上，平均复合技能提升度为 0.2134，其中 72.8% 的案例为正向提升。

企业 Agent 从原型转向生产，现有门禁仅检查结构、风格和安全性，无法回答技能包是否真正帮助 Agent 完成任务。ACES 提供基于证据的评估，弥补了静态审查与动态部署之间的鸿沟。

ACES 在相同模型、沙箱和评分策略下，运行有无目标技能的配对实时试验，将轨迹标准化为 ATIF 格式，并计算六项默认运行时指标，以量化技能带来的增值，即技能提升度。

产品团队可用 ACES 验证技能包的真实效果，替代主观审查，降低上线风险。研发流程可集成自动评估，提升技能迭代效率，并基于数据驱动决策。

• 为 Agent 技能开发集成 ACES 评估管道，自动生成技能提升度报告
• 建立技能质量基线，用于技能选择与淘汰
• 提供技能评分服务，作为平台增值功能

• ACES 框架是否已开源或商业化？
• 技能提升度是否适用于所有任务类型？
• 评估成本如何影响大规模部署？