SkillTV-Bench：技能增强型智能体执行中裁判能力的基准测试

arXiv 发布 SkillTV-Bench，一个包含 50 个任务、11 个领域、681 个真实 agent 轨迹的基准，用于评估 LLM-as-a-Judge 和 Agent-as-a-Judge 方法的技能感知轨迹验证能力。同时提出的 SkillTV-Evolve 通过外部化验证知识为可复用的 JudgeSkill，指导 agent 法官进行针对性检查和基于证据的裁决。在基准上，该技能将同一 agent 法官的准确率提升了 14.8 个百分点；在离线 rollout 池选择中，将选中轨迹的成功率从单次 rollout 的 22.9% 提升到十次 rollout 的 45.5%。代码和数据集已公开。

此前基准多评估最终响应或静态轨迹，未结合任务时技能与可检查环境。SkillTV-Bench 首次将技能与轨迹验证结合，为评估 LLM 裁判提供了更贴合实际的长程任务场景，且 SkillTV-Evolve 通过可复用技能显著提升裁判准确率，可能改变智能体评估与优化方式。

技能增强型 agent 在执行长程任务时，验证需要依赖任务时技能中编码的程序性知识，以确定检查哪些证据和哪些失败是关键。SkillTV-Evolve 将验证知识外部化为 JudgeSkill，指导 agent 规划针对性检查并给出基于证据的裁决，并通过自动化进化循环利用判错案例优化该技能，从而提升验证准确性和轨迹选择效果。

对依赖 LLM agent 进行长程任务的产品，如自动化客服、代码生成或数据分析工具，此基准可直接用于评估和优化其内置裁判或验证模块的性能。采用 SkillTV-Evolve 方法可降低误判率，提升任务成果质量，但需集成到现有评估或数据筛选流程中，并可能增加计算开销。

• 在 agent 产品中集成 SkillTV-Evolve 的 JudgeSkill 机制，优化离线轨迹筛选，提升高质量数据选择效率，示例：用于训练数据清洗。
• 利用 SkillTV-Bench 基准测试自家 LLM-as-a-Judge 或 Agent-as-a-Judge 组件，定位验证弱点，针对性调优。
• 探索将 JudgeSkill 转化为 API 服务，提供给其他开发者用于 agent 任务验证，形成增值服务。

• SkillTV-Bench 是否涵盖中文或特定行业场景（如金融、医疗）的任务？
• SkillTV-Evolve 在非英语或不同模型架构下的效果是否稳定？
• 该基准的 681 个 case 是否足够代表真实世界的长程任务分布？
• 14.8 个百分点的提升是否基于多种基座模型，还是仅针对某一模型？