EvoProbe：面向 LLM Agent 的评测驱动基准演进

该论文提出 EvoProbe，一个由评测驱动的基准演进框架，把任务生成、诊断评测与反馈再生整合成闭环，结合可验证子任务结果评分与多评委轨迹评估，将阶段性瓶颈、成功与失败模式提炼为反馈以生成新任务。在网络安全领域两轮实验中，固定 Examiner 模型集与求解器配置后，八个模型在更新任务上的 Outcome 均值相对下降 11.8%，Pass^3 均值下降 40.0%，并显示出聚合分数之外的阶段性差异与共性失败模式。

静态基准面临饱和与数据污染，聚合分数和成功率难以定位具体解题瓶颈，也难为后续任务设计提供指导。EvoProbe 把诊断结果反馈到任务生成，使基准能随模型能力迭代更新，并用固定配置的跨轮对比验证新任务确实更能暴露能力边界，而不只是分数变化。

机制是把任务生成、可验证子任务评分、多评委轨迹评估和反馈再生串成闭环：先对模型轨迹做证据支持的多评委诊断，提炼阶段性瓶颈与成败模式，再据此生成新的可执行任务，使评测集持续针对当前能力短板升级，而非依赖单一聚合指标。

对做 Agent 产品的团队，意味着可以用细粒度阶段诊断定位失败环节，并把瓶颈转化为下一轮测试任务，降低对饱和榜单的依赖。跨轮固定配置对比也能更可靠地衡量模型迭代前后真实能力变化，帮助研发排优先级和评估上线风险。

• 将 EvoProbe 式闭环诊断接入内部 Agent 评测流水线，按阶段输出瓶颈报告并自动生成补充任务。
• 面向安全或高风险场景构建持续更新的私有基准，防止公开数据污染导致分数虚高。
• 提供固定求解器与评审配置的跨版本对比服务，量化模型升级前后的能力变化。
• 把失败模式提炼成可复用测试用例，纳入回归测试与发布门禁。

• EvoProbe 在其他领域（非网络安全）是否同样能产生阶段级诊断与有效任务更新？
• 多评委轨迹评估的成本、延迟和评审一致性在规模化使用时表现如何？
• Outcome 与 Pass^3 下降是否部分来自任务难度提升而非模型能力退化，如何区分？
• 该框架生成的基准是否可能被求解器过拟合，长期有效性有待验证。