TRACE：诊断智能体评估中的验证器脆弱性

该论文指出，验证器分数如今既是 LLM 智能体的基准指标，也被用作训练奖励，分数变化常被直接解读为能力变化。作者提出 TRACE 协议，对评估的某一部分做定向修改、比较配对运行、检查智能体行为是否改变，并对未变轨迹重新打分，以判断分数变化是否来自评分规则。在 25 个合成任务中，仅重命名工具就让脚本智能体分数下降 0.250，行为完全相同，恢复原名后差距消失；同一扰动在另一个智能体上却暴露真实行为失败。

此前分数变化通常被当作能力变化的结论，而该研究给出可测试的诊断流程，把结论转为可检验假设。它表明评估呈现方式本身可能制造虚假分数波动，且相同扰动能区分评分伪影与真实行为失败。在公开 τ²-bench 上，同条件重复运行会翻转 15-36% 的任务结果，说明单次比较难以区分呈现效应与运行间波动。

TRACE 的核心机制是控制变量：只改评估的一个部分，用配对运行对齐其他条件，先判断智能体行为是否改变；若行为未变而分数改变，则对同一批未变轨迹重新打分，从而把分数变化归因到评分规则或行为本身。实验还显示，误导性工具名会稳定降低所有智能体奖励 0.20-0.44，说明该设置能检测真实效应，而普通重命名和输出重格式化在八对智能体变化中有七对未造成超出 ±0.10 的奖励变化。

对使用验证器做基准或 RL 奖励的团队，这意味着奖励波动可能来自工具命名、输出格式等呈现层，而非模型能力，直接单次比较容易误判模型改进或回退。研发流程需要引入配对运行、重复运行和重新打分步骤，并在评分前恢复原始命名，以减少把评估伪影当作能力信号而浪费训练或调参成本。

• 在智能体评测流程中加入配对运行与重复运行模块，自动标记分数变化是来自行为还是评分规则。
• 为工具名、参数名和输出格式建立评分前标准化层，避免呈现差异污染奖励信号。
• 构建扰动测试套件，用重命名、重格式化和误导性命名三类变体定期检验评估管线是否脆弱。
• 在 RL 训练中让奖励计算与展示层解耦，防止工具命名变化被误学成能力信号。

• TRACE 在更大规模或非合成任务上的诊断成本与稳定性如何，尚未由该证据确认。
• 公开 τ²-bench 上未复现的奖励变化具体来自哪些任务或智能体，证据未说明。
• 两个前沿 LLM 评判者在固定轨迹呈现不同时结论一致，但彼此在 57% 的情况下不一致，其后续影响未被完整给出。
• 如何将 TRACE 的诊断结果直接接入现有训练奖励管线，证据未提供实现细节。