UserProxyBench：评估 agent 基准与训练中的 LLM 用户模拟器

该论文提出 UserProxyBench 与 User Fidelity Score（UFS），用于评估交互式 agent 基准中充当用户角色的语言模型是否忠实执行私有用户指令。在 375 个企业任务上，固定 agent 为 GPT-5.5、仅更换用户代理，任务平均奖励变化达 15.2 分；24.4% 的成功回合存在违反用户规格的行为，主要为过早披露信息。

此前基准只给 agent 打分，不检验模拟用户是否忠实执行角色，用户侧偏差被隐藏。该工作将用户保真度独立于 agent 成功率量化，并显示仅更换用户代理就能显著改变任务奖励，说明既有 benchmark 结果可能混入用户模拟器误差。

交互式基准和多轮强化学习把第二个语言模型放在用户位置，它控制 agent 何时获得何种信息。UFS 依据任务私有用户指令与任务落地评分标准，独立于 agent 成败评分。过早披露信息虽不太影响奖励，却使 agent 平均少做 1.06 次工具调用，改变了被评估的交互过程。

对使用模拟用户做 agent 评测或强化学习训练的团队，需将用户代理纳入版本管理与质量门禁，否则奖励对比可能不可比。选型上可在成本与保真度之间取舍，选择满足所需保真度的最低成本模拟器，降低多轮评测与训练成本。

• 在 agent 评测流水线中加入 UFS 作为独立指标，按任务检查用户代理是否提前泄露信息。
• 对多轮 RL 训练中的用户模拟器建立版本与配置记录，固定后再比较 agent 策略。
• 依据论文的成本-保真度前沿，为不同评测阶段配置不同价位的用户代理。
• 对成功回合做用户规格违规审计，识别奖励相同但交互轨迹被改变的样本。

• UFS 的评分标准由谁编写、是否经人工校验，跨基准迁移性如何？
• 成本-保真度前沿的具体代理清单与定价未在证据中给出。
• 过早披露信息导致工具调用减少，是否影响长期训练效果尚未确认。
• GPT-5.5 固定下的结论能否推广到其他 agent 模型和其他任务家族？