引发动作的引导：多模态 Web Agent 中引导与动作相互强化的离线研究

研究团队发布 WebMRE，一个基于 WebArena 成功轨迹构建的离线基准，含 541 个任务、5,293 个步骤，配有审核过的测试标签与可在无环境条件下每次复现相同分数的确定性评测协议。每个步骤将一句面向人的 guide 与一个落地动作配对，用于研究二者在 web agent 中的相互强化。三个随机种子下，联合解码 guide 使元素选择较仅动作参考提升：Qwen3.5-4B 为 0.9 与 0.2 点，Qwen3.5-9B 为 1.7 与 2.2 点。

以往 web agent 多在实时环境中评测，环境状态与评判模型会漂移，同一 checkpoint 难以复现同一分数，训练现象的受控研究因此难以进行。该工作把评测搬到可重放、可复现的离线协议上，使引导与动作之间的关系能被稳定测量和比较。

证据显示 guide 不是旁白而是因果通道：强制将 gold guide 作为解码前缀，动作准确率从 0.422 升至 0.684；换成另一步骤的 guide 则跌至 0.055；仅替换目标名称的改写仍能恢复约一半增益。这说明通道传递的是指令含义而非标签字符串，且效应在两个模型、两种解码顺序与更大规模下均成立。

对研发的直接意义是：可用离线可重放基准替代昂贵的在线评测，降低回归成本并提高可比较性；在 agent 训练中可把 guide 作为解码前缀或辅助信号来提升元素选择准确率。但证据也指出，从强 checkpoint 出发优化该离线奖励暂未带来增益，说明其作为训练目标的价值仍待验证。

• 将 WebMRE 式可重放评测协议引入内部 web agent 回归流程，固定分数口径以降低在线环境波动带来的评测噪声。
• 在动作生成阶段尝试以 guide 作为解码前缀或辅助输入，验证在自有任务集上是否复现元素选择准确率提升。
• 基于该离线基准构建训练信号筛选机制，先小规模验证从强 checkpoint 优化离线奖励是否有效，再决定是否投入训练资源。

• 该离线基准上的提升能否迁移到真实 WebArena 等在线环境，证据未提供在线评测结果。
• 从强 checkpoint 优化离线奖励为何暂无增益，是奖励设计、数据规模还是任务分布问题。
• guide 与动作的相互强化在更长链路或更复杂多步任务中是否仍成立。
• WebMRE 的 541 个任务与 5,293 个步骤对中文或多语言 web 场景的代表性未知。