ReLiveGym：在数周回放现实中评估长期运行智能体

arXiv 论文提出 ReLiveGym，一个针对长期运行任务的诊断式评估环境：智能体在按时间顺序回放的数周真实新闻、市场与社交媒体流中稀疏行动。任务覆盖不同时间敏感度、推理强度与重复频率，研究测试了八个基础语言模型，考察模型选择与 harness 设计对表现的影响，并评估基于事后反馈的持续学习效果。

此前的长时程智能体研究多假设环境静态不变，难以覆盖需要无人值守数天到数周、按正确时点行动并适应动态环境的任务。ReLiveGym 用真实数据流的时间回放来近似这一条件，把“何时行动”从实现细节提升为可评估的设计维度。

该环境以时间顺序回放真实新闻、市场和社交媒体流，让智能体在稀疏时间点行动，从而把时间敏感度、推理强度与重复性作为任务变量分离出来。测试八个基础模型并对比不同 harness 设计，可以观察模型选择与行动时机机制之间的交互，再用事后反馈检验能否缓解暴露出的失败模式。

对做持续监控或周期触发类产品的团队，评估重点应从单次回答质量转向行动时机机制的设计：何时触发、间隔多长、如何消费事后反馈。模型选择并非唯一变量，同一模型在不同 harness 下的长期表现可能不同，需按任务类型分别调优。

• 在行情监控、舆情跟踪等周期任务中，先做“何时行动”触发的 A/B 评估，再决定模型升级
• 为长期运行智能体加入事后反馈回路，定期用回放数据复测失败模式是否收敛
• 将 ReLiveGym 的任务分级（时间敏感度、推理强度、重复性）映射到自有产品的场景分层

• ReLiveGym 的任务集合覆盖哪些具体场景，是否包含商业产品的典型工作流
• 在八个基础模型上，行动时机机制的最优设计差异有多大
• 基于事后反馈的持续学习在模拟周尺度上能否稳定改善长期表现