Forecast-Dojo：用于评测和训练 LLM 预测智能体的可回放环境

研究者提出 Forecast-Dojo，一个可回放环境，用于评测和训练 LLM 预测智能体。它把已结算的预测市场问题与带日期的新闻结合，让智能体研究事件并在不同历史日期重新给出预测。数据集包含 1,568 个 Polymarket 事件和 1,880 万篇带日期新闻，并按时间划分为训练期和评测期。评测 12 个模型显示，研究工具使全部 12 个模型的 Brier 分数下降；随着事件推进，预测改善，且新日期证据更多的步骤收益最大。所有模型在 Brier 分数和准确率上仍落后于历史市场预测；跨日期携带的信念笔记本降低了研究成本，但未稳定提升预测质量。该环境还提供交互轨迹和结果反馈，并以监督微调作为概念验证。

此前 LLM 预测智能体的评测多依赖静态问答或等待新事件结算，难以重复验证和持续训练。Forecast-Dojo 用已结算市场问题与历史新闻构建可回放环境，使同一任务能反复评测、收集交互轨迹并利用已记录结果反馈，从而把预测智能体研究从一次性评测推进到可重复、可训练的实验流程。

该环境将预测市场事件按时间切片，并关联事件发生前已发布的带日期新闻，让智能体在任意历史时点只能访问当时可见的信息，从而模拟真实预测过程。由于事件已结算，结果反馈可以立即用于监督微调或评测。研究工具与信念笔记本作为可插拔组件，分别影响信息获取成本和跨时点信念传递，进而作用于 Brier 分数。

对做预测、研究或决策辅助的产品团队，这意味着可以构建离线回放评测管线，用历史新闻和市场结算结果反复测试智能体的预测能力，而不必等待新事件。研究工具能普遍降低 Brier 分数，说明检索与信息整理工具应作为预测类产品的基础组件；信念笔记本降低研究成本但不稳定提升质量，提示产品需权衡是否跨会话保存状态。

• 基于 Forecast-Dojo 构建内部预测智能体评测基准，按时间切分训练与测试，避免数据泄漏。
• 为预测类智能体产品集成研究工具，并监控其对 Brier 分数的实际影响。
• 利用环境提供的交互轨迹和结果反馈，对垂直领域预测模型做监督微调。
• 开发跨时点信念管理组件，但需单独验证其对预测质量而非仅成本的影响。

• 研究工具对所有模型降低 Brier 分数的具体幅度和统计显著性如何？
• 监督微调作为概念验证，其提升幅度和泛化能力是否经过系统评测？
• 信念笔记本在什么条件下能提升预测质量，什么条件下无效？
• 1,568 个 Polymarket 事件和 1,880 万篇新闻的覆盖范围是否代表更广泛的预测任务？