2026世界杯作为LLM预测代理的无污染基准：四个模型与一个庄家

研究人员提出WC2026-Agents基准，使用四个前沿LLM（Claude Opus 4.8、ChatGPT GPT-5.5高推理、Gemini 3.1 Pro、Grok Expert模式）对2026年世界杯104场比赛进行预测，每个模型执行搜索-行动-反思循环，并押注虚拟100美元，同时以博彩市场赔率作为基线。结果显示四个模型在92%的比赛中首选相同，但均未超越市场Brier分数；简单平注市场热门收益超过所有模型；模型间回报率从-18%到+10%不等，且所有模型逆向市场操作均无盈利。

以往LLM预测评估常使用历史数据导致污染，此基准利用未来事件确保无污染，并首次以博彩市场作为经济基线，揭示了准确率与决策收益之间的显著差距——高准确率的模型并不保证盈利，且多数模型依赖市场信息却无法超越市场。

每个模型通过内置搜索工具收集证据，提交主场胜/平/客场胜的概率分布和虚拟赌注，赛后仅凭比分进行反思；市场赔率作为同步信息环境下的经济基线，使得可以同时评估预测准确性和资金决策能力，从而暴露模型在不确定性下的行为差异。

依赖LLM进行预测性决策的产品（如投注辅助、事件预测系统）需要警惕模型在真实不确定环境中的表现差异，建议引入市场等外部基线进行校准，并设计可量化的资金回报评估而非仅依赖准确率。

• 开发结合实时市场赔率的LLM预测代理，以提升收益表现
• 构建类似WC2026-Agents的无污染评估框架，用于金融或体育等未来事件
• 利用赛后反思循环机制优化模型预测策略，减少过度自信
• 设计融合多模型投票与市场数据的混合预测产品，平衡准确率与回报

• 模型在非体育领域（如经济、政治）是否表现出类似的准确率与收益差距？
• 模型引用市场信息的频率差异是否由其搜索策略或训练数据导致？
• 赛后反思能否显著改善后续模型的预测或决策质量？
• 当模型与市场意见一致时，其信息是否已完全被市场定价？