论文2026世界杯作为LLM预测代理的无污染基准:四个模型与一个庄家
以往LLM预测评估常使用历史数据导致污染,此基准利用未来事件确保无污染,并首次以博彩市场作为经济基线,揭示了准确率与决策收益之间的显著差距——高准确率的模型并不保证盈利,且多数模型依赖市场信息却无法超越市场。
等待第一条可验证的 Story
今日焦点正在等待第一条可验证的 Story。
以往LLM预测评估常使用历史数据导致污染,此基准利用未来事件确保无污染,并首次以博彩市场作为经济基线,揭示了准确率与决策收益之间的显著差距——高准确率的模型并不保证盈利,且多数模型依赖市场信息却无法超越市场。
以往因果基础模型主要依赖合成结构因果模型先验或纯观测数据,当目标变量的干预数据缺失时推断受限。该工作把代理干预数据纳入同一模型,并报告其条件干预分布预测优于仅用观测数据,为观测与实验数据混合场景提供了可对比的新基线。
可解释 AI 长期存在同一输入与预测下不同归因方法给出分歧解释的问题,这削弱了审计结论的可信度。该工作把方法间一致性量化为可比较指标,并首次在 DeBERTa-v3 的零样本医学文本场景中系统比较五类归因方法,把解释稳定性与预测确定性直接关联,为高风险医疗场景下的模型审计提供了可复用的评估路径。
此前压缩 RFM 推理上下文主要靠随机丢弃采样行,不考虑数据库 schema 语义,容易误删有信息量的行。STEER 首次把外键边的任务相关性排序引入采样过程,并且排序只依赖 schema、每任务计算一次即可复用,使成本压缩与准确率不再直接对立。
此前智能体性能优化通常以单一模型或固定组合为核心,且需要大量数据或昂贵微调。RoboPhD 展示了仅用 100 个示例即可进化出完整代理程序,并在多个价位上超越竞品,这意味着低成本、高效率的智能体定制可能成为新的竞争维度。
此前针对 LLM 推理的调度多假设硬截止时间或未考虑任务依赖,该研究引入软截止时间和有限扩展机制,并利用 transformer 增强 PPO 提升决策能力,为在时延敏感场景下的 LLM 部署提供了新思路,可能改善服务质量和资源利用率。
此前同类模型改进多依赖训练分布内的任务,跨基准泛化证据有限。该结果显示仅用 1,700 个任务、LoRA 单 epoch 的 RL,就能在六个外部基准和多个未参与训练的 agent harness 上同时提升,且在训练数据收集之后发布的三个任务集上仍显著,说明这种增益并非对固定评测集的过拟合。
此前LLM用于证据筛选多关注召回率,本研究揭示同模型不同处理配置对结果影响显著,且名义相同的重复运行存在差异,影响LLM筛选流程的可靠性与可复现性。
此前电网监控依赖规则或专用模型,自然语言交互和自动SQL生成降低了使用门槛,使非技术运营人员也能进行复杂数据分析,提升响应速度。
此前医疗机构与厂商多以考试题和精选病例基准判断 LLM 助手是否可用。该研究首次用大规模真实查询证明基准与部署场景存在系统性错位,意味着高分不再能直接支撑上线决策与采购判断。
此前业界普遍把贪心解码当作可复现的确定性基线,用于评测、回归测试和一致性校验。该研究证明输出会随数值精度改变,意味着跨精度或跨环境比较模型行为时,原有确定性假设可能不成立,相关测试与部署结论需要重新审视。
传统运行时保护仅检查单个动作,无法引导多步骤流程;工作流系统侧重完成而非安全。PolicyGuide首次将领域政策编译为工作流图,在用户轮次边界主动验证,显著提升合规率(平均Pass^4提升0.2),并具有跨模型迁移性,为LLM智能体的合规执行提供了新范式。
此前缺乏专门针对自主AI系统的保险数学框架,保险公司难以评估此类系统的风险。该论文首次提出可量化承保、定价和合同优化的结构化方法,并定义了可保性的数学性质,为AI保险产品设计提供了理论依据。
此前稀疏注意力普遍先按注意力质量选 token、再独立补偿被丢弃的注意力尾部,选择与补偿脱节。CompKV 把二者合并优化,指出应优先保留一旦省略会带来最大补偿误差的 token,并给出可部署的块级选择标准,改变了长上下文推理加速的设计思路。
能源系统运行存在一个从未被自动化的闭环,包括提出优化问题、处理不可行性、排序联锁指令、汇总分散证据、协商容量等,目前均由持牌调度员人工承担。随着可变可再生能源占比上升,闭环速度加快,而调度员数量难以匹配。代理式 AI 提供了所需能力,但以控制外环的形式介入,改变了原有控制体系架构。