论文展示而非叙述:在生成像素中评估空间认知
此前评估空间认知的基准均以文本或坐标作为答案接口,导致图像生成模型无法在相同语义下被评估。ProVisE让模型直接在像素空间表达空间判断,更贴近真实物理世界交互,且实验揭示了两种模型的能力差异,为后续评估和模型改进提供了新方向。
等待第一条可验证的 Story
今日焦点正在等待第一条可验证的 Story。
此前评估空间认知的基准均以文本或坐标作为答案接口,导致图像生成模型无法在相同语义下被评估。ProVisE让模型直接在像素空间表达空间判断,更贴近真实物理世界交互,且实验揭示了两种模型的能力差异,为后续评估和模型改进提供了新方向。
此前对模型规划能力的获取机制不清晰,依赖不可控的互联网数据。该研究通过可控实验揭示了预训练数据格式、质量和后期训练方法对长程规划的具体影响,为训练更可靠的多轮agent提供了可解释的指导。
传统推荐模型优化依赖工程师手动迭代,效率低且不稳定。RecHarness 将优化过程自动化,减少人工干预,并在真实广告平台上验证了业务指标提升,表明推荐系统优化可更高效、更稳定,有望降低研发成本并加速模型迭代。
FlashPrefill V2 将先前仅停留在算法原型的稀疏注意力方案推进到生产可用阶段,通过算子重设计和对现代推理框架(如 SGLang)的原生支持,显著缩短了从研究到部署的距离,为长上下文场景提供了高性能、可落地的注意力后端选项。
此前的置信度估计器都只读取当前推理过程,通过内省、token 概率打分或重采样来判断输出是否正确。XConf 把判断依据扩展到模型自身积累的历史成败记录,且无需 logit 访问或权重更新,只增加一次答案生成,这改变了校准成本与可用性的权衡。
此前智能体在推理时构造的工作流通常执行后即丢弃,技能库多为离线组装且不随智能体工作流增长。FlowEvo 实现了工作流与技能在推理时的协同进化,让智能体能从自身经验中持续积累可复用技能,并在多个基准上显著提升准确率、降低 token 消耗,为推理时自适应学习提供了新路径。
现有基准将OCT理解简化为粗粒度疾病分类或孤立问答,而OCT-Bench首次模拟临床解读全流程,从视觉感知到临床推理进行分层评估,揭示了当前模型在复杂医学影像任务中的系统性不足。
此前关注LLM代码生成能力,但忽视其维护性影响。该研究首次系统量化LLM的删除规避问题,显示模型更倾向添加而非删除代码,导致代码库累积冗余,增加维护负担。若测试不检查删除,模型可能以“伪通过”掩盖问题,影响LLM在真实开发中的可靠性。
过去计算机折纸主要依赖静态折痕图或预设参数,视频中的人类知识难以直接利用。FoldingAgent 将非结构化的视觉演示转化为可执行、可验证的折叠程序,且能降低多步折叠的累积误差,这是折纸计算与机器人操作领域的一次实质性进步。
现有防御多基于白盒假设,无法用于专有模型,而基于 LLM 的改写方法在语言安全但模型仍生成有害内容的情况(良性对抗问题)下失效。DiSCO 首次提出纯黑盒、零样本的提示级防御,可直接应用于任何系统,扩大了防御范式的适用范围。
此前评估多模态模型只关注正确性,忽视了思考与非思考模式下响应行为的一致性。该研究首次系统测量响应模式失败,发现非思考模式失败率更高,可能影响用户对模型可靠性的感知。
商业 AI 产品的系统提示通常不公开,导致信任和问责缺口。AISPA 提供了首个用户中心的审计框架,对 88 个产品的系统提示进行系统化审查,揭示了设计差异和问题指令的普遍性,为行业监管和产品改进提供了实证基础。
此前生成高质量长期终端任务训练数据成本高昂,每任务数百至上千美元,且人工编制难以扩展。RST将成本降至0.05美元/任务,并大幅提升任务难度,为终端代理训练提供了低成本、大规模且难度递增的数据生成途径,可能改变该领域的训练数据获取方式。
此前 LLM 裁判多被当作可扩展的人类评审替代品,Arena 的 34,580 条配对裁决首次用大规模真实对战数据量化了自我偏好与阵营宽容。若 AI 裁判之间一致率 79.4%、与人类仅 56.9%,那么用模型投票替代人类投票的榜单和评测结论需要重新校准。
此前微调导致灾难性遗忘,现有方法如 EWC 需要额外数据或存储。Omega-S 作为即插即用惩罚项,仅基于权重矩阵,计算开销小,且实验显示优于权重衰减和 EWC,为缓解遗忘提供了更便捷高效的方案。