论文OmniVCBench:面向 AI 虚拟细胞的证据落地多模态推理基准
此前 AIVC 基准主要集中在模拟层,即预测细胞响应,缺少对模型如何解读实验证据、提出生物学假设的评测。该工作把评测重心移到解释层,并提供可追溯来源的图表问答数据与开放式回答评审方法,补上了 AIVC 评测链条中的一环。
TOPIC · CURATED VIEW
关注模型跨文本、图像、音频和视频理解与交互的能力进展。
此前 AIVC 基准主要集中在模拟层,即预测细胞响应,缺少对模型如何解读实验证据、提出生物学假设的评测。该工作把评测重心移到解释层,并提供可追溯来源的图表问答数据与开放式回答评审方法,补上了 AIVC 评测链条中的一环。
此前消费级护肤 AI 多停留在单点识别或对话建议,缺少安全边界、审计与工具调用约束。该工作把路由、工具、数据库推荐、隐私与安全检查和审批串联为可追踪流程,并分开评估视觉模型与系统级智能体行为,使非诊断护肤助手的工程可行性有了量化参照,而非仅凭模型精度宣称可用。
此前评估多依赖单一 benchmark 分数,难以反映 agent 轨迹、多模态输出与安全失效。该框架把评估对象从结果扩展到过程与证据可信度,并主张安全关键项可覆盖聚合分数,避免平均分掩盖严重问题,同时对接治理框架与国际标准、欧盟监管要求。
此前医学视觉语言模型难以从多维 cine 图像中直接得出定量测量结果,多停留在定性描述。该工作把外部分析工具接入推理链路,并给出多队列基准和量化对比,使医学 VLM 从“看图说话”向可核验的数值评估推进,并显示工具调用能力可被训练显著提升。
此前交通信号控制多依赖人工设计的交通状态或独立感知模块,视觉观测与控制决策之间存在断层。该工作把多视角路侧视频直接接入控制策略,并用跨路口协同感知覆盖网络级效率,为端到端信号控制提供了可与其他方法在真实数据集上对比的新基线。
此前长视频理解多依赖逐帧粗描述或带损嵌入的多模态 RAG,计算开销大且丢失时序与细节;LazySloth 把检索优化问题聚焦到 VLM 自身的查询相关信息筛选上,在不明显损失准确率的前提下大幅提速,并缩小开源模型与闭源模型差距。
此前多模态假新闻检测与 AIGC 检测基本是两条并行任务:前者判断内容真假,后者判断是否由模型生成,二者在数据和评估上彼此分离。该工作把生成性信息纳入真实性推理,并配套发布面向生成内容场景的数据集,意味着检测目标从单一真假标签转向对证据来源与生成方式的联合刻画。
此前金融 AI 研究分散在时序预测、文本分类、图建模与 MLOps,缺少把事件时间可观测性、概率校准、执行时点、交易成本、流动性、容量和统计推断放在一起测试的领域协议。该论文提出了一个可联合评估信号是否在真实决策系统中仍有效的框架,并给出与证券链接及数据时效隔离的评估设定。
此前 omni 模型主要强调感知与交互,而该模型把重心转向多模态理解、推理与长程任务,并通过原生多模态协同训练把文本域已有的 agentic 能力迁移到音频和视频任务,使多模态模型不再只是对话前端,而更接近可直接承担生产流程的智能体。
以往对无代码修复的验证主要依赖人工操作浏览器复现与确认,耗时且难以规模化。该研究把验证环节改为可执行的自动化流程,并系统比较不同执行器对同一批修复判定结果的影响,量化了执行器差异带来的结论波动,使无代码修复评估从人工抽检转向可重复的端到端测试。
此前中医诊断的舌象、脉象等核心信息难以量化和标准化,AI 介入缓慢。该工作报告了从多模态图像到结构化临床描述、再到统一数字记录的处理路径,并给出相对基线的显著准确率提升,说明中医诊断的标准化建模在方法层面出现了可测量的进展。
此前序列推荐要么只用目标用户自身历史、丢掉邻居用户的协同信号,要么靠反复调用 MLLM 处理长历史、算力成本高。该工作把协同信号注入与单次推理合并到同一框架,在保持效果的同时改变了推理成本结构,为后续推荐系统与多模态大模型结合提供了新的权衡路径。
此前多智能体心智理论研究与工程实现往往分离,人类与智能体的交互多为单轮或单智能体。该工作把社会性与情感建模、多模态人机接口和分布式推理放进同一可运行架构,并公开代码,使多智能体社会情感模拟从概念讨论转向可复现的系统实现。
此前空间推理基准多只考察对输入中已可见关系的感知,而该基准把评估推进到“预测干预后未观测到的结果”。它同时暴露出模型与人类之间接近 30 个百分点的差距,以及空间专精模型接近随机水平的现状,为判断模型是否具备真实空间智能提供了更明确的分层标尺。
此前 LLM 情绪识别多停留在离散标签与文本模态,连续 VAD 维度评估和声学线索融合在对话场景中探索较少。该工作给出可复现的对比设置与 IEMOCAP 新 SOTA,并把微调与提示工程的差距归因于领域适配而非模型规模。
此前多模态 ISAC 模型依赖大量标注真实数据,仿真数据虽可降低标注负担,但场景、感知、无线与学习配置之间不一致会损害迁移效果。AIMS 将配置推导与执行协调交给智能体,试图把仿真到真实迁移从人工调参转变为按部署需求自动生成配置,可能降低落地门槛。
此前基准要么针对通用视频,要么针对静态图表,数据视频这一结合动态图表与叙事的形式缺乏系统评测。DataVista 把评测拆成数据感知、时序推理与叙事理解三层,并给出 19 个模型的横向对比,使该能力差距首次可被量化定位。
此前制图原则主要基于人类感知设计,但机器感知可能与人类不同。该研究首次系统评估了颜色设计对基础模型空间推理的影响,发现顺序排序和对比度对机器理解依然重要,为未来针对AI优化的制图设计提供了实证依据。
此前评测多关注生成质量与提示词,而这份证据指出评测环节本身会被与被测画面无关的文本带偏。仅凭“工具调用成功”的日志,就能让开源评审模型大规模放行明显失败的片段,说明自动验证结果在闭环系统中可能不具备可信度。
以往多模态模因分析多追求「给出答案」,把模糊输入也强行归入男性或女性。该工作把「何时不应推断」作为建模目标,并提供可衡量的过度承诺率指标与带 Ambiguous 标签的数据集,使偏差评估从笼统的准确率转向证据一致性。
既往膝骨关节炎进展预测多为单一风险数值,缺少支撑依据与可核查的中间推理。该工作把多模态模型与多智能体编排、文献检索和不确定性驱动的人工复核结合,使预测结果附带证据和冲突提示,为临床审核流程提供可追溯的自动化路径。
常见做法是把 3D 体数据压成 2D 切片或合并空间 token 再交给语言模型,会损失体空间信息。该工作保留原生 3D 编码与坐标传递,并引入放射科医生推理监督和可验证奖励的强化学习,使模型在无专用分类头的情况下输出分类、报告和可复核推理,评测同时覆盖公开基准与留出队列。
此前 VLM 导航智能体多只对已有观察做推理,缺少对“证据是否充分”的自我判断,容易在视野不足时继续行动。该工作把主动观察获取纳入训练目标,并用反事实对比把寻求行为与导航收益挂钩,使导航从被动推理转向可评估的证据获取决策。
此前研究多只关注单一维度,或默认省钱方法不损害结论。该工作把准确率、下游推断有效性与成本放在同一框架下比较,指出高准确率配置可能导出错误结论,并给出可复用的成本感知标注准则。
此前基于基础模型的具身智能体容易在未确认机器人硬件与环境是否支持操作的情况下生成行为,即 grounding failure。该工作把行为生成转为代码生成问题,并用部署证据锚定推理,使机器人在未知开放词汇域中先判断自身能力再执行任务。
此前视觉语言模型的能力多由数字基准衡量,驾驶真车这类日常技能基本未被测试。该基准把延迟、持续运动和指令替换纳入同一长时程任务,并公开 harness、提示词、赛道图与含视频和遥测的轨迹,使真车闭环控制结果可复现、可比较。
此前多数取证检测器只针对单一篡改类型,agentic 方案被视为应对开放世界篡改的候选路径,但其收益来源与分布偏移下的稳定性并不清楚。该研究把性能归因拆到分诊、提示和推理三部分,指出开放世界取证的主要瓶颈已从“能否检出篡改”转向“如何校准对专用工具的信任并仲裁冲突证据”。
此前长期记忆系统普遍把记忆构建与固化交给 LLM 调用,写入路径昂贵且延迟高,压缩式方案又会丢失表层细节。MemFit 把写入与索引解耦,逐字保留原始对话、用摘要做索引,在三个基准上同时拿到最优性能和数倍的成本、时间下降,改变了长期记忆“性能换成本”的既有取舍。
该研究展示了视觉语言模型(VLMs)替代传统实地调查进行大规模街道质量评估的可行性,降低了时间和资源成本,为城市规划提供了一种高效、可扩展的诊断工具,尤其适用于郊区和大都市边缘地区。
此前物理 LiDAR 攻击多依赖固定原语与人工选参,忽略交通环境的动态依赖。TACTIC 首次将多模态大模型引入攻击战术的实时选择与配置,并在随机仿真试验中把碰撞率从固定规则的 35% 提升到 100%,说明攻击策略正从静态参数化转向场景自适应推理。