MedBenchAgent：面向医学 VLM 基准构建的系统化自动化

研究者提出将医学视觉语言模型基准构建视为“受约束编译”，即从评测需求、异构标注和医学知识中逐步推导基准规格。基于此推出多智能体框架 MedBenchAgent，并引入基准中间表示 BIR，将规划与实例化分离。实验显示其任务空间 F1 达 90.9%，高于直接任务归纳的 79.2%–80.0% 和先验引导归纳的 85.1%；1000 个抽样条目中 994 个通过人工审核，并评测了十二个 VLM。

此前的自动化多局限于在既定基准规格内生成评测条目，规格本身仍依赖人工设定。该工作把自动化前移到“评什么、用哪些标注、如何转成可靠条目”的规格推导环节，并给出可审计的中间表示，使基准构建从条目生成扩展到规格生成。

框架把基准构建形式化为受约束编译：评测需求、异构标注与医学知识作为输入约束，逐步推导出任务定义、证据映射、评测协议和条目规格，并统一编码进 BIR。规划阶段负责推导并验证规格，实例化阶段在规格锁定后构建条目并审计，从而把易出错的规格决策与条目生成分离。

对医疗 AI 团队，基准构建可从依赖专家逐条设计，转为先定义需求与标注约束、再由多智能体验证规格并生成条目，人工审计集中在锁定规格后的条目环节。十二个 VLM 的评测还提示，聚合分数会掩盖任务与设置差异，选型与验收需按任务和场景拆分指标。

• 将 MedBenchAgent 的“规划—实例化—审计”流程封装为内部基准构建流水线，用 BIR 管理任务定义、证据映射与评测协议版本。
• 在医疗模型选型中放弃单一聚合分，按具体任务和设置建立分场景评测看板，降低误选风险。
• 针对自有的异构影像标注资产，复用其规格推导方法生成任务空间与条目，减少专家逐条设计成本。

• 994/1000 通过人工审核的条目来自正确识别的任务，错误识别任务下的条目质量未被说明。
• 论文摘要未披露人工审核的具体标准、审核者数量与一致性指标。
• 移植到专门医学领域的验证细节与失败边界尚不清楚。
• 多智能体框架的推理成本、构建耗时与可复现性未在证据中给出。