MolDesignBench：面向场景化分子设计的 LLM agent 评估基准

arXiv 论文提出 MolDesignBench，一个面向真实分子设计场景的基准，用于评估工具增强的 LLM agent。该基准包含 2000 个生成与优化实例，融合设计叙述中的隐式需求与显式性质、官能团约束，并包含不可行案例，需调用 17 个化学工具。实验显示前沿 LLM 成功率偏低，最佳仅约 43%，主要失败于隐式约束推理、不可行性识别与工具推理。

此前分子设计基准多聚焦显式且狭窄的约束、仅含可行问题、单一解法路径，无法反映真实设计复杂度。该基准引入隐式需求、不可行案例与多工具调用，并给出细粒度失败模式分析，将隐式约束理解和不可行性检测列为关键瓶颈，为化学 agent 研究提供更严格的测试床。

真实分子设计需要 agent 从设计叙述中解析隐式需求，同时满足性质与官能团等显式约束，判断规格是否不可行，并串联多步化学工具输出。MolDesignBench 通过 2K 实例和 17 个专业工具构造这种复合任务，使模型必须在多约束与多步工具链中推理，因此暴露出单一约束基准无法显现的能力缺口。

对做 AI for Science 或化学研发工具的产品团队，该基准提示：仅接入工具不足以支撑真实分子设计，需在需求解析、不可行性校验和工具编排上专门设计。可直接用于模型选型与回归测试，降低在隐式约束场景下高估 agent 能力的风险。

• 在化学 agent 产品中内置不可行性检测模块，对规格冲突提前返回可解释拒绝理由。
• 将 MolDesignBench 的 2K 实例与 17 个工具接口纳入模型评测流水线，作为化学 agent 上线前的回归测试。
• 围绕隐式约束解析开发结构化提问或澄清交互，把设计叙述转为可校验约束清单。
• 针对多步工具输出构建中间结果校验层，减少工具推理链中的错误传播。

• MolDesignBench 的 2K 实例覆盖哪些分子设计子领域，是否包含真实工业研发场景？
• 最佳约 43% 成功率对应哪些具体模型，评估是否包含闭源与开源模型的完整对比？
• 17 个化学工具的具体名称、接口标准与调用成本未在摘要中说明。
• 该基准是否已被用于指导实际的化学 agent 训练或产品迭代，尚无证据。