LLM 能否可靠标注生物测定元数据以提升数据可用性

该 arXiv 论文量化了 PubChem 约 200 万个 bioassay 的元数据缺失情况：36% 缺少 assay format，89% 缺少 BioAssay type，超过 99.9% 没有任何 BAO 映射的 assay format 或检测技术术语。作者用 PubChem 与 ChEMBL 派生评测集，测试七种开源和专有 LLM 与既有 silver label 的一致度，生化与细胞类 assay format 的召回率至少 0.96，检测技术表现类似，但代表性不足类别分歧上升。人工检查显示多数分歧源于 silver 来源自身不一致，而非 LLM 出错；一位资深产业策展人在 LLM 生成证据提示下修改了自己此前的部分标注。

分子性质预测的基础模型依赖高质量元数据，但公共库与工业筛选库长期存在标注缺失、不一致或混淆。此前缺少对 PubChem 大规模缺失程度的量化，也未验证 LLM 能否直接从未结构化 assay 文本中预测并审计标注。该研究把元数据治理从人工补录推向自动化审计，并指出部分标注冲突实际来自参考标签本身。

LLM 之所以能用于该任务，是因为 assay 文本中往往隐含格式与检测技术线索，模型可借此对齐受控词表，并在与 silver label 不一致时生成可核查的证据。由于分歧多来自参考源之间的冲突而非模型误判，LLM 同时具备标注与发现潜在错标的双重用途，这降低了对单一权威标签的依赖。

对做分子性质预测或 AI 制药数据管线的团队，这意味着可把 LLM 嵌入数据准备环节，自动补全 BAO 字段并审计已有标注，减少人工策展成本。产品上可增加标注置信度与证据展示，让研发人员在入库前复核；同时也需处理 underrepresented 类别上的分歧，避免自动标注放大原有偏差。

• 构建面向 PubChem、ChEMBL 等库的 assay 元数据自动补全与审计工具，输出证据片段供人工复核。
• 在数据准备平台中加入 BAO 字段覆盖率监控看板，优先标注缺失率超过 89% 的 BioAssay type 字段。
• 针对 underrepresented 类别设计主动学习流程，用 LLM 预标注再由专家校正，降低类别偏差。
• 为分子性质预测产品提供标注一致度评分，帮助客户判断训练数据是否达到可用门槛。

• 该研究未完整披露七种 LLM 的具体名称、版本与提示策略，复现条件不明确。
• LLM 标注在 underrepresented 类别上的实际准确率与人工复核成本尚未给出量化结论。
• 该方法能否迁移到 PubChem 与 ChEMBL 之外的工业筛选数据库，证据不足。
• LLM 生成证据促使专家改标的规模与频率未披露，难以评估其错标发现率。