基于 Schema 指导的层级信息提取与生成式 AI 语义评估

arXiv AI 发布论文，提出一种基于 schema 的框架，使用生成式 AI 从非结构化文本中提取层级化、嵌套的结构化信息，并引入路径匹配算法与语义评估标准。在 NICE 文档上，用 Claude Opus 3 成功提取了 14 个属性中的 12 个，F1 值超过 90%，耗时约为人类专家所需时间的 1/30。

生成式 AI 提取结构化信息此前多为扁平、非标准化，难以对齐复杂嵌套数据。本框架引入 schema 作为统一信息模型，支持零样本单次提取，并自动评估结果，在医疗技术评估文档中达到高准确率且速度远超人工，展示了自动化提取专业文档信息的可行性与通用性。

该框架利用 schema 编码领域知识，指导模型在单次调用中提取层级属性（支持可变基数）。评估阶段采用基于路径的语义匹配算法，对齐提取结果与黄金标准中的嵌套属性，并使用生成式 AI 对属性值进行语义比较，根据领域考虑将其分类为精确匹配、语义匹配、有效或无效。

对产品研发团队，意味着可借助该框架快速构建文档信息提取工具，降低数据标注成本，缩短信息处理周期。在医疗、法律、金融等专业文档处理场景，能显著提升自动化程度，减少人工投入，同时保证输出质量可量化评估。

• 开发基于 schema 的可配置信息提取服务，支持用户自定义领域模型，自动生成提取与评估流程。
• 将框架集成到 HTA 文档处理工具中，自动提取关键属性并生成结构化报告，辅助评估决策。
• 利用该框架构建多语言、跨组织的语义评估基准，用于比较不同生成式 AI 模型的提取性能。
• 面向垂直行业推出 API，提供零样本、高准确率的信息提取与语义校验能力，按调用量定价。

• 框架在非健康技术评估领域的准确率和耗时表现是否一致，缺乏独立验证。
• 严重依赖具体模型（Claude Opus 3），在其他模型上的表现仅声称可迁移，无详细数据。
• 未提供与其他方法（如微调模型）性能对比的实验数据。
• schema 的构建和维护成本未描述。