查询驱动的长文档多模态信息抽取

本文提出查询驱动的多模态长文档信息抽取任务，要求模型输出查询对应的文本属性和图像边界框。作者构建了首个手工标注基准ITJoint，包含2455页领域文档、316个查询和910个答案实例，并设计多智能体协作框架Q2IT。实验显示，独立VLM在此任务上表现不佳，Q2IT显著提升性能，但仍未完美。

现有DocVQA等范式仅生成文本答案或定位证据区域，无法联合输出查询对应的文本属性和图像。此研究首次提出图文联合抽取任务，对多模态文档理解提出了更高要求，可能推动更全面的信息抽取应用。

该任务需同时理解用户意图和文档内容，基于此设计了查询级和实例级的两层分类法。Q2IT框架通过三个协作智能体（证据收集、页面选择、目标图像定位）逐步处理，采用联合评估兼顾文本抽取和图像定位，从而提升多模态联合抽取效果。

对文档处理类产品，此技术可增强从长文档中提取结构化信息的能力，输出更丰富的文本与图像关联结果，提升用户体验。但独立VLM表现不佳，说明需要复杂框架支持，可能增加研发成本和推理耗时。

• 在文档信息抽取产品中集成图文联合抽取功能，输出文本属性及对应图像位置，满足查询需求。
• 利用Q2IT多智能体框架优化长文档处理流程，提升复杂查询的响应准确率。
• 基于ITJoint基准开发定制化VLM微调方案，提升特定领域文档的联合抽取能力。

• Q2IT框架在真实场景中的推理速度和部署成本如何？
• 独立VLM在该任务上的失败具体原因是什么？
• ITJoint基准是否覆盖多语言或不同领域的文档？
• 该任务对OCR依赖度如何，处理扫描件时性能表现未知。