- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月29日 10:39
- 状态
- 单一信源
发生了什么
arXiv 论文提出 CorpusMap,把只作为扁平文件集合暴露的语料,按文档中反复出现的实体组织成导航层:为每个实体建立 Entity Page,聚合该实体信息并链接到所有提及它的文档,形成可遍历的实体—文档图。该层在离线阶段通过跨文档实体消解构建,链接在多次查询间共享。作者用 7 个模型、3 个基准数据集对比原始语料的智能体检索,称 CorpusMap 在提升证据发现与答案质量的同时平均消耗更少 token。
为什么重要
此前 LLM 智能体面对扁平语料时,每个查询都要重新发现文档间关系,容易漏掉互补证据并消耗大量 token。CorpusMap 把这种关系发现从推理时前移到离线构图层,使跨文档关联可复用,改变的是检索基础设施的组织方式,而不只是单次检索策略。
底层逻辑
文档本身会反复提及可识别的实体,这些实体天然能把单个文档与跨来源的多个文档连接起来。CorpusMap 在离线阶段解析同一实体的不同提及,构建 Entity Page 与文档的双向链接,形成图结构;智能体沿图遍历即可聚合分散证据。由于链接不依赖具体查询,多次推理可共享同一结构,减少重复搜索和无效 token 消耗。
产品与商业机会
对研发团队而言,可把语料预处理成实体—文档图作为检索中间层,降低智能体每轮搜索的 token 成本和漏检率;对产品侧,可在知识库、客服、文档助手等场景中提供更稳定的多文档证据聚合,但需增加离线实体消解与图维护环节,并处理实体更新带来的图同步成本。
- 在企业知识库产品中增加离线实体图谱层,把散落文档按项目、客户等实体聚合,供智能体检索调用。
- 面向文档问答类产品,提供实体页作为可跳转的证据入口,帮助用户核对跨文档结论。
- 将实体图构建做成可复用的中间件,支持不同模型或检索框架接入,降低重复开发成本。
- 针对 token 成本敏感的智能体场景,提供对比原始语料检索的评测报告,验证节省效果后再规模化。
仍待确认
- CorpusMap 在 7 个模型和 3 个基准上的具体提升幅度与 token 节省比例未在证据中给出。
- 离线实体消解的错误率及其对下游答案质量的影响尚未说明。
- 语料持续更新时,Entity Page 和链接的增量维护成本与时效性未披露。
- 该方法在实体密度低或实体歧义严重的领域是否同样有效,证据不足。