ListQA：评估大语言模型列表式事实知识检索的基准

研究团队发布 ListQA 基准，包含 9,045 道人工整理并交叉验证的问题，错误率经审计为 1.7%，要求大语言模型回忆多个事实并组织成 3 至 10 个元素的结构化列表，题目从扁平列表到带子属性的层级列表，覆盖八个类别与 60 多个国家，并采用显式时间约束或历史不变事实的常青设计保持标准答案有效。

以往事实知识基准几乎只考察单一答案检索，忽略了现实问题常需组织成组事实的需求。ListQA 把评测目标转向多事实回忆与列表组织，并给出可量化的错误率、模型排名和失败模式，使列表式知识检索从无基准变为可比较。

评测将元素匹配建模为线性求和分配问题，用最优二分匹配结合大语言模型语义评分，同时衡量事实准确性、幻觉和格式合规。基准测试 34 个模型、8 个家族、42 种配置，结果显示最佳标准推理模型 LLM-Judge-F1 低于 37%，提供来源 Wikipedia 页面后得分大幅提升，说明模型能组织事实但难以仅从参数中检索。

对依赖模型直接回答列表型问题的产品，例如旅行清单、赛事名单、合规检查项，当前准确率偏低，需要在流程中加入检索来源或外部知识库作为支撑；同时二分匹配加语义评分的评测方式可被复用于内部质量监控，额外增加评测成本。

• 将 ListQA 的二分匹配加语义评分方法接入内部评测流水线，用于监控列表型回答的事实准确性与格式合规
• 在面向用户的列表型问答产品中默认接入 Wikipedia 或企业知识库检索，降低对模型参数记忆的依赖
• 针对多面性问题单独建立回归测试集，优先优化带子属性的层级列表场景
• 基于 ListQA 的常青设计维护长期有效的评测集，减少因时效变化导致的标注更新成本

• ListQA 在中文或其他非英语场景下的表现是否与英文一致
• 提供来源页面后得分提升的具体幅度和成本开销未被量化
• 34 个模型中各家族、各配置的详细得分分布未在摘要中给出
• 基准是否会被后续模型快速饱和，以及维护周期如何安排