OenoBench：面向大语言模型的知识接地评估的葡萄酒领域基准

研究人员发布 OenoBench，一个葡萄酒领域知识基准，含 3266 道多选题，覆盖六个支柱和四个难度层级。语料由 35 个来源可验证的爬虫从政府登记处、同行评审期刊和维基百科提取 38104 条原子事实构建，并用 LLM 流水线生成和审计问题，确保每个声明可追溯。评估 16 个前沿配置，准确率 53%-84%，o3 最高达 83.6%。数据集、审计发现、人工审查应用和代码以 CC-BY-SA-4.0 发布。

此前缺乏专门针对葡萄酒领域的知识接地评估基准，难以衡量模型在专业垂直领域的表现。OenoBench 基于来源可验证的事实构建，并引入 LLM 审计机制，提供了更可信的评估方法，能更准确地揭示模型在专业领域的知识边界和推理能力差异。

OenoBench 通过 LLM 驱动的流水线，将已验证事实重格式化并审计结果，但模型不充当真相来源，从而保证事实可追溯。评估发现不同模型在自身生成的问题上存在偏好偏差，且所有配置存在参数化记忆上限，仅上下文片段能突破，说明模型表现受训练和上下文影响。

对 AI 产品团队，可参考其审计方法提升知识密集场景的可靠性；对不同模型的选择提供成本-性能权衡数据；葡萄酒行业可借此评估和优化相关 AI 应用，如知识问答或推荐系统。

• 基于 OenoBench 评估数据，为葡萄酒垂类应用选择最优模型，优化成本与准确性。
• 利用其审计流水线，为知识密集型产品构建可追溯的事实验证机制。
• 开发针对模型偏好偏差的校准工具，提升生成内容的客观性。
• 借鉴其数据构建方法，为其他垂直领域创建高质量基准数据集。

• OenoBench 的基准是否能泛化到其他语言或非西方葡萄酒产区？
• 模型在 OenoBench 上的表现与人工专家对比如何？
• CC-BY-SA 许可对商业使用的具体限制是什么？