两级元评分框架评估开放式生成：GAMUT，一个事实完整性基准

GAMUT是一个评估长文本生成事实完整性的基准测试，采用两级元评分框架。它基于真实可穿戴图像数据构建了1813个问题，并配有人工验证的评分标准。评估14个前沿模型，最佳得分仅58.7%，表明该基准具有高挑战性和强区分度。

此前评估长文本生成主要关注事实精确性（判断陈述是否正确），而忽略了事实完整性——即响应是否包含所有必要信息。GAMUT首次系统性地衡量完整性，填补了评估的空白，暴露了当前模型在完整性上的显著不足。

框架包含两级：结构化元评分捕获内容组织和重要性，再机械编译为二进制、可机器评分的清单，由LLM裁判进行可靠评分。由于框架与模态无关，还发布了纯文本变体，可跨领域使用。

AI产品开发者需关注模型在事实完整性上的表现，GAMUT提供了新的评估维度。模型选择、提示设计或训练策略可能需要针对完整性进行优化，以避免生成内容在关键信息上遗漏。