VERITYGATE：面向结构化证据的 LLM 叙述四门校验框架与配对基准

论文提出 VERITYGATE，一个按固定 schema 校验声明证据 ID、实体、数字与主张类型的四门检查器，并用 450 对 grounding/非 grounding 配对、每设置 900 条样本，测试 GPT-4o-mini、Llama-3.3-70B 与 Claude Sonnet 4.6。修复前 mini 有 80.3%、Sonnet 有 47.9% 的声明未通过校验，一次修复后生存率分别升至 28.0% 与 54.3%，作者同时发布代码与数据。

以往评测多关注叙述是否流畅或通常意义的幻觉，而该工作把注意力转向“声明是否可由结构化证据支撑”，并给出可复现的配对基准与拒绝率指标。它提醒产品方，模型说得通不等于有据可依，且需同时观察声明存活率与输出量的变化。

框架不校验整段文本的每个事实，只检查声明是否绑定到已声明的证据 ID、实体、数字与主张类型，因此属于 schema 级契约校验。修复会改变声明存活率，也会改变每例通过校验的声明数量，故单独看生存率会失真。人工研究和 GPT-4o judge 测试仅作为有限补充。

对依赖结构化数据生成说明的产品，可在生成后加入类似四门校验与一次修复环节，并把声明存活率和输出量一起监控。由于不同模型差异明显，Llama 与 Sonnet 修复后通过声明数反而下降，上线前必须按模型实测，避免自动修复造成可用内容缩水。

• 在现有结构化数据叙述生成流程中，接入按证据 ID、实体、数字、主张类型的校验门，先拦截不可支撑声明再输出。
• 将“声明存活率”和“每例通过校验声明数”同时纳入模型上线看板，按模型分别设置阈值。
• 针对 Gate 4 覆盖率高的失败类型，优先设计按主张类型的人工抽检或二次修复策略。

• 论文所称 80.3% 与 47.9% 是校验器拒绝率而非叙述幻觉率，真实面向用户时的错误率如何换算。
• 一次修复虽提升存活率，但 Llama 与 Sonnet 每例通过声明数下降，业务上是否可接受尚未验证。
• GPT-4o judge 仅作为有用性检查且存在顺序效应，能否替代或补充人工评估仍不明确。
• 代码与数据已发布，但在中文或多语言结构化证据场景下的表现未见证据。