从表格到量化陈述：用可执行验证评估 LLM 推论生成

arXiv 论文提出 STAT-TO-TEXT 受控任务，让 LLM 从统计表生成含 all、some、no、most 等量化词的自然语言推论，并用 LLM 生成的 Python 检查代码在表上执行真值条件验证。研究比较四个开放权重模型，按忠实性、逻辑准确性、表格覆盖度和多样性评估，发现模型规模与家族有影响，最大的 GPT-OSS-120B 在保持覆盖度和量词多样性的同时忠实性最高，人工标注也显示自动检查器与人类判断较一致。

以往评估表格到文本多依赖流畅度或人工打分，输出是否被结构化数据逻辑支持难以自动核验。该工作把推论的真值条件写成可执行 Python 代码，使忠实性可被机器复算，并给出模型规模与家族对量化推论质量的对比证据，把评估从表面语言质量推进到逻辑可验证。

机制是把自然语言量化陈述映射为可执行真值条件：模型先生成含量词的推论，另一个 LLM 生成针对该表格的 Python 检查器，运行时逐条判定推论是否被数据支持。这样把语义忠实度转成可复算的判定结果，再以忠实性、逻辑准确性、覆盖度和多样性四个维度横向比较不同家族与规模的模型。

对做表格问答、报表摘要和 BI 助手的产品团队，可把类似可执行检查器接入生成链路，作为发布前或运行时的忠实性门槛，减少无数据支撑的流畅表述。评估维度也提示选型不能只看模型大小，需在覆盖度与量词多样性上同时验证，开发成本会增加一层验证代码的生成与维护。

• 在表格摘要或报表问答功能中加入基于可执行检查器的忠实性拦截，对未通过真值条件验证的句子要求重写或标注不确定。
• 在模型选型评测中引入量化词覆盖度与多样性指标，避免只比较流畅度而遗漏逻辑正确性。
• 将 LLM 生成的 Python 检查器做成可复用的评测资产，用于回归测试表格到文本功能的逻辑忠实性。

• 自动检查器在更复杂统计表、多表关联或含时间维度的数据上是否仍与人类判断一致？
• 该评估只覆盖四个开放权重模型，结论能否推广到闭源模型或其他语言？
• 检查器代码本身出错时如何发现和纠正，论文未说明其错误率与容错机制。
• 该方法能否用于训练阶段改进模型，而非仅用于事后评估，证据中未涉及。