LLM 数据代理的轨迹完整性：现实系统可审计结构化推理的愿景

arXiv 论文提出 Trace Integrity 标准，用于评估 LLM 数据代理在结构化数据任务中的计算记录是否可审计。论文引入执行契约和 CAIT 率，并在 BIRD Mini-Dev 上验证，显示答案准确率、轨迹有效性和静默失败风险是三种不同的评估信号。

此前业界主要依据答案准确率评估 LLM 数据代理，但该论文指出，基准测试中的正确答案可能来自无效轨迹，这会导致部署中静默失败风险被忽视。引入 Trace Integrity 作为新的可靠性标准，为数据代理的评估和审计提供了更严格的维度。

论文认为自然语言推理和自由文本理由无法可靠地指定真实系统所需的操作级程序，从而产生“结构缺口”。执行契约将用户意图绑定到模式元素、操作计划、假设、可执行查询、验证状态和最终答案，使计算过程显式化、可复现和可审计。CAIT 率衡量仅用答案评估时，将不支持的计算输出误判为成功的频率。

对于构建 LLM 数据代理的产品，需考虑引入执行契约机制，记录操作用户的每一步推理和查询，以支持审计和溯源。这可能增加开发成本，但能降低因静默失败导致的数据错误和合规风险，提升企业级场景下的可信度。

• 为数据代理产品增加 Trace Integrity 检查功能，展示执行轨迹和验证状态，作为企业合规卖点。
• 构建基于执行契约的调试工具，帮助开发者定位无效轨迹并改进提示或代理流程。
• 设计集成 CAIT 率的评估体系，用于内部测试和客户报告，突出与传统准确率指标的差异。
• 探索将 Trace Integrity 扩展到非 SQL 结构化作答场景，如表单生成或知识图谱查询。

• Trace Integrity 在更大规模、多样化的真实数据集上的表现如何？
• 执行契约的生成成本和对延迟的实际影响尚未量化。
• 如何将 Trace Integrity 与现有 LLM 应用框架（如 LangChain）集成？
• 审计标准是否需要行业统一规范，目前仅有论文提出的愿景。