LLM 评估结论有多可复现？对 LLM 推断 prompt 结构的自我审计

一项研究以 LLM 推断 prompt 结构为案例，自审评估结论的可复现性。作者测试八个开源模型变体、五个家族、8B 到 675B 参数，关闭缓存并保留 293 份原始中间表示。结果发现相同调用无法稳定恢复相同结构，并进一步削弱排名结论：只有最差模型稳定垫底，最佳模型并不可靠；不同的合并规则会改变八行中的四行与整体结论 7 个百分点。

此前小样本 prompt 评估常被当作可信排名表，直接用于模型选型。该研究显示，同一评估在重复运行、合并规则和端点可用性变化下会得出不同结论，说明排名的稳定性本身可能比排名更关键，评估结论不再是确定性事实。

LLM 推断结构对相同调用本身就不稳定，节点集合 Jaccard 在 0.39 到 0.96 之间，72% 的 prompt-模型组合无法完全一致。在 prompt 上做联合聚类 bootstrap 后，中位模型的排名仅在 27% 到 48% 的重复中保持；两种同样合理的合并规则也会改变结论。可复现性不能等同于准确率，且部分端点被撤回使研究无法按原样重跑。

依赖 LLM 评估排名做选型或验收的团队，需要把排名稳定性、每格来源、敏感性对比、逐次原始输出和测量日期纳入评估报告。产品侧若直接展示排名表，可能放大不可靠结论；研发侧应保留原始运行记录，避免在端点变动后无法复现历史结论。

• 在模型评估平台中加入排名稳定性指标，展示每个模型在 bootstrap 重复中的排名分布。
• 提供逐 prompt-模型单元的来源追踪与原始输出下载，支持审计复现。
• 内置合并规则的敏感性对比功能，自动展示不同合理规则下的结论差异。
• 为评估结果附加测量日期与端点状态标记，端点移除后自动提示结论不可重跑。

• 结论在非开源闭源模型或不同任务类型上是否同样成立？
• 293 份中间表示之外，是否有更细粒度的失败模式可以分类？
• 排名稳定性指标应如何在产品中被用户正确解读，是否存在误用风险？