第二个模型何时有帮助？LLM验证中的跨模型评审实验

一项受控实验用30个产物、150个植入错误、10种评审条件和900次评审会话，比较同模型与跨模型评审。来自两个开发者的三个评审模型中，顶级跨模型评审与同模型新会话评审的F1无显著差异；两者发现的错误仅部分重叠（Jaccard 41.2%）；两次评审中，一次同模型加一次跨模型比两次同模型发现更多植入错误（56.7%对42.7%，Holm校正p=.006），但与顶级跨模型评审的两次评审相比不显著，模型差异与评审能力未能分离。

此前相关预印本只在单一模型内改变上下文、重复次数和角色结构，这次把变量换成模型独立性，用多个开发者提供的评审模型做对照实验。结果提示同模型新会话评审与顶级跨模型评审的F1相当，跨模型组合的增益可能来自评审次数或评审能力，而非模型差异本身。

实验通过10种评审条件与900次会话，测量植入错误发现率和F1，并用Jaccard系数衡量错误发现重叠度。不同模型发现的错误部分不同，说明错误覆盖存在互补性；但由于顶级跨模型评审单独两次的效果同样好，组合优势无法归因于模型独立性。低配跨模型评审未优于同模型评审，且隐藏需求对低两级评审F1的影响只体现在未检验的点估计上。

若在产品中配置AI评审环节，增加第二次评审可能提升错误发现率，但不能假定换一个模型就更好；同等能力评审模型重复评审可能达到相近效果。评审会话的异常记录和失败调用需被审计与剔除，否则指标会被污染。低配模型不能作为省钱替代方案。

• 在代码或文档生成流程中默认加入第二次独立评审会话，并统计其相对单次评审的错误发现增益。
• 建立跨模型与同模型评审的A/B对照，按评审模型层级分别记录F1与错误重叠率，避免只凭模型差异下结论。
• 对评审会话增加失败调用与异常来源记录，形成可审计的评测数据集。
• 针对低配评审模型，先验证其F1是否达标再用于生产评审，不作为默认降本选项。

• 跨模型评审的增益在更大规模或不同任务上是否仍成立？
• 不向评审者提供需求时F1变化为何只出现在低层级模型，是否稳健？
• 一次同模型加一次跨模型与两次顶级跨模型评审在实际产品中成本与收益如何权衡？
• 被排除的1次来源不明基线和14次失败调用对结论的影响有多大？