RAIM：面向幻觉检测的廉价模型鲁棒聚合方法

论文提出 RAIM，一种面向幻觉检测的廉价模型聚合方案，用十个来自不同家族的 4—9B 开源裁判模型组成评审团，替代 Claude Sonnet 等前沿专有裁判。在八个忠实度基准上，该评审团保留前沿模型 Cohen's κ 中位数的 93%，平衡准确率平均仅下降 2.9 个百分点，推理成本为前沿模型的六十四分之一，代价是需要对 50—100 条标注样本做一次性域内校准。

此前自动忠实度评估高度依赖昂贵的前沿专有模型做裁判，难以支撑高吞吐监控。该工作显示，经过合理聚合的多个小型开源裁判可在多数基准上接近前沿裁判水平，同时把主要开销从持续推理转为一次性校准，为大规模、低成本的幻觉监测提供了可量化的替代路径。

RAIM 用交叉拟合的堆叠逻辑回归做聚合，以降低成员之间相关误差带来的偏差，并加入基于成员自身输出的可采纳性检验，判断聚合是否优于最佳单成员、是否仍在前沿裁判可及范围内。因此聚合收益并非必然：只有当多个有能力的成员在不同样本上犯错、错误来源分散时，评审团才更可能优于任何单个成员。

对需要持续监控生成内容忠实度的产品，可用一组 4—9B 开源模型替代或部分替代前沿模型裁判，推理成本降到约六十四分之一，但需预留 50—100 条标注数据做一次性域内校准，并接受部分基准上平衡准确率下降约 2.9 个百分点、个别基准明显变差的风险。

• 将 RAIM 式多裁判聚合封装为评估服务，按域用 50—100 条标注样本校准后对外提供低成本忠实度打分。
• 在自有业务数据上先做小规模对照：比较评审团与现有前沿裁判的 κ 与平衡准确率，再决定是否迁移。
• 针对成员错误分散度设计成员筛选流程，优先纳入家族不同、错误模式互补的 4—9B 模型。
• 为高吞吐监控场景提供分层方案：评审团聚合作初筛，仅对争议或高风险样本调用前沿模型复核。

• RAIM 在中文或非英语任务上的表现是否与八个英文忠实度基准一致，证据未覆盖。
• 一次性域内校准所需的 50—100 条标注样本如何获取与维护，标注成本是否被低估，证据未说明。
• 聚合结果在三个基准上明显变差的具体原因和适用边界，摘要未给出细节。
• 十个 4—9B 模型的部署与运维成本是否计入总成本比较，证据只给出推理价格比例。