无依据不评判：面向版本化 AI 评估器的反事实收据

arXiv AI 发布论文“No Judgment Without a Reason”，提出用反事实判断立方体（八种单元）和判断收据（最小替代集）来解释评估者判断转变，并发布 ReasonBench 基准（含 19,520 个案例和 7,200 个对照组）。冻结评估中，Qwen3-1.7B 收据准确率 98.41%，立方体预测 96.99%；但干扰源置换后收据恢复率降至 54.8% 和 49.2%，显示标准准确率掩盖了鲁棒性缺陷。

此前评估只检查最终标签正确性，忽视推理是否合理；该研究首次系统化评估推理问责，揭示高准确率掩盖的严重鲁棒性问题，对依赖评估器做门控、路由或训练反馈的智能体系统提出警示。

通过变化三个来源（依据、规范、权威）构建反事实判断立方体，以最小源替换集（判断收据）解释评判转变。认证成本界限和基准验证表明，仅训练简单单源变化无法泛化到复杂多源更新，但重训练提升一致性却加剧立方体预测缺陷，说明结构化反事实监督不能保证稳健推理，预测与认证需解耦。

若评估器用于门控决策、路由审查或训练反馈，现有高准确率可能带来错误安全错觉，导致生产事故或数据污染。需要额外投入进行推理审计，增加评估成本。

• 为评估流程增加判断收据生成模块，输出推理依据最小集，辅助人工审计
• 基于 ReasonBench 基线，开发鲁棒性诊断工具，预警评估器推理脆弱性
• 设计预测与认证分离的评估架构，平衡准确率与可解释性
• 针对复杂多源更新场景，训练更稳健的评估模型，提升收据恢复率

• 该方法对非逻辑推理类评估（如情感判断）是否适用
• 判断收据生成的实际计算开销及在线上系统延迟影响未量化
• 简化重训练能否在不牺牲立方体预测的前提下提升鲁棒性
• 该论文是否经过同行评审尚未确认