测量缺乏有效性：代理式 AI 评估中的复合可靠性问题

arXiv AI 于 2026 年 8 月发布论文，指出代理式 AI 系统依靠自动化基准分数进行部署、安全认证和合规声明，但这些分数系统性不可靠。研究审计了十个流行基准，发现七个存在有效性缺陷，十个都存在报告缺口；LLM 模拟器替换人类用户时，模拟器间方差最高达 9 个百分点，并存在方向性校准偏差；调查 55 篇论文发现约 82% 使用了结构错配、不完整或缺失的评分者间信度指标。这些失败以乘法方式复合，独立情况下管道有效性最多为 36%，相关失败时进一步收紧。

该研究首次系统量化了代理式 AI 评估中任务生成、用户模拟和判断三个层级的可靠性问题，并证明它们复合叠加，使基准分数远低于行业普遍认知的可信度，直接影响 AI 产品的部署决策、安全认证和合规申报基础，为评估方法提出了可操作的心理测量学标准。

代理式 AI 评估依赖自动化管道：LLM 生成任务、LLM 模拟用户、LLM 判断结果。每一环节都会引入误差，且误差以乘法方式复合（V总 ≤ V1×V2×V3），最终信号有效性上限大幅降低。当同一模型家族贯穿三层时，误差相关性使问题更严重，导致基准分数与真实能力脱节，难以作为可靠决策依据。

该研究直接影响依赖自动化基准评估 AI 产品的团队：基准分数可能高估真实能力，导致错误的产品上线或安全声明。团队需审视现有评估管道，补充人工抽查或校准步骤，调整质量标准，尤其要关注非标准英语用户场景的模拟偏差，否则可能引发合规风险或用户体验问题。

• 开发基于 ICC(A,1)≥0.70 的模拟器校准工具，供 AI 评估团队验证代理可靠性。
• 提供领域分层可靠性阈值（α≥0.67/0.70/0.80）的自动化检测服务，优化评估管道。
• 针对非标准英语用户，构建更准确的用户模拟器或引入辅助校准层，提升评估有效性。
• 推出评估健康检查咨询，帮助企业识别并修复其评估管道中的可靠性漏洞。

• 论文中提到的八个处方中，除模拟校准和分层阈值外，其余六条具体内容是什么？
• 证据中未提及基准名称，具体哪些流行基准存在有效性缺陷尚未明确。
• 研究是否量化了复合问题对实际产品性能指标（如用户满意度）的影响？
• 论文是否提出了成本可控的缓解方案及其效果验证？