Just Ask Jev：用校准决策的强化学习做 AI 对齐失败的零样本检测器

该论文提出 Jev，一个用校准决策强化学习（RLCD）训练的模型，可在单次调用中对同一输入回答多个带类型的问题，并给出校准概率。作者构建 RLCDAlignBench，覆盖谄媚、越狱、欺骗、提示注入、幻觉、隐私侵犯、社会偏见、奖励黑客、隐瞒不确定性和权力寻求十类对齐失败，横跨 44 个基准和五个目标模型。单个通用问题零样本达到中位 AUROC 0.886，在多数基准上优于有监督基线，成本比 LLM-judge 低 63 倍。

此前检测对齐失败多依赖生成式 judge，每个判据都要一次解码，或像 Llama Guard 那样每次调用只给一个固定标签。Jev 用一次调用回答多个问题并输出校准概率，且零样本即可超过多数有监督基线，这为对齐评测提供了更低成本的替代路径。

论文将“问什么”和“看到什么”解耦：改变问题措辞与答案类型，与改变输入字段相互独立。实验显示问题措辞影响很小，上下文影响更大，主要来自编码标签的字段。许多对齐失败是关系性的，需对照用户信念或注入指令等参考信息，单看回答无法判断，因此输入字段的选择成为检测效果的关键变量。

对评测与风控流程而言，单次调用多问题加校准概率可显著降低评分成本，论文称比 LLM-judge 便宜 63 倍。团队可将对齐检测从逐判据解码改为一次批量提问，同时利用校准概率设定阈值。论文还指出 Jev 能暴露现有基准的标签缺陷，提示评测数据本身需要复核。

• 在模型上线前的评测流水线中，用 Jev 单次调用替代多轮 LLM-judge 打分，按 63 倍成本差重估评测预算。
• 基于校准概率设置风险阈值，把高概率判定为对齐失败的样本接入人工复核队列。
• 在自建对齐基准时，用 Jev 与人工标签的一致性交叉校验，定位疑似标签缺陷样本。

• RLCDAlignBench 的 44 个基准与五个目标模型具体是哪些，证据未列出。
• 0.886 的中位 AUROC 在不同失败类别之间的分布与最差类别表现未给出。
• 论文提到的代码与数据仓库链接被截断，尚不能确认可复现性。
• Jev 与 Llama Guard 等分类器在同等成本下的直接对比结果未在证据中给出。