CRJudgeBench：AI 能否识别看似合理但错误的代码评审？

研究者提出 CRJudgeBench，用于评估 AI 能否判断某条 code review 评论的技术主张是否成立且适用于仓库上下文。该基准含 1199 个实例，来自真实 pull request 与专家验证的扰动，覆盖可信与看似合理但不可信的评论。作者还提出 Sentinel，从 Qwen3-Coder-30B-A3B-Instruct 出发，在训练集上通过迭代式动作级学习训练，在 359 条测试集上达到 76.60% 准确率，超过 GLM-5.3 6.13 个百分点、超过基座模型 19.78 个百分点。

此前 code review 基准多衡量评审生成、问题发现或评论质量，并未直接检验 Agent 能否判断单条评论在仓库语境下技术是否可信。该工作把评估对象从“生成好坏”转向“判断真伪”，并显示通用大模型在此任务上仍有明显缺口。

大模型生成的评审文字流畅，但技术主张可能错误或不适用于当前仓库。Sentinel 的做法是先主动收集代码证据，再对评论做判断，并以特权教师信号进行迭代式动作级学习，从而把“读起来合理”与“技术上成立”区分开。

对 AI 代码评审类产品，输出流畅评论已不够，需要加入仓库级证据检索与可信度校验，以降低误导开发者的风险。对研发流程，可把此类判断器作为评审前置过滤或人工复核排序依据，但准确率仍不足以完全自动拦截。

• 在代码评审工具中加入评论可信度校验环节，对每条 AI 评审先检索相关代码再给出可信或可疑标记。
• 基于 CRJudgeBench 的公开数据集，对内部代码评审模型做动作级微调，降低错误技术主张的漏检率。
• 为团队提供人工复核队列，按技术不可信概率排序 AI 评审评论，优先处理高风险建议。

• CRJudgeBench 与 Sentinel 在证据中仅出现于单一 arXiv 来源，尚未确认是否经过同行评审。
• 1199 个实例的领域、编程语言与仓库类型分布未在证据中说明，泛化能力待确认。
• 76.60% 准确率在真实生产环境中的误报与漏报成本尚未评估。
• Sentinel 依赖特权教师训练，其方法能否迁移到其他代码模型或低成本模型尚不清楚。