超越模仿：面向 LLM 辅助同行评审的框架与基准

该论文指出，科学出版尤其是机器学习领域投稿量激增，同行评审质量下降、审稿人负担加重。已有 LLM 评审助手多以模仿人类写作为评价目标，作者提出以验证为中心的新视角，把错误检测视为评审的核心任务，并构建可扩展基准：向会议论文中合成插入逻辑矛盾等错误，形成明确评估目标。作者同时提出 Multi-Layered Review（MLR）框架，先深入理解稿件再生成评审。

此前 LLM 评审研究多以“像不像人类评审”为评价标准，难以判断系统是否真正承担评审职能。该工作把评价目标从模仿转向可验证的错误检测，并给出可系统比较的合成基准，使不同评审系统之间首次有了较清晰的对照口径，也把对抗鲁棒性重新纳入讨论。

其机制是：用合成方式向真实会议论文注入错误，从而获得标签明确、可复现的评估目标，避免依赖主观的人类评审文本作参照。MLR 框架则先做稿件理解再生成评审，贴近人类审稿流程，并声称提升 token 效率。论文同时指出，改进既来自底层 LLM 选择，也来自系统设计，且系统仍易受对抗性操纵。

对做学术工具、投稿平台或评审辅助产品的团队，这意味着评估重点应从生成文本的自然度转向错误检出率与可核查性；MLR 式的先理解后生成流程可作为架构参考，同时需预留对抗输入的防护与人工复核环节。token 效率的说法若成立，可影响推理成本设计。

• 搭建内部评审助手评测集：向自有或公开论文注入逻辑矛盾，衡量系统的错误检出率与误报率。
• 在评审类产品中采用先结构化理解、再生成意见的两段式流程，并对比单段生成的 token 成本。
• 为评审输出增加可定位到原文段落的引用，便于人工核查其检出结论是否成立。
• 针对对抗性输入设计鲁棒性测试用例，作为上线前的固定回归项。

• 该基准的具体规模、覆盖会议与错误类型分布尚未在证据中说明。
• MLR 与基线方法在错误检测和人类评分对齐上的具体数值未给出。
• 对抗性脆弱性的具体攻击形式与严重程度未被披露。
• 证据仅来自单一 arXiv 摘要，基准与框架是否开源或可复现尚不明确。