旧观念与新问题：基于 LLM 的新颖性评审不稳定

一项 arXiv 论文对基于大语言模型的创意新颖性评审做了系统受控研究。作者从 OpenReview 挖掘审稿人明确肯定或否定论文原创性的段落，只保留研究领域内评价一致的投稿，并与普通 LLM 生成的想法配对，测试六个评审模型。结果显示提示词的微小改动会大幅改变判定，简单提示审稿人认为一个想法新颖就能让超过一半相同想法对的结论翻转，成对准确率变动超过 50 个百分点。

自动化创意系统常以 LLM 判断新颖性，但这类评审器多在人工撰写的论文上验证，而非其真正要打分的生成想法。该研究说明评审结论对提示设计高度敏感，可能动摇此前报告的创意新颖性提升，并把评估方法本身变成需要验证的对象。

研究把评审器置于受控输入下，只改变提示中对审稿意见的陈述，发现同一想法对的判定会翻转，且同一改动对不同评审器影响相反。检索增强和更大推理预算帮助有限，两个专门构建的新颖性评审器还不如最便宜的提示基线，说明当前 LLM 新颖性判断更依赖提示语境而非稳定能力。

如果产品用 LLM 给生成想法打新颖性分，分数可能不可复现，A/B 对比和效果宣称也会失真。研发需要固定提示版本、加入对照与人工校验，并把新颖性评审从单一分数改为多次采样或成对比较，避免把提示敏感度当作真实质量差异。

• 在创意生成产品中加入提示词敏感性检测，对同一批想法用多种提示重复打分并报告一致性。
• 为新想法的评审建立成对比较流程，替代单一新颖性分数，降低提示改动带来的翻转风险。
• 提供评审器回归测试集，用人工标注的极端新颖与不新颖想法定期检验评分稳定性。
• 在对外报告创意系统效果时附带评审方法、提示版本和置信区间，减少不可复现的宣称。

• 该研究结论是否适用于中文或其他语言的创意生成场景？
• 能否通过训练或校准让 LLM 新颖性评审达到可复现的稳定水平？
• 用人类评审替代 LLM 评审的成本与一致性差异有多大？
• 论文的评估集和代码是否公开，可被第三方独立复现？