OSCAR：面向 AI 排名的顺序感知评分与校准

arXiv 论文提出 OSCAR，一个在 AI 排名中同时考虑顺序效应并进行分数校准的框架。作者用 18 个评估者的已发布判断数据，发现同一对回答的 A 减 B 得分差在不同呈现顺序下从 -63.11 个百分点到 98.31 个百分点不等；在匹配题目、回答文本、候选身份与判断者后，总体差异为 24.22 个百分点。作者将位置、长度和模型家族项加入基于敏感度的排名方法，并在四个数据集上验证。

此前基于敏感度的配对 LLM 评估聚合，通常只估计判断者对每个模型或题目的敏感度，未把位置等呈现效应作为独立项显式建模。OSCAR 指出忽略位置截距会显著压低最优斜率，并显示仅校正均值或协方差都不足以达到覆盖区间，说明排序校准需要同时处理两者。

排序模型把展示位置视为系统性效应而非噪声。若位置效应被遗漏，基于敏感度的聚合会把顺序带来的偏差误算成模型偏好，导致最优缩放系数被压缩。OSCAR 为每个判断者加入位置、长度和家族项，并把 prompt 簇的不确定性传播到调整后比较中，从而区分真实敏感度与呈现效应。

对依赖 LLM 评判做模型排行、评测集或数据筛选的产品，直接用原始判断结果可能因位置顺序产生数十个百分点的偏差。团队在聚合评分时需要加入位置等干扰项，并为均值与协方差同时校准，否则中性目标的 RMSE 会明显偏高，排序结论的可靠性下降。

• 在 LLM 评测或排行产品中加入位置随机化与位置项校准，作为默认评分流程的一部分。
• 为使用 LLM 评判的团队提供可复用的校准检查工具，对比仅敏感度模型与加入位置、长度、家族项的差异。
• 面向评测数据集买方或内部平台，输出包含位置效应诊断的排名质量报告，标注顺序偏差幅度。

• OSCAR 在未公开数据或实际生产评测流程中的表现是否与四个已发布数据集一致？
• 位置效应的 24.22 个百分点差异是否主要来自特定评估者或特定任务类型？
• 加入长度与家族项后，是否可能引入新的识别问题或过拟合？
• 同时校正均值与协方差在实际样本量下的成本与收益如何权衡？