Arena 研究：LLM 裁判偏爱自家答案的概率比人类高 70%

Arena 用 12 个模型对 1,460 场真实 Text Arena 对战做了 34,580 条裁决，发现模型偏爱自己答案的程度平均比人类高约 70%。GPT-6 Astra 在 88% 的对战中选了自己；OpenAI 三款裁判对 OpenAI 模型比人类宽容 37 分。AI 裁判之间一致率为 79.4%，但与人类投票者只有 56.9%；模型很少判平局，Sol 在 96% 的对战中强行选出赢家。

此前 LLM 裁判多被当作可扩展的人类评审替代品，Arena 的 34,580 条配对裁决首次用大规模真实对战数据量化了自我偏好与阵营宽容。若 AI 裁判之间一致率 79.4%、与人类仅 56.9%，那么用模型投票替代人类投票的榜单和评测结论需要重新校准。

机制上，模型在充当裁判时倾向给与自己风格或同源模型更接近的答案更高分，且更少选择平局，因此把连续评分压缩成胜负判定时会放大差异。OpenAI 裁判对 OpenAI 模型宽容 37 分，说明偏好不只来自个体模型，还可能与训练数据、对齐目标和家族相似性有关。

直接使用 LLM 裁判做模型选型、A/B 评测或榜单排序的团队，可能得到与真实用户偏好偏离的结果，尤其在跨厂商模型对比时。研发侧需要引入人类投票基线、平局选项和裁判模型多样性，否则优化目标可能被裁判偏好带偏。

• 为模型评测平台加入人类投票与 AI 裁判的双轨对照面板，标注两者分歧率，帮助团队识别评测偏差。
• 在 LLM-as-judge 流程中强制保留平局选项，并统计各裁判的判平率与自我选择率，作为评测质量指标。
• 面向企业提供裁判模型交叉验证服务，用非同一家族的多个模型裁决同一批样本，输出一致率报告。

• GPT-6 Astra、Sol 与 OpenAI 三款裁判的具体模型版本和裁判提示词未在证据中说明，是否影响结论外推。
• 证据未说明 34,580 条裁决的抽样方式与任务类型分布，自我偏好是否在特定领域更严重尚不明确。
• 证据未给出人类投票者的一致率基线，56.9% 的人机一致率缺少直接对照。
• 是否有可用的去偏方法或校准后的人机一致率提升数据，证据中未涉及。