面向有偏 LLM 评审的主动偏好学习最优设计

该 arXiv 论文提出 Nuisance-Adjusted Optimal Design（NAOD）方法，用于在 LLM 评审存在偏差时进行主动偏好学习。作者将评审偏差纳入比较选择设计而非依赖独立校准阶段，并用 Frank-Wolfe 算法优化。在 Chatbot Arena 数据上覆盖 17 个评审、15 种预算配置和 15 次随机聚类划分，NAOD 使代理策略的平均后悔较匹配目标基线降低 29.1%。

此前主动偏好学习通常先校准评审再采集比较，但论文指出主动采集会改变比较分布并暴露残留评审偏差，使校准失效。该工作将偏差纳入采集设计，并给出策略风险的条件局部渐近极小极大下界及达到该下界的估计量，还刻画了学习干扰表示的有限样本成本。

在联合估计框架下，看似对奖励信息量高的比较可能同时反映评审偏差，因而对人类偏好的实际信息量下降。NAOD 先对干扰项做调整，再优先选择与策略目标相关的信息，并用 Frank-Wolfe 求解优化。论文证明表示误差可能逆转理想设计优势，并在实验中验证这些预测。

对依赖 LLM 评审做偏好数据的团队，这意味着继续分开处理校准和主动采样可能高估数据收益。产品与研发可将偏差调整直接嵌入比较选择环节，以更低标注预算获得更贴近目标人群的策略，但需评估干扰表示误差带来的设计收益反转风险。

• 在偏好数据采集管线中引入 NAOD 式偏差调整选择器，对比现有校准加主动采样流程的性价比。
• 针对自有场景复现 17 评审、多预算配置的 Chatbot Arena 实验，验证 29.1% 后悔下降是否可迁移。
• 开发监控指标，追踪主动采集过程中比较分布偏移与评审偏差暴露程度。
• 评估用代理策略后悔而非准确率作为偏好数据预算分配的决策依据。

• NAOD 在 Chatbot Arena 以外的真实产品数据集上是否保持同等后悔下降？
• 当干扰表示学习误差较大时，如何提前检测并避免设计优势被逆转？
• 29.1% 的后悔下降对应多少实际标注成本节约，论文是否给出成本换算？
• 该方法对评审数量、预算配置和聚类划分的敏感性在证据中尚未完整呈现。