面向离策略评估的最优序列标注方法

该论文研究在有限标注预算下进行序列离策略评估。作者结合双重稳健估计与缺失奖励机制，针对序列前向单调标注协议推导出方差最优的标注概率，并给出可分批自适应实现的方案。方法在无家可归者服务非营利组织的个案记录和 LMArena 人类偏好投票两个真实数据集上验证，在标注量达 40% 以上时，住房安置预测的 RMSE 降低 34%–65%。

此前离策略评估通常假设奖励可完整观测，而现实中奖励常由 LLM-as-a-judge 或专家标注产生，存在未知偏差且成本高。该工作把标注预算分配本身作为优化对象，证明只标注部分数据也能显著提升策略价值估计精度，降低了可信评估对全量人工标注的依赖。

机制是利用双重稳健 OPE 结合缺失奖励框架，在序列前向单调标注协议下推导使估计方差最小的逐时刻标注概率，从而把有限预算优先分配给对策略价值估计方差贡献最大的样本；再通过分批自适应更新标注概率，兼顾理论最优性与实际可执行性。

对依赖人工标注或 LLM 评审做离线评估的团队，可在不降低评估可信度的前提下减少标注量，降低数据成本；若引入该方法，需要改造标注流水线以支持逐样本可变标注概率与分批反馈，并在指标监控中关注 RMSE 而非仅覆盖率。

• 为 LLM-as-a-judge 评估流水线增加基于方差最优概率的抽样标注模块，先小批量试标注再逐步扩展。
• 面向对话或文本记录的策略评估工具，提供双重稳健 OPE 与缺失奖励接口，支持按 40% 预算运行。
• 把方法封装为标注预算分配服务，对比专家标注与廉价分类器的成本收益。
• 在离线评估看板中引入 RMSE 随标注预算变化的曲线，辅助决定标注投入。

• 该方法在非前向单调标注协议下的最优性是否仍成立，证据未说明。
• LLM-as-a-judge 未知偏差的具体量级与对估计的影响未被量化。
• 批次自适应实现所需的最少批次数和冷启动成本未在证据中给出。
• 在 LMArena 人类偏好投票上的收益幅度未完整披露，仅提到部分预算区间。