基于贝叶斯 bandit 与 Gittins 指数的成本感知大模型评估方法

arXiv 论文提出 GittinsEval，将大模型配置选择建模为成本感知的贝叶斯 bandit 问题，用 Gittins 策略决定下一步评估哪套配置以及何时停止，并用 LCB 打分对未完全评估的配置给出随时可用的推荐。在 GSM8K、PIQA、AlpacaEval、MMLU 上，它常以 1%–2% 的穷举成本达到接近零的 simple regret，自适应停止通常在 1%–10% 触发。

以往选择 LLM 配置多依赖穷举评估或配置级贝叶斯优化，成本高且难以判断何时收手。该工作把评估预算分配和停止决策统一进一个策略，在大样本基准上优于配置级贝叶斯优化，在大候选任务上优于不计成本的 bandit 基线，并给出可随时使用的推荐。

把每个配置视为一个 bandit 臂，评估一项基准题就是一次带成本的拉动；Gittins 指数在贝叶斯最优意义下平衡探索与利用，离线预计算后只需轻量在线更新。LCB 打分将后验不确定性纳入排序，使部分评估的配置也能被推荐；当剩余潜在收益低于继续评估成本时，停止规则触发。

对模型选型、prompt 与超参搜索流程，可在保持选型质量的同时把评估开销降到约百分之一量级，并让团队按预算动态停止而非固定跑完全部基准。工程上只需离线预计算加在线更新，适合嵌入现有评测流水线做持续配置筛选。

• 在内部评测平台加入 GittinsEval 式调度器，按成本感知顺序评估候选配置并在预算耗尽前自动停止。
• 为模型选型服务提供“部分评估即可推荐”的 API，输出带不确定性的配置排名。
• 把该策略用于 A/B 测试或 prompt 搜索，将有限标注预算优先分配给最有区分度的样本。

• 论文中 1%–2% 成本与 1%–10% 停止区间是否在不同规模、不同任务分布下稳定复现？
• 该方法对成本模型设定、先验选择和数据漂移的敏感度如何？
• 与配置级贝叶斯优化之外的流行选型方法相比，在真实生产基准上的表现如何？
• 是否已有开源实现或可复用的工程集成方案？