学习可靠推理的成本：面向 LLM 的竞价采购平台

一篇 arXiv 论文指出现有基准测试与路由平台上的模型提供商多采用固定按 token 定价，用户难以获得最优价格。作者设计了一个采购平台，通过反向第二价格拍卖为每个任务定价，激励提供商如实报出服务成本，并在路由过程中学习各提供商的质量，逐步将查询导向满足质量门槛中价格最具竞争力的提供商。在 Llama 与 Qwen 系列模型上的数学推理和问答基准测试显示，最具成本竞争力提供商的定价利润率因任务和质量门槛不同而从 10% 到 71% 不等。

当前 LLM 调用市场以固定单价为主，用户无法按任务和质量要求获得差异化定价。该工作将拍卖机制与质量学习引入推理采购，使同一任务在不同质量门槛下出现显著价差，说明现有定价模式存在未被利用的成本空间，也为以质量换价格的采购方式提供了实验依据。

平台用反向第二价格拍卖让提供商为每个查询竞标，第二价格机制促使其按真实平均服务成本报价。平台在持续路由中估计各提供商的实际输出质量，只在达到用户设定质量门槛的提供商中选择成本最低者，从而在质量约束下实现动态比价与路由。

对使用多个 LLM 的产品团队而言，可按任务和质量门槛动态选择提供商，而非接受单一固定报价，有望降低推理成本。研发上需要接入多提供商路由、质量评估与成本监控能力，业务流程也可能从统一定价转向按任务竞价的采购方式。

• 为 API 网关或 LLM 路由层增加按任务质量门槛和成本竞价的模块，优先服务对价格敏感的批量推理场景。
• 构建面向企业的推理采购面板，展示不同任务下各提供商的质量达标情况与报价分布。
• 在数学推理和问答等可自动评分的任务上先跑通质量学习与动态路由闭环。
• 针对多模型提供商设计按任务结算的计费与对账流程，替代单一 token 单价。

• 该平台在真实生产流量和非可自动评分任务上的质量学习是否仍然有效。
• 反向第二价格拍卖在提供商数量较少或串通情况下是否仍能保持真实报价激励。
• 10% 到 71% 的利润率区间是否可复现于其他模型家族和基准之外的任务。
• 该设计能否兼容现有商业 API 的合同与定价条款。