推理拍卖：按竞价分配推理优先级的机制设计

研究者提出一种推理拍卖机制：当推理需求超过可用算力时，让用户为更快服务出价，从而以经济上有效的方式分配优先级，且不牺牲延迟。研究给出了可激励真实出价的定价快速算法，并设计了自动竞价代理，用户设定推理预算后由代理动态调整出价以在预算约束下最大化效用。实验显示该拍卖提升了系统福利，同时保留了 SGLang 的缓存利用率和延迟优势。

当前推理服务多采用粗粒度固定价格的服务层级，把用户对延迟的不同容忍度压缩成少数几档，难以反映真实支付意愿。该工作把拍卖机制引入推理调度，用竞价而非固定分层来分配优先级，并给出自动竞价代理，意味着优先级定价可能从静态分层转向动态、按需出价的机制。

机制核心是在算力稀缺时用价格发现替代固定分层：拍卖按经济效率分配优先级，配套算法计算能激励用户真实出价的价格，避免策略性报价导致配置扭曲。自动竞价代理则把用户的预算约束转化为随时间调整的出价策略，在预算内最大化用户效用。实验同时验证该机制不损害 SGLang 的缓存利用率与延迟优势，说明调度层改动可与现有推理框架的优化共存。

对推理平台而言，这提供了在容量紧张时做差异化服务与收益管理的可选方案，产品上可能从固定档位订阅转向预算加自动竞价的模式。对研发而言，需要在调度与计费链路中接入拍卖定价和自动竞价模块，并保证不影响缓存命中与延迟表现。对用户而言，延迟敏感型请求可通过预算换取更高优先级，但需理解竞价与预算约束的行为。

• 在推理 API 中试验预算加自动竞价的优先级档位，与现有固定层级并存并做 A/B 对比。
• 为延迟敏感型客户提供可设置的推理预算与优先级策略，配合用量与延迟的分层报表。
• 将拍卖定价模块与 SGLang 等推理框架的调度层对接，验证缓存利用率与延迟指标不退化。
• 针对高峰期容量紧张场景设计按竞价分配的排队与限流策略，作为容量管理的补充手段。

• 该拍卖在真实生产流量与多租户环境下的系统福利提升幅度有多大，证据中未给出具体数值。
• 自动竞价代理在预算约束下最大化用户效用的效果与收敛行为，证据未提供详细实验数据。
• 与现有固定价格分层相比，用户接受度、计费复杂度和合规风险如何，证据未涉及。
• 该机制在非 SGLang 推理框架上的可移植性与实现成本，证据中未说明。