- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月23日 13:13
- 状态
- 单一信源
发生了什么
该论文提出 SlackDrive,一种在模型执行前分配算力的预推理调度器。它复用已完成前向传播的实际延迟来估计在线算力状态,再从预先剖析的离散算力预算集合中,选择预测仍处于可接受延迟包络内的最高效用预算。在 NAVSIM v2 与 DriveDreamer-Policy 上,严格延迟条件下 EPDMS 比最强基线提升 21.7%,而全预算模型和预配置 token 剪枝基线在运行时争用下超出延迟上限。
为什么重要
此前的加速方法在部署前就固定 token、层数或采样步数策略,离线剖析和静态调度后剩余的运行时波动基本未被利用。该工作把已实现延迟当作算力余量的直接信号,在每次控制步执行前动态选择算力预算,且不改变驾驶主干网络和算力执行器。
底层逻辑
SlackDrive 先一次性剖析小规模离散算力集合对应的延迟与规划效用,再根据已完成前向传播估计当前在线算力状态,最后选择预测不超出可接受延迟包络的最高效用预算。其机制在于把部署后残余的运行时间变化视为可回收资源,与已有剖析和资源调度形成互补,而非替换模型结构。
产品与商业机会
对车载推理系统而言,这提示算力分配可从部署前静态配置转为按步动态决策,从而在共享车载算力出现争用时仍满足控制延迟约束。研发上需增加一次性延迟与效用剖析、在线算力状态估计和预算选择模块,并验证其与现有剪枝、调度方案的叠加效果。
- 在车载推理栈中实现按控制步的算力预算选择器,复用已完成前向传播的延迟数据,并以延迟包络为硬约束。
- 建立小规模离散算力预算的离线剖析流程,为每个驾驶模型生成延迟与规划效用对照表,供在线选择使用。
- 将动态预算选择与既有 token 剪枝或层跳过方案组合测试,评估在运行时争用场景下的叠加收益。
仍待确认
- 该方法的收益是否可迁移到 DriveDreamer-Policy 与 NAVSIM v2 之外的模型和数据集,证据尚未覆盖。
- 在线算力状态估计在新硬件平台或不同争用模式下是否稳定,尚无多平台验证。
- 与静态调度、token 剪枝组合时的端到端系统开销和内存占用未在证据中给出。