BALANCE：无线边缘网络中的混合自回归与投机式 LLM 推理

arXiv AI 发布论文提出 BALANCE 框架，用于边缘网络中的 LLM 推理。该框架在边缘服务器上同时部署 SLM 和 LLM，为用户分配自回归或投机解码模式，并联合优化用户调度和计算资源分配，以最大化服务用户数。实验显示其性能优于传统 AD 和 SD。

边缘推理中，自回归解码延迟高，投机解码虽加速但消耗额外内存。BALANCE 首次提出将两者混合并动态分配资源，在内存和延迟约束下提高吞吐量，为边缘 LLM 服务的效率提升提供了新思路。

BALANCE 利用 SLM 生成草稿 token，LLM 验证，以加速推理；同时允许部分用户使用自回归模式，以节省内存。通过将吞吐量最大化问题分解为两个子问题，用多项式时间算法求解，在保证近似最优的同时适应异构需求和资源限制。

对边缘 AI 产品，BALANCE 可提升服务容量和响应速度，降低延迟敏感型应用的等待时间。研发方面，需考虑实际部署时 SLM 与 LLM 的协调、资源分配算法集成，以及内存优化。成本上可能增加 SLM 存储，但整体效率提升。

• 在边缘 LLM 服务平台中集成 BALANCE 框架，动态切换 AD 与 SD 模式以提升吞吐量。
• 基于 BALANCE 的调度算法开发用户分级方案，优先保障低延迟需求用户。
• 针对移动网络场景，优化 SLM 与 LLM 的资源配比，降低总拥有成本。
• 将此框架应用于实时交互类 AI 应用，如语音助手或 AR 助手，提高响应速度。

• BALANCE 在实际边缘设备上的内存开销具体是多少？
• 算法在多用户、高动态网络下的鲁棒性如何？
• 与现有边缘推理系统相比，端到端延迟改善幅度有多大？
• 是否需要针对不同 SLM/LLM 组合进行重新训练或调参？