Pallas：面向 AI-RAN 中 LLM 推理的主动式 KV 缓存迁移框架

Pallas 是一个面向 AI-RAN 场景的主动式 KV 缓存迁移框架。在蜂窝切换发生前，它根据移动预测，将 token 序列分为历史前缀和动态后缀，并在目标基站提前重建前缀、流式传输后缀，从而减少服务中断时间。在三个 LLM 和 100–500 Mbps 链路上，相比目标侧恢复方法，平均服务中断时间降低 2.28–89.68 倍。

此前 LLM 推理状态在基站切换后只能被动恢复，导致服务中断。Pallas 在切换前并行准备推理状态，显著缩短服务中断时间，为边缘 AI 服务的连续性提供了新方案。

AI-RAN 将 LLM 服务部署在移动网络边缘，用户切换基站时，KV 缓存仍留在原基站，导致推理状态与用户分离。Pallas 通过预测目标基站，提前将缓存迁移，将切换时的中断时间压缩为未完成的准备工作时间。其在线调度器根据移动预测和运行时遥测选择预取窗口，平衡迁移开销和中断风险。

对于边缘推理产品或 AI-RAN 部署，Pallas 可降低切换带来的服务中断，提升用户体验。但需额外计算资源用于前缀重建和 KV 缓存传输，可能增加网络负载。产品团队需评估切换频率和网络带宽，以决定是否集成此类框架。

• 在边缘 LLM 服务中集成 Pallas 框架，以缩短基站切换时的服务中断时间，提升移动用户推理体验。
• 结合移动性预测模型，开发更精准的预取窗口调度策略，平衡迁移开销与服务质量。
• 针对不同网络带宽（100–500 Mbps）和 LLM 规模，提供 KV 缓存迁移的参数配置模板，便于产品快速适配。
• 建立切换场景下的服务中断时间监控仪表盘，辅助运维决策和产品优化。

• Pallas 框架在真实移动网络中的端到端部署可行性（如与现有 RAN 系统的集成方式）尚未被证据确认。
• 预取窗口调度器对移动预测错误的容忍度如何？是否会导致不必要的缓存迁移开销？
• Pallas 对服务中断时间的具体削减（2.28–89.68 倍）是否在所有 LLM 和网络条件下一致？
• 迁移过程中源侧 token 传输的实时性与目标侧前缀重建的并行度如何影响整体延迟？证据未提供具体数值。