面向 Intel AI PC 集群的预编译流水线分片分布式 LLM 推理

Intel AI PC 具备集成 GPU 和 NPU 及 16GB 以上统一内存，但不足以运行 70B 参数大模型。研究者提出将模型按层分割为预编译的 OpenVINO 图分片，通过流水线并行让多台 AI PC 协同推理。通过注入 beam_idx Gather 恢复 GPU 优化、推测解码和微批处理，两节点 Llama 3.1 8B 流水线在双用户下达到单用户未分割模型吞吐的 1.79 倍，并成功在四节点 Lunar Lake 上以交互速度运行 70B 模型。

此前运行大型 LLM 依赖于单机显存或专用服务器，而本方案利用普通办公室常见的多台 AI PC 和普通网络，即可运行超出单机能力的大型模型，显著降低了大模型部署的硬件门槛。

通过模型分层切割，每台机器只负责一个分片并传递中间激活值，形成流水线。预编译的 OpenVINO 图可复用底层优化，注入 beam_idx Gather 触发 IndirectKVCache 融合恢复性能。推测解码减少传输等待，微批量处理提升并发利用率。

对边缘计算或企业内网环境，可利用现有 PC 设备构建低成本推理集群，减少对单一昂贵 GPU 服务器的依赖。开发需适配 OpenVINO 工具链，并考虑网络延迟对性能的影响，但产出模型一致性高。

• 面向中小企业的私有化 LLM 推理服务，使用现有 PC 集群运行 70B 级模型，降低硬件采购成本。
• 开发适配 OpenVINO 的模型分片工具，自动将模型转为流水线分片，简化部署流程。
• 为多用户场景设计并发调度方案，利用微批处理提升吞吐，适用于企业内部多人同时使用。
• 探索结合推测解码的加速服务，在网络延迟较高时进一步优化用户体验。

• 证据中未说明该方案的端到端延迟具体数值，是否满足实时交互要求尚未完全确认。
• 对于 70B 模型的显存占用和网络带宽需求的具体数值未提及，部署条件仍需验证。
• 该方案是否兼容非 Intel 硬件或仅限 Intel AI PC 未明确。
• 推测解码的额外开销和实际加速比未详细说明，可能影响性能评估。