EdgeXpert：面向内存高效 LLM 推理的边缘设备，结合混合专家与推测解码

EdgeXpert 是一种软硬件协同设计的边缘 LLM 推理加速器，旨在解决推测解码与混合专家结合时的内存访问瓶颈。它采用提示级专家复用和深度感知专家合并，减少 FFN 层外部内存访问。在三星 28nm 工艺、800MHz 频率下，相比先前方案，延迟降低 56.3%，能耗降低 44.1%，同时保持近似基线精度。

此前推测解码与 MoE 结合存在不兼容性，EdgeXpert 首次通过软硬件协同设计解决该问题，使边缘设备能更低延迟、更低能耗地运行 LLM，推动个性化边缘应用的落地。

预填充阶段，通过轻量编码器识别重要 token，构建共享专家集，对次重要 token 减少专家预算；解码阶段，利用同深度候选 token 的上下文相似性和互斥性，仅加载关键通道，并通过计算校准恢复精度，从而降低外部内存访问。

对边缘 AI 产品，可显著降低推理延迟和能耗，延长电池寿命，支持更复杂的 LLM 在端侧运行，改善用户体验。研发上需采用软硬件协同设计方法，增加硬件设计复杂度，但可减少云端依赖。

• 在边缘 AI 芯片设计中集成 EdgeXpert 的架构，推出低功耗 LLM 推理加速器。
• 为端侧 LLM 应用提供 '提示级专家复用' 和 '深度感知合并' 的软件库，优化现有框架。
• 开发面向隐私敏感行业的边缘 LLM 推理盒，利用低延迟和高能效优势。

• EdgeXpert 在不同 LLM 规模和任务类型上的实测精度与性能差异尚未披露。
• 其对比的 '先前方案' 具体指哪些基线尚不明确。
• 是否支持现有主流 LLM 框架（如 Hugging Face）集成尚不清楚。