NeuroPrefetcher：通过增量预取实现存储感知的稀疏大模型推理

NeuroPrefetcher 是一个面向存储受限边缘设备的 LLM 推理系统，利用 MLP 活动的时间局部性（82-85% 活跃神经元在相邻 token 间持续），通过 GPU 驻留预测器（占用基础模型参数的 2.86%）预测下游 MLP 层的稀疏活动，进行增量预取，用显式模型感知的 NVMe 读取替代反应式 OS 调页。在真实统一内存边缘硬件上，相比 llama.cpp 在受限内存预算下实现 7.9-12.0 倍加速。

此前方法（量化、小型化、卸载）都假设模型可通过压缩或分区适配内存预算，而 NeuroPrefetcher 针对模型始终超过驻留内存的更难场景，将存储作为关键路径上的活跃权重来源，并利用自回归解码中 MLP 活动的强时间局部性，实现了显著的推理加速，为边缘设备部署超大模型提供了新思路。

自回归解码中，当前 token 所需的大部分稀疏权重已驻留内存，仅新需要的行需从存储获取。NeuroPrefetcher 在层 0 后使用单一 GPU 驻留预测器，一次前向预测所有下游 MLP 层的稀疏活动，运行时将预测与驻留缓冲区比较，仅对增量行发起应用调度的 NVMe 读取，将 OS 按需调页替换为显式模型感知的权重移动，从而减少不必要的存储访问并加速推理。

对于边缘 AI 产品，NeuroPrefetcher 可在内存严重受限的硬件上以高速度运行大规模 LLM，降低对高内存设备的依赖，从而降低硬件成本。开发者若将该系统集成到推理运行时，可显著提升用户体验，尤其在本地推理场景下。但当前加速证据仅基于 llama.cpp 对比，对实际产品集成和不同模型的适配仍需验证。

• 将 NeuroPrefetcher 集成到开源推理引擎（如 llama.cpp）中，使边缘 LLM 产品支持更大的模型，并评估在常见边缘设备上的加速效果。
• 针对不同 LLM 架构优化预测器（当前占用 2.86% 参数），开发轻量版以进一步降低 GPU 内存开销。
• 在智能家居或移动设备上部署需要持续对话的 AI 助手，利用该技术提升本地响应速度并保护隐私。
• 为开发者提供基准测试工具，量化不同内存预算下模型吞吐与延迟的改进，帮助硬件选型。

• 论文中 7.9-12.0x 加速是否只在特定硬件和模型上有效，其他边缘设备（如手机、树莓派）上的表现未知。
• 预测器的额外 GPU 开销在多大程度上抵消稀疏推断的收益尚未明确。
• 该方法是否适用于非 MLP 层（如 attention）的稀疏性，或者能否扩展到更大模型（如 100B+ 参数）尚未验证。
• 与现有 offloading 技术（如量化+卸载）的组合效应和兼容性未被证据覆盖。