SiliconBench：统一内存桌面端 LLM 服务的速度、内存与保真度评测

该论文提出 SiliconBench，从速度、内存与保真度三个维度评测九款 Apple Silicon 服务引擎，覆盖 Qwen3、Qwen3.5 与 Gemma 4 上的对话与 agent 场景，并用分类任务对照 NVIDIA 参考检查质量回退，DGX Spark 作为补充性能参照。结果显示仅三款方案同时满足完成率、保真度和模型覆盖门槛；显式内存预算不能保证内存余量；两机配置下 Thunderbolt RDMA 张量并行可扩展，而 TCP 流水线并行出现回退。

此前本地 LLM 服务评测多以速度排名为主，容易忽略并发下的内存余量和输出质量回退。该工作把保真度与内存纪律纳入评测门槛，并给出多机扩展的初步结论，使统一内存桌面端的选型依据从单一吞吐转向多维约束。

统一内存架构下，显存与主存共享同一物理容量，显式设置内存预算并不能阻止实际占用逼近物理上限，进而导致吞吐下降。调度层面，将预填充与解码打包处理可降低并发下的首 token 延迟。跨机扩展方面，张量并行对通信延迟更敏感，Thunderbolt RDMA 的低延迟特性使其可扩展，而 TCP 流水线并行因通信开销出现性能回退。

产品与研发在本地部署选型时，不能只看吞吐排名，需同时评估并发下的内存余量和输出保真度；对内存受限设备应优先选择具备内存纪律和打包预填充解码的引擎。多机扩展方案应优先验证 RDMA 类低延迟互联，避免在 TCP 上直接套用流水线并行。

• 在本地部署工具中内置 SiliconBench 式三维评测，将速度、内存余量和保真度作为默认选型指标。
• 针对统一内存桌面设备封装预填充解码打包调度的服务配置模板，降低并发下的首 token 延迟。
• 围绕 Thunderbolt RDMA 张量并行提供多机部署参考实现，替代基于 TCP 的流水线并行方案。
• 建立模型架构与引擎支持矩阵，标注新架构在可用引擎上的保真度验证结果。

• 三款通过全部门槛的引擎具体是哪些，各自适配的模型范围是什么？
• 显式内存预算无法保证余量的根因是引擎调度还是系统内存管理？
• 两机结论能否扩展到三机及以上或不同互联带宽的配置？
• 在更高并发或更长上下文下，保真度对照结果是否仍然成立？