EMA：跨 GPU 的弹性且性能透明的内存共享系统

多 GPU 服务器已成为现代数据中心的基本构建单元，但 LLM 推理等负载的内存需求高度动态，常出现一块 GPU 本地内存耗尽、其他 GPU 闲置的情况。论文提出 EMA，一个服务器内 GPU 之间互相借出与回收内存的共享系统，形成弹性容量池，并保证借入方与借出方的性能透明。评测显示单用户吞吐最多提升 52%，达到 2 倍容量配置系统 96% 的吞吐，延迟与静态本地基线相近。

此前多 GPU 内存通常是静态分区，各卡容量彼此孤立，负载波动时只能闲置或溢出。EMA 让同一服务器内的显存可以按需流动，并且借出方仍可随时收回资源而不低于静态分区性能，把弹性共享从存储层思路带入 GPU 内存层，同时不牺牲延迟与吞吐。

机制包含两侧保障：对借入方，通过预取隐藏远端访问开销，使应用难以区分远端与本地内存的性能差异；对借出方，被借出的资源保持可随时回收，从而保证性能不低于静态分区。其前提是服务器内高带宽互连使远端访问成本可控，论文也指出该原则可扩展到其他 GPU 资源。

对做 LLM 推理与多 GPU 训练的团队，这意味着同一批硬件可在不改变应用代码的前提下承载更动态的负载，降低按峰值配置显存的冗余成本，并提升单用户吞吐与整体利用率。产品侧可把显存弹性作为调度与容量规划的新维度，而不是仅靠增加卡数或静态切分。

• 在自有推理平台评估引入服务器内显存借用机制，用同一批 GPU 支撑波动的请求量，减少按峰值采购。
• 在模型服务调度器中加入显存借出与回收策略，优先把空闲显存分配给高优先级或高并发任务。
• 围绕预取透明性设计基准测试，验证远端显存访问在真实推理链路中对尾延迟的影响。
• 跟踪该设计向其他 GPU 资源扩展的可能性，评估是否可用于统一管理算力或带宽类资源。

• EMA 在真实 LLM 推理生产负载下的表现是否与论文评测一致？
• 借用与回收的切换频率和粒度如何影响高优先级任务的尾延迟？
• 该机制是否依赖特定互连或 GPU 型号，跨厂商服务器能否通用？
• 论文提到的向其他 GPU 资源扩展目前是否已有实现或原型？