面向大模型边缘推理的 Goodput 最大化：两阶段可掩蔽 PPO 方法

arXiv 发表论文提出 TP-MPPO 算法，用于无线边缘网络中 LLM 推理服务的 goodput 最大化。该算法分两阶段：先通过带动作掩码的 MPPO 优化任务卸载，再推导上行带宽分配闭式解并设计下行带宽贪心算法。模拟显示系统奖励比基准提升 33.3% 至 87.5%，获得最高 goodput。

此前 LLM 边缘推理优化多关注吞吐或延迟，较少在满足严格 SLO 前提下同时考虑无线带宽分配与任务卸载的联合优化。TP-MPPO 提出两阶段方法，将带宽分配闭式解与 MPPO 结合，在模拟中显著提升系统奖励，或为边缘 AI 推理调度提供新思路。

TP-MPPO 第一阶段利用动作掩码机制禁止无效卸载动作，减小动作空间并避免无效探索；第二阶段用闭式解分配上行带宽，贪心算法分配下行带宽，为下一轮 MPPO 提供即时奖励。两阶段交替直至收敛，将无线资源管理与强化学习决策协同，以在 SLO 约束下最大化 goodput。

若方法成熟，可影响边缘 AI 推理服务商的资源调度模块：在保证 SLO 的同时提高吞吐，可能降低单位请求成本或提升用户体验。研发团队可关注其算法复现与在真实边缘设备上的适配，但当前仅为模拟结果，实际产品影响需进一步验证。

• 在边缘推理调度系统中集成两阶段卸载与带宽分配优化，测试能否在相同硬件下提升 SLO 达标率
• 与无线网络运营商合作，针对动态带宽场景验证该算法在真实边缘设备上的收益
• 将 TP-MPPO 作为基准算法，开发适配不同网络拓扑的轻量级版本，降低计算开销

• 该算法在真实无线边缘环境中的性能是否与模拟结果一致？
• 两阶段交替的收敛速度在动态网络条件下是否稳定？
• 未提供与现有强化学习方法的详细比较细节，其优势是否具有普遍性？
• 算法对边缘设备计算资源的需求是否适合实际部署？