基于生成式 AI 层对端到端视频流管线的感知优化

该论文提出 PRESLEY，将此前会议工作 ELVIS 的破坏性块移除改为在可移除掩码下自适应原地降质，用位打包旁信道传输每块强度，并以生成式骨干结合已传输视觉先验进行恢复。在13条码率阶梯上，其背景质量较前代平均降低 BD-rate 56.4%；在码率紧缺区间较原始基线最多节省 29.4% BD-rate，23个序列中17个背景质量更优，前景保持逐位一致。

此前方案以破坏性块移除实现码率节省，恢复依赖无条件修复，容易在前景与背景间失衡。PRESLEY 改为自适应原地降质并按块传输强度信号，恢复时使用已传输视觉先验，使前景逐位一致、背景质量可在匹配码率下量化对比，并给出生成式传输的可用工作区间。

传统编解码对帧内各区域同等处理，而生成层可对观众注意力较低区域降质，再由客户端重建。该系统把问题拆为三部分：选哪些块降质、如何降质以少花比特、如何恢复。旁信道编码每块强度控制比特开销，生成骨干以传输的视觉先验为条件，减少恢复时的信息不确定性，从而在低码率区间把比特预算让给前景。

对视频产品，该路线可在码率受限场景下降低带宽成本，同时保持前景细节不变，适合直播、会议与移动端弱网分发。研发上需在编码器加入可移除掩码与强度旁信道，并在客户端部署生成式恢复模型，评估时应以 BD-rate 和前景逐位一致性为指标，而非仅看主观画质。

• 在弱网直播或视频会议链路中试点前景逐位保留、背景生成恢复的编码档位，以 BD-rate 节省核算带宽成本。
• 将可移除掩码与每块强度旁信道纳入现有转码流水线，作为独立于传统码率的可选层。
• 针对生成式恢复建立质量监控，按序列统计背景质量与恢复损伤分布，避免画质波动。
• 在高清点播场景验证 17/23 序列背景更优的结论是否可复现于自有内容库。

• PRESLEY 在移动端或浏览器端的生成式恢复模型推理延迟与算力开销尚未给出。
• 前景逐位一致之外的背景生成错误是否会随时间累积、影响观看连续性，证据未说明。
• 该方案对专利、编解码标准兼容与端到端部署改造成本的影响未提及。
• 在有损网络丢包或旁信道受损时，每块强度信号的鲁棒性尚未验证。