先听再推理：面向大型音频语言模型的感知基础测试时强化学习

该论文先分析大型音频语言模型（LALM）在推理过程中如何整合音频信息，量化逐层的感知依赖程度，发现声学依赖越强，准确率越高、且由音频输入带来的性能增益越大。基于此，作者提出 PG-TTRL，将无标签的测试时优化与感知基础对齐，使模型推理更依赖音频输入。实验显示其在多个 LALM 与基准上稳定优于基座模型与标准 TTRL。

此前测试时强化学习（TTRL）主要提升语言推理，很少讨论音频模型在推理中究竟用了多少声学证据。该工作把感知依赖作为可量化指标，并据此改造无标签测试时优化，为音频推理的后训练提供了不同于纯语言对齐的方向。

论文先逐层测量模型对音频输入的依赖，并把它与准确率及音频带来的增益关联；再让测试时优化目标偏向感知基础推理，即用无标签测试数据引导模型把推理结构更多建立于音频证据上，从而在不增加标注的前提下提升音频推理表现。

对做语音或多模态产品的团队，这意味着测试阶段可用无标签音频数据做轻量适配，而不必先标注；评估指标也应加入感知依赖度，以判断模型是否真的在听，而非仅靠语言先验答对。

• 在音频问答或转写后处理产品中，加入基于无标签线上数据的测试时适配流程，并监测感知依赖度指标。
• 在模型评测中加入逐层声学依赖与音频增益指标，作为音频推理能力上线的准入检查项。
• 针对会议、客服等音频场景，构建可用无标签测试集驱动的轻量微调管线，减少标注成本。

• PG-TTRL 在真实产品级长音频、噪声与多说话人场景中的增益是否稳定，证据未说明。
• 逐层感知依赖的测量方法是否需要白盒访问模型内部，能否用于闭源 API。
• 与标准 TTRL 相比，PG-TTRL 的额外计算与延迟成本尚未给出。
• 论文未提供具体基准名称、模型规模与提升幅度数值。