PACT：从信用分配到 critic 对齐

论文提出 token 级 credit 的三个正则条件——Completeness、Prefix Consistency、Neutrality，并证明三者唯一确定 token 级 credit。基于此统一解释 OPD 中教师等价于隐式 critic、RLOO 与 token 级 credit 的期望策略梯度贡献一致，并指出 GAE 的中间 critic 误差问题，进而提出 PACT：先更新 actor 再更新 critic，并对 critic 训练施加 importance sampling 修正。

此前 token 级 credit 缺乏公认的数学定义，它与常用训练信号的关系不清晰。该工作给出唯一性刻画，把 On-Policy Distillation、RLOO、GAE 等现象纳入同一框架，并据此改造 actor-critic 训练顺序，属于对 LLM 强化学习后训练基础解释层的变化。

作者用三条正则条件约束 token 级 credit 的取值，证明其唯一形式，再比较各算法产生的期望策略梯度是否与该 credit 成比例：OPD 教师和 RLOO 在此视角下都能对应到 token 级 credit 的梯度贡献。同时证明在有界结果奖励下 credit 近似稀疏，若 critic 误差量级接近真实 credit，GAE 的中间估计会失真，因此 PACT 调整更新顺序并修正 critic 训练。

若结论可复现，团队在做 LLM 后训练时需重新审视 actor 与 critic 的更新顺序和 critic 目标函数，现有 GAE 实现可能引入与 credit 同量级的误差；对依赖 GRPO、PPO 的流水线而言，替换或补充 PACT 式 critic 训练可能改变调参重点与算力分配。

• 在现有 PPO/GRPO 后训练代码库中对照实现 Actor-then-Critic 更新顺序与 importance sampling 修正，用同一评测集验证收益。
• 针对 critic 误差接近 credit 的场景，优先在长链推理和 agentic 数学任务上做 PACT 的小规模消融实验。

• PACT 在证据中只给出被截断的对比结果，相对 GRPO、PPO 优势的完整数据和方差未确认。
• 72.87% 与 67.4% 两个数字对应的具体 benchmark、模型规模与训练成本尚未明确。
• 三个正则条件在真实 LLM 训练中是否被满足、违反时结论是否仍成立，证据未说明。
• PACT 与 OPD、RLOO 的等价关系是否有实验验证，还是仅停留在理论推导层面。