Looped Actor：面向强化学习的深度循环推理模型

一篇 arXiv 论文提出 Looped Actor，一种基于 transformer 的策略模型，用共享计算块反复细化潜在表示直至不动点，并按当前状态动态决定循环次数。作者从复杂度理论出发，证明存在某些马尔可夫决策过程，状态自适应策略能以渐近更少计算达到最优回报。该模型在六个环境、22 个任务上评测，涵盖组合谜题与机器人操作、在线与离线 RL；其表现追平或超过参数量多 16 倍的非参数共享基线，在多步规划任务上提升最大。

以往提升强化学习策略能力通常依赖扩大模型参数量或增加固定推理步数，计算开销与状态难度不匹配。该工作把语言建模中的循环 transformer 与动态停止思路迁移到序列决策，证明按状态分配计算可在更小参数规模下达到或超过大模型表现，为策略网络的规模效率提供了另一条路径。

模型复用同一组共享参数的计算块，对潜在表示反复迭代逼近不动点，因此不增加参数量即可增加计算深度；循环次数由当前状态决定，使困难状态获得更多计算、简单状态提前停止。论文用复杂度理论说明，存在最优回报需要状态自适应计算的 MDP，而固定运行步数的策略无法以同等渐近期望计算实现。

对研发而言，可在不放大策略网络参数和显存的条件下提升多步规划类任务表现，适合算力受限的机器人与游戏智能体训练；推理侧可按状态调节循环次数，为延迟与效果提供可调旋钮。若动态停止策略可靠，部署时可对简单状态早停以降低平均推理成本。

• 在机器人操作或组合规划类智能体中，用共享块循环策略替换同等效果的参数扩展基线，以更低参数与显存占用训练策略网络。
• 将动态循环次数作为可配置的推理预算参数，做成延迟与成功率可调的部署档位，供在线服务按负载切换。
• 围绕剩余步数等状态特征设计循环次数监控与可视化，验证计算分配是否随任务难度结构化变化。
• 在多步规划类任务上先做 Looped Actor 与固定推理步数基线的对照实验，量化单位算力下的收益差。

• 论文摘要未给出评测所用具体环境名称以外的细节，各任务上的绝对成功率与基线对比数据尚不明确。
• 动态循环带来的额外推理迭代在真实部署中的实际延迟开销和训练稳定性未被证实。
• 复杂度理论结论与实践中可学到的状态自适应策略之间的差距有多大，尚未确认。
• 论文的同行评审状态与代码、模型是否公开尚无证据支持。