通过经验记忆提升LLM代理的顺序决策能力

论文研究LLM在顺序决策中的表现，发现其在井字棋和四子棋中表现不佳，输给MCTS对手。即便改写游戏表面形式，性能变化不大，说明非记忆问题。作者提出带经验记忆的代理框架，通过赛后反思和规则提取，在不改动模型权重的情况下提升井字棋表现。

现有LLM在单步推理任务上进步显著，但顺序决策能力是未知领域。本文首次系统评估并揭示LLM在简单游戏中的短板，且指出非记忆问题，为提升LLM在复杂任务中的稳定性提供新方向。

经验记忆机制模仿人类学习过程，在完成后进行反思并提取规则，存储于外部记忆，用于后续决策。该方法不修改模型权重，通过结构化的经验复用，降低信用分配难度，从而提升顺序决策表现。

对依赖LLM进行多步骤交互的产品（如游戏AI、对话系统）有直接参考价值。经验记忆框架可作为可插拔模块，增强决策质量，无需微调模型，降低研发成本，但需集成额外记忆管理组件。

• 在游戏类产品中集成经验记忆模块，提升AI对手的智能水平，改善玩家体验。
• 将赛后反思与规则提取机制用于对话产品，提升多轮对话的决策一致性。
• 开发轻量级记忆中间件，支持现有LLM产品的顺序决策优化，不依赖模型重训练。
• 在复杂业务流程自动化中引入经验记忆，提高任务完成率，减少错误步骤。

• 经验记忆方法在更复杂游戏或真实场景中的效果是否显著？
• 反思和规则提取的具体实现细节是否已公开？
• 该方法是否适用于非完全可观测的决策环境？
• 不同模型规模下的改进幅度是否一致？