基于LLM常识推理的多智能体编排用于自动驾驶

arXiv 发布论文，提出一种混合自动驾驶框架，由编排器协调 PPO 强化学习和 PID 控制，并利用大语言模型（LLM）的常识推理能力贯穿全局，还通过 LLM 推理迭代优化 RL 奖励函数。系统在高度随机的 CARLA 场景中评估，结果展示了结合 LLM 推理与传统自动驾驶方法的潜力。

此前 LLM 直接用于车辆控制存在延迟与幻觉风险，而强化学习和规则方法在需要上下文推理的场景中性能下降。该混合框架将 LLM 推理与传统控制方法结合，保留了结构化控制与安全机制，为自动驾驶决策提供了新思路。

编排器协调 PPO 强化学习与 PID 控制，LLM 提供常识推理支持，并迭代优化奖励函数，使系统能适应动态驾驶环境，同时避免直接控制带来的延迟和幻觉问题。

该框架可能影响自动驾驶产品的决策模块设计，通过引入 LLM 推理增强复杂场景适应能力，同时维持传统控制的安全保障，但需注意推理延迟和计算成本。

• 在自动驾驶模拟环境中集成 LLM 编排器，优化 PPO 控制策略的奖励函数设计。
• 研发混合控制模块，将 LLM 推理用于结构化控制之外的场景识别与决策补充。
• 探索将 LLM 推理用于驾驶场景的上下文理解，提升模拟器中的随机场景测试通过率。

• LLM 推理在实车部署中的延迟是否满足实时控制要求？
• 该框架在真实道路环境中的效果是否与模拟环境一致？
• LLM 迭代优化奖励函数的计算资源消耗有多大？
• 编排器的决策机制如何保证安全和可解释性？