哪款 LLM 最擅长把自然语言目标翻译为 PDDL

arXiv 论文《Which LLM is Best for Translating Natural Language Goals to PDDL》针对自动化规划中的目标形式化问题，评估大模型能否把电子游戏测试人员用非正式语言写下的测试目标，稳定翻译成符合规范、可用于经典规划的 PDDL 目标。研究设计了专门的 prompt 模板，并用真实领域基准测试六个当代模型在正确性、速度和错误倾向上的表现。结果显示所有模型正确率均超过 92%，Gemini 2.5 Flash 以 96% 居首且误报最少，GPT-4.1 响应速度最快；失败主要来自语言歧义和领域表示局限。

此前非专家难以用 PDDL 这类形式语言表达规划目标，自然语言到自动化规划流程之间缺少可靠桥梁。该研究把“LLM 能否承担这一翻译环节”从设想变为可量化对比，给出多模型正确率、速度与错误类型的实证结果，说明该环节已具备接近可用的准确率，但模型间仍存在关键差异。

机制上，论文用精心迭代设计的 prompt 模板约束模型输出，使其生成格式良好的 PDDL 目标，再以真实、领域相关的测试目标作为基准，分别衡量正确性、响应速度和错误倾向。高正确率说明 LLM 在给定任务和模板下能较稳定地完成自然语言到形式语言的映射，而剩余错误集中在语言歧义与领域表示不足，反映瓶颈更多来自语义消歧和领域建模，而非单纯生成能力。

对产品与研发而言，可将 LLM 作为游戏测试或规划流程的前置翻译层，让测试人员用自然语言描述目标并自动转成 PDDL，减少对形式语言专家的依赖。选型上需在准确率与延迟间权衡：追求正确率和低误报可倾向 Gemini 2.5 Flash，追求速度可考虑 GPT-4.1。同时应为语言歧义和领域覆盖不足设置人工复核或回退机制，避免错误目标进入规划管线。

• 在游戏测试或自动化规划工具中嵌入自然语言转 PDDL 的 LLM 前置模块，并保留人工确认步骤。
• 针对测试场景建立领域术语与消歧词典，降低语言歧义导致的翻译失败率。
• 构建内部评测集，按正确率、误报率和响应速度对候选模型做上线前选型对比。
• 为翻译失败案例设计回退与重试流程，将无法消歧的目标转交人工处理。

• 该 96% 正确率是否在更多样、非电子游戏测试领域同样成立？
• prompt 模板的具体设计与可迁移性如何，是否依赖特定模型？
• 真实部署中的延迟与调用成本是否可接受，论文未给出成本数据？
• 领域表示不足导致的失败能否通过补充本体或领域描述系统性缓解？