PLSQLBench：评估 LLM 可执行数据库编程能力的基准

ORACLE 团队发布 PLSQLBench，这是首个评估 LLM 编写可执行 PL/SQL 程序能力的基准，通过执行测试衡量正确性。基准包含 2865 个实例，覆盖多轮对话与不同复杂度任务。实验发现 LLM 在 schema 理解、PL/SQL 方言、控制流、异常处理等方面存在困难，工具增强的 agent 在部分任务上提升性能，但差距仍大。代码已开源。

此前 LLM 评估集中于通用代码生成或声明式 text-to-SQL，PL/SQL 过程式编程未被关注。PLSQLBench 首次系统评估该能力，发现模型在 schema 理解和方言遵循上有明显短板，且工具增强 agent 可部分改善，为数据库编程领域模型选型与优化提供新标尺。

该基准通过执行测试而非静态比对来验证程序正确性，更贴近真实数据库场景。任务集结合企业级 Spider 2 与简单 schema，覆盖不同复杂度。八个模型的实验揭示常见失败模式，工具增强 agent 通过外部调用（如 schema 查询）提升性能，但过程控制流等深层推理仍需模型自身能力提升。

对数据库工具、低代码平台等产品，该基准可帮助筛选更适合 PL/SQL 编程的模型。工具增强 agent 的改进提示产品可集成 schema 探查、错误反馈等机制。研发团队可参考失败模式优化模型微调数据，减少调试成本，提升面向企业用户的编程助手准确性。

• 引入 PLSQLBench 作为模型选型指标，筛选 PL/SQL 生成能力强的模型，用于企业级数据库开发工具。
• 在编程助手中加入 schema 自动探查与反馈循环，通过工具增强 agent 提升 PL/SQL 生成准确率。
• 基于基准中失败模式（如异常处理）构建微调数据集，提升模型对 PL/SQL 方言的遵循能力。
• 开发针对多轮对话场景的代码生成功能，利用 271 个多轮任务验证并改进交互一致性。

• PLSQLBench 是否覆盖企业中常见的特定行业数据库 schema？
• 工具增强 agent 的具体设计（如工具类型、调用时机）是否公开？
• 八款模型的性能排名及与 text-to-SQL 基准的相关性如何？
• 基准是否支持持续扩展以跟踪 LLM 能力进步？