参数正确性：面向LLM工具调用的难度分级基准与探针引导训练

该论文提出一个面向大语言模型工具调用参数生成的难度分级基准ParamBench，以及探针引导训练框架，包含PBT和PGR方法。在ParamBench和6个外部基准上的实验显示，方法将平均精确匹配率从19.7%提升至59.6%。

此前研究多关注工具选择与调用顺序，对参数填充正确性关注不足。该工作发现模型隐藏状态蕴含参数正确性信号，并据此提出训练与推理阶段的优化方法，显著提升参数生成准确率，尤其在云网络等复杂领域。

模型在生成参数值时，其隐藏状态包含可预测正确性的线性探针信号。PBT利用探针筛选高质量自生成样本用于微调，PGR在推理时用探针挑选更优候选，以此提升参数生成准确率。ParamBench按参数嵌套深度等维度划分难度，支持系统评测。

对依赖LLM工具调用的产品，如云网络自动化助手，可显著减少参数错误导致的执行失败，提升任务完成率。同时，探针引导的微调与推理方法可降低对人工标注高质量数据的依赖，可能降低训练成本。

• 将PBT微调方法集成到现有LLM工具调用训练流程中，以提升参数生成准确率。
• 利用PGR在推理阶段对生成结果进行重排，作为产品中参数校验的辅助手段。
• 基于ParamBench建立内部基准，用于评估和监控模型在复杂参数场景下的表现。

• 该方法在非云网络领域（如通用助手）的效果如何？
• 探针引导训练的计算开销和工程复杂度是否可控？
• 论文中提到的5个开源模型是否包含主流商用模型？
• 除精确匹配外，对下游任务成功率的影响未在证据中说明。