KaliBench：Kali Linux 上细粒度网络安全工具调用基准，支持免运行时可验证奖励

研究团队发布 KaliBench，一个面向 Kali Linux 自然语言到命令行翻译的细粒度基准与数据集，包含 8,504 条查询—命令对，覆盖 1,642 个工具、23 个能力维度和 5 个安全阶段。数据经手稿约束流程构建，采用确定性规范化与别名感知评估，并通过多阶段验证流程（LLM 校验、沙箱终端执行、人工回环修正）保证语义正确与可执行性。基于这些确定性信号，基准支持免运行时可验证奖励训练。

此前对 LLM 的网络安全评估多聚焦知识问答或端到端智能体任务，并未直接测量模型为真实安全工具生成可执行命令的能力。KaliBench 把评测粒度细化到工具选择与参数构造，并给出可复现的确定性评分，使命令行层面的细微语法与参数错误能够被量化。

网络安全操作依赖严格的命令行接口，微小的语法错误、参数名与取值绑定错误或参数顺序错误都会导致执行失败，因此需要细粒度评估而非粗粒度任务成败。KaliBench 通过规范化与别名感知匹配将自然语言到命令的翻译转成确定性判断，再借助沙箱执行与人工修正构造可信标签；这些确定性信号又可直接作为可验证奖励，用于免运行时的模型训练。

对安全产品团队，该基准可用于筛选和微调适合自动生成安全命令的模型；对研发，可直接使用其确定性奖励做强化学习或偏好优化，降低依赖沙箱运行时的训练成本；对分析师工作流，可评估自然语言到 CLI 的自动转换是否达到可用精度。评估显示，在无限制设置下，24 种开放权重模型无一超过 42% 的精确命令准确率。

• 基于 KaliBench 的确定性奖励，对安全领域开放权重模型做免运行时强化学习微调，降低算力成本。
• 开发命令行参数校验与纠错中间层，在模型输出命令后自动检测参数绑定和顺序错误。
• 用 KaliBench 的 23 个能力维度和 5 个安全阶段细分评测结果，为不同安全场景选择合适模型。
• 将别名感知与规范化评估方法复用到其他 CLI 工具生态，如云运维或网络设备配置。

• 论文摘要未说明 24 种开放权重模型的具体名称与各自准确率分布。
• 摘要未给出免运行时奖励训练后的模型效果提升数据。
• 数据集的公开获取方式、许可证与维护计划尚未在证据中说明。
• 基准是否覆盖非英语自然语言查询尚不明确。