HoF-Bench基准：无需前沿模型重新发现真实的AI发现CVE

AISLE的LLM分析器已在78个成熟开源项目中贡献超过280个CVE。研究者构建HoF-Bench基准，包含这些公开AI发现CVE中的95个。一个最小化LLM分析器在严格协议下可重新发现其中65个（68%），且全部检测未使用前沿模型。遗漏CVE集中在C语言基础设施代码中。基准数据集已公开。

此前AI发现CVE的验证依赖前沿模型；该研究证明仅用开源或小型模型即可重现68%的已发现CVE，并提供标准化测试床。尤其指出C语言基础设施代码对所有模型均为难点，为漏洞扫描实际部署提供了可靠性和覆盖度的量化依据。

LLM分析器接收源码和文件范围，但无CVE标识或修复信息。判定由前沿模型（盲审）根据代码路径、根因、攻击条件和影响确认。模型进行四次重复运行、可选上下文生成和多轮分类阶段。难度按语言结构化分布，C代码中的漏洞被所有模型遗漏。

开源项目可用低成本LLM扫描器自动发现漏洞，但需警惕对C基础设施代码的盲区。该基准可直接用于评估扫描器重复运行一致性和候选数量，为产品选型或自研扫描器提供对比工具。

• 基于HoF-Bench评估自家漏洞扫描器在重复运行中的可靠性
• 针对C语言基础设施代码开发专用分析模块以弥补现有盲区
• 利用开源权重模型构建低成本且无需前沿模型的持续集成漏洞扫描服务

• 基准中CVE是否充分代表真实世界中漏洞的难度分布？
• 最小化分析器的具体模型架构与训练细节是否公开？
• 作为判定者的前沿模型是否引入系统性偏差？
• 该扫描器在实际开发流程中的误报率和处理延迟如何？