结构化但脆弱：LLM在网络安全决策中的局限

一项研究评估了LLM在网络安全决策中的能力，基于真实威胁场景的攻击图进行防御选择。结果显示，LLM在提供显式攻击图结构时表现接近优化基线，但能力脆弱：随图复杂度增加而下降，对提示措辞和框架高度敏感，小幅改动可改变排名，且将不佳策略标记为“最优”会显著提升其评估。LLM对风险判断与最优策略间呈非单调关系。生成的求解器虽恢复高层公式，但扩展性差。

此前对LLM在安全领域的应用多关注其生成能力，本研究首次系统验证其在结构化推理任务中的可靠性，揭示其表面能力下的脆弱性。这直接影响企业是否可信赖LLM辅助安全决策，以及如何设计提示和评估流程。

LLM依赖模式匹配而非真正的结构化推理。显式图结构提供线索时能模拟优化，但缺乏鲁棒性。决策对框架敏感，表明模型依赖浅层特征而非深层理解。非单调关系表明其风险判断不遵循逻辑一致性，生成代码时恢复公式但扩展性差，源于其统计生成本质。

依赖LLM进行安全防御选型的产品需加入验证和校准机制，避免误判。提示设计需标准化，以防微小变化导致结果大异。对高风险场景，应结合传统优化算法作为基准，而非完全信任LLM输出。

• 开发结合LLM与传统优化求解器的混合决策系统，以LLM提供候选方案，用基线求解器校验。
• 设计提示标准化框架和评估协议，减少框架敏感性，提升LLM在安全决策中的一致性。
• 构建安全决策LLM的鲁棒性测试套件，可模拟图复杂度和提示扰动，帮助用户评估模型可靠性。
• 面向安全运维推出可解释性工具，展示LLM决策与最优解差距，辅助人工审计。

• 研究是否涵盖不同模型规模或架构？表现是否因模型而异？
• 在真实部署中，攻击图结构的获取难度如何？未显式提供时LLM表现如何？
• 是否测试了对抗性提示或恶意框架？
• LLM生成的求解器在更大规模或更多约束下表现如何？