SecRespond：对真实世界后入侵事件响应中AI代理的基准测试

论文推出SecRespond，首个评估LLM代理在后入侵事件响应流程中能力的基准。基于10个已遭入侵的云主机案例，测试代理生成取证报告和修复计划的能力。结果显示，现有代理能发现警报暴露的问题，但无法主动发现静默入侵，也无法生成完整的验证修复计划。

此前基准仅评估入侵前环境，后入侵场景未被探索。SecRespond填补此空白，表明当前AI代理在真实入侵响应中存在根本性瓶颈，无法完成完整检测与修复。

后入侵响应要求代理主动检查磁盘等工件，而非仅依赖警报。现有代理缺乏主动探索和综合验证能力，导致静默入侵和修复计划缺陷。

安全运营产品若集成LLM代理，需注意其局限性：代理可辅助处理警报，但无法自主完成全面取证和修复。产品或需设计人工复核流程，或改进代理的主动探索能力。

• 开发结合手动规则与LLM的混合代理，由LLM提供初步分析，规则系统确保全面覆盖。
• 建立后入侵基准测试集，为安全AI产品提供验证指标。
• 针对静默入侵检测，设计专门的代理训练数据集或强化学习方案。
• 提供“修复计划验证”模块，由人类或独立工具检查代理输出。

• 论文中测试的23个前沿模型具体是哪些？不同模型间表现差异如何？
• 基准的10个案例是否涵盖足够多样的攻击技术和操作系统？能否泛化到其他环境？
• 代理的失败是由于推理能力不足还是训练数据缺失？