SAFARI：面向 LLM 辅助危害分析与风险评估的工业基准

研究者发布 SAFARI，一个面向 ISO 26262 汽车危害分析与风险评估（HARA）的工业级基准，包含 3000 条去标识化的工业 HARA 案例，评估开放式危害分析与标准约束下的风险评估两类任务，并提出首个以参考答案为锚的 LLM-as-a-judge 协议。对九个前沿模型的实验显示，模型能给出看似合理的危害叙述，但 ISO 26262 风险分级能力弱，最佳 ASIL macro-F1 仅 0.261，Chain-of-Thought 提示收益有限且常使分类评估变差。

此前缺少公开的工业级功能安全基准，LLM 在受监管安全流程中的可靠性难以量化。该工作把评估对象从通用问答推进到 ISO 26262 HARA 的真实任务，并给出专家相关性较高的自动评审协议，使模型在安全关键场景中的能力边界首次有可对比的量化参照。

HARA 依赖完整的场景上下文与对可控性的判断，而 LLM 倾向生成语义通顺但遗漏关键约束的叙述，导致危害生成阶段丢失场景关键信息、风险评估阶段误判可控性；分类任务对标准条款的精确对齐要求高，CoT 带来的中间推理反而可能引入偏离标准的假设，因此分类指标提升有限甚至下降。

若在汽车或其它功能安全流程中引入 LLM 辅助，不能直接采信其 ASIL 分级结果，需把模型定位为草稿生成与遗漏提示工具，并由专家重点复核场景上下文完整性与可控性判断；同时意味着安全团队的评审成本结构变化，自动化收益集中在危害叙述生成而非风险定级。

• 围绕 ISO 26262 HARA 构建人机协作工具，把模型输出限定为危害场景草稿，并强制专家确认上下文与可控性字段。
• 基于 SAFARI 的 3000 条案例与评审协议，建立企业内部回归测试集，持续监控模型在 ASIL 分级上的表现。
• 开发针对场景关键上下文遗漏的检查器，在危害生成阶段自动提示缺失的安全相关约束。
• 面向安全评审流程提供可追溯的模型输出记录，标注每条危害叙述与风险评估的引用依据以便审计。

• SAFARI 的 3000 条案例覆盖哪些整车或零部件领域，是否足以代表不同企业的 HARA 实践？
• reference-anchored LLM-as-a-judge 协议与专家判断的相关性具体数值是多少，是否公开？
• ASIL macro-F1 仅 0.261 是否在微调或检索增强后显著改善，论文是否给出相关实验？
• 这些 HARA 案例的数据获取与使用是否存在许可或合规限制？