面向 EU AI Act 行为准则系统性风险证据的开放管线与看板

该论文提出 Systemic Risk Index，一个开放评估管线与可视化看板，按 EU GPAI Code of Practice 定义的 CBRN、网络攻击、有害操纵、失控四类系统性风险，整合 19 个公开基准，并采用保害扰动与模拟部署情境评估模型。在 18 个模型上，最坏情况聚合使分数比平均聚合下降 14 至 37 分；LLM 评审与人类评分者一致性 κ 为 0.78 至 0.82。

此前关于 AI 安全的公开主张常依赖不透明证据或静态评估，外部难以追溯。该工作把分散基准映射到监管框架下的风险类别，并让评分可回溯到具体证据，同时公开了平均与最坏情况两种聚合口径的差距，使模型风险披露从单一口径转向可选口径与可审计来源。

该管线先把 19 个公开基准归入四类监管定义风险，再用保害扰动和模拟部署情境生成测试输入，最后通过交互看板暴露聚合方式与能力权重对总分的影响。平均聚合会平滑掉极端表现，最坏情况聚合则放大尾部风险；可回溯设计把每个风险评级绑定到基准证据，使外部可复核评分来源而非只接受结论。

对模型开发者而言，合规披露需要同时准备平均与最坏情况口径，并保留基准到评级的映射链路，这会增加评估与文档成本。对采购与风控团队，看板提供了按风险类别抽查证据的入口，可把模型准入评审从看总分改为按场景与聚合口径复核。对用户，交互式展示降低了理解评估结果的门槛。

• 把 Systemic Risk Index 的四类风险与 19 个基准映射做成内部模型准入清单，要求每个上线模型附带可回溯的基准证据链接。
• 在模型评测报告中同时输出平均与最坏情况聚合结果，并标注两者差值，避免单一平均分掩盖尾部风险。
• 开发面向合规团队的看板式审计工具，支持按风险类别、聚合口径和能力权重切换并导出证据链。
• 将保害扰动与模拟部署情境纳入回归测试集，用于监控模型迭代后系统性风险评分的变化。

• 该管线对 18 个模型之外的新模型是否可直接复用，是否需要额外校准？
• 83% 保害扰动保留原始危害意味着约 17% 的变换可能失效，论文未说明其对评分的具体影响。
• N=21 的用户调查样本较小，看板在真实合规评审流程中的可用性仍待更大规模验证。
• 最坏情况聚合与平均聚合相差 14 至 37 分，监管方最终会采纳哪种口径尚未明确。