SciHazard：通过分解危害评分衡量科学安全风险的基准测试

研究人员推出 SciHazard 基准测试，包含 2400 个危险问题和 600 个过度安全问题的覆盖 12 个学科。该基准提出 DeHarm-Score 评估框架，通过分解响应危害为可执行性与净新增风险，并结合动态清单与检索增强验证，使评估与专家标注的一致性相比最强基线提升 90.17%。对 31 个前沿大模型和深度研究代理的评测显示，深度研究代理的平均 DeHarm-Score 比标准大模型高 32.3%，表明自主代理是当前安全防御的盲点。

此前科学安全基准多使用模板查询，与真实危害脱节，且依赖缺乏领域基础的大模型评判。SciHazard 基于真实世界危害场景和监管实体，引入分解式评估方法，显著提升了评估准确性，并首次系统揭示深度研究代理在科学安全方面的脆弱性。

DeHarm-Score 将响应级危害分解为可执行性（通过带重要性加权的动态清单量化）和净新增风险（通过检索增强的声明提取与合成屏障验证评估），从而更精确地衡量模型在科学安全问题上的实际有害程度。

使用大模型支持科学研究的工具、尤其涉及自主代理（如深度研究代理）的产品，需要重新评估安全风险。当前安全防御在自主代理场景下存在明显盲点，产品团队应考虑引入类似 DeHarm-Score 的细粒度评估机制，并针对自主行为加强拒绝策略。

• 开发基于 DeHarm-Score 的自动化科学安全评估工具，集成到模型评测流程中。
• 针对自主代理（如深度研究代理）设计专用安全训练数据集，降低其高风险行为。
• 为科学领域的大模型应用增加动态危害检查清单，实时过滤可执行性高的危险响应。
• 结合检索增强的声明提取与合成屏障验证，构建风险自检模块，防止模型输出净新增风险。

• DeHarm-Score 在实际产品部署中的计算成本与延迟是否可接受？
• 深度研究代理的更高风险是否源于其多步推理能力，还是训练数据或提示设计？
• 该基准的 12 个学科覆盖是否足以代表全部科学安全风险？
• DeHarm-Score 的专家验证是否覆盖了足够的领域专家和场景？