评估大语言模型在国际海运危险货物规则合规中的表现

arXiv AI 发布论文《Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance》，首次提出 DGEval 基准，用于评估大语言模型对国际海运危险货物规则（IMDG）修订版 42-24 的合规知识水平。基准包含 1,678 道题，涵盖多选、开放、危险货物清单查询及法规识别等任务。评估了 13 个模型，发现最佳模型在多选题上超过人类从业者基准，但在积载、隔离和法规记忆等安全关键领域表现最弱。

此前尚无系统性评估 LLM 能否可靠解读 IMDG 规则。这是首个针对 IMDG 修订版 42-24 的基准，首次量化了 LLM 在安全关键领域（积载和隔离）的不足，说明 LLM 在部分合规场景可辅助人类，但不可完全替代人工监督。

论文通过构建基于专家编写和结构化查表的基准，对模型进行多任务测试，对比人类从业者表现。结果表明模型在需要精确解析跨条款交互的法规记忆和操作判断上存在短板，而结构化查询任务借助网络搜索可显著提升准确性，揭示了 LLM 在处理复杂法律法规时的性能边界。

对航运合规软件供应商而言，可探索集成 LLM 辅助危险货物清单查询和初步分类，但需保留人工复核流程。企业可基于 DGEval 基准评估现有模型能力，优先改进积载和隔离相关功能，避免在安全关键场景直接依赖模型输出。

• 开发针对 IMDG 积载和隔离规则的垂直领域微调模型，利用 DGEval 作为评测指标。
• 构建 LLM 辅助的危险货物清单查询工具，集成网络搜索实时检索最新法规。
• 在合规软件中增加 LLM 输出置信度标注，强制高风险决策进入人工审批流程。
• 基于 DGEval 基准提供模型合规能力评估服务，帮助船运公司选型合规 AI。

• LLM 在积载和隔离等弱点上，能否通过检索增强生成或更大微调数据得到实质改进？
• DGEval 基准中的问题是否覆盖 IMDG 全部关键细节，能否反映真实业务场景的完整复杂度？
• 人类从业者基线是如何定义的，是否存在主观性，导致与 LLM 比较的公平性不足？
• 论文未披露 13 个模型的具体名称和版本，结果的可复现性和普遍性需进一步确认。