面向中国 AI 生成内容法规的 LLM 合规基准评测

一篇 arXiv 论文针对中国 AI 生成内容合规要求，构建了包含 2303 个问题、覆盖六个维度的评估框架，其中含 203 个自建宪法类问题，并对 20 个主流 LLM 给出合规与拒答率评测结果。作者称国际模型在用标准中文提问时同样表现出较高合规水平，主要差异可能来自与意识形态对齐密切相关的维度。

此前相关合规评测多基于英文语境，低估了中文内容的复杂性。该工作以中国现行合规要求为依据，建立可同时评估中外模型的统一监管基准，把合规讨论从英文场景扩展到中文与意识形态对齐维度。

论文用多评判模型按各自的分层对齐记忆独立生成裁决，覆盖六个维度与自建宪法类问题，从而在统一法律依据下对比不同模型的合规与拒答行为，并观察差异集中在哪些维度。

面向中文市场的模型团队可据此框架自查内容合规与拒答边界，尤其是意识形态相关维度；同时提示仅以英文合规测试评估中文产品存在盲区，需补充中文合规用例与裁决流程。

• 中文大模型团队可引入覆盖六维度的合规评测集，在上线前例行回归测试合规与拒答率。
• 合规工具厂商可基于该框架思路，提供中文内容合规评测与差异维度报告服务。
• 面向出海与在华双市场的模型方，可建立统一合规基准，对比同一模型在不同监管语境下的表现。

• 该框架的 2303 个问题与 203 个自建宪法类问题是否公开可获取？
• 评判模型自身的对齐偏差会如何影响裁决的可靠性？
• 六个维度中具体哪些维度造成国际模型间差异，证据未展开。