VARM-Bench：中文网络暴力言论审核中可验证结构化推理的基准

arXiv AI 发布论文介绍 VARM-Bench 基准，用于评估中文网络暴力言论审核中的可验证结构化推理。该基准包含六个锚定决策：目标、目标类型、目标明确性、作者立场、危害标签和细粒度类别，并提供确定性验证协议，不依赖 LLM 评判。评估多种模型的零样本、分类指导及结构化 CoT 监督表现，发现强标签级性能可能掩盖完整审核记录中的重大错误。

此前中文审核基准仅支持标签分类或细粒度毒性分类，未提供统一表示来确定性验证审核决策依据。VARM-Bench 引入字段锚定的链式推理，并采用确定性协议，不依赖 LLM 法官，使审核推理可审计、可复现，改变了评估方式。

基准通过定义六个锚定字段，将审核决策分解为可独立验证的组成部分。其确定性协议检查字段正确性、目标对齐、输出有效性、完整记录一致性和隐藏记录错误，仅当最终决策正确时评估，避免 LLM 主观偏差。结果表明，仅关注标签正确性会忽略审核记录中的结构化错误。

使用结构化输出协议评估模型，揭示了标签级性能的假象，促使审核产品需重视完整记录准确性。对依赖零样本或简单分类的产品，可能导致审核失误，需升级到结构化推理并采用字段级验证，以提升内容安全可靠性。

• 开发中文审核后台，集成 VARM-Bench 六字段结构化输出，增强审核决策可解释性。
• 利用 VARM-Bench 的确定性协议，构建自动化回归测试，验证审核模型字段级准确性。
• 针对发现的结构化错误，设计提示词或微调策略，提升审核模型完整记录一致性。

• VARM-Bench 覆盖的文本类型与领域是否有限，是否能迁移到其他中文审核场景？
• 该基准与现有中文毒性分类基准的性能对比具体如何？
• 确定性协议在开放域或对抗样本上的鲁棒性尚未验证。