Arafa：LLM 生成的阿拉伯语事实核查数据集

研究团队发布 Arafa，一个面向现代标准阿拉伯语的大规模事实核查数据集，通过 LLM 自动框架构建。流程分三步：从阿拉伯语 Wikipedia 页面生成声明及支持证据；对声明进行变异以生成反驳性反事实声明；自动验证声明与证据的对应关系。数据集包含 181976 组声明-证据对，标注为支持、反驳或信息不足三类。

阿拉伯语事实核查此前受限于数据集与资源稀缺，该工作称 Arafa 是首个大规模阿拉伯语事实核查数据集，并以自动化流程替代纯人工构建，为阿拉伯语 NLP 提供可复用训练与评测资源。

以阿拉伯语 Wikipedia 作为事实来源，先生成声明与支持证据，再通过声明变异构造更难的反事实样本及反驳证据，最后用自动验证判断证据是否支持、反驳或不足以判断，从而在低人工成本下规模化产出带标签的三分类数据。

对研发而言，可直接用于微调开源 transformer 模型，降低阿拉伯语事实核查能力建设的标注成本；对面向阿拉伯语市场的产品，可复用来支持内容审核、信息验证等环节；但模型效果与数据质量依赖自动验证的准确率。

• 用 Arafa 微调阿拉伯语事实核查模型，接入内容平台的事实核查或审核流程。
• 将三分类输出（支持、反驳、信息不足）设计为人工复核分流规则，优先处理信息不足样本。
• 把该自动构建流程迁移到其他低资源语言，复用 Wikipedia 作为事实来源。
• 以 Arafa 为基准集建立阿拉伯语模型的定期评测与版本对比。

• 数据集与构建框架是否公开发布、以何种许可开放？
• 自动验证在非人类评估样本上的真实准确率如何？
• 最高 Macro F1 为 77% 的模型具体是哪一个，其推理成本与延迟如何？
• 该流程迁移到其他语言或领域的可行性与效果尚未验证。