AraDetox：多方言阿拉伯语去毒化数据集

研究团队推出AraDetox，一个包含10,500条有害社交媒体帖子和84,000条去毒改写文本的多方言阿拉伯语数据集，覆盖现代标准阿拉伯语、海湾、黎凡特和埃及方言，使用GPT-5和Gemini 2.5 Flash生成，并经人工评估与自动分析验证。结果显示去毒化主要是保持语义的改写任务，且方言风格与参考语料对齐。数据集已在GitHub公开。

此前阿拉伯语有害内容检测研究较多，但文本去毒化（detoxification）领域缺乏资源。AraDetox首次提供覆盖多种方言的大规模去毒化数据集，并验证了LLM辅助生成加人工审核的可行路径，为阿拉伯语安全文本生成和多方言NLP研究提供了基础数据，可能推动相关产品在多语言内容安全上的改进。

去毒化任务本质是保留语义的改写：模型在词汇和结构上大幅调整，但语义相似度保持较高。人工评估确认有害语言被移除且原意保留。数据集构建采用LLM生成候选改写，再结合人工和自动评估筛选，形成规模化资源。方言分析显示生成变体与参考语料库风格对齐，说明LLM能适配不同方言。

对涉及阿拉伯语内容审核或生成的产品（如社交媒体、聊天机器人），可利用该数据集微调模型实现自动去毒化，降低人工审核成本；同时需注意模型在不同方言上的风格一致性，以及语义保留质量对用户体验的影响。

• 基于AraDetox微调阿拉伯语内容审核模型，在MSA及海湾、黎凡特、埃及方言上实现自动去毒化，减少人工审核工作量。
• 将AraDetox集成到阿拉伯语社交媒体平台的评论自动改写功能，提供温和表达建议，提升社区氛围。
• 开发多方言安全文本生成工具，利用AraDetox增强生成模型在方言风格上的对齐性，优化本地化体验。

• AraDetox的自动评估指标具体数值未在摘要中披露，语义相似度和方言对齐的量化结果尚待查阅论文。
• 数据集作者未说明GPT-5和Gemini 2.5 Flash的生成提示词及人工审核的具体标准，可能影响复现。
• 未提供与现有最小编辑方法在任务上的直接对比结果，实际增益需进一步验证。