基于LLM的科学摘要简化中的人类在环语料库研究

本论文构建了一个人类在环的语料库，利用GPT-4o-mini生成科学摘要的简化版本，并通过STEM领域读者（非计算机科学）的反馈和计算机科学专家的编辑优化，最终发布了包含人类判断和自动评估结果的资源。实验表明，GPT简化版在可理解性和简洁性上更受偏好，但专家编辑保留了关键领域术语和科学主张的强度。

此前缺乏经过人工校验的简化语料库来训练和评估科学摘要简化系统。该论文提供了首批高质量、带人类编辑反馈的语料，并明确揭示了通用LLM（GPT-4o-mini）简化时的优势与局限，尤其强调了保留领域术语的重要性，为跨学科沟通工具的开发提供了基准。

流程分两阶段：先用GPT-4o-mini生成基线简化，然后由非计算机科学读者识别难点并对比评分，最后由计算机科学专家根据反馈编辑出参考简化版本。这种人类在环机制平衡了可读性和专业性，语料库可直接用于训练和评估简化模型。

该语料库可作为训练数据或评估基准，直接降低科学摘要简化系统的开发成本；开发者可借鉴其工作流（自动生成+人工反馈+专家编辑）改进自有产品的文本简化质量，尤其需注意避免过度简化导致术语丢失。

• 基于该语料库训练一个专门面向跨学科科学摘要简化的API服务
• 在学术论文平台（如arXiv）集成自动简化功能，帮助非专业读者快速理解
• 为科研协作工具设计摘要简化插件，允许用户反馈并迭代优化输出

• 该语料库的规模和主题覆盖范围是多少？是否涵盖多个科学领域？
• 非英语科学摘要的简化效果是否类似？语料库是否支持多语言？
• 专家编辑过程的具体成本和时间效率如何？能否大规模推广？