KoNeoBench：面向 LLM 韩语新词理解的人工审核评测数据集

arXiv AI 收录论文 KoNeoBench，作者提出一个面向韩语新词理解的 LLM 评测数据集。该数据集包含 2020 年以来在线新闻中出现的 1,785 个韩语新词，经专家词典学审核，每个条目提供用法示例、构词分析和词典式定义。基于该资源，论文定义四项任务，并报告近期模型与人类基线的结果。实验显示，当前 LLM 在还原源语素、区分语义类别和生成准确定义上存在明显局限。

现有韩语基准以既有词汇为中心，对近年词汇变化的覆盖有限，且英语导向设计难以评估韩语中实词与功能语素高产组合的类型学特征。KoNeoBench 把评测对象转向 2020 年后新闻中的新词，并引入专家词典学审核，使模型能力评估从静态词表扩展到持续变化的真实语言。

该基准以在线新闻为语料来源，经专家审核形成条目，每条含用法示例、构词分析与词典式定义；再据此设计四项任务并设置人类基线，从而把新词理解拆解为可测环节。实验结果表明模型在源语素还原、语义类别区分和定义生成上受限，说明静态基准难以反映词汇演变带来的能力缺口。

对面向韩语市场的产品与研发团队，这意味着仅用通用或英语导向基准难以判断模型在韩语新词上的实际表现。若应用涉及新闻、社交内容或用户生成文本，模型在构词还原、语义归类与定义生成上的薄弱环节可能直接影响检索、分类、摘要和问答质量，需要在评测与验证环节加入新词维度。

• 在韩语内容产品的模型选型或回归测试中引入 KoNeoBench 的四项任务，替代仅依赖通用基准的评估流程。
• 针对新闻与社交文本中的新词，建立人工审核后的术语与定义补充流程，用于检索、分类或问答系统的纠错。
• 围绕新词构词分析结果，开发面向韩语用户的词义解释或词典式定义生成功能，并以人类基线衡量可用性。

• 四项任务的具体定义、评测指标和人类基线分数在摘要中未给出，需查看论文全文确认。
• 1,785 个新词在新闻领域之外的覆盖程度如何，尚未被证据说明。
• 该基准是否会被主流模型评测套件采纳，目前无法确认。
• 除新闻语料外，是否纳入其他来源的新词，证据中未提及。