从单文档到跨文档：大语言模型多粒度事件分析的基准测试

arXiv AI 发布论文，介绍 MiGUE-Bench，一个用于评估大语言模型在多粒度事件分析性能的系统性基准。论文提出 MiGUE-Pipeline 自动标注框架，设计事件检测、关系推理、结构归纳和未来预测四项任务，并在主流 LLM 和 RAG 方法上进行实验，刻画当前能力边界并发现关键缺陷。

此前事件分析基准受限于文档粒度、任务设计和数据来源，难以全面评估 LLM 能力。MiGUE-Bench 首次系统覆盖从原子事件细节到跨文档复杂叙事的多个层次，为 LLM 事件分析提供更全面的评测框架，推动该领域研究。

MiGUE-Bench 通过 LLM 驱动的自校正标注框架 MiGUE-Pipeline 自动生成高质量事件数据，支持大规模评估。设计四项核心任务，从事件检测到未来预测，逐步提高复杂度，从而探测模型在不同粒度上的能力，并通过实验对比 LLM 与 RAG 方法，揭示薄弱环节。

对于依赖事件抽取或知识图谱的产品，该基准可作为模型选型和能力评估的参考。研发团队可据此优化模型在事件关系推理和跨文档理解上的表现，提升信息提取类产品的准确性，但对具体产品的直接性能影响尚不明确。

• 使用 MiGUE-Bench 评估并对比现有 LLM 的事件分析能力，为技术选型提供依据。
• 针对跨文档事件关系推理和未来预测任务，研发专用优化方案以提升产品在复杂事件场景下的表现。
• 借鉴 MiGUE-Pipeline 的自校正标注机制，构建领域专属的高质量事件数据集。

• MiGUE-Bench 是否涵盖特定垂直领域（如金融、医疗）的事件分析？
• 基准在多大程度上能泛化到真实产品环境中的非英文或低资源语言？
• 不同 LLM 在四项任务中的具体性能差异和缺陷细节如何？