- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年7月30日 02:34
- 状态
- 单一信源
发生了什么
该论文将古典中文史籍中的互文性提取重构为代理式任务,让大型语言模型通过受限工具接口,在精确字符跨度上支撑每次复用,并标注五维类型。研究以《论语》和《汉书》为例,由三位领域专家裁决,构建了包含2533个互文对的基准,并测试了十二个LLM。扩展到《二十四史》后,恢复了语料级别的结构,发现引用在十八个世纪中保持稳定,但逐字引用减少。
为什么重要
传统互文性计算方法仅提供相似度分数和相似段落列表,不能描述复用方式。该研究引入代理式LLM,结合精确字符锚定和五维类型标注,提供了更细致的分析,并通过专家裁决构建基准,为评估LLM在文本分析中的可靠性提供量化依据。
底层逻辑
代理式LLM通过工具接口强制模型在精确字符跨度上支撑每次复用,并标注五维类型,确保提取的准确性。专家裁决池化多模型候选集,形成高质量基准。模型性能差异大,精度在56%到93%之间,成本差异达51倍。专家一致性揭示了表面可见的维度标注可靠,而需推理意图的维度存在争议。扩展至大规模语料可恢复相似度无法表达的结构。
产品与商业机会
该研究对文化遗产数字化产品有直接价值,可提升文本分析工具的互文性检测能力。对LLM在专业领域的应用,提供了评估框架,帮助选择性价比高的模型(成本差异51倍)。但依赖专家裁决,成本较高,需平衡质量与成本。
- 开发基于代理式LLM的互文性提取工具,用于古籍数字化平台,提供精确的文本关联分析。
- 利用该基准(2533个互文对)作为评测集,评估并优化LLM在文本分析任务上的表现,降低推理成本。
- 将五维互文性标注维度整合到历史研究工具中,自动标注引用形式、功能等,辅助学者分析。
- 探索将方法扩展到其他语言或现代文本,提供跨语料的互文性分析服务。
仍待确认
- 论文中的方法是否适用于其他语言或现代文本?
- 在缺乏领域专家时,如何保证标注质量?
- 不同LLM的性能差异(56%-93%)的具体原因是什么?
- 成本差异51倍的具体模型和配置是什么?