从不可靠到可用：LLM 实体抽取的失败模式与置信信号拆解——网络威胁情报证据

一项预注册、完全冻结的评估测试了 DeepSeek-V4-Flash、GLM-5.3-Flash 两款低成本新模型与旗舰级对照 GPT-6.1-Sol，在 354 起事件活动、315 份报告、630 次模型-报告评估上的实体抽取质量、置信度校准与鲁棒性。结果显示：微观精度仅 0.03-0.34，语言化校准误差 0.53-0.94，旗舰档也未缩小差距；主要失败并非幻觉，抽样标注中 65.6% 为背景性提及、19.9% 为金标准范围缺口，仅 1.2% 无支撑；自洽频率分层在六个测试单元格通过精度增益门槛。

过往审计只报告 LLM 文档抽取“严重不可靠”，却不区分失败构成，也未验证置信信号能否把不可靠输出转为可用输出。该研究把失败拆成背景提及、范围缺口与少数无支撑项，并给出零成本置信分层是否达标的可复现判据。

模型倾向抽取大量背景性提及，而非金标准定义的实体范围，因此低精度主要源于范围界定差异而非凭空捏造；同时口头置信度校准很差，说明模型自报的置信不能直接当验证器。自洽频率等零成本信号只能对候选排序，无法逐条核验归属是否正确。

对依赖 LLM 做威胁情报、合同或文档实体抽取的产品，不能只用自报置信过滤结果，需加入范围定义、候选分层与人工抽检环节；同时评估指标应区分背景提及、范围缺口和幻觉，避免把范围偏差误判为模型造假。

• 在抽取流水线中引入零成本自洽频率分层，对候选按置信排序，仅对高分段落自动入库，其余转人工复核。
• 为实体抽取任务建立金标准范围说明书，明确哪些提及计入输出，减少背景性提及造成的精度损失。
• 对关系级输出设置单句扰动回归测试，检测一句误归属文本是否导致结果翻转。
• 把评测拆成背景提及、范围缺口、无支撑项三类指标，作为采购或上线模型的门槛。

• 摘要中关系级反事实结论被截断，单句误归属具体会翻转何种结果尚不明确。
• 自洽频率分层在训练集六个单元格中仅 4/6 达标，泛化稳定性有待确认。
• 文字频率与自洽频率组合的胜负分布只有部分单元格数据，尚不清楚其适用边界。
• 该评估仅覆盖网络威胁情报单一语料与三款模型，能否外推到其他领域和模型未知。