InsufficiencyBench：评估大语言模型在信息不足查询下的法律建议

arXiv 论文提出 InsufficiencyBench，首个针对法律咨询中查询信息不足问题的基准，涵盖八类缺失要素、三种结构失败模式，共202个测试项，覆盖六个法律领域和24个美国司法辖区。评估十个前沿模型，最佳F2得分仅0.46，中位召回率0.44，模型表现普遍不佳。

现有法律AI基准假设用户查询信息完整，但实际中常遗漏关键事实。InsufficiencyBench首次系统评估模型识别信息不足、避免过早结论的能力，揭示当前模型要么过度谨慎，要么基于错误假设作答，影响法律AI的可靠性和实用性。

基准通过定义八类缺失信息类别和三种失败模式（switch、gating、fatal prerequisite），构建测试集。评估结果显示模型在识别缺失信息上表现弱，且倾向于任意规避或沉默假设，说明当前模型缺乏对信息充分性的判断机制，难以在真实法律咨询中提供可靠建议。

法律AI产品需加强查询信息不足检测能力，避免在信息不全时给出误导性建议。产品研发应优先改进对缺失信息的识别和追问机制，并平衡过度谨慎与过度自信，以提升用户体验和信任度。可能增加对用户意图理解和交互式澄清功能的研发投入。

• 开发面向法律AI的查询完整性检测功能，在回答前判断信息是否充足，并生成针对性追问。
• 构建基于InsufficiencyBench的训练集，用于微调模型，提升缺失要素识别能力。
• 在现有法律咨询产品中引入“信息不足”预警提示，引导用户补充关键事实，减少错误回答。
• 研发多轮交互式澄清引导流程，在侦测到信息缺口时主动提问，而非直接作答。

• InsufficiencyBench是否覆盖非美国司法辖区，其迁移效果未知。
• 基准标注由执业律师完成，但评估是否考虑模型对法律之外事项（如道德）的考量？
• 是否有方法能在不降低完整查询回答质量的前提下，提升对信息不足查询的识别？
• 模型在识别缺失信息上的低分，是因训练数据不足还是架构限制？