生成式 AI 的认知可信赖性：高风险工作流中合理依赖的规范框架

arXiv 发布了一篇论文，针对生成式 AI 在高风险专业场景中的部署，提出了一个规范框架，定义认知可信赖性（epistemic trustworthiness）的三个必要条件：认知谦逊、认知访问和认知正义抵抗，并通过法律、医疗和招聘案例进行分析。

此前评估 AI 系统主要关注准确性、公平性等指标，该论文首次将“用户何时有理由将 AI 输出作为推理输入”作为独立评估目标，提出了具体可操作的规范条件，为高风险场景下的 AI 治理和产品设计提供了新思路。

论文借鉴哲学中的可信赖性理论，认为系统需具备能力并面向受众需求。认知谦逊要求系统明确沟通自身能力边界；认知访问要求用户能检查、质疑和反驳输出；认知正义抵抗要求系统认可用户的认知主体地位。三者共同构成可信赖性，缺一不可。

该框架为 AI 产品设计提供了可验证的规范：系统需展现能力边界，提供可审查的中间结果或依据，并支持用户反馈和质疑。这将影响 AI 产品的交互设计、解释机制和反馈流程，并可能增加开发成本。

• 开发 AI 系统能力边界标注工具，自动识别并显示模型的局限性，如知识截止日期或低置信度场景。
• 设计可审计的推理追踪功能，让用户能够查看和质疑 AI 输出的关键步骤和依据。
• 构建用户反馈闭环，允许用户驳回输出并记录原因，以改进系统并体现认知公正。

• 论文是否提出具体的评估指标或测试方法？
• 框架中的三个条件在真实产品中如何权衡和实现？
• 该论文是否经过同行评审或获得机构背书？
• 论文是否讨论了不同行业（如法律、医疗）的差异化要求？