- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年10月22日 06:52
- 状态
- 单一信源
发生了什么
一项研究在 OpenAI Custom GPT 环境中开发了面向 AI 治理教育的 TESSA,采用设计科学研究方法,用 100 个基准场景与基线 ChatGPT 对比。LLM 辅助评估显示治理对齐率为 TESSA 90%、基线 83%;由 AI 监管法律从业者独立验证后分别为 71% 和 70%。人类专家评审认为两者提供的治理指导总体较强,而 TESSA 在重复执行中保持较高一致性。
为什么重要
此前中小企业获取欧盟 AI 法案合规指导多依赖通用聊天机器人或人工咨询。该研究把治理对齐作为可量化指标,并引入法律从业者独立验证,显示专用治理型 GPT 相对通用基线在自动评估中有差距、在专家验证中差距缩小,其价值更多体现在输出稳定性而非绝对准确率提升。
底层逻辑
TESSA 的做法是在 Custom GPT 环境中加入治理导向的知识基础与监管更新机制,使回答围绕 AI 法案条款结构化展开,而不是依赖模型的通用知识。评估采用三层机制:LLM 辅助的治理对齐评分、人类专家评审和重复执行一致性测试。LLM 评分与法律专家评分相差约 20 个百分点,说明自动评估可能高估合规质量。
产品与商业机会
对做合规工具或企业服务产品的团队,这项研究提示:把监管知识库嵌入 GPT 能提升回答结构性与重复一致性,但上线前需引入领域专家抽检,不能只用 LLM 评分做质量门禁;同时应设计监管更新流程,避免知识过期导致错误指导。
- 面向中小企业推出治理型 GPT 模板,内置欧盟 AI 法案条款对照与风险分级问答流程。
- 在合规助手产品中加入重复执行一致性测试和专家抽检环节,作为发布前的质量门禁。
- 建立监管文本更新的人机协同流程,由法律从业者审核后写入知识库并记录版本。
- 针对 LLM 评分与专家评分差距,开发校准层,用专家标注数据校正自动评估结果。
仍待确认
- TESSA 的具体知识 grounding 方式与监管更新机制细节尚未在证据中展开。
- 100 个基准场景的构成、难度分布和评分标准未说明。
- 法律从业者独立验证的样本规模和评分一致性未披露。
- 研究结论是否适用于欧盟 AI 法案以外的监管框架尚不明确。