- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年8月20日 13:52
- 状态
- 单一信源
01
发生了什么
EchoCoT研究揭示了通过API交互可从黑盒大型推理模型中提取隐藏思维链(CoT)的安全风险。在开源模型上实现了最高66.4%的近原文提取成功率,在Gemini-2.5上成功提取了33,463个token,远超当前认知。
02
为什么重要
此前普遍认为黑盒模型的隐藏CoT无法直接获取,EchoCoT证明了通过API交互即可提取,颠覆了对模型资产安全性的假设,使得前沿模型的推理过程面临泄露风险,对AI安全与知识产权保护提出了新挑战。
03
底层逻辑
EchoCoT利用模型在工具调用之间的推理重放面,通过多步迭代攻击,结合API返回的保真度信号不断修正提取结果。其LLM优化框架能自动搜索通用注入轨迹,在不同数据集上泛化,从而实现高效提取。
04
产品与商业机会
对于依赖API的AI产品,部署时需考虑隐藏CoT泄露风险,可能影响模型供应商的竞争壁垒和用户隐私。产品研发需加强API交互的防护措施,或将CoT视为核心资产加以保护。
- 开发API安全检测工具,识别并阻止类似EchoCoT的注入攻击。
- 为模型API增加日志审计和异常调用检测功能,追踪可疑提取行为。
- 设计输出扰动或截断机制,在不影响功能的前提下增加CoT提取难度。
05
仍待确认
- EchoCoT提取是否适用于所有黑盒LRM,包括不同架构和厂商的模型?
- 目前是否已有防御措施能有效阻止此类攻击而不影响模型性能?
- 提取的CoT是否完全准确,是否存在语义失真或遗漏关键步骤?