- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年10月7日 23:40
- 状态
- 单一信源
发生了什么
一篇 arXiv 论文提出 GUISE 基准,用平行请求测试角色扮演或叙事包装对模型拒答的影响。结果显示 Qwen3-1.7B 在英语下攻击成功率 89.4%,现代中文 93.0%,文言文 95.7%。表征分析发现叙事包装比语言和语体更能让有害请求表征远离拒答方向。作者提出 AXIS,结合偏好优化、旋转目标和承诺目标,在 Qwen3-1.7B、Qwen3-4B 和 GLM-4-9B 上取得较高综合安全与可用性得分。
为什么重要
此前对越狱的关注多集中在提示词直接绕过,这篇论文把变量拆成语言和语体、叙事包装两类,并给出跨英语、现代中文、文言文的量化对比。它指出文言文场景的拒答失效更严重,同时把“先警告再回答”也算作攻击成功,收紧了评测口径,使安全评估更接近真实风险。
底层逻辑
机制上,模型内部存在拒答方向,语言和语体只让有害请求表征小幅偏移,而角色扮演或叙事包装会让表征大幅偏离该方向,从而绕过拒答。AXIS 据此外部干预:旋转目标把有害请求表征拉回拒答方向,承诺目标训练模型完全拒绝,而不是先警告再给出答案。
产品与商业机会
对做多语言产品的团队,安全测试若只覆盖英语和现代中文,会低估文言文等语体下的风险。产品需要把叙事包装纳入红队用例,并在评测指标中把“警告后仍回答”计入失败,否则上线后的实际拦截率会低于内部报告。
- 在模型上线前的安全评测流程中加入 GUISE 式平行请求集,覆盖英语、现代中文和文言文三类输入。
- 把“先警告再回答”改为硬性失败项,调整现有内容安全评测的通过标准。
- 对角色扮演、小说续写等叙事类功能单独设置拒答校验,而不是复用通用安全策略。
- 评估 AXIS 类训练或后处理方案在自有模型上的安全与可用性权衡,决定是否引入。
仍待确认
- GUISE 基准和 AXIS 方法是否开源,能否直接复现论文中的攻击成功率与安全得分?
- AXIS 在更大参数模型和更多语言上的效果是否与 Qwen3、GLM-4 系列一致?
- 文言文场景的高攻击成功率是否主要由训练数据覆盖不足导致,论文未给出结论。
- 把“警告后回答”计为攻击成功是否会显著降低模型在正常边界问题上的可用性,需要更多数据确认。