通过注意力头干预实现 LLM 的个性化隐私控制

arXiv AI 发布论文，提出个性化隐私概念，将用户特定的披露偏好纳入 LLM 隐私控制。论文构建了 P3Bench 基准，实验显示基于提示的策略难以可靠执行个性化隐私，Qwen2.5-7B 和 Gemma3-4B 的平均政策忽视率分别达 51.25% 和 74.28%。为此，论文提出 Repair 方法，一种推理时注意力头干预方法，可减少模型不遵循用户隐私政策的案例，显著提升对个性化偏好的遵从度。

以往上下文隐私研究关注情境规范，但忽略同一情境下不同用户的披露边界可能不同。该研究首次将个性化偏好纳入隐私控制，并提出基准和干预方法，为代理式 AI 处理多样化用户数据时的隐私保护提供了新方向，弥补了现有模型在个性化隐私上的不足。

LLM 中不同注意力头可能编码了隐私相关的信息，通过推理时干预特定注意力头，可以调整模型的输出，使其更符合给定政策。Repair 方法在生成过程中动态干预，从而纠正模型对个性化隐私政策的偏离，提高遵从率，且无需重新训练模型。

对依赖 LLM 处理用户数据的应用（如个性化助手）而言，该方法可在推理阶段增强隐私合规性，减少隐私泄露风险。由于无需重新训练，可降低模型迭代成本，但需额外计算开销。产品团队需评估干预对生成质量的副作用，并设计用户偏好管理界面。

• 开发支持用户自定义隐私偏好设置的 AI 助手产品，集成 Repair 干预方法，在推理时动态调整输出，确保个人信息不越权披露。
• 在隐私敏感行业（如医疗、金融）的 AI 客服系统中，引入个性化隐私控制模块，按用户偏好过滤响应，降低合规风险。
• 将 P3Bench 作为行业标准测试集，构建隐私合规评测工具，帮助模型开发者量化模型对个性化隐私政策的遵从度。
• 结合用户反馈，优化注意力头干预的强度和时机，提供可配置的隐私控制开关，平衡隐私保护与回答实用性。

• Repair 方法在更多模型和复杂情境下的泛化性能如何？
• 注意力头干预是否会影响模型在非隐私任务上的性能？
• P3Bench 基准的标注质量和真实用户偏好一致性如何？
• 该方法在实际产品中的计算开销是否可控？