推理时共识机制：缓解大语言模型微调中的隐藏行为

arXiv AI 一篇论文提出推理时共识机制，用于缓解大语言模型微调中由少量恶意或良性数据植入的隐藏不良行为。该方法从多个来源收集数据集，分别微调独立参考模型，在解码时聚合各模型的 next-token 分布，通过 token 级最小值或基相对变体共识解码器，只保留各来源一致的行为。实验表明，该机制能有效抑制来源特定的不良行为，同时保留共享的良性行为，优于联合训练和权重平均。

此前防御方法（数据过滤、混合无害数据、正则化）只能减弱而不能消除微调注入的隐藏行为。本文通过多来源冗余和解码时共识聚合，实现了对植入不良行为的有效抑制，且能在保留良性行为的同时阻断特定来源的恶意影响，为模型安全提供了一种新思路。

核心机制是收集多个独立来源的数据集，每个来源微调一个参考模型。解码时，通过 token 级最低概率或基相对变体共识解码器，聚合各模型的概率分布。只有所有来源一致支持的行为才会被保留，若部分来源出现方向分歧或概率过低，则抑制该 token。这样即使某个来源包含恶意数据，其特定行为会被其他来源的共识过滤掉。

该方法需要为每个数据来源维护独立的微调模型，并在推理时并行计算和聚合概率分布，增加了计算成本和推理延迟。但可显著提升对数据投毒、后门攻击的防御能力，适用于需要高安全性保障的 LLM 产品（如客服、金融、医疗领域）。开发者需权衡安全增益与资源消耗。

• 开发基于多来源共识解码的微调安全插件，集成到现有 LLM 部署框架中
• 构建企业级数据源可信度评估工具，结合共识解码自动过滤不可信来源的影响

• 该方法在更大规模参数模型（如 100B+）上的计算开销是否可接受？
• 多来源数据集的来源间若存在自然语义冲突，共识解码是否会误删正常行为？
• 是否可以通过缓存或蒸馏降低推理时的多模型并行成本？