JudgeStealer：跨评估协议提取 LLM 评判能力

研究者提出 JUDGESTEALER，首个面向 LLM 评判者的高效模型抽取框架，支持点级别评分、两两比较和列表排名三种评估协议。利用跨协议一致性，将点级别分数转换为其他监督信号，无需额外查询受害者模型，且在多个模型上优于现有抽取基线。

LLM 评判能力被视为知识产权，但黑盒访问使其面临被提取风险。此前抽取方法不针对评判者，且对多协议支持不足。JUDGESTEALER 首次实现跨协议高效抽取，可能威胁依赖专有评判模型的产品和服务，促使相关方加强防护。

JUDGESTEALER 利用跨协议的高度一致性：先通过黑盒获取点级别分数，再将其转换为成对和列表监督信号，避免额外查询。动态选取语义多样性和不确定性高的输入，结合分数平滑和多协议回顾，保留顺序结构并防止灾难性遗忘，从而在有限查询预算下高效复制评判能力。

对于依赖 LLM 作为评判服务的产品，其评判能力可能被低成本复制，削弱商业竞争优势。模型提供方需增加防提取机制，可能增加开发成本。用户在选择评判服务时也需警惕被仿冒的风险。

• 提供基于 JUDGESTEALER 的检测服务，帮助企业评估自家 LLM 评判模型的被提取风险。
• 开发针对模型抽取攻击的防御工具，例如输出扰动或查询限制插件。
• 为需要保护评判能力的平台设计订阅制水印验证机制。

• JUDGESTEALER 对最新模型的有效性是否持续？
• 是否存在实际攻击案例，证据未提及。
• 防御措施的成本与效果尚未被研究。
• 抽取出的评判能力是否可用于下游复杂任务。