SignRAG：统一检索增强的无gloss手语翻译框架

研究者提出SignRAG，一个面向无gloss手语翻译的统一框架，结合分层预训练、目标域检索增强与检索感知强化微调。方法先学习具语言学基础的手语表示，再联合对齐手语编码器与LLM，缓解跨模态优化失衡；下游用目标域检索库提供实例级翻译线索，并以RUG-RFT奖励机制鼓励有益检索、抑制有害依赖。多个SLT基准上取得新的最优结果，并在CSL-Daily全部指标上首次以无gloss方法超越gloss监督方法，代码与多尺寸模型已开源。

此前无gloss手语翻译预训练范式多围绕传统编码器-解码器模型设计，难以直接适配decoder-only LLM，形成方法迁移障碍。SignRAG把检索增强与强化微调引入该任务，并在CSL-Daily全部指标上首次让无gloss方法超过gloss监督方法，改变了gloss标注是否必需这一长期假设。

机制分三层：分层预训练先获得语言学层面的手语表示，再将手语编码器与LLM联合对齐，避免跨模态训练失衡；下游在参数微调之外增加目标域检索库，为每个样本提供具体翻译线索；RUG-RFT同时使用翻译质量与检索效用两类奖励，使模型学会在检索有用时采纳、在检索有害时抑制，从而控制对外部上下文的依赖。

对研发而言，无gloss路线可减少对手语gloss标注的依赖，降低数据标注成本与流程复杂度；检索库加强化微调的组合意味着推理阶段需要维护可更新的目标域样本库，并引入检索延迟与存储开销；开源代码与多尺寸模型便于团队按算力选择规模并复现基线，但检索质量与奖励设计将直接影响线上翻译稳定性。

• 在手语翻译或无障碍产品中，按目标场景搭建可增量更新的检索库，用实例级线索替代部分模型微调。
• 将该检索效用奖励思路迁移到其他低资源多模态翻译场景，先做小规模对照实验验证收益。
• 基于开源代码与多尺寸模型，评估端侧与云端的算力-延迟取舍，形成可部署的规格选型。
• 在数据标注预算有限时，优先验证无gloss路线能否替代部分gloss监督数据投入。

• RUG-RFT中翻译质量与检索效用两类奖励的具体权重与训练成本未被证据披露。
• 检索库规模、更新频率与推理延迟之间的权衡在证据中未说明。
• 除CSL-Daily外，其他基准上的具体提升幅度与对比基线未给出。
• 多尺寸模型的实际参数规模与适用硬件条件在摘要中未明确。