RIBOSPAN：面向通用RNA建模的长上下文基础模型

研究者提出 RIBOSPAN，一个 16.1 亿参数的 RNA 基础模型，原生预训练上下文长度达 10,240 核苷酸，采用双向自注意力、单核苷酸标记化和注意力隔离序列打包，支持完整长 RNA 的高分辨率建模。评测显示其在核苷酸重建、长上下文基准和冻结表示分析中表现最佳，尤其在长 RNA 上优势显著，并支持多种条件化任务。

现有的 RNA 基础模型预训练上下文长度通常短于全长 mRNA，限制了单核苷酸分辨率的完整转录本建模。RIBOSPAN 原生支持 10K 上下文，填补了这一空白，使得长 RNA 的完整建模成为可能，并在长 RNA 表示上取得最强性能。

RIBOSPAN 通过原生 10K 上下文预训练、注意力隔离打包和单核苷酸标记化，在长序列上保持高分辨率；继续预训练采用 40% 掩码提升抗损坏能力；推理时 YaRN 缩放恢复上下文组织但导致远端表示扩散。这些机制共同实现了对长 RNA 的全局与局部表示。

对 RNA 相关产品，如 mRNA 疫苗设计、RNA 疗法开发、基因表达分析等，RIBOSPAN 可提供更准确的全长转录本表示，减少因截断导致的信息损失。其强大的长 RNA 性能或能提升下游预测任务的精度，但模型参数规模较大，可能增加推理成本。

• 开发基于 RIBOSPAN 的全长 mRNA 结构预测 API，助力 mRNA 疫苗与疗法设计。
• 将 RIBOSPAN 嵌入 RNA 序列分析平台，为科研用户提供长转录本的表示与功能注释服务。
• 针对长非编码 RNA 或剪接异构体，提供专门的表示工具，辅助疾病标志物发现。
• 基于其条件化建模能力，构建 RNA 设计工具，用于合成生物学中的 RNA 元件优化。

• RIBOSPAN 在具体下游任务（如剪接位点预测、RNA 结合蛋白预测）上的实际性能尚未在证据中提供。
• 模型的训练数据规模、来源及领域平衡情况未在摘要中说明。
• YaRN 缩放导致的远端表示扩散是否会严重影响长 RNA 的远端相互作用建模，尚需进一步验证。
• 模型的开源状态、许可证和部署资源需求未提及。