基于基础模型摘要的跨模拟器迁移：迈向鲁棒的 SKA 时代再电离推断

arXiv 论文提出通过自监督视觉 Transformer（ViT）在快速近似模拟器上预训练，获得可迁移的数据摘要，无需重训练即可冻结编码器，用于推断来自完全不同模拟器的天体物理参数。在 21cm 宇宙学案例中，SKATR 模型在 67k 个低成本无噪声光锥上预训练后，应用于流体动力学 Loreli II 光锥，仅需训练轻量条件流匹配头部即可推断五个参数，精度与全监督领域内基线相当，且辐射转移模拟需求减少 2.6 倍。

此前基于模拟的推断受模型错误设定影响，训练于特定模拟器的模型迁移到其他模拟器或真实观测时性能下降。本工作展示了通过预训练得到的摘要具有跨模拟器泛化能力，且无需重新训练编码器，显著提升了推断的鲁棒性，为 SKA 观测数据的天体物理参数推断提供了更可靠的路径。

自监督 ViT 在近似模拟器上预训练学习到通用的数据表示，这种表示捕捉了模拟数据中的底层物理结构，而非特定模拟器的细节。冻结编码器后，仅用少量目标模拟器数据训练轻量头部，即可适配新模拟器，从而避免了针对每个模拟器重新训练整个网络的高成本，同时减少了对高精度辐射传输模拟的依赖。

对科学计算软件和数据分析工具链有直接影响：预训练基础模型可复用，降低新模拟器或观测数据的分析成本；需设计可迁移的模型接口和轻量微调流程，减少计算资源消耗；可能推动面向科学数据的基础模型开发，提升跨数据集的泛化能力。

• 开发通用的科学数据预训练模型库，提供类似 SKATR 的冻结编码器，供不同模拟器下游任务直接调用。
• 构建跨模拟器迁移的标准评估框架，量化不同预训练策略对参数推断精度和校准的影响。
• 将轻量条件流头部集成到现有天体物理推断流水线，替代全监督重训练流程，降低算力需求。

• SKATR 在真实观测数据上的表现尚未验证，模拟器与真实观测的差距仍需评估。
• 预训练数据量与模拟器复杂度对迁移效果的影响边界未明确。
• 冻结编码器的适用范围是否限于同类型物理过程，跨物理场景的迁移能力未知。