鸟类骨骼分类中视觉与形态测量特征的多模态融合

研究者提出一种多模态融合框架，结合基于卷积神经网络的图像分析（使用预训练EfficientNet_V2_S）与骨骼形态测量数据，用于鸟类骨骼分类。在超过1万张图像的数据集上，骨骼部位分类准确率达86%，科级分类top-1准确率51%、top-3准确率75%。该研究建立了AI辅助动物考古鉴定的方法学基线。

此前AI在动物考古学中应用有限，尤其缺乏针对鸟类骨骼的系统性方法。本研究首次将视觉与形态测量特征在深度学习框架中融合，并证明其可行性，为考古学家提供可扩展、可解释的骨类鉴定思路。

采用BiRefNet和SAM2两步管线自动分割骨骼图像；用EfficientNet_V2_S提取视觉特征，再与标准化形态测量数据在特征层融合，通过分类头输出骨骼类型和科级标签。多模态互补提升了单一模态的识别准确性。

该框架可集成到博物馆或考古AI工具中，实现鸟类骨骼的自动分类与识别，减少人力鉴定成本。但当前为概念验证，离稳定产品还需优化对残缺骨骼的适应性和更细粒度分类能力。

• 基于该框架开发面向考古学家的鸟类骨骼自动鉴定插件，支持上传图像并输出骨骼部位和科级预测。
• 与自然历史博物馆合作，扩充包含多物种、多姿态的鸟类骨骼图像数据集，提升模型泛化能力。
• 将多模态融合方式迁移至其他动物类群（如哺乳类、鱼类）的骨骼分类，打造通用AI动物考古工具。

• 模型在真实考古场景中（如骨骼破损、染色、部分缺失）的鲁棒性如何？
• 是否有计划将分类粒度提升到属或种级别？当前科级top-1准确率偏低。
• 该融合架构能否在不增加标注成本的前提下，适应其他骨骼测量指标（如三维扫描数据）？