多模态应相互对话：用于长时程流感预测的双流多模态学习

arXiv AI发布论文，提出Dual-Stream Attention（DSA）多模态深度学习框架，用于长时程流感预测。该框架以36周多模态历史预测未来12周ILI活动，通过双向Cross-Modal Attention让数值和文本流互相调节。在Time-MMD健康领域数据集上，DSA的测试MSE为0.416，较iTransformer、TaTS和GPT4MTS分别降低54.95%、37.29%和67.23%，且外部地理数据集上排名第一。

传统流感预测主要依赖单一数值信号，且文本信息噪声大、滞后，难以有效融合。DSA通过双向跨模态注意力机制让数值和文本相互调节，在12周预测中显著降低误差，展示了多模态融合在公共卫生预测中的潜力，可能推动预测模型向多源数据整合发展。

DSA框架分别用Transformer编码器和领域适配的标题编码器处理数值与文本两种模态，再通过双向Cross-Modal Attention机制让两者相互调节，使文本信息能修正数值信号的解读，反之亦然。这种设计能有效利用文本中的定性信息（如新闻标题），弥补数值信号滞后和噪声的不足，从而提升长期预测的准确性。

对于公共卫生预警产品或医疗预测系统，DSA可提升长期预测精度，降低误差30%以上，减少误报和漏报，帮助资源调配更精准。但实现需要多模态数据接入和复杂模型，可能增加研发成本与推理延迟，对实时性要求高的场景需权衡。

• 将DSA集成到公共卫生监测平台，如流感预警系统，提供12周预测，提升预警提前量。
• 开发基于DSA的多模态健康数据API，供研究机构或医疗应用调用，实现数据融合预测。
• 利用DSA框架扩展到其他疾病预测（如新冠、登革热），结合新闻与数值数据，提升预测覆盖面。
• 模型压缩与推理优化，降低计算成本，使其适配边缘设备或实时预测场景。

• DSA的性能是否在不同数据集和现实运行环境中保持稳定？
• DSA对数据缺失或文本质量低下的鲁棒性如何？
• DSA的训练和推理计算资源需求是否适合大规模部署？
• 除流感外，DSA在其他时间序列预测任务中的通用性尚待验证。