面向番茄病害叶片理解的多模态生成模型

该论文提出名为 SOLAR 的多模态生成模型，用于理解番茄叶片病害。它将病害分析建模为生成式 Visual Question Answering（VQA）任务，覆盖六类问答任务，并通过基于 mixture-of-expert 的 Fusion Expert 模块对齐视觉特征与任务感知的语言表示。研究在 41,677 张图像、216,209 组问答数据上评测，报告称在封闭式与开放式问答设置下均优于纯视觉、视觉语言及任务专用模型。

此前植物病害 AI 多把症状识别、严重程度评估和诊断问答当作彼此独立的预测任务，缺少跨任务的知识共享。该工作把病害理解统一为生成式 VQA，在单一模型中支持多任务推理，意味着诊断工具可能从单一分类标签转向可解释的问答式交互。

SOLAR 通过 mixture-of-expert 架构构建 Fusion Expert 模块，把视觉特征与任务感知的语言表示对齐，使同一模型能针对不同诊断问题生成上下文相关答案。生成式 VQA 的设定让症状识别、严重度判断和问答推理共享参数与语义空间，从而在任务间迁移知识，而不必为每类任务单独训练模型。

对农业科技产品而言，这提示可将病害识别功能从分类器升级为对话式诊断入口，用自然语言提问获取症状解释、严重度判断和处理建议。研发上需准备图文问答数据与多任务评测集，模型选型会从单一视觉模型转向视觉语言生成模型，推理成本与数据标注成本相应变化。

• 将番茄病害识别功能改造成问答式诊断助手，支持农户用自然语言追问症状与严重度
• 为现有植保 App 增加多任务输出层，在同一模型内同时返回标签、严重度和解释文本
• 围绕 216,209 组问答数据的构建方式，设计可复用的作物病害问答标注流程与工具
• 在边缘设备上评估该多模态生成模型的推理延迟，判断是否适合田间离线部署

• 论文未说明 SOLAR 在真实田间复杂光照和遮挡条件下的表现
• 六类问答任务的具体任务定义与评测指标未在证据中列出
• 216,209 组问答数据的来源、标注方式和覆盖病害种类尚未明确
• 模型参数量、推理成本与部署硬件要求未提供