用AI查询多模态科学论文：盲人、低视力与明视科学家的实践与偏好

一项研究访谈了五位盲人/低视力科学家和五位明视科学家，了解他们使用ChatGPT和Gemini查询多模态科学论文的实践。结果显示，模糊或不完整的图像描述及错误的AI输出会导致两类科学家都放弃AI工作流。研究还贡献了115个查询与响应的数据集。

以往盲人或低视力科学家只能依赖静态替代文本理解论文图表；AI交互式问答虽已可行，但缺乏真实使用反馈。本研究首次揭示了不满意的AI输出（模糊描述或错误答案）会促使所有用户放弃AI流程，说明当前AI工具在准确性和可访问性上存在显著缺口。

科学论文的视觉元素（图表、表格）承载文本无法完整传达的信息。AI问答范式允许用户通过自然语言交互探索视觉内容，但若底层模型对图像理解不准确、描述不完整，就会生成错误或模糊的响应，导致用户丧失信任并停止使用。

对AI问答产品（如ChatGPT、Gemini）而言，必须优先提升多模态科学文档的视觉理解精度，减少幻觉。若不改进，不仅低视力用户会流失，明视科学家也会因不可靠输出而放弃。产品需提供可验证的引用来源或分步推理以增强可信度。

• 开发专门针对科学图表（如曲线图、结构式）的AI描述模型，减少模糊表述。
• 在AI问答界面增加“置信度标记”或“提示用户确认”功能，降低错误输出的负面影响。
• 为盲人或低视力用户提供与视觉元素配对的音频/触觉反馈替代方案。
• 构建包含真实用户反馈循环的评估数据集，持续优化科学论文多模态问答质量。

• 不同学科（如生物、物理）的科学家对图表描述的详细度要求是否存在差异？
• AI工具应如何设计才能让用户在遇到不完美输出时仍能信任并迭代提问？
• 研究中发现的放弃行为是否与特定AI模型（ChatGPT vs Gemini）的错类型相关？
• 更大规模的用户实验是否会支持本研究中小样本的初步发现？