结构化接地思考：面向图表与视觉表格理解的感知强化学习

arXiv AI 发布论文，提出名为 TwSG 的细粒度图像感知框架，旨在让多模态大语言模型无需外部工具即可处理图表和视觉表格的细粒度推理。该方法通过两阶段训练，将多步推理和微裁剪能力蒸馏进模型，实验显示可降低推理延迟。

以往 MLLM 依赖外部工具进行细粒度感知，带来推理延迟且难以解决空间结构适配问题。TwSG 将工具能力内化到模型中，无需外部工具即可完成图表推理，可能改变依赖外部插件的做法，提升推理效率。

TwSG 先利用 MLLM 基于标准答案识别关键区域，再由教师模型生成高质量 VQA 数据，将区域级监督蒸馏回全图表示。训练分两阶段：冷启动 SFT 用多轮数据培养复杂推理与错误恢复，RFT 采用过程奖励机制 TL-GRPO 鼓励策略性推理，从而在单次前向传播中实现高效感知。

对图表类产品，集成 TwSG 可减少对外部工具的依赖，降低推理延迟，提升用户体验。但该技术尚在论文阶段，实际效果和工程成本有待验证，产品团队可评估将其嵌入现有 MLLM 服务的可行性。

• 在图表问答产品中，评估集成 TwSG 以替代外部工具调用，降低单次推理延迟。
• 针对视觉表格提取场景，建立基于 TwSG 的内部评测集，对比现有方案的准确率和响应时间。
• 若 TwSG 验证有效，可将其作为独立微调模块，提供给需要细粒度视觉推理的应用。

• TwSG 在真实业务场景中的推理延迟具体降低多少？
• 除图表和视觉表格外，TwSG 对其他文本密集图像（如扫描文档）的泛化能力如何？
• 论文中提到的推理延迟降低，是否以牺牲准确率为代价？
• TwSG 的训练数据生成依赖教师模型，其成本和工程复杂度有多大？