从像素到结构化数据：轻量级视觉语言模型用于文档 OCR 与 JSON 结构化抽取

一项 arXiv 论文比较了八个参数量不超过 7B 的开源轻量级视觉语言模型，在三个大学文化遗产馆藏上执行 OCR 并生成符合 schema 的 JSON。研究采用约束感知协议，覆盖零样本、少样本和微调设置，以 CER、ANLS* 和 mAP-F1 衡量抽取保真度与结构化输出质量，并分别测试超参数优化、经典图像预处理和多阶段训练的独立影响，同时分析单数据集微调与单多数据集 checkpoint 之间的权衡。

此前文档理解的高基准多由依赖商业 API 的闭源大规模 VLM 设定，机构档案因数据自主、持续成本和算力环境负担难以采用。该研究把比较对象转向可本地部署的 7B 以下开源模型，并直接评估结构化 JSON 输出，为文化遗产等敏感场景提供了可验证的替代路径。

轻量级开源 VLM 可在机构本地运行，避开商业 API 的数据外流与按量计费。模型被要求从文档图像同时完成文本抽取和 schema 合规 JSON 生成，从而支持自动校验与下游使用。研究通过独立测试超参数、图像预处理和多阶段训练，拆分各环节对抽取保真度的贡献，并用多数据集联合训练检验跨馆藏泛化与性能偏移。

对产品与研发而言，这意味着文档处理功能可在 7B 以下模型上本地部署，降低 API 成本和数据合规风险。结构化 JSON 输出便于接入校验和下游流程，图像预处理和多阶段训练可作为提升 OCR 质量的工程手段。多数据集 checkpoint 能减少为每个馆藏单独维护模型的成本，但需接受跨数据集性能可能偏移。

• 面向档案馆和博物馆提供本地部署的 OCR 转结构化 JSON 工具，以 7B 以下开源 VLM 为基础并内置 schema 校验。
• 在产品中集成光照均衡、去噪和 CLAHE 预处理流水线，作为提升历史手写与非常规版式识别质量的默认选项。
• 提供单模型多数据集 checkpoint 方案，让同一模型服务多个馆藏，降低逐库微调和维护成本。
• 建立以 CER、ANLS* 和 mAP-F1 为核心的评测面板，供客户验证抽取保真度并对比微调策略。

• 八个开源轻量级 VLM 的具体模型名称和各自表现尚未在证据中列出。
• 多数据集联合训练导致性能在数据集间偏移的具体幅度和条件未给出。
• 超参数优化、图像预处理和多阶段训练三者中哪一项对最终指标贡献最大，证据未说明。
• 该研究是否提供代码、模型权重或可复现的实验配置，摘要未提及。