Industrial-Instruction：从工业技术报告构建指令微调与基准数据集的端到端框架

工业技术报告包含高价值知识，但其异构结构难以用标准检索和问答流水线处理，且此前没有公开的指令微调或基准数据集。为解决此问题，研究者提出Industrial-Instruction框架，利用906份公共Panasonic文档（共7525页），经过布局感知提取、构建语义检索索引，并合成带证据的多选题问答数据。经筛选，生成约13.6k个QA对（含源文档和保留基准分割）。用小于10B参数的开源LLM进行微调，在基准上Set-Match Accuracy从28.5%提升到42.0%，F1从46.6%提升到63.5%。同时用Qwen3-30B-A3B-Instruct和Claude-Opus-4.6生成两个平行版本，后者更干净但成本高约两个数量级。

此前没有公开的基于工业技术报告的指令微调或基准数据集，且这类文档的检索和问答难度高。该框架首次提供了两个开放数据集和端到端流水线，填补了空白，并对比了开源与闭源模型生成数据的效果，为相关领域提供了可用资源和成本参考。

工业报告结构异构，难以直接处理。通过布局感知提取和语义检索索引，将文档转换为可检索的语料。再基于五种查询-文档关系合成多选题，并进行筛选，保证数据质量。微调小模型能显著提升问答性能，说明高质量合成数据的有效性。生成模型的选择影响数据质量和成本，闭源模型效果更好但成本极高。

该数据集和流水线可用于工业领域产品如故障排查系统、知识库问答、维修助手等的模型微调和评测，能提升模型在真实工业文档上的理解和检索能力。但需注意生成数据的成本，尤其是使用闭源模型时，可能影响产品研发预算。

• 将Industrial-Instruction流水线应用于自家工业文档，构建定制化问答或助手系统，提升维修和产品工程知识检索效率。
• 利用其开放数据集（Panasonic QA数据集）微调小型开源模型，为嵌入式或低功耗设备提供离线问答能力。
• 基于其五种查询-文档关系设计评测基准，衡量产品模型的跨文档推理与检索鲁棒性。
• 比较开源与闭源模型生成数据的质量与成本，优化数据生成策略，平衡效果与预算。

• 两个数据集（Panasonic和另一数据集）的具体名称和下载地址尚未在证据中指明。
• MMLU评估结果显示模型训练后性能如何，证据被截断，未提供具体数值。
• 除Panasonic文档外，其他工业来源或多语言场景是否适用此框架未提及。
• Claude-Opus-4.6模型的版本和API成本细节在证据中未明确。