文本信息辅助训练数据过滤以提升虚拟流量计性能

arXiv 论文提出一种文本辅助训练数据过滤方法，使用大语言模型（LLM）将工程师评论、操作日志等非结构化文本与表格传感器数据结合，先用两种模态进行上下文异常检测，再生成二值掩码过滤训练集，并以虚拟流量计作为下游评估目标。在合成油气数据集上，该方法较传统规则过滤提升模型表现，多模态方式将下游 MAPE 从 7.1% 降至 5.4%。

工业建模长期依赖规则式数据清洗，只能剔除部分传感器故障或工艺波动异常，无法利用工程师评论和操作日志中关于数据采集条件的上下文。该工作把非结构化文本纳入过滤环节，并用 MAPE 从 7.1% 降到 5.4% 的消融结果说明，文本可为过滤提供传感器数据之外的额外信号。

机制分两步：第一步由 LLM 同时推理表格传感器数据与文本操作记录，识别上下文层面的异常；第二步生成二值掩码，将异常样本从训练集中剔除。这样文本中解释采集条件的注释可转化为样本级的保留或丢弃决策，减少劣质数据对物理规律学习的干扰，从而改善下游稳态软测量回归模型的精度。

对工业软件与数据平台而言，数据清洗流程可增加文本模态入口，把工单、日志和工程师备注纳入训练集治理，而不只依赖阈值规则。研发上需要处理文本与表格对齐、掩码可追溯性，以及 LLM 推理成本；若落地，可减少人工筛数据工作量，并提升软测量模型在异常工况下的可用性。

• 为工业数据平台增加文本辅助过滤模块，输入操作日志与传感器表，输出可审计的样本掩码。
• 在虚拟流量计等软测量产品的数据准备流程中，提供文本加表格双模态异常检测的评估报告。
• 面向油气、化工、水产养殖客户，打包训练数据质量诊断服务，量化文本过滤带来的 MAPE 改善。
• 开发针对操作日志的轻量标注与检索工具，帮助工程师快速定位影响模型精度的注释片段。

• 该方法在真实工业数据集上的表现是否与合成油气数据集一致，尚未确认。
• 文本过滤带来的精度提升能否在不同软测量任务和工况迁移中稳定复现，证据不足。
• LLM 推理与掩码生成的额外成本、延迟及可解释性，是否会限制实际部署，尚无数据。
• 多模态过滤相比规则过滤的收益，是否随文本质量或注释覆盖率下降而消失，未被验证。