从原始遥测数据经分层 LLM 与 RAG 抽象归纳语义层

一篇 arXiv 论文提出端到端框架，从应用原始日志自动构建业务语义层。方法分两阶段：先由 LLM 结合行业知识识别高层业务特征，再经数据精炼、混合检索、多级过滤、语义聚类和规范命名生成细粒度业务节点。论文称在生产规模遥测数据上，人工评估的语义质量从 50 分提升到 80 分以上，维护工作减少 80%，过滤掉 74% 的噪声，并通过 LLM-as-Judge 获得 0.87 的 Cohen's kappa。

此前将原始日志转化为业务 KPI 需要数据工程师手工编写解析逻辑并维护脆弱映射。该工作声称无需标注训练数据和手工规则工程，即可自动归纳业务语义层。若结果可复现，意味着语义层维护的主要人力成本可能被大幅压缩，并能在日志结构变化时更快适应。

核心机制是两阶段语义抽象：第一阶段用 LLM 推理并注入行业领域知识，从嘈杂事件流中定位高层业务特征；第二阶段用结构化流水线，通过数据精炼、混合检索、多阶段过滤、语义聚类和规范命名，把粗粒度特征拆成可复用的细粒度业务节点。整个流程不依赖人工规则或标注数据。

对可观测性、数据平台和 BI 类产品，这可能把语义层从人工配置项转为可自动生成和维护的模块，降低实施和交付成本。研发侧需要为 LLM 推理、混合检索和聚类流水线准备算力与数据管道，同时要建立 LLM-as-Judge 或人工抽检机制，防止自动命名和映射在业务含义上出现偏差。

• 在日志分析或可观测性产品中增加‘自动生成业务语义层’功能，将原始日志映射到 KPI 节点并持续更新。
• 面向数据工程团队提供语义层维护托管服务，按客户日志规模计费，替代手工解析规则和映射表。
• 构建语义质量评估模块，用 LLM-as-Judge 结合人工抽检输出质量评分，作为交付验收指标。
• 在行业解决方案中预置领域知识包，用于第一阶段高层业务特征识别，缩短冷启动时间。

• 论文未披露所测试的应用类型、日志格式和行业范围，通用性尚不明确。
• 80% 维护工作减少、74% 噪声过滤和 0.87 kappa 的具体测量口径与基线未在证据中说明。
• 两阶段流水线在生产环境中的推理成本、延迟和扩展性没有给出数据。
• 未说明 LLM 判断错误或业务语义漂移时的人工纠偏机制与责任归属。