CQ4OE：从能力问题评估 LLM 辅助本体生成的基准

arXiv 论文提出 CQ4OE 基准，用于系统、可复现地评估 LLM 基于能力问题（CQ）生成本体的能力。作者为每个本体构建由 CQ 驱动的 gold OWL 本体，并建立 CQ 与类、属性、公理之间的显式溯源。基准包含 99 个 CQ 的 CQ2Term 词项级任务和 118 个 CQ 的 CQ2Onto 本体级任务，并用九个 LLM 在零样本、迭代和多智能体策略下测试，发现模型恢复显式词项比构造本体更可靠。

此前 LLM 本体生成评估较为分散：任务定义不统一，金标准缺少细粒度 CQ 溯源，指标常把词法重叠与结构和逻辑充分性混为一谈，参考本体也未必围绕评估用 CQ 设计。CQ4OE 把 CQ 溯源、词项级与本体级任务、层级、属性和公理结构拆开评估，使比较更可复现，也让能力短板更可定位。

该基准以 CQ 为锚点，为每个本体显式记录回答该 CQ 所需的类、属性和公理，从而把生成结果按词项、层级、属性建模和公理结构分层评分。实验用九种 LLM 和三种生成策略说明：模型更擅长从 CQ 中抽取显式词汇，而在需要组合出属性、层级和公理时表现较弱，反映词项匹配与逻辑构造之间的能力落差。

对知识工程、数据治理和语义检索类产品，这意味着 LLM 可以优先用于从需求文本中抽取候选类与属性，但本体结构、属性约束和公理仍需人工或工具校验。研发上应把评估拆成词项级和本体级两套指标，避免用文本相似度代替结构正确性；同时可把 CQ 与本体元素的溯源关系作为产品内的可审计资产。

• 围绕 CQ4OE 的 CQ2Term 流程，做面向业务需求文档的类与属性候选抽取工具，并输出可追溯的 CQ 来源。
• 针对属性建模和公理生成这一薄弱环节，开发结构校验与补全插件，在 LLM 输出后检查层级和约束完整性。
• 将 CQ 与本体的溯源关系产品化为评审看板，支持业务方逐条确认某个能力问题是否被本体覆盖。
• 面向多智能体或迭代生成策略，构建可重复的回归评测集，用于比较不同模型和提示策略的成本与准确率。

• CQ4OE 基准是否为公开可下载数据集，包含哪些具体本体和领域？
• 九个参与实验的 LLM 具体是哪些模型和版本？
• 零样本、迭代和多智能体三种策略的具体配置与成本对比如何？
• CQ2Term 与 CQ2Onto 的评分指标定义和人类基线表现是否已给出？