LLM对语法工程有多大用处？粤语ParGram资源及与英文基线的受控实验评估

该论文介绍了新的粤语ParGram资源，并以英文基线为对照，在受控实验范式下评估了OpenAI的gpt-oss-120b和GPT-5.4生成机器可处理语法的能力。结果显示GPT-5.4优于gpt-oss-120b，从目标形式结构生成的语法优于从句子生成的。两种模型都能生成局部合理的短语结构规则、词条和模板，但常难以协调互相约束的形式规则，尤其在多构式场景。研究还贡献了新的粤语符号语法资源。

这是首次系统评估LLM在受控条件下辅助知识驱动语法工程的能力，并新增粤语符号资源。此前缺乏针对LLM在语法生成中协调复杂约束能力的量化证据。结果明确了LLM可支持中间阶段但需专家把关，为AI辅助专家工作流提供了实证基础。

LLM基于训练数据中的模式，能局部模拟语法规则，但对全局一致性和约束交互的建模能力有限。受控实验通过变化提示条件和目标结构，比较不同模型和生成方式的性能，揭示LLM在生成需要全局协调的结构时的结构性弱点。

对NLP工具开发者而言，LLM可用于草拟语法规则和词条，但需人工专家验证和修正。这意味着产品研发中可引入LLM辅助中间步骤，降低初始编写工作量，但需保留专家审核流程。成本可能降低，但质量保障仍依赖人力。

• 开发集成LLM与人工审核的语法工程工作台，用LLM生成初始规则，由专家修订。
• 针对多构式场景设计专项校正工具，辅助LLM输出满足全局约束的语法。
• 利用粤语ParGram资源，构建粤语语法辅助开发插件，支持本地化NLP产品。
• 基于受控实验范式，为企业定制LLM选型评测工具，衡量模型在特定语法任务上的适用性。

• GPT-5.4在什么具体条件下失败，需要错例分析来指导改进？
• LLM生成的语法在真实解析任务中的端到端性能如何？
• 该方法能否迁移到其他语言或语法框架？
• 人类专家在修正LLM输出时需要投入多少额外时间？