AeroCopilotBench：评估 LLM 智能体作为航空副驾驶的双层基准与虚拟驾驶舱环境

arXiv 论文提出 AeroCopilotBench，一个双层基准和 ACOE 交互式虚拟驾驶舱环境，用于评估 LLM 智能体作为航空副驾驶的表现。Tier-1 含 1200 道知识题，Tier-2 含 73 个紧急任务。12 个模型中最高成功率 72.6%，静态知识表现未能持续转化为程序执行能力。

此前的航空评测仅依赖静态知识，无法系统测试交互环境下的程序执行与安全合规。AeroCopilotBench 首次将可复现的虚拟驾驶舱与安全门控评估结合，为航空领域的 LLM 智能体评测提供了新标准。

ACOE 将自然语言程序转化为可执行的状态转换、最终状态目标和硬性安全约束，模型通过标准化工具接口感知驾驶舱状态、诊断故障并操作飞机。评估框架要求轨迹在无违规下达成所有目标，并分别衡量安全进展与轨迹安全性，从而区分知识与执行能力。

对航空智能体产品，基准可辅助筛选适合程序执行的模型，减少试错成本。其安全门控设计促使研发关注状态反馈和长程执行管理，而非仅提升知识问答。但基准覆盖任务有限（73 个），实际驾驶舱复杂度可能超出，需谨慎迁移。

• 开发基于 ACOE 的智能体评估服务，面向航空软件厂商提供模型选购与调优建议。
• 将安全门控评估框架融入内部 QA 流程，用于验证航空相关 LLM 应用的合规性。
• 针对失败的 451 个片段，设计状态感知编排工具，提升长程任务执行稳定性。

• AeroCopilotBench 是否经过真实飞行员或航空工程师的验证？
• 基准中的 73 个任务是否覆盖所有飞行员操作手册中的紧急情况？
• ACOE 环境是否支持扩展以模拟更复杂的多智能体协作场景？
• 12 个模型的测试结果是否公开可获得以进行独立复现？