训练了却没学会：面向 LLM agent 作为前线交付工程师的后训练交付基准

该论文提出面向 LLM agent 的后训练交付基准，将 agent 置于 forward-deployed engineer 位置，在受治理的交付平面上驱动十个阶段，由 oracle 按平台记录事实逐阶段打分。研究识别出“训练但没学到”（TBDL）的静默失败：loss 下降、指标全绿，但交付模型与基座无差别；并提出运营方验收门与损坏检测器。四款前沿 agent 在 L40S、A100、H200 上完成端到端测试。

已有基准多衡量 agent 能否提升指标，却无法回答能否被信任交付。该工作把评估对象从能力转向可交付性与可复现性，并首次系统刻画 loss 正常但模型未提升的静默失败，同时引入人类 FDE 对照，使 agent 可靠性可被验收门约束。

后训练正变成一种服务：客户提供数据和目标，运营方在预算、人工审批门和可复现要求下返回微调并部署的模型。把 agent 放进这一角色后，风险不再是能否调参，而是流程中每一步是否有平台事实证据。TBDL 之所以静默，是因为 loss 与常规信号无法区分“训练有效”和“训练无效”，需要基于已知损坏运行校准的检测器和验收门来拦截。

对提供微调或模型交付服务的团队，验收环节需从看 loss 曲线转为按阶段记录平台事实并设置付款前门禁；训练管道要内置损坏运行检测与可复现审计，否则可能在客户付款后交付无增益模型，直接造成返工与信任损失。

• 在微调服务中加入交付验收门：按阶段采集平台记录事实，并在付款前自动拦截 TBDL 运行。
• 开发基于已知损坏运行校准的训练中损坏检测器，作为训练管道的实时告警组件。
• 为企业客户提供基座对比报告，把“交付模型是否优于基座”作为标准交付物。
• 面向 FDE 场景构建可复现审计日志，支持 agent 与人工交付两条路径的对照评分。

• 论文中四款 agent 与人类 FDE 的具体对比结果和通过率尚未在证据中给出。
• TBDL 检测器的误报率、漏报率及适用基座规模范围未说明。
• 该基准是否开源、是否有独立第三方复现，证据未提及。
• 验收门与检测器在真实商业交付合同中的落地成本尚未评估。