LLM agent 能高效识别家电故障吗？来自模拟家电诊断的观察

一篇 arXiv 论文提出 CoffeeBench，用模拟家电的故障诊断任务评估 LLM agent。结果显示，仅凭传感器信息，被测模型难以稳定识别故障，但表现最好的模型能通过迭代缩小故障选项空间最终完成诊断。论文据此分析诊断效率差异、三个最差模型落后的原因，以及可用于选择性预测的启发式信号。

此前 LLM 在工业资产管理上的评估多依赖考试式基准，难以反映真实运维操作能力。该工作把评测放到带传感器信息的模拟家电诊断流程中，并给出诊断效率、最差模型表现和选择性预测信号三类分析，使评估更接近实际工业场景。

家电故障诊断需要从传感器读数推断故障原因，信息不完整时单次判断容易出错。证据显示有效路径是让 agent 迭代收窄候选故障选项，而非一次性给出结论。初始诊断不确定性和由 LLM 判断的推理合理性，可作为预测诊断是否成功的信号。

对做工业运维或设备管理产品的团队，可验证的动作包括为 agent 显式跟踪诊断状态以减少超时，以及引入 deliberation loop 反复修正故障假设。同时可用初始不确定性和推理合理性作为置信度门槛，决定是否交由人工复核。

• 为设备诊断 agent 增加显式状态跟踪模块，减少长诊断会话中的超时失败。
• 在产品中实现 deliberation loop，让 agent 多轮收窄故障候选再输出结论。
• 把初始不确定性与 LLM 判定的推理合理性做成置信度评分，用于选择性预测和人工转交。

• CoffeeBench 的模拟家电设置能在多大程度上代表真实工业设备故障？
• 论文所述启发式信号在其他模型和真实传感器数据上是否仍有效？
• 显式状态跟踪与 deliberation loop 带来的收益与额外推理成本如何权衡？
• 被评估模型的具体名单与版本在摘要中未完整说明。