GRUET：量化智能体推理与行动过程的不确定性

该论文提出 GRUET 方法，用于量化 ReAct 式智能体推理与行动过程的不确定性。作者假设轨迹级不确定性来自 LLM 逐轮推理不确定性的累积，于是将每轮推理空间建模为图，用图复杂度近似推理空间复杂度，再进行轨迹级聚合。在九个 LLM 和五个基准上以 AUROC、AUPRC、AUARC 评估选择性生成表现。

此前对智能体的评估多关注任务成功率，相同任务产生不同轨迹、高不确定性轨迹出现不可理解行为的问题缺少统一度量。该工作把不确定性拆成轮次级与轨迹级两个层次，并给出可在多模型多基准上比较的量化指标，使智能体可信度从定性描述转向可测量。

ReAct 过程中 LLM 每轮会生成推理链与对应行动，同一轮里存在多条分歧推理分支及其行动；GRUET 把这些潜在分支构成的推理空间建成图，以图复杂度近似推理空间复杂度，得到轮次级推理不确定性，再用简单聚合策略把各轮结果汇总为轨迹级可信度分数。

对做智能体产品的团队，这套指标可用于筛选或拦截高风险轨迹，在自动化流程中决定何时继续执行、何时转人工确认。研发上需要记录每轮推理分支与图结构，会增加推理与存储开销，但为回归测试与线上监控提供可量化信号。

• 在智能体编排层加入轨迹可信度评分，对低分轨迹触发重试、降级或人工接管
• 将轮次级不确定性做成调试面板，帮助定位是哪一轮推理分支发散导致任务失败
• 在 CI 评估中用 AUROC、AUPRC、AUARC 替代纯成功率，建立轨迹级回归门槛

• GRUET 的计算开销相对基线推理增加多少，是否适合线上实时打分
• 图复杂度近似推理空间的做法在长轨迹下是否仍然稳定
• 在九个 LLM 和五个基准之外，方法对工具调用型智能体的泛化性如何