TAU-Agent：用于交通异常理解的智能检索增强框架

研究者提出TAU-Agent，一个面向交通异常理解的智能检索增强框架。它通过中央检索Agent协调视频字幕和开放词汇追踪两个视觉感知工具，选取与查询相关的证据，交由微调后的视觉语言模型生成答案。在AI City Challenge 2026的领域内和跨领域基准上，TAU-Agent在Track 3、7、8上分别获得0.6779、0.3998、67.9275分，排名第二、十二、五。代码已公开。

该框架首次将智能体协作与检索增强结合应用于交通异常理解，通过工具组合提升证据选取的精准性，在特定基准上取得领先成绩，为视频异常分析提供了新思路，可能影响智能交通监控和自动驾驶等领域。

TAU-Agent采用分层架构：中央检索Agent根据任务动态调用视频字幕和开放词汇追踪工具，提取文本描述和物体轨迹，筛选出最相关的时空证据，再结合采样帧输入给监督微调后的视觉语言模型进行推理。这种将工具调用与检索增强融合的方式，旨在减少无关信息干扰，提升复杂场景下的异常解释能力。

对智能交通监控产品，可增强异常事件的自动检测与解释能力，减少人工审查成本。但其依赖监督微调和多工具协同，可能增加研发调用和推理延迟，需要评估实际部署成本。对视觉问答类产品，此框架可作技术参考，提升对动态场景的响应质量。

• 在智能交通监控系统中集成TAU-Agent，开发自动生成异常事件报告功能。
• 基于其开放词汇追踪技术，开发跨摄像机连续追踪异常目标的模块。
• 将框架迁移至其他视频理解场景，如工业安全监控，提供定制化异常解释服务。
• 利用其检索增强思路，优化现有视觉语言模型的少样本推理准确率。

• TAU-Agent在实际部署中的实时性和计算成本未在证据中说明。
• 各Track的排名仅部分领先，其方法在更多样化场景中的泛化能力有待验证。
• 证据未提供与其他非Agent方法的对比数据，性能优势的普遍性不明。