论文VLALight:面向交通信号控制的视觉-语言-动作模型
此前交通信号控制多依赖人工设计的交通状态或独立感知模块,视觉观测与控制决策之间存在断层。该工作把多视角路侧视频直接接入控制策略,并用跨路口协同感知覆盖网络级效率,为端到端信号控制提供了可与其他方法在真实数据集上对比的新基线。
TOPIC · CURATED VIEW
AI 进入物理世界:人形机器人、具身基础模型,以及感知与操作能力的进展。
此前交通信号控制多依赖人工设计的交通状态或独立感知模块,视觉观测与控制决策之间存在断层。该工作把多视角路侧视频直接接入控制策略,并用跨路口协同感知覆盖网络级效率,为端到端信号控制提供了可与其他方法在真实数据集上对比的新基线。
此前多机器人协作多依赖集中式 LLM 策略或纯语言通信,团队规模增大后性能明显下降。该工作把控制反馈放到推理空间并本地生成,显示可扩展至训练规模 16 倍、上千台机器人,且对模糊指令零样本泛化,为大规模群体控制提供了新路径。
现有切片工具、基于 LLM 的决策辅助与数字孪生系统,无法在执行前对切片决策、零件朝向和工作空间摆放等耦合变量做集成评估。该工作把 LLM 意图理解与确定性规划搜索和运动学量化工具连接起来,使机器人相关可行性在打印前即可被检验,而不再只在零件坐标系里判断方案优劣。
此前基于基础模型的具身智能体容易在未确认机器人硬件与环境是否支持操作的情况下生成行为,即 grounding failure。该工作把行为生成转为代码生成问题,并用部署证据锚定推理,使机器人在未知开放词汇域中先判断自身能力再执行任务。
此前 VLA 与世界动作模型多直接复用通用视觉语言或视频生成骨干,在杂乱场景和微小目标的精确定位上受限。GroundingPI 用更小参数在多项定位基准上超过更大模型,并作为视觉骨干在机器人操作和自动驾驶上带来可测提升,说明专一定位骨干可能替代通用骨干。
此前提升机器人能力通常依赖人工设计技能、奖励与感知控制集成,或通过更新模型权重再训练。该工作报告了不改权重、以仿真练习加执行反馈迭代技能库与提示词的路径,并在留出任务初始化和真机试验上给出数值结果,同时将 ASPIRE、CaP-Agent0 作为对照基线。
此前缺少统一、可量化的 3D 世界异常审计基准,多模态模型在该任务上的能力难以横向比较。该基准把“导航搜索”与“视觉判断”两件事联合考察,给出了与人类差距的具体数字,为后续评测和改进提供了可复现的对照。
此前参与式 AI 风险评估多依赖预定义风险清单或单次 LLM 生成,容易遗漏由弱势或间接群体感知的系统性危害;该工作把利益相关方发现、LLM 模拟和网络中心性排序串成可复用的创意流程,并给出与单 LLM、多智能体 LLM 的对比数据,说明结构化智能体网络可能提升风险创意的覆盖面和原创性。
VLA 模型推理延迟直接影响机器人响应速度与动作平滑度,此前推理框架未充分利用具身任务的重复性,也未区分 VLA 不同阶段的瓶颈。rMuscle 把跨次执行的相似性作为可复用资源,是在不牺牲成功率前提下压缩推理成本的新思路,而非单纯堆算力。
此前该场景主要依赖人工查阅频繁更新的编码与分期标准,或使用不带检索的通用模型回答,容易缺乏出处。该研究把回答质量按难度分层比较,并引入引用支撑与人工最终审核,说明在专业登记流程中 RAG 相对非 RAG 的差距会随问题变难而扩大。
此前用前沿模型直接控制机器人时,每个伸取、抓取和回撤都需模型推理,速度慢且消耗大量 token。URAI 把多阶段动作交给代码执行,把“下一步做什么”留给模型,在工具调用之间保留模型级决策,并让工具修订跨回合复用而不改动基础模型权重,因而在成功率、耗时与输出 token 上同时出现改善。
此前 VLA 方法对每次策略查询都重新生成或精炼潜状态,执行后即丢弃成功推理,导致相似计算被反复从零重建;该工作把无记忆策略作为对照,用量化提升说明复用成功潜计算在闭环控制中确实带来增益。
此综述将LLM、知识库与具身智能结合,提出了一个统一的概念框架,标志着从单一模型能力向多系统协同的范式转变。它系统化地总结了当前挑战,为后续研究和产品开发提供了方向性指导。
此前驾驶数据集对“决策关键视觉证据”与推理、规划之间的监督联系有限,VLM 在长尾场景中难以把看到什么与为何这样开对齐起来。该工作把接地、因果推理和轨迹规划串成一条可训练链路,并给出跨 8 个骨干模型的一致改善,说明这种监督方式在长尾驾驶任务中具备可复现价值,而不只是单一模型的调优结果。
此前具身智能体的协作通信多聚焦传输原始多模态观测,带宽与语义效率受限。该工作把通信载体与模型推理单元统一为 token,并给出协议化框架与案例验证,意味着协作通信的研究重心可能从“传得全”转向“传得省且可推理”,为多智能体协同提供新的设计入口。
此前的多模态推理多把各模态的 thought tokens 直接拼接在同一序列中,模型需自行弥合表示差异。该工作改为在共享潜在空间中生成推理块,为多模态推理和机器人操作提供了一种统一表示与生成路径,并报告了跨 11 个 VLM 基准与 2 个 VLA 套件的相对提升。
此前在线 RL 微调常被视为部署后持续提升能力的路径,但该实验显示聚合指标健康时单个任务可能已被破坏。门控噪声在不使用任务标签和回合边界的前提下避免了这种任务崩溃,为持续学习的稳定性提供了可对照的初步证据。
此前通用机械臂多依赖视觉-语言-动作策略,环境变化后性能下降,且每个实验室需自行采集遥操作数据并训练模型。该工作把适配工作交给编码智能体,实验人员无需本地训练数据或神经网络训练,展示了一条不按实验室逐一训练策略、而以套件分发加现场适配的路径。
此前提升 RFM 主要依赖更大模型、更多示范和昂贵的大规模训练。ARC 提供互补路径:不改动基础数据规模,仅通过推理轨迹与自动标注就能显著改善零样本表现。若结果可复现,机器人基础模型的迭代重点可能从堆数据转向推理监督与适配方法。
此前bot检测器仅区分人与机器人,无法识别AI agent,导致大量agent流量被误判为人类,造成安全漏洞。该论文首次给出了可部署的三分类方案,仅需两个特征即可零遗漏检测,且对多种逃避手段鲁棒。
此前 fuzz 测试、静态分析和 LLM-as-a-Verifier 只能覆盖部分失败路径,难以穷尽边界情况;人工形式化验证又依赖大量手动规范和证明工程。MAGS 把形式化验证变成多智能体可自动执行的流程,使大规模 LLM 生成代码有机会获得机器可检查的安全保证。
现有 AI 和无线网络架构分别受限于物理世界建模和实时协调能力,而 HDT-Nets 提出将网络基础设施与数字孪生结合,使智能体能主动推理并共享时空上下文,为物理 AI 在机器人、车辆等场景下的实时协调提供了新框架。
此前游戏 NPC 或 AI 对手多为规则驱动或离线训练,语音交互与实时操作往往分离。该工作把语言模型推理、语音对话与实时游戏控制放进同一闭环,并要求说话与动作同步;同时用真实对局数据训练、用玩家反馈与偏好对比评估,指向可上线服务的 AI 队友而非演示原型。
此前 Physical AI 主要聚焦把观测映射到低层控制的动作模型,训练方式还会削弱感知与推理能力,使强动作模型也难以应对场景扰动与长程任务。该工作把重心从单一动作模型扩展到可演进的代码框架,在不重训模型的前提下同时提升鲁棒性与任务成功率。
传统机器人对话多依赖规则式对话系统、预设回复和有限知识库,难以应对复杂提问和长对话。该工作把知识来源从封闭知识库改为可扩展的互联网引擎检索,并借助 LLM 维持上下文,说明机器人知识助手的实现路径正在从规则编排转向 LLM 加检索的架构。
此前 LLM 安全性评估多关注事实性或有害内容,缺乏针对长期对话中妄想螺旋的量化测试。DelusionEval 首次基于真实心理伤害事件构建评估集,并揭示上下文长度是影响安全行为的关键变量,挑战了“更大模型更安全”的假设,推动评估范式向真实世界场景转变。
以往具身智能体评测多关注单个任务是否成功,而快递班次中时间、能量和金钱会在任务间相互占用。该环境把跨任务资源依赖转化为可训练奖励,并区分训练环境自适应与固定评测,使长时程规划能力可被量化比较。
以往提升强化学习策略能力通常依赖扩大模型参数量或增加固定推理步数,计算开销与状态难度不匹配。该工作把语言建模中的循环 transformer 与动态停止思路迁移到序列决策,证明按状态分配计算可在更小参数规模下达到或超过大模型表现,为策略网络的规模效率提供了另一条路径。
以往社交机器人编程需要开发者手动组合 API、配置参数、绑定传感器事件并管理状态,门槛高。MistyPilot 提出用多智能体 LLM 自动解释自然语言并编排技能,分离物理交互和社交互动任务,可能降低机器人应用开发复杂度,让非技术用户也能参与配置。
现有 VLA 模型多依赖大型 Transformer,延迟与能耗限制其在资源受限平台上的部署。该工作首次给出可端到端直接训练的脉冲驱动 VLA 框架,并在参数规模与估计推理能耗上相对传统 VLA 更低,同时保持有竞争力的任务表现,为神经形态 VLA 建模提供了基础框架。