UniAfford：面向可泛化 2D-3D affordance 感知的 token 路由多任务学习

该 arXiv 论文提出 Token Router for Tasks 多任务训练范式，并实例化为 UniAfford 统一框架，用 MLLM 作为共享语义枢纽、模态感知 token router 生成图像与点云 affordance 查询，分别驱动 SAM 风格像素解码器和 SONATA 点解码器。配套 UniAfford-Data 在共享 object-affordance taxonomy 下整合像素级 2D 标注、点级 3D 标注与语言指令，实验显示无需目标域微调即可在 2D 与 3D affordance 基准上取得较强零样本泛化。

此前 2D 与 3D affordance grounding 长期作为两个独立问题发展，任务定义、监督格式、数据集与评测协议均不统一，跨视觉与几何空间的可迁移语义难以学习。该工作首次在同一框架下统一 2D、3D 及联合 affordance 推理，并公开配套混合监督数据集，为跨模态 affordance 研究提供了可复用的训练与评测基线。

核心机制是用 token router 将 MLLM 的上下文隐状态路由至任务专属分支，绕过语言头生成预定义标记的环节，使分支专属目标可直接以密集预测损失监督共享表示。这使得像素解码器与点解码器能分别消费图像与点云 affordance 查询，并在语义级 2D-3D 配对支持下实现异构监督，从而在仅图像、仅点云或成对输入下灵活推理。

对机器人操作、具身交互与 AR 类产品，该方法提示可用单一 MLLM 主干同时服务 2D 图像和 3D 点云的可操作区域定位，减少为不同模态分别维护模型与标注流程的成本。零样本泛化能力可降低新物体、新场景的微调依赖，但落地仍需评估推理延迟、点云解码器算力开销与数据标注迁移成本。

• 在机器人抓取或具身交互产品中，用 UniAfford 思路把 2D 可操作区域与 3D 点云抓取位姿合并到同一模型，减少两套感知链路。
• 围绕 UniAfford-Data 的共享 taxonomy 设计内部标注规范，使图像与点云数据一次标注即可跨模态复用。
• 在仅图像输入场景先验证零样本 affordance 定位，再逐步接入点云以控制硬件与数据采集成本。

• UniAfford 在推理时的延迟与显存开销是否适合实时机器人或移动端部署？
• UniAfford-Data 的规模、类别覆盖与标注质量是否足以支撑工业级泛化？
• token router 在更长任务序列或更多模态下的扩展性尚未验证。
• 论文摘要提到 state-of-t…，但完整对比结果与基线细节未在给定证据中呈现。