- 类型
- 文章
- 来源
- YouTube · NVIDIA Developer
- 发布
- 2026年10月8日 19:57
- 状态
- 单一信源

发生了什么
NVIDIA 发布开源视觉语言模型 NV-Reason-CT,可原生以 3D 方式读取胸部与腹部 CT,逐步推理并报告发现。它用原生 3D 视觉编码器 Primus 3D ViT 连接 Qwen3.5-4B 语言模型端到端训练,每个 192×192×192 裁剪的全部 13,824 个视觉 token 都带 3D 位置标记送入语言模型。模型、代码、微调脚本与 demo 均已公开。
为什么重要
此前多数视觉语言模型面向 2D 图像,处理 CT 时只采样少量切片或把体数据压缩成少量 token,三维信息在进入语言模型前已被丢弃。该模型改为原生 3D 编码并保留全部 token 与位置标记,改变的是 CT 输入进入语言模型的完整度。
底层逻辑
机制核心是把 3D 视觉编码器与语言模型端到端联合训练,使体数据的空间位置信息随 token 一起进入语言模型,从而支持按步骤推理并输出发现。NVIDIA 同时公开权重、训练与微调脚本及推理技能,意味着外部团队可在此基础上做领域适配。
产品与商业机会
对医疗影像产品团队,可直接基于开源权重与 SFT、GRPO 脚本构建或微调 CT 辅助分析流程,减少自建 3D 编码器的投入。但全量 13,824 token 送入 4B 语言模型会显著抬升推理显存与延迟,需要在成本与精度间权衡,并另行验证临床合规与准确性。
- 基于 Hugging Face 权重与 GitHub 微调脚本,针对单一部位或单一病种做 SFT,验证小范围场景的可用性。
- 在自有 CT 数据上对比原生 3D 输入与切片采样方案,量化推理成本与检出差异,形成选型依据。
- 复用官方推理与微调 skills,封装内部 CT 分析流水线的评测与部署模板。
- 评估将该模型接入现有影像工作流的可行性,先做只读报告辅助而非直接面向临床决策。
仍待确认
- 官方未给出该模型在公开 CT 数据集上的准确率或对比基准数据。
- 13,824 个视觉 token 与 Qwen3.5-4B 组合的实际推理延迟、显存占用尚不明确。
- SFT 与 GRPO 微调所需的数据规模、标注格式与最低算力未在证据中说明。
- 是否具备医疗器械相关认证或临床验证计划,证据中未提及。