基于选择的结构化推理：面向高效多模态搜索智能体

一篇 arXiv 论文提出 Selection-based Structured Reasoning（SSR）框架，将多模态智能体每步动作前的开放式推理改为从预先指定的可复用自然语言推理候选中进行选择。模型依据当前上下文对候选打分，无需辅助任务头，并通过共享上下文 KV cache 的 teacher-forced prefilling 实现候选内与候选间的并行打分。论文在七个多模态搜索基准上使用 2B 与 4B 模型测试，在多种强化学习目标和监督微调下，成功率与同规模领先搜索智能体相当，单轮推理延迟降低超过 90%，每题模型总推理延迟降低 28%–54%。

此前多模态智能体通常先自由生成推理再执行动作，小模型因容量有限容易产出对动作帮助不大却成本高昂的长推理。SSR 把推理从开放生成改为候选选择，在保持任务成功率的同时大幅压缩推理延迟，说明小模型智能体的效率瓶颈可以从输出形式而非仅靠模型规模来缓解。

SSR 将反复出现的高层推理预先写成可复用的自然语言候选，每轮只需在给定上下文下比较这些候选的似然度，因此不需要额外的任务头。预定义推理轨迹使打分可以并行：teacher-forced prefilling 借助共享上下文的 KV cache，同时计算同一候选内部及不同候选之间的 token 似然，从而把原本串行的长文本生成换成一次并行评分，减少解码开销。

对产品与研发的直接意义是：在 2B 和 4B 这类可在端侧或低成本环境部署的模型上，搜索类智能体可以把单轮推理延迟降低九成以上、整题推理延迟降低约三成到一半，而成功率接近同规模领先方案。这可能改变多模态搜索、电商导购、客服助手等产品的延迟预算与成本结构，使实时交互式智能体更可行。

• 在需要低延迟的多模态搜索或导购场景中，用 2B/4B 模型加 SSR 替换自由推理方案，做端到端延迟与成功率的 A/B 对比。
• 把业务中高频出现的推理步骤整理成可复用自然语言候选库，作为 SSR 的预定义候选，并建立候选更新与评测流程。
• 针对共享上下文 KV cache 的并行打分做推理服务优化，验证单卡吞吐和单题成本是否随 SSR 同步下降。
• 在客服或助手类产品中试点 SSR，观察小模型在受约束推理下的答案可控性与失败模式。

• SSR 在七个基准上的具体成功率数值、相对基线差距及统计显著性尚未在证据中给出。
• 预定义推理候选由谁编写、覆盖不足时表现如何，以及候选集规模对延迟和成功率的影响尚未说明。
• 证据未说明该方法在 2B 与 4B 之外模型规模、以及非搜索类多模态任务上的迁移效果。
• 论文发布在 arXiv，是否经过同行评审、是否有独立复现结果尚不明确。