VaLiDRec: 可变长度LLM对齐语义标识符用于生成式推荐

VaLiDRec提出一种生成式推荐框架，使用变长且与预训练LLM词汇对齐的语义标识符，通过token重要性估计、语义质量剪枝和碰撞感知优化直接从LLM词汇构建标识符；采用图感知软提示和token集预测替代自回归生成，在四个数据集上超越强基线，推理速度比LC-Rec快87.49倍，零样本冷启动效果更优。

传统生成式推荐使用固定长度、经聚类量化构造的语义标识符，容易过度压缩语义且与LLM词汇不对齐，需要昂贵的自回归解码。VaLiDRec的变长标识符直接从LLM原生token生成，长度随语义复杂度自适应，并跳过自回归过程，大幅提升表达力和推理效率。

VaLiDRec通过token重要性估计选出对物品描述最关键的LLM原生token，用语义质量剪枝去除冗余，用碰撞感知优化确保标识符唯一性；用户建模端引入图感知软提示，把推荐任务视为token集预测，通过逐token评分直接输出候选项，无需逐步解码和束搜索。

对推荐类产品（电商、内容平台等），VaLiDRec可显著提升新物品冷启动推荐质量，同时降低推理延迟约87倍，有利于支撑实时推荐和规模化部署；研发团队可参考其框架改进现有基于LLM的推荐管线。

• 将VaLiDRec的变长语义标识符方案集成到内容推荐系统，提升冷启动和长尾物品发现能力。
• 利用87倍推理加速优势，在实时场景下部署更复杂的生成式推荐模型，降低GPU成本。
• 借鉴token集预测替代自回归解码的思路，优化其他序列生成任务（如搜索排序、对话推荐）。

• VaLiDRec在超大规模商品库（百万级）上的训练和推理开销如何？
• 框架是否依赖特定LLM（如Llama、GPT）的词汇表，迁移到其他LLM时需要多大适配工作？
• 变长标识符在索引和检索效率上相比固定长度方案是否有新瓶颈？
• 论文中的实验是否包含在线A/B测试结果？实际业务效果尚未验证。