超越序列：为 LLM 推荐蒸馏结构化决策记忆

一篇 arXiv 论文提出 MARI（Memory-Augmented Recommendation with Interpretability）。作者指出，现有 LLM 推荐方法多只建模单一行为，即使引入多行为，也把异质动作压平成同质 token 序列，忽略其决策角色差异，导致在高度相似商品的“困难选择”场景中表现下降。MARI 通过离线的 Post-Hoc Decision Distillation 从异质行为和用户生成内容中生成结构化决策记忆（SDM），并检索相关 SDM 增强 LLM 推理。实验显示其在标准下一项预测和新增的 Difficult Choice Prediction 任务上超过现有基线，且延迟开销较低。

此前 LLM 推荐把用户历史当作扁平的 token 序列，难以表达价格与质量权衡等决策语义。该工作把“目标、约束、权衡”抽成可检索的结构化证据，将记忆构建与在线推理解耦，并新增困难选择预测任务作为评测维度，使推荐从行为拟合转向对决策依据的显式建模。

机制上，系统先用离线的事后决策蒸馏，把多源异质行为和用户生成内容压缩为简短的 SDM，存入 Decision Memory Bank；在线阶段只检索与当前情境相关的 SDM 来增强 LLM 推理，而非处理冗长的原始序列。这样既保留了语义层级与上下文细节，又因离线构建、在线检索分离而控制延迟，并让预测结果可追溯到人类可读的决策记录。

对推荐产品而言，可把用户的目标、约束与权衡做成独立可维护的记忆资产，在线只做检索与推理，从而降低长序列处理成本。研发上需新增离线蒸馏管线、记忆库存储与检索模块，并针对高度相似商品的比较场景单独设计评测。用户体验上，推荐理由可被解释为具体决策证据，而非黑箱打分。

• 在电商或内容推荐中试点记忆库模块，把价格、品牌、质量等权衡结构化为可检索字段。
• 针对高相似度商品比较场景搭建 Difficult Choice Prediction 评测集，作为推荐迭代的专项指标。
• 把 SDM 用于生成可读的推荐解释，在商品详情或对比页展示用户目标与约束匹配情况。
• 将记忆构建放在离线批处理、在线仅检索，以控制推理延迟和算力成本。

• 论文只在摘要层面给出结果，MARI 在标准下一项预测上具体提升多少、基线有哪些，尚不明确。
• SDM 的生成质量依赖何种蒸馏方法，是否引入人工标注或评估，证据未说明。
• Decision Memory Bank 的更新频率、冷启动用户与隐私处理方式未被披露。
• 低延迟开销的具体数值和与现有 LLM 推荐方案的对比条件尚待确认。