构建面向开放网络的用户基础模型

arXiv 论文提出一个针对开放网络实时竞价（RTB）场景的用户基础模型，采用 Transformer 编码器，通过掩码语言建模和序列级对比目标进行预训练，再利用 LLM 辅助优化训练流程。该模型表示使生产环境中的竞价胜率模型提升 1.197% RIG，CTR 排序器提升 1.354% RIG，并在 7 天在线 A/B 测试中实现 CTR 提升 2.13%、eCPC 下降 1.13%。

以往用户基础模型依赖稳定身份和连续浏览历史，但开放网络 RTB 中身份碎片化且历史不连贯。该研究利用自监督学习挖掘序列结构，并在真实生产系统中验证了有效性，为处理不完整用户数据的场景提供了可行方案。

用户基础模型通过 Transformer 编码器预训练捕捉浏览序列的时序依赖，克服聚合计数和回看桶丢失序列信息的缺陷。LLM 参与的预训练流水线优化能自动搜索代码级改进，提升表征质量。微调用于点击预测，表征被迁移到竞价胜率和 CTR 排序等下游任务，带来指标提升。

对于依赖实时竞价或个性化推荐的产品，该模型可提升 CTR 和降低 eCPC，改善广告投放效果和成本效率。工程上需要构建预训练和 LLM 优化管线，增加基础设施成本，但收益在 A/B 测试中得到验证。

• 将该用户基础模型应用于广告竞价系统，替代现有特征工程，预期提升点击率和降低获客成本。
• 将模型表征用于用户画像和个性化推荐，尤其针对新用户或历史数据稀疏场景。
• 借鉴 LLM-in-the-loop 优化流程，内部建立模型训练流水线的自动调优机制。
• 与隐私友好的数据收集策略结合，在有限历史数据下增强模型表现。

• 论文中使用的具体数据集规模和来源未提及，模型泛化性有待验证。
• A/B 测试的置信区间为 80%，未提供更严格统计显著性检验。
• 模型在其他业务（如非广告场景）上的可迁移性未知。
• LLM 优化流程的成本和自动化程度未量化。