推荐系统多场景预估建模2024大厂工作汇总

在大厂的推荐系统建模中，多场景建模是一个非常常见的业务场景。在很多app中，不同的场景都需要建模点击率、转化率等目标，以此进行排序给用户展现最感兴趣或最可能成交的候选。一种最简单的建模方法是每个场景分别训练一套模型，但是这种方式无法充分利用各个场景数据的共性信息，并且维护起来也非常麻烦。因此，如何有效联合多场景数据进行建模，或者进行多场景之间的知识迁移，是工业界推荐系统近两年研究的焦点。

今天这篇文章，给大家汇总了4篇2024年多场景建模的大厂顶会工作，详细梳理阿里、美团、腾讯等大厂在顶会发表的多场景联合建模工作。

1.高效的多场景建模方法—MLoRA

MLoRA是阿里发表于RecSys 2024的多场景建模工作MLoRA: Multi-Domain Low-Rank Adaptive Network for CTR Prediction，核心是提出了一种基于LoRA的多场景建模框架，实现低参数量、高效率的多场景联合建模。下图对比例如MLoRA相比其他方法的核心优化点，主要是在每个domain的特有tower上，使用了LoRA的分解结构，显著减少了模型参数量。

具体实现细节上，由于CTR预估模型的Dense层参数每层宽度是不一样的，因此矩阵分解的维度如果像NLP模型设置成一样的会导致各层信息压缩比例不匹配的问题，因此文中针对每一层Dense根据其宽度设定个性化的压缩比例。在训练过程中，现在基础数据上训练多领域共享的参数，单后再在各个领域数据上finetune LoRA部分，并冻结住预训练部分参数。

2.冷启场景优化—SwAN

SwAN是美团在RecSys 2024发表的工作Scene-wise Adaptive Network for Dynamic Cold-start Scenes Optimization in CTR Prediction，重点解决频繁更新的多场景建模业务问题。在美团的场景中，经常会出现场景的切换，比如春天和冬天的推荐场景就不同，每次更新场景数据分布差异都很大，都需要重新训练模型，这个过程中就面临着严重的冷启问题。

为了解决上述问题，SwAN在数据输入层面和模型结构层面都提出了优化。在数据输入层面，核心思路是将冷启的场景和其他已经有数据的场景关联起来，一方面采用统计方法，将和冷启场景商品基础信息（如价格等属性）最相似的其他场景作为可参考的对象。另一方面构建了Similarity Attention Network，将冷启场景，上一步找到的其他相似场景的特征，以及user信息输入到该网络中，进行更细粒度的场景间关系学习，通过softmax生成一个冷启场景到各个潜在相似场景的关联打分，再加权融合成冷启场景的底层表征。在模型结构层面，采用了类似MMoE的结构，通过上一步输出的多场景相似性表征，选择激活那些expert用于后续预测。

3.对比学习提升user特征平衡性—UCLR

UCLR是阿里在WWW 2024发表的一篇工作Not All Embeddings are Created Equal: Towards Robust Cross-domain Recommendation via Contrastive Learning，重点解决多场景下user embedding的学习问题。本文提出的核心问题在于，不同场景下，不同用户的交互次数差异很大，就导致每个场景每个用户的数据分布很不平衡。那些在某个场景数据量较少的用户，其embedding学习不充分，就导致预测效果不佳。

为了解决这个问题，文中首先借助所有场景数据预训练一个全局的user embedding。接下来，为了让这个user表征学习更充分，引入了一个重构任务，对user embedding进行30%的mask，替换成全0的向量，并基于autoencoder并进行还原，通过这个过程挖掘用户之间的协同信号，利用丰富数据user的表征辅助数据稀疏user的表征。Encoder的中间编码结果相当于是一个embedding的embedding。对于这个中间embedding，使用对比学习进行表示学习，并且根据user的交互数据量定义对比学习的温度系数，让数据量较少的user也能学习充分。Decoder生成的embedding用来还原原始embedding。通过上述的对比学习+autoencoder的优化方法，实现对user表征的进一步优化。

4.User相似度对齐的迁移约束—CUT

CUT是腾讯在SIGIR 2024发表的工作Aiming at the Target: Filter Collaborative Information for Cross-Domain Recommendation中提出的建模方法。这篇文章的核心优化点在于，跨域的迁移不一定都是正向的。比如在一个domain中，2个user的兴趣相似，可以进行信息的协同过滤，但是在另一个domain中这两个user的兴趣可能不同，直接迁移会带来跨域负迁移的问题。

为了解决上述问题，本文提出基于user相似度进行跨域迁移的约束。具体来说，先用目标域数据训练一个基础模型，用这个基础模型的user embedding计算两两user之间的相似度，并根据一个阈值划定两个用户是否相似（1或者0），形成一个相似关系矩阵。这个矩阵衡量了在目标域两个用户之间是否相似。接下来，使用目标域和源域同时训练最终模型，使用一个MLP网络将源域的user表征进行一步映射，作为额外信息提供给目标域网络。这个MLP表征映射网络，基于前面的user相似关系矩阵进行约束，要求源域映射后的user embedding，仍然满足经过目标域user embedding计算的user相似度，以此实现对负迁移问题的缓解。

本文转载自​​圆圆的算法笔记​​