多阶段对比学习+多专家CLIP实现细粒度多模态表征学习
今天给大家介绍一篇港中文、上海AILab等机构联合发表的CLIP优化工作,构建了基于多专家网络的MoE模型,实现更细粒度的视觉表征器训练,提升下游多模态大模型论文标题:CLIPMOE:TOWARDSBUILDINGMIXTUREOFEXPERTSFORCLIPWITHDIVERSIFIEDMULTIPLETUPCYCLING下载地址:https:arxiv.orgpdf2409.19291v21.背景基于CLIP的图文对比学习预训练是构建多模态大模型的一个核心基础模块。通过图片和文本的对比学习过程,训练图片和文...