自回归和Rectified Flow完美融合统一多模态理解和生成！DeepSeek&北大等开源JanusFlow

论文链接：https://arxiv.org/pdf/2411.07975
github链接：https://github.com/deepseek-ai/Janus

亮点直击

• 统一多模态框架： 提出JanusFlow，一个同时处理图像理解和文本到图像生成任务的统一模型，解决了任务分离带来的架构复杂性问题。
• 创新优化策略： 采用任务解耦和表示对齐两大关键策略，提高理解与生成任务的独立性与语义一致性。
• 卓越性能表现：在多模态理解与文本到图像生成基准测试中超越现有专用模型和统一模型，取得领先成绩。
• 紧凑高效的设计：仅用1.3B 参数实现性能突破，展示出高效模型在多模态任务中的巨大潜力。

效果展示

文生图

多模态理解

总结速览

解决的问题

当前图像理解与生成任务通常由专门的模型完成，统一模型在性能和效率上仍然存在局限性，难以在两个领域中同时达到优异表现。

提出的方案

提出 JanusFlow 框架，采用极简架构，将自回归语言模型与rectified flow相结合，实现图像理解与生成的统一。

应用的技术

1. Rectified Flow：作为生成建模的先进方法，简化了在大语言模型框架中训练的复杂性。
2. 理解与生成解码器的解耦：分别优化理解与生成任务的编码器。
3. 表示对齐：在统一训练过程中对理解和生成的表示进行对齐，增强统一模型的表现力。

达到的效果

1. 性能提升：在标准基准上显著优于现有的统一模型，并在各领域中表现出与专用模型媲美甚至更优的性能。
2. 模型简化：无需复杂的架构修改，即可在统一框架内有效训练，提升效率和通用性。

JanusFlow

本节介绍 JanusFlow 的架构以及我们的训练策略。

背景

多模态大语言模型（MLLMs）

多模态理解与生成的统一框架

JanusFlow 提供了一个统一的框架，用于处理视觉理解和图像生成任务。以下概述了 JanusFlow 如何在单一 LLM 架构中处理这两类任务。

多模态理解

训练方案

如下图 3 所示，分三个阶段依次训练模型，具体如下。

阶段 1：随机初始化组件的适配
在第一阶段，我们仅训练随机初始化的组件，包括线性层、生成编码器和生成解码器。这一阶段旨在使这些新模块与预训练的 LLM 和 SigLIP 编码器有效配合，实质上是为新引入的组件进行初始化。

阶段 2：统一预训练
在适配阶段之后，我们训练整个模型，但不包括视觉编码器，与先前方法一致 [57, 63]。训练数据包括三种类型：多模态理解、图像生成和仅文本数据。最初分配较高比例的多模态理解数据，以建立模型的理解能力。随后逐步增加图像生成数据的比例，以满足基于扩散模型的收敛需求。

阶段 3：监督微调（SFT） 最后阶段，使用指令调优数据对预训练模型进行微调，包括对话、任务特定的交流以及高质量的文本条件图像生成示例。在此阶段，还解冻 SigLIP 编码器参数。这一微调过程使模型能够有效响应用户指令，完成多模态理解和图像生成任务。

训练目标

实验

研究者们进行了一系列实验，以评估 JanusFlow 在多模态理解和生成任务中的能力。首先，我们描述了我们的实验设置和实现细节。然后，展示了在多模态理解和图像生成的标准基准上的结果。最后，进行了一些消融实验，以验证关键设计选择。

实验设置和实现细节

本文的框架基于 DeepSeek-LLM（1.3B）的增强版。LLM 由 24 个变换器块组成，支持序列长度为 4,096。在本文的模型中，理解和生成任务都使用分辨率为 384 的图像。

对于数据预处理，分别处理理解和生成数据。对于理解任务，通过将长边调整为目标大小，并将图像填充为正方形来保持所有图像信息。对于生成任务，将短边调整为目标大小，并应用随机方形裁剪，以避免填充伪影。在训练过程中，为提高训练效率，将多个序列打包成一个长度为 4,096 的单一序列。

实现基于 HAI-LLM 平台，使用 PyTorch。训练是在 NVIDIA A100 GPU 上进行的，每个模型需要约 1,600 A100 GPU 天。

训练数据设置

遵循 Janus 构建训练数据。每个训练阶段的数据配置如下。

阶段 1 和阶段 2 的数据

本文框架的前两个阶段使用三种类型的数据：多模态理解数据、图像生成数据和仅文本数据。

1. 多模态理解数据。此类数据包含几个子类别：

• (a) 图像描述数据。结合了来自 [20, 41, 50, 51, 53, 79] 的描述数据集，并使用开源多模态理解模型为来自 [16, 43] 的图像生成附加描述。数据遵循模板格式，例如：“<image>生成此图片的描述。<caption>”。
• (b) 图表和表格。直接采用来自 DeepSeek-VL 训练数据的图表和表格数据。
• (c) 任务数据。使用 ShareGPT4V 数据，以促进预训练期间的基本问答能力，数据结构为：“<image><question><answer>”。
• (d) 交替文本-图像数据。此子类别来源于 [42, 81]。

2. 图像生成数据。图像生成数据集结合了来自 [16, 21, 41, 43, 67, 69, 79, 82] 的高质量图像和 200 万个内部数据。我们使用多模态理解模型增强它们，生成机器生成的描述。筛选了来自 [16, 79] 的图像，按纵横比和美学评分进行过滤，保留约 20% 的原始数据集。25% 的数据包含单句描述，这类数据帮助模型能够处理简短的提示。所有数据点格式为：“<prompt><image>”。
3. 仅文本数据。直接使用 DeepSeek-LLM的文本语料库。

阶段 3 的数据SFT 阶段同样使用三种类型的数据：

1. 多模态指令数据。利用来自 [29, 33, 35, 47, 64, 78] 的指令调优数据集。
2. 图像生成数据。将来自 [16, 79, 82] 的高质量文本-图像对重新格式化为指令格式：“User:<user prompt>\n\n Assistant:<image>”。
3. 仅文本数据。直接合并了来自 [47] 的仅文本数据。

评估设置

图像生成
使用视觉质量和语义准确性指标来评估生成的图像。对于视觉质量评估，采用 Fréchet Inception DistanceFID）指标，并计算 30,000 张生成图像与其对应的来自 MJHQ 数据集的参考图像之间的 FID。FID 的计算遵循 GigaGAN的实现。为了评估语义准确性，使用两个专门的框架：GenEval和 DPG-Bench。这些框架旨在评估生成的图像是否准确包含了输入提示中指定的对象和关系，从而提供广泛的生成能力评估。

多模态理解通过一系列多样化的视觉-语言基准测试来评估 JanusFlow 的多模态理解能力，这些基准测试涉及一般的理解能力，包括 POPE、MME、MMBench、SEEDBench、VQAv2、GQA、MM-Vet 和 MMMU。

定量结果

图像生成性能本文报告了在 GenEval、DPG-Bench 和 MJHQ FID-30k 上的性能。在下表 2 中，给出了 GenEval 的比较，包括所有子任务的分数和总体分数。JanusFlow 在总体得分上达到了 0.63，超过了之前的统一框架以及多个生成特定模型，包括 SDXL 和 DALL-E 2。在下表 3 中，展示了 DPG-Bench 上的结果及其相应的比较。需要注意的是，表 3 中的所有方法都是生成特定模型，除了本文的模型之外。GenEval 和 DPG-Bench 上的结果展示了本文模型的指令跟随能力。

在下表 4 中给出了 MJHQ FID-30k 的比较。计算 FID 的图像是通过 CFG 因子 𝑤 = 2 和采样步数 30 生成的。对 CFG 因子和采样步数进行了扫频。本文的方法在所有 1.3B LLM 模型中表现最好。结果证明，Rectified Flow能够改善生成图像的质量，优于自回归模型，如 Janus。

多模态理解性能
在下表 5 中展示了我们的方法与其他方法的比较，包括理解特定模型和统一的理解与生成模型。我们的模型在所有具有相似参数数量的模型中达到了最佳性能，甚至超过了多个规模更大的理解特定方法。我们的结果表明，我们的方法协调了自回归 LLM 和Rectified Flow，在理解和生成任务中都取得了令人满意的表现。

消融研究

本文进行了全面的消融研究，以验证关键设计选择的有效性。为了提高计算效率，所有消融实验均在 256 × 256 分辨率的图像上进行。除理解-only 和生成-only 变体外，所有模型均在我们的统一预训练数据集上训练了 50,000 次迭代，而理解-only 和生成-only 变体则根据其在预训练阶段的数据比例进行了相应较少的训练迭代。这些消融研究的定量结果见下表 6。

表示对齐的影响

视觉编码器解耦的影响通过 Exp. B、C 和 F 之间的比较验证了使用强大预训练视觉编码器在多模态理解中的有效性。在 Exp. B 中，采用类似 Transfusion 的设计，在 SDXL-VAE 潜在空间中为理解和生成编码器实现了共享的 ConvNeXt 块。Exp. C 则使用独立的编码器，架构和初始化参数相同，但进行了独立训练。不同配置之间的性能差异验证了在改进我们统一模型能力方面解耦视觉编码器的必要性。此外，Exp. C 和 F 中的优越结果突出了利用预训练语义视觉编码器进行多模态理解任务的好处。

与理解/生成-only 模型的公平比较

为了建立有意义的基准，评估了在相同条件下训练的任务特定模型——使用相同的预训练数据集、基础设施和超参数。Exp. D 和 E 代表了这些专门的模型，它们使用与统一模型相匹配的数据量进行了训练，如前面表 6 所示。Exp. F 与这些任务特定基线之间的最小性能差距表明，本文的统一框架成功地将理解和生成能力集成在一起，且不会在任何任务的性能上造成显著的妥协。

定性结果

本文展示了 JanusFlow 方法在图像生成和理解任务上的定性评估。下图 1(b) 和图 4 展示了 JanusFlow 在图像生成方面的能力。这些结果展示了我们生成的图像在视觉质量上的优越性，并且证明了我们的框架能够忠实地执行各种指令。

在多模态理解方面，下图 5 展示了示例对话，展示了我们的模型在不同场景下的理解能力。这些互动展示了模型在自然语言对话中理解和推理视觉内容的能力。

结论

本文提出了 JanusFlow，一种成功地将自回归模型和Rectified Flow模型融合的统一框架，适用于多模态理解和生成任务。广泛的实验表明，这种统一方法在性能上与任务特定模型相当。成功整合这两种根本不同的模型架构，不仅解决了当前多模态学习中的挑战，还为未来训练统一模型的研究开辟了新的可能性。

本文转自AI生成未来 ，作者：AI生成未来

原文链接:​​https://mp.weixin.qq.com/s/1pN6_cn6i1SIiYiRV7UB3Q​​