回复
风格控制水平创新高！南理工&InstantX&小红书发布CSGO:简单高效的端到端风格迁移框架
论文链接：https://arxiv.org/pdf/2408.16766
项目链接：https://csgo-gen.github.io/
亮点直击
- 构建了一个专门用于风格迁移的数据集
- 设计了一个简单但有效的端到端训练的风格迁移框架CSGO框架，以验证这个大规模数据集在风格迁移中的有益效果。
- 引入了内容对齐评分（Content Alignment Score，简称CAS）来评估风格迁移的质量，有效衡量迁移后内容损失的程度。
- 大量的定性和定量研究验证了本文提出的方法在零样本风格迁移方面取得了先进的成果。
扩散模型在受控图像生成方面展示了卓越的能力，这进一步激发了对图像风格迁移的兴趣。现有的工作主要集中在基于训练自由的方法（例如图像反演），这是由于特定数据的稀缺。在本研究中，本文提出了一种用于内容-风格-风格化图像三元组的数据构建pipeline，该pipeline生成并自动清理风格化数据三元组。基于此pipeline，本文构建了IMAGStyle数据集，这是第一个包含21万图像三元组的大规模风格迁移数据集，供社区探索和研究。配备IMAGStyle数据集，本文提出了CSGO，一种基于端到端训练的风格迁移模型，该模型通过独立特征注入显式解耦内容和风格特征。统一的CSGO实现了图像驱动的风格迁移、文本驱动的风格化合成以及文本编辑驱动的风格化合成。大量实验表明，本文的方法在增强图像生成中的风格控制能力方面是有效的。
数据 pipeline
在本节中，本文首先介绍用于构建内容-风格-风格化图像三元组的提议pipeline。然后，本文详细描述构建的IMAGStyle数据集。
构建内容-风格-风格化图像三元组的pipeline
风格化图像清理。 通过人工参与的慢速数据清理方法对于构建大规模风格化数据三元组是不可接受的。为此，本文开发了一种自动清理方法，以高效地获得理想且高质量的风格化图像T 。首先，本文提出了一个内容对齐评分（CAS），它有效地衡量生成图像与内容图像的内容对齐情况。它被定义为生成图像和原始内容图像的内容语义特征（不包含风格信息）之间的特征距离。其表示如下：
IMAGSTYLE 数据集详细信息
内容图像。 为了确保内容图像具有清晰的语义信息并在训练后便于分离，本文使用显著性检测数据集 MSRA10K和 MSRA-B作为内容图像。此外，对于素描风格化，本文从 ImageNet-Sketch中抽取了1000张素描图像作为内容图像。内容图像的类别分布如下图3所示。本文使用 BLIP（Li 等人，2023）为每个内容图像生成一个标题。总共训练了11,000张内容图像，并用作内容 LoRA。
风格图像。 为了确保风格多样性的丰富性，本文从Wikiart数据集中抽取了5000张不同绘画风格的图像（历史画、肖像画、风俗画、风景画和静物画）。此外，本文使用Midjourney生成了5000张涵盖多种风格的图像，包括古典、现代、浪漫、现实主义、超现实主义、抽象、未来主义、明亮、黑暗等风格。总共使用了10,000张风格图像来训练风格LoRA。
数据集。 基于前文中描述的pipeline，本文构建了一个风格迁移数据集IMAGStyle，该数据集包含210,000个内容-风格-风格化图像三元组作为训练数据集。此外，本文从网络上收集了248张内容图像，这些图像包含真实场景、素描场景、人脸和风格场景的图像，以及206张不同场景的风格图像作为测试数据集。在测试中，每张内容图像会被转换为206种风格。此数据集将用于社区研究风格迁移和风格化合成。
方法
CSGO框架
所提出的风格迁移模型CSGO，如下图4所示，旨在实现任意图像的任意风格化，而无需微调，包括素描和自然图像驱动的风格迁移、文本驱动的风格化合成以及文本编辑驱动的风格化合成。得益于所提出的IMAGStyle数据集，CSGO支持端到端的风格迁移训练范式。为了确保有效的风格迁移和准确的内容保留，本文精心设计了内容和风格控制模块。此外，为了减少内容图像泄露风格信息或风格图像泄露内容的风险，内容控制和风格控制模块被明确解耦，对应的特征被独立提取。具体来说，本文将CSGO分为两个主要组件，并详细描述它们。
模型训练和推理
推理。 在推理阶段，我们采用无分类器指导。时间步t的输出表示如下：
其中w表示无分类器指导因子（CFG）。
实验
实验设置
数据集和评估。 使用提出的IMAGStyle作为训练数据集，并使用其测试数据集作为评估数据集。我们采用Somepalli等人提出的CSD评分作为评估指标来评估风格相似性。同时，我们使用提出的内容对齐评分（CAS）作为评估指标来评估内容相似性。
基线方法。 比较了最近的几种先进的基于反演的风格识别方法，包括Chung等人（2024）的StyleID、Hertz等人（2024）的StyleAligned方法，以及基于Transformer结构的StyTR2 Deng等人（2022）。此外，还比较了Wang等人（2024a）的Instantstyle和Junyao等人（2024）的StyleShot（及其细粒度控制方法StyleShot-lineart），这些方法引入了ControlNet和IPAdapter结构作为基线。在文本驱动的风格控制任务中，我们还引入了Qi等人（2024）的DEADiff作为基线。
实验结果
图像驱动的风格迁移。 在下表1中，展示了所提出方法在图像驱动风格迁移任务中与最近先进方法的CSD评分和CAS。就风格控制而言，我们的CSGO获得了最高的CSD评分，表明CSGO在风格控制方面达到了最先进的水平。由于采用了解耦的风格注入方法，所提出的CSGO能够有效地提取风格特征并将其与高质量的内容特征融合。如下图5所示，CSGO在自然、素描、人脸和艺术场景中精确地迁移风格，同时保持内容的语义。
在内容保留方面，可以观察到基于反演的StyleID和StyleAligned在素描风格迁移场景中过于强烈地保持了原始内容（CAS非常低）。然而，它们无法注入风格信息，因为CSD评分很低。使用线条来控制内容的InstantStyle和StyleShot（包括Lineart）受线条细节水平的影响，在不同程度上会丢失内容（如人脸场景）。所提出的CSGO直接利用内容图像的所有信息，内容保留效果最佳。上表1中的定量结果也表明，所提出的CSGO在实现精确风格迁移的同时，保持了高质量的内容保留。
文本驱动的风格化合成。 所提出的方法支持文本驱动的风格控制，即给定一个文本提示词和一个风格图像，生成具有相似风格的图像。下图6展示了所提出的CSGO与最先进方法的生成结果对比。在简单场景中，很直观地观察到我们的CSGO更遵循文本提示。这是因为得益于内容和风格特征的显式解耦，风格图像仅注入风格信息而不暴露内容。此外，在复杂场景中，得益于精心设计的风格特征注入模块，CSGO在转换文本含义的同时实现了最佳的风格控制。如下图7所示，展示了更多结果。
文本编辑驱动的风格化合成。 所提出的CSGO支持文本编辑驱动的风格控制。如下图8所示，在风格迁移过程中，我们保持原始内容图像的语义和布局，同时允许对文本提示词进行简单编辑。上述优秀结果表明，所提出的CSGO是一个强大的风格控制框架。
消融研究
内容控制和风格控制。我们讨论了两种特征注入方法的影响，如下图9所示。内容图像必须通过ControlNet注入以保持布局，同时保留语义信息。如果内容特征仅通过IP-Adapter注入到CSGO框架中（下图9(1)），则内容特征只保留语义信息。
引入ControlNet注入后，内容保留的质量得到了提升，如下图12所示。然而，如果风格特征仅注入到基础UNet中而不通过ControlNet注入，这会削弱生成图像的风格，这可以在上图9(2)和(3)的对比中观察到。因此，所提出的CSGO在ControlNet分支中预先注入风格特征，以进一步融合风格特征，从而增强迁移效果。
风格图像投影层。 风格图像投影层可以有效地从原始embedding中提取风格特征。我们探索了普通线性层和重采样器结构，实验结果如下图10所示。使用重采样器结构能够捕捉到更详细的风格特征，同时避免内容泄露。
Token数量。 探讨了风格投影层中token数量t对风格迁移和文本驱动风格合成结果的影响。实验结果如上图10所示，随着t的增加，风格控制逐渐变得更好。这与我们的预期一致，即t影响特征提取的质量。更大的t意味着投影层能够提取出更丰富的风格特征。
CFG尺度的影响。 无分类器引导增强了文本到图像模型的能力。所提出的CSGO同样受CFG尺度强度的影响。正如上图13所示，引入CFG增强了风格迁移效果。
结论
首先提出了一个用于构建内容-风格-风格化图像三元组的流程。基于此流程，我们构建了第一个大规模风格迁移数据集IMAGStyle，该数据集包含21万个图像三元组，涵盖了广泛的风格场景。为了验证IMAGStyle对风格迁移的影响，我们提出了CSGO，这是一种简单但高度有效的端到端训练风格迁移框架。我们验证了所提出的CSGO可以在统一框架下同时执行图像风格迁移、文本驱动的风格合成和文本编辑驱动的风格合成任务。大量实验验证了IMAGStyle和CSGO对风格迁移的有益效果。我们希望我们的工作能够激励研究社区进一步探索风格化研究。
未来工作。 尽管所提出的数据集和框架已经取得了非常先进的性能，但仍有改进的空间。由于时间和计算资源的限制，我们仅构建了21万个数据三元组。我们相信，通过扩大数据集的规模，CSGO的风格迁移质量将会更好。同时，所提出的CSGO框架是一个基础版本，仅验证了生成风格化数据集对风格迁移的有益效果。我们认为，通过优化风格和内容特征提取及融合方法，可以进一步提高风格迁移的质量。
本文转自 AI生成未来 ，作者：Peng Xing等
赞
收藏
回复
相关推荐
