回复
上海交大&阿里巴巴推出虚拟试衣新里程碑式工作——AnyFit：任意场景、任意组合！ 精华
文章链接：https://arxiv.org/pdf/2405.18172
工程链接：https://colorful-liyu.github.io/anyfit-page/
今天和大家一起学习的是一种名为AnyFit的新型虚拟试穿系统，旨在解决现有技术在处理不同场景和服饰组合时出现的衣物风格不匹配和质量下降问题。通过引入轻量级、可扩展的Hydra Block操作符和并行注意力机制，AnyFit能够有效地将多种服饰特征注入主网络，实现高保真度的试穿效果。此外，通过合成多个模型的残差和实施mask区域增强策略，AnyFit显著提高了模型在真实世界场景中的鲁棒性和表达能力。实验结果表明，AnyFit在高清基准测试和实际数据上均超越了现有技术，能够生成细节丰富且逼真的试穿图像。
主要贡献
确立AnyFit为一种新颖的虚拟试衣（VTON）范式，能够熟练应对各种场景下任意服装组合的挑战，如下图1所示。AnyFit主要由两个同构的U-Net组成，即HydraNet和MainNet。前者负责提取细粒度的服装特征，而后者负责生成试穿效果。
可扩展性：AnyFit的一个显著特点是创新引入了Hydra编码块，仅在共享的HydraNet中并行化注意力矩阵，从而使每增加一个分支参数量仅增加8%，即可轻松扩展到任何数量的条件。这种并行化提案基于以下洞察：只有自注意力层对于隐式变形至关重要，其余组件主要作为通用特征提取器。研究者们进一步发明了Hydra融合块，以无缝整合Hydra编码的特征到MainNet中，并通过位置嵌入区分来自不同来源的编码。需要注意的是，当仅限于单一条件时，ReferenceNet或GarmentNet可以视为HydraNet的特定实例。
稳健性：观察表明，现有虚拟试穿（VTON）工作生成的图像在稳健性和质量上明显低于原始稳定扩散表现。受社区讨论的启发，提出了先验模型演化策略。这种创新方法涉及在模型家族（例如，一系列微调版本的SDXL）内合并参数变化，使得基础模型的多种能力能够独立演化。在训练前放大模型固有潜力，这种策略被证明为直观且高效的方法，特别是当面对双U-Net训练成本显著增加的问题时，这在之前的研究中被忽略。此外，引入了自适应mask增强，以进一步优化服装的合身度。它需要在训练阶段延长无解析mask区域的长度，使模型能够自主理解服装的整体形状，从而摆脱之前依赖于服装mask提示的局限。在推理过程中，根据目标服装的纵横比调整mask区域的形状，从而显著提升试穿效果，特别是对于长款服装（如风衣）。
方法
模型概述
可扩展性：为了保留服装的细节，并支持单件和多件服装的VTON，采用了一个镜像MainNet的HydraNet来编码服装信息。它与MainNet共享相同的权重初始化，并根据条件数量并行化注意力矩阵，创建不同条件编码的Hydra编码块。
稳健性：在训练过程中，观察到mask 信息泄漏和质量下降等问题。为了解决这些问题，分别采用了自适应mask 增强和先验模型演化，这显著增强了模型在不同场景下的稳健性，且成本效益高且简单易行。
HydraNet用于多条件VTON
HydraNet。受在人像编辑领域成功实践的启发，本文引入了一个与主要生成网络（MainNet）同构的服装编码网络，以精确保留服装的细节。在处理多服装VTON时，一个直接的方法可能涉及复制多个服装编码网络以管理不同的条件。然而，这种方法会导致参数数量显著增加，使其计算量过于庞大。实验表明，对于具有相似内容的条件（如不同类型的服装），自注意模块在隐变量变形和将服装对齐到需要修补的位置方面起着至关重要的作用。相反，其他网络结构通常负责一般特征提取，可以在不同条件编码分支之间共享，而不会影响模型的性能。
通过模型演化和mask增强实现稳健的VTON
自适应mask增强。以前的工作在跨类别试穿场景中通常表现出有限的稳健性，导致渲染的服装样式不准确，如下图6和图9所示。这主要是由于依赖于从服装解析中得出的无关mask ，这在训练期间往往会泄露服装形状的边缘。这种泄露可能导致生成的服装几乎完全覆盖无关mask区域。针对这些局限性，采用了一种直观且有效的方法，即自适应mask增强策略，大大增强了模型在跨类别试穿方面的稳健性。该策略主要包括训练期间的mask增强和推理期间的自适应延长。
实验
定性结果
单服装试穿。图3和图4在VITON-HD、更具挑战性的专有数据和野外数据上提供了AnyFit与基线方法的定性比较，涵盖了开放服装和分层渲染场景。为了与基线方法进行公平比较，包括了在VITON-HD上训练的AnyFit的结果。AnyFit在保留复杂图案细节方面表现出色，这归功于HydraNet和IP-Adapter之间的有效协作。它还在语义级别上保持了正确的服装轮廓。这表明，通过mask 增强，AnyFit增强了对服装原始形状的回忆，而其他受mask 影响的模型往往会生成不正确的外观。先前的模型演化进一步增强了服装的纹理表示。值得注意的是，当在专有数据集上训练时，AnyFit会根据姿势自动填充内衣或解开衣物，而在VITON-HD上训练的版本则因缺乏此类训练数据而无法做到。
多服装试穿。下图5提供了使用编译的DressCode-multiple数据集进行多服装试穿的定性比较。首先，AnyFit展示了高保真的布料保留。由于位于不同条件分支中的独特和个体的Hydra-Blocks，AnyFit准确地描绘了上衣和下衣之间的分界线，并展示了连接处的合理过渡。相比之下，VTON-concat在串联后处理相对服装尺寸时处理不当，导致服装失真和模糊。与此同时，IDM-2Stage在上下衣交接处面临着伪影，因为在试穿一个服装时，它会掩盖另一个服装的部分。值得注意的是，尽管训练时一个服装呈现为平铺图像，另一个服装为从人物图像裁剪的扭曲布料，但在推理时，AnyFit在面对两种都作为平铺图像呈现的服装时仍然表现出色。
定量结果
如下表1、2、3所示，在VITON-HD、DressCode、专有数据集和DressCode-multiple上进行了广泛的实验，结果一致表明AnyFit显著优于所有基线方法。这证实了AnyFit在单件服装和多件服装任务中在各种场景下提供优越的试穿质量的能力。此外，注意到AnyFit在未配对设置下在FID和KID指标方面显示出显著改善，展示了本文模型在跨类别试穿中的鲁棒性。
消融研究
Hydra Blocks。为验证本文提出的Hydra Blocks的有效性，直接使用一个条件化的单一HydraNet作为基线“w/o Hydra Block”，实际上退化为ReferenceNet，同时编码顶部和底部服装条件，然后将它们连接到MainNet中。如下表4、图7和10所示，缺乏Hydra Block的模型往往在上衣和下衣交接处产生伪影。这些模型还经常允许一个服装的特征影响另一个，导致不正确的服装风格。然而，引入Hydra Block后，AnyFit始终展现出更稳定的结果。
Prior Model Evolution。在下图12和6(a)中定性展示了Prior Model Evolution的效果。SDXL-evolved模型显著减少了伪影，并显著增强了鲁棒性，而没有Prior Model Evolution的输出通常具有过度饱和的颜色，以及与背景不协调的光照和阴影。模型能力的逐步增强在图6(c)中可视化。还在图7和表4中从经验和定量上验证了Prior Model Evolution策略的有效性。通过增强模型的初始能力，Prior Model Evolution减少了学习的难度，并显著提升了服装装配能力和标志保真度。
Adaptive Mask Boost。在上图6(b)和下图9中图示展示了先前方法中发现的信息泄露和mask 依赖的问题。在表4和图9中经验和定量上验证了Adaptive Mask Boost策略的有效性。该策略显著增强了模型对不同服装类别的鲁棒性，使其能够自主确定适当的服装长度，而不是依赖于mask 。此外，在推理过程中手动调整了长宽比σ，显示了自适应延伸的积极影响。
结论
AnyFit，这是一个适用于任何场景下任意服装组合的新颖而强大的VTON pipeline，为实现逼真的试穿效果迈出了关键性的一步。为支持多件服装试穿，AnyFit构建了具有轻量级和可扩展并行化注意力的HydraNet，促进了多件服装的特征注入。通过在真实场景中观察到的伪影，通过合成多模型的残差以及实施mask区域增强策略来提升其潜力。对高分辨率基准和真实数据的全面实验表明，AnyFit在各方面显著超越了所有基线方法。
更广泛的影响
随着生成图像的能力，AnyFit可能被用于违反知识产权或隐私规范的不当目的。因此，基于这些风险，强烈主张谨慎使用这项技术。
本文转自 AI生成未来 ，作者：Yuhan Li等
赞
收藏 1
回复
相关推荐
