耶鲁大学和Adobe提出一种用于人像重新照明的扩散模型SynthLight，该方法将图像重新照明视为重新渲染问题，其中像素会根据环境照明条件的变化而变化。在真实肖像照片上可以产生逼真的照明效果，包括颈部的明显投射阴影和皮肤上的自然镜面高光。
相关链接
- 论文：http://arxiv.org/abs/2501.09756v1
- 主页：https://vrroom.github.io/synthlight/
论文介绍
SynthLight 是一种用于人像重新照明的扩散模型。该方法将图像重新照明视为重新渲染问题，其中像素会根据环境照明条件的变化而变化。使用基于物理的渲染引擎，我们合成一个数据集，以在不同照明下使用 3D 头部资产模拟这种照明条件下的转换。我们提出了两种训练和推理策略来弥合合成图像域和真实图像域之间的差距：
- 利用没有照明标签的真实人物肖像的多任务训练；
- 基于无分类器指导的推理时间扩散采样程序，利用输入肖像更好地保留细节。
我们的方法推广到各种真实照片并产生逼真的照明效果，包括镜面高光和投射阴影，同时保留主体的身份。我们对 Light Stage 数据的定量实验表明结果可与最先进的重新照明方法相媲美。我们对野外图像的定性结果展示了丰富且前所未有的照明效果。
方法
SynthLight 的训练管道。 我们首先通过使用合成的重新照明元组训练扩散主干（任务 1，顶行）来启用重新照明建模。为了进一步缓解合成图像域和真实图像域之间的域差距，我们包括文本到图像任务的联合训练。提出的模型基于LDM，由 VAE 和 UNet 组成。
我们在推理过程中采用图像调节无分类器指导，以在身份保存和重新照明效果之间实现比例平衡。最终分数估计值按公式 (2) 计算。
输入肖像指导参数 λI 的影响：我们展示 (a) 输入肖像，(b) 光照条件和在 Blender 中以相同光照渲染的参考图像，以及 (c) 具有不同 λI 的输出。(d) 突出显示 λI = 1，相当于删除推理时间适应，改变了眼睛形状（红色矩形）。(e) 表明较高的 λI 会引入不受欢迎的光照伪影，例如来自输入肖像的阴影伪影（黄色矩形）。
结果
(a) 我们的方法展示了在室外（左）和室内（右）环境中有效重新照亮拍摄对象的能力。在室外场景中，由于面部特征和眼镜的自我遮挡，会产生强烈的投射阴影（见插图）。对于室内场景，我们的方法可以处理复杂的照明条件，例如在输入肖像上投射霓虹灯。
(b) 我们的方法可以捕捉肖像中有趣的灯光效果，合成精细的细节，例如眼睛中的捕捉光以实现逼真的重新照明（左，见插图） 以及在强背光条件下（例如阳光）耳朵中的次表面散射（右，见插图）。
野外肖像结果：我们显示输入肖像、环境地图、在 Blender 中渲染的参考图像和基线比较。DiLightNet 显示了其管道核心 3D 重建失败造成的伪影。Neural Gaffer 未在人类肖像上进行训练，因此在重新点亮的脸上会生成不准确的阴影轮廓。IC-Light 由于选择背景作为照明条件而难以重新点亮。Total Relighting 和 SwitchLight 在光照阶段数据上进行训练，即使在强烈的阳光下也能产生柔和的阴影并改变肤色。相比之下，我们的方法在保留主体身份的同时实现了卓越的重新点亮。
背景与环境图作为照明条件：背景提供的照明线索有限，导致背景条件模型产生不准确的照明（请注意 (1)-(c) 中的错误照明方向）。即便如此，通过利用我们的合成人脸数据集，背景条件模型能够生成合理的照明，其特点是强烈的投射阴影，而 IC-Light 等协调方法则达不到要求。请参阅图 7 第 3 行了解输入肖像。
结论
SynthLight是一种人像补光扩散模型，它可以重新照亮自然场景中的图像，同时仅从合成数据中获取照明监督。它强调了使用合成数据实现可信人像补光的潜力，可实现有趣的照明效果，例如强烈的投射阴影、捕捉眼睛中的光线和相互反射。
