ICLR 2025惊现满分论文，ControlNet作者再出佳作精华

发布于 2024-12-17 12:35

浏览

0收藏

近日，ICLR 2025评审结果揭晓，一篇论文脱颖而出，获得了罕见的[10,10,10,10]满分成绩。这篇论文便是ControlNet作者张吕敏的新作IC - Light。在平均分仅为4.76的ICLR会议中，满分论文的出现无疑引起了学术界和业界的广泛关注。

论文标题：Scaling In-the-Wild Training for Diffusion-based Illumination Harmonization and Editing by Imposing Consistent Light Transport
论文链接：https://openreview.net/pdf?id=u1cQYxRI1H

项目成果展示

在向ICLR投稿前，IC - Light已在Github开源半年，收获5.8k星标，其效果备受认可。项目最初基于SD 1.5和SDXL实现，近期又推出V2版本，适配Flux，效果更优。

ICLR 2025惊现满分论文，ControlNet作者再出佳作-AI.x社区图片

该项目试玩链接为https://huggingface.co/spaces/lllyasviel/IC - Light，感兴趣的朋友可前往体验。

IC - Light是基于扩散模型的照明编辑模型，能通过文本精准控制图像光照效果。比如，输入“beautiful woman, detailed face, sunshine from window”的prompt，模型就能还原光线方向和光透过玻璃的漫射效果，为人物侧脸打出柔和轮廓光。

ICLR 2025惊现满分论文，ControlNet作者再出佳作-AI.x社区图片

论文核心观点与技术实现

核心观点

•提出IC - Light方法：根据光传输独立性物理原理，在训练过程中强加一致光传输，确保模型精确修改光照，保留反照率和图像细节等固有属性。

•提供预训练模型：促进不同领域光照编辑应用。

•验证方法有效性：通过大量实验验证可扩展性和性能，展示在多种光照条件下的优势及其他应用。

技术实现细节

•数据处理：利用多种数据源（任意图像、3D数据、灯光舞台图像）建模照明效果分布，处理为通用格式用于训练。

•训练过程：在训练中植入IC - Light传输，引入物理约束，使模型在大规模数据上稳定训练，提高光照编辑精度，减少不确定性和伪影。

ICLR 2025惊现满分论文，ControlNet作者再出佳作-AI.x社区图片

实验结果与分析

1.消融实验：恢复模型后分别移除野外图像增强数据和光传输一致性，发现移除野外数据影响模型泛化能力，移除光传输一致性使模型生成一致光照和保留固有属性能力下降，完整方法则能产生通用均衡模型，保留图像细节并减少误差。

2.其他应用：模型支持背景条件光照协调，可根据背景图像生成照明，不依赖环境映射；还支持SD1.5、SDXL和Flux等不同基础模型，且能通过多次推理生成法线贴图。

3.定量评估：使用PSNR、SSIM和LPIPS等指标，在未见过的3D渲染数据样本子集上评估，结果显示本文方法在LPIPS指标上优于其他方法，完整方法在感知质量和性能间取得平衡。

4.视觉对比：与Relightful Harmonization、SwitchLight、GeoWizard和DSINE等方法直观比较，本文模型因训练数据集优势，对阴影鲁棒性更高，法线贴图质量更细致。

与ControlNet的关联及意义

ControlNet解决了AI绘画中精确控制图像细节的难题，为SD模型装上“方向盘”，推动商业化工作流发展，荣获ICCV 2023马尔奖。而IC - Light同样精准命中用户需求，在光照编辑领域取得突破。此前研究难以解决光照编辑时不改变物体材质的问题，IC - Light作者发现用AI合成生成数据加人工处理可达到较好效果，对研究领域有启发意义。