一、 一眼概览
ZAPS(Zero-Shot Approximate Posterior Sampling)是一种针对扩散模型(Diffusion Models, DMs)在逆问题(Inverse Problems)中的高效采样方法。它利用零样本学习(Zero-Shot Learning)进行自适应超参数优化,使得扩散采样步骤固定,同时提高重建质量并减少推理时间。
二、核心问题
当前的扩散模型在解决逆问题(如去模糊、修复、超分辨率)时,存在以下挑战:
- 需要大量的采样步骤,导致推理速度慢;
- 现有的噪声调度策略(Noise Schedule)在逆问题场景下难以直接适用;
- 传统方法使用手动调整的对数似然权重(Log-Likelihood Weights),不够鲁棒,容易导致次优解。论文核心问题:如何在固定的采样步数下,提高扩散模型的逆问题求解性能,并自适应优化超参数?
三、技术亮点
1. 提出零样本近似后验采样(ZAPS)方法:
• 通过零样本学习自动优化对数似然权重,无需手动调整;
• 避免传统方法中的手工调参问题,适应不同的噪声调度。
2. 设计基于离散小波变换(DWT)的 Hessian 近似:
• 近似后验的二阶信息,提高计算效率;
3.优化采样策略,实现快速收敛:
• 结合不规则噪声调度(Irregular Noise Schedule),在低噪声水平更多采样;
• 相比传统方法,将采样步数从1000步减少到 20-30步,实现3×加速。
四、方法框架
图片
ZAPS 通过以下关键步骤完成扩散模型的高效后验采样:
1. 采样初始化:从噪声分布开始,设定固定的采样步数(S 步)。
2. 零样本优化:
• 采用自监督损失函数调整对数似然权重 ζt;
• 通过 DWT 近似 Hessian 计算,提高计算效率。
3. 逐步采样更新:
• 交替执行扩散模型采样(Score Model Sampling, SMS)和似然引导(Likelihood Guidance, LG)。
4. 最终输出:生成高质量的逆问题重建结果。
五、实验结果速览
图片
论文在FFHQ、ImageNet等数据集上进行了去模糊、修复、超分辨率等任务测试,主要结果如下:
• ZAPS 在超分辨率任务中比 DPS 提高 2.77dB(PSNR),且计算时间减少 3 倍。
• 相较于 DDRM,ZAPS 在相近计算复杂度下显著提升图像质量。
• 实验验证 ZAPS 在多种逆问题(高斯去模糊、运动去模糊、超分辨率、图像修复)上均表现优越。
6. 实用价值与应用
ZAPS 具备广泛的实际应用场景:
• 医学影像重建(MRI、CT 降噪):减少成像时间,提高细节还原能力;
• 自动驾驶(图像去模糊):提升低光环境下的视觉感知能力;
• 计算机视觉(图像修复):改善低质量视频和照片;
• 遥感成像(超分辨率重建):提高卫星影像质量。
7. 开放问题
• ZAPS 是否能推广到非线性逆问题(如 3D 重建、层析成像)?
• 如果输入数据具有极端噪声或大尺度失真,ZAPS 的性能如何?
• 该方法是否可用于文本和信号处理领域,如语音降噪、时序预测?