零样本 | ZAPS:零样本扩散采样,3倍加速逆问题重建,重塑高效影像修复新范式

人工智能
ZAPS(Zero-Shot Approximate Posterior Sampling)是一种针对扩散模型(Diffusion Models, DMs)在逆问题(Inverse Problems)中的高效采样方法。

一、 一眼概览

ZAPS(Zero-Shot Approximate Posterior Sampling)是一种针对扩散模型(Diffusion Models, DMs)在逆问题(Inverse Problems)中的高效采样方法。它利用零样本学习(Zero-Shot Learning)进行自适应超参数优化,使得扩散采样步骤固定,同时提高重建质量并减少推理时间。

二、核心问题

当前的扩散模型在解决逆问题(如去模糊、修复、超分辨率)时,存在以下挑战:

  • 需要大量的采样步骤,导致推理速度慢;
  • 现有的噪声调度策略(Noise Schedule)在逆问题场景下难以直接适用;
  • 传统方法使用手动调整的对数似然权重(Log-Likelihood Weights),不够鲁棒,容易导致次优解。论文核心问题:如何在固定的采样步数下,提高扩散模型的逆问题求解性能,并自适应优化超参数?

三、技术亮点

1. 提出零样本近似后验采样(ZAPS)方法

• 通过零样本学习自动优化对数似然权重,无需手动调整;

• 避免传统方法中的手工调参问题,适应不同的噪声调度。

2. 设计基于离散小波变换(DWT)的 Hessian 近似

• 近似后验的二阶信息,提高计算效率;

 3.优化采样策略,实现快速收敛

• 结合不规则噪声调度(Irregular Noise Schedule),在低噪声水平更多采样;

• 相比传统方法,将采样步数从1000步减少到 20-30步,实现3×加速

四、方法框架

图片图片

ZAPS 通过以下关键步骤完成扩散模型的高效后验采样:

1. 采样初始化:从噪声分布开始,设定固定的采样步数(S 步)。

2. 零样本优化

• 采用自监督损失函数调整对数似然权重 ζt;

• 通过 DWT 近似 Hessian 计算,提高计算效率。

3. 逐步采样更新

• 交替执行扩散模型采样(Score Model Sampling, SMS)和似然引导(Likelihood Guidance, LG)

4. 最终输出:生成高质量的逆问题重建结果。

五、实验结果速览

图片图片

论文在FFHQ、ImageNet等数据集上进行了去模糊、修复、超分辨率等任务测试,主要结果如下:

• ZAPS 在超分辨率任务中比 DPS 提高 2.77dB(PSNR),且计算时间减少 3 倍。

• 相较于 DDRM,ZAPS 在相近计算复杂度下显著提升图像质量

• 实验验证 ZAPS 在多种逆问题(高斯去模糊、运动去模糊、超分辨率、图像修复)上均表现优越

6. 实用价值与应用

ZAPS 具备广泛的实际应用场景:

• 医学影像重建(MRI、CT 降噪):减少成像时间,提高细节还原能力;

• 自动驾驶(图像去模糊):提升低光环境下的视觉感知能力;

• 计算机视觉(图像修复):改善低质量视频和照片;

• 遥感成像(超分辨率重建):提高卫星影像质量。

7. 开放问题

• ZAPS 是否能推广到非线性逆问题(如 3D 重建、层析成像)?

• 如果输入数据具有极端噪声或大尺度失真,ZAPS 的性能如何?

• 该方法是否可用于文本和信号处理领域,如语音降噪、时序预测?

责任编辑:武晓燕 来源: 萍哥学AI
相关推荐

2025-02-06 11:25:50

2025-02-07 10:10:05

MusicMagus扩散模型音乐编辑

2024-06-25 09:35:04

模型训练

2024-11-20 16:51:00

目标检测模型

2023-02-24 10:22:15

2024-09-12 08:00:00

2023-07-12 09:00:00

自动语音识别机器学习

2024-02-07 12:13:19

AI数据

2021-10-25 09:06:29

模型人工智能计算

2023-02-03 16:31:02

模型

2024-03-15 12:49:40

AI训练

2025-02-07 09:00:00

2021-07-24 10:19:14

AI 数据克隆

2024-12-26 16:30:00

AI设计数据

2023-09-19 13:11:26

自动驾驶研究

2025-02-07 15:20:00

AI数据训练

2025-01-26 10:50:00

模型视频生成

2021-09-08 17:23:33

谷歌模型开发

2024-09-20 09:37:31

2024-07-31 14:06:00

点赞
收藏

51CTO技术栈公众号