深度学习,如何用去噪自编码器预测原始数据?

人工智能 深度学习
去噪自编码器(denoising autoencoder, DAE)是一类接受损坏数据作为输入,并训练来预测原始未被损坏数据作为输出的自编码器。

[[214638]]

去噪自编码器(denoising autoencoder, DAE)是一类接受损坏数据作为输入,并训练来预测原始未被损坏数据作为输出的自编码器。

去噪自编码器代价函数的计算图。去噪自编码器被训练为从损坏的版本~x 重构干净数据点x。这可以通过最小化损失L = -log pdecoder(x|h = f(~x)) 实现,其中~x 是样本x 经过损坏过程C(~x| x) 后得到的损坏版本。

得分匹配是***似然的代替。它提供了概率分布的一致估计,促使模型在各个数据点x 上获得与数据分布相同的得分(score)。

对一类采用高斯噪声和均方误差作为重构误差的特定去噪自编码器(具有sig-moid 隐藏单元和线性重构单元)的去噪训练过程,与训练一类特定的被称为RBM 的无向概率模型是等价的。

将训练样本x 表示为位于低维流形(粗黑线)附近的红叉。我们用灰色圆圈表示等概率的损坏过程C(~x|x)。灰色箭头演示了如何将一个训练样本转换为经过此损坏过程的样本。

由去噪自编码器围绕1 维弯曲流形学习的向量场,其中数据集中在2 维空间中。每个箭头与重构向量减去自编码器的输入向量后的向量成比例,并且根据隐式估计的概率分布指向较高的概率。向量场在估计的密度函数的***值处(在数据流形上)和密度函数的最小值处都为零。例如,螺旋臂形成局部***值彼此连接的1维流形。局部最小值出现在两个臂间隙的中间附近。当重构误差的范数(由箭头的长度示出)很大时,在箭头的方向上移动可以显著增加概率,并且在低概率的地方大多也是如此。自编码器将这些低概率点映射到较高的概率重构。在概率***的情况下,重构变得更准确,因此箭头会收缩。

目前仅限于去噪自编码器如何学习表示一个概率分布。更一般的,我们可能希望使用自编码器作为生成模型,并从其分布中进行采样。

责任编辑:武晓燕 来源: 中科院计算所培训中心
相关推荐

2021-03-29 11:37:50

人工智能深度学习

2021-03-22 10:52:13

人工智能深度学习自编码器

2024-06-18 08:52:50

LLM算法深度学习

2022-04-02 21:46:27

深度学习编码器图像修复

2018-05-21 08:22:14

自编码器协同过滤深度学习

2021-02-20 20:57:16

深度学习编程人工智能

2017-11-10 12:45:16

TensorFlowPython神经网络

2017-07-19 13:40:42

卷积自编码器降噪

2017-09-24 12:13:52

深度学习自动编码器机器学习

2024-10-21 16:47:56

2017-07-03 07:14:49

深度学习无监督学习稀疏编码

2024-11-13 16:24:33

ViT架构PyTorch

2018-03-20 15:33:05

深度学习加密货币

2020-04-26 11:26:02

人脸合成编码器数据

2020-11-23 10:25:44

tcpdump数据包Linux

2024-08-09 08:12:35

深度学习VAEsGANs

2022-09-13 15:26:40

机器学习算法数据

2021-11-02 20:44:47

数字化

2017-12-06 15:46:31

深度学习结构化数据NLP

2017-07-10 13:45:33

自动编码数据生成GAN
点赞
收藏

51CTO技术栈公众号