使用反向传播训练多层神经网络的原理

开发 开发工具 深度学习
每个神经元由两部分组成。第一部分是输入信号和权重系数的加权和。第二部分是非线性函数,称为神经元激活函数。信号e是加权和的输出(加法器的输出)信号。y=f(e)是非线性函数(元件)的输出信号。信号y也是神经元的输出信号。

 文章《Principles of training multi-layer neural network using backpropagation 》提供了直观理解反向传播的完整例子。以下是原文翻译。

文章描述采用反向传播算法训练多层神经网络的学习过程。为了说明这个过程,使用了具有两个输入和一个输出的三层神经网络,如下图所示:

每个神经元由两部分组成。***部分是输入信号和权重系数的加权和。第二部分是非线性函数,称为神经元激活函数。信号e是加权和的输出(加法器的输出)信号。y=f(e)是非线性函数(元件)的输出信号。信号y也是神经元的输出信号。

要训练神经网络,我们需要“训练数据集”。训练数据集是由对应目标z(期望输出)的输入信号(x_1和 x_2)组成。神经网络的训练是一个迭代过程。在每个迭代中,使用来自训练数据集的新数据修改网络节点的加权系数。整个迭代由前向计算和反向传播两个过程组成。

前向计算:每个学习步骤从来自训练集的两个输入信号开始。前向计算完成之后,我们可以确定每层网络中每个神经元的输出信号值(译者注:隐藏层神经元的误差是没有的,因为训练数据集中没有隐藏层的目标值)。下图显示了信号如何通过网络传播,符号w(xm) 表示网络输入x_m和神经元n之间的连接权重。符号y_n 表示神经元n的输出信号。

 

隐藏层信号传播。符号w_mn表示神经元m的输出和后一层神经元n的输入之间的连接权重 。

输出层信号传播:

在下一个算法步骤中,将网络y的输出信号与训练数据集中的输出值(目标)进行比较。差异称为输出层神经元的误差信号δ。

因为隐层神经元的输出值(训练集没有隐藏层的目标值)是未知的,所以不可能直接计算内部神经元的误差信号。多年来,一直没有找到训练多层神经网络的有效方法。直到在八十年代中期,反向传播算法才被制定出来。反向传播算法是将误差信号δ(在单个训练步骤中计算)传播回所有神经元,对于神经元来说,误差信号反向传播。

用于传播误差的权重系数w_mn等于前向计算使用的权重系数,只是数据流的方向改变(信号从输出到输入一个接一个地传播)。该技术用于所有网络层。如果误差是来自多个神经元,则把它们加起来(译者注:反向来看,也是加权和)。下图所示:

计算每个神经元的误差信号,用于修改每个神经元输入连接的加权系数。在下面的公式中, df(e)/de表示神经元激活函数的导数。影响权重的因素除了神经元激活函数的导数之外,还有反向传播的误差信号,以及神经元输入方向连接的前一个神经元。(译者注:这里忽略了推导过程,直接给出权重的修改方法。具体的推导过程参考我的前一篇文章:《误差反向传播算法浅解》。原理是一样的,影响权重的三个因素体现在下面的公式中。)。

其中系数η影响网络训练速度。有几种技术来选择此参数。***种方法是开始具有较大参数值。当权重系数正在建立时,参数逐渐减少。第二个方法是开始用小参数值进行训练。在训练过程中,参数逐渐增加,然后在***阶段再次下降。开始具有低参数值的训练过程能够确定权重系数。

【本文是51CTO专栏作者石头的原创文章,转载请通过作者微信公众号补天遗石(butianys)获取授权】

戳这里,看该作者更多好文

责任编辑:武晓燕 来源: 51CTO专栏
相关推荐

2018-08-30 09:15:42

人工智能神经网络深度学习

2017-07-19 11:39:25

深度学习人工智能boosting

2018-04-08 11:20:43

深度学习

2017-08-28 21:31:37

TensorFlow深度学习神经网络

2017-12-22 08:47:41

神经网络AND运算

2024-08-09 12:46:53

模型训练

2017-03-27 16:18:30

神经网络TensorFlow人工智能

2017-08-29 13:50:03

TensorFlow深度学习神经网络

2024-07-22 08:30:00

神经网络AI

2017-09-08 15:36:15

DNN神经网络算法

2020-11-30 10:30:01

神经网络感知机中间层

2020-09-08 13:02:00

Python神经网络感知器

2018-12-14 08:02:55

神经网络机器学习二值模型

2018-05-14 10:50:13

SQL查询语句神经网络

2018-05-28 13:12:49

深度学习Python神经网络

2021-11-01 09:44:12

深度学习神经网络人工智能

2021-12-28 08:48:54

PyTorch神经网络人工智能

2020-03-25 09:48:10

AI芯片神经网络

2018-07-03 16:10:04

神经网络生物神经网络人工神经网络

2022-05-20 11:01:06

模型性能框架
点赞
收藏

51CTO技术栈公众号