回复
什么是神经网络-终于把神经网络参数更新搞明白了！
今天我们来讲一讲神经网络的参数到底是如何更新的！
我们先来看看如下神经网络中的最后一个参数b3是怎样进行更新的。后面的章节再来讲w1 w2 w3 b1 b2是如何更新的。
我们先假设w1 w2 w3 b1 b2参数均已得到最优解，分别如上图中绿色数据所示。假设我们要拟合的曲线如下图所示：
我们先给b3赋一个默认的初始值0。假设最上面的绿色曲线是我们要拟合的真实曲线，最下面的绿色曲线是当前的预测曲线。
我们先来求一个残差平方和，即对于所有的输入值，求出真实值-预测值的平方之和。
如下是残差平方和公式：
然后我们可以看到对于不同的b3，我们可以得到不同的预测曲线也就能得到不同的残差平方和。SSR是残差平方和，每个b3得到的预测曲线和残差平方和的对应关系如下图所示。
我们可以得到一个b3和残差平方和的曲线，这时我们根据梯度下降法，对这条曲线进行求导，当斜率无限逼近0时，预测曲线最接近真实曲线的时候，此时的b3就是最优解。
赞
收藏
回复
相关推荐
