大模型训练核心算法之——反向传播算法 原创

“ 反向传播是大模型训练的核心，没有反向传播就没有大模型”

了解过大模型技术的人应该都知道，大模型有几个核心模块；对应的也有几个核心技术点，比如训练数据的准备，机器学习(神经网络)模型的设计，损失函数的设计，反向传播算法等。

而今天讨论的就是反向传播算法，其可以说是模型训练的核心模块，没有反向传播模型训练就无从谈起。

那么，反向传播算法是怎么实现的呢？其技术原理是什么？有哪些注意点？

反向传播算法的实现

介绍

反向传播是深度神经网络训练的核心算法，旨在通过计算和传播梯度来优化模型参数；以下是从原理，实现和技术细节等多个方面对反向传播进行介绍。

原理

反向传播算法的核心是链式法则，目的是通过计算损失函数对模型参数的梯度来优化模型。具体来说：

链式法则：反向传播利用链式法则将损失函数对模型输出的梯度逐层传播到网络中的每个参数。链式法则的核心思想是：

如果一个函数 zz 是由两个函数 ff 和 gg 组合而成，即 z=f(g(x))z=f(g(x))，那么 zz 对 xx 的导数可以表示为 dzdx=dzdg⋅dgdxdxdz=dgdz⋅dxdg

梯度下降：计算出的梯度用来调整模型参数，以减少损失函数值；参数更新的步骤通常是基于梯度下降算法

实现步骤

前向传播

在反向传播之前，首先要进行前向传播以计算预测值和损失差：

输入数据：将数据传人网络的输入层

计算每层的输出：

    对于没一层计算加权和并加上偏执

    应用激活函数得到该层的输出

计算损失：用损失函数(如均方差，交叉熵等)计算预测值与实际标签之间的差距

计算损失对输出的梯度

损失函数对输出的梯度：计算损失函数对网络输出的偏导数，这一过程取决于损失函数的类型

反向传播梯度

输出层到倒数第二层

计算输出层的梯度(损失对输出的梯度)，并通过链式法则计算每一层的梯度

对于每层 ll，计算：

• 激活函数的导数。
• 损失函数对每个神经元的梯度。
• 权重和偏置的梯度

从倒数第二层到第一层：

• 继续向前一层传播梯度。
• 更新每层的权重和偏置。

更新参数

使用计算得到的梯度来更新权重和偏置：

WL:=WL−η⋅∂L∂WL

bL:=bL−η⋅∂L∂bL

其中，η是学习率，∂L∂WL和 ∂L∂bL

技术细节

激活函数和其导数

常见激活函数：
Sigmoid：σ(x)=11+e−x


ReLU：ReLU(x)=max⁡(0,x)
Tanh：Tanh(x)=ex−e−xex+e−x


激活函数的导数：
Sigmoid：σ′(x)=σ(x)⋅(1−σ(x))


ReLU：ReLU′(x)={1 if x>00 if x≤0
Tanh：Tanh′(x)=1−Tanh2(x)

梯度计算

权重梯度：对于每个权重 WW，梯度为：

∂W/∂L=δ⋅Aprev

其中 δ是当前层的误差项，aprev是前一层的激活值。

• 偏置梯度：对于每个偏置 bb，梯度为：

∂L∂b=δ

参数更新

学习率：决定了每次更新的步长，通常使用较小的学习率，以确保稳定的收敛

优化算法：除了标准的梯度下降，还可以使用动量，RMSprop、Adam 等优化算法来提高训练效率与效果

正则化

L1/L2正则化：通过在损失函数中加入权重的L1和L2范数来防止过拟合

Dropout：在训练过程中随机忽略一些神经元，以防止网络对训练数据的过拟合

数值稳定性

梯度消失：在深层网络中，梯度可能会变得非常小，导致学习过程缓慢或停滞。可以使用ReLU激活函数或归一化技术(如批量归一化)来缓解

梯度爆炸：梯度值变得非常大，可能导致训练不稳定，可以使用梯度裁剪来限制梯度大小

实际应用

框架支持：现代深度学习框架(如TensorFlow，PyTorch等)提供了自动微分功能，简化了反向传播的实现和梯度计算

并行计算：使用GPU加速前向传播和反向传播的计算，提高训练效率

总结

反向传播算法通过计算损失函数对网络参数的梯度，利用链式法则将梯度从输出层逐层传播到输入层，从而更新网络的权重与偏执；其核心在于计算梯度并利用优化算法进行参数更新；掌握反向传播的原理和技术细节对于训练神经网络非常重要。

本文转载自公众号AI探索时代 作者：DFires

原文链接：​​​​​https://mp.weixin.qq.com/s/s8owdnwSZ4ggKiNfkCxDQg​​​