一文彻底搞懂SOTA模型 - ResNet（2015）原创

发布于 2025-1-2 14:26

浏览

0收藏

一文彻底搞懂SOTA模型 - ResNet（2015）-AI.x社区

ResNet（Residual Network，残差网络）是2015年由微软研究院提出的一种深度神经网络架构，它在深度学习领域，尤其是计算机视觉任务中取得了重要突破。

在ImageNet数据集上，ResNet的一个152层深的网络组合模型在测试集上的错误率仅为3.57%，获得了2015年ILSVRC分类任务的第一名。此外，ResNet还在COCO目标检测数据集上获得了28%的相对提升，并在ILSVRC & COCO 2015竞赛的ImageNet检测、ImageNet定位、COCO检测以及COCO分割上均获得了第一名的成绩。

一文彻底搞懂SOTA模型 - ResNet（2015）-AI.x社区

ResNet

一、ResNet

ResNet（Residual Network）是什么？ResNet（残差网络）是一种深度卷积神经网络架构，它在2015年由微软研究院的何恺明等人提出。

ResNet的核心创新在于引入了“残差学习”（Residual Learning）的概念，通过构建残差块（Residual Block）来简化深层网络的训练过程。

在传统的卷积神经网络中，每一层都试图学习一个输入到输出的映射。然而，随着网络层数的增加，这种直接学习映射的方式变得越来越困难，因为深层网络容易出现梯度消失或梯度爆炸的问题，导致网络难以训练。

ResNet通过引入残差学习来解决这个问题。在残差块中，除了正常的卷积层外，还增加了一个跳跃连接（Skip Connection），它直接将输入加到卷积层的输出上。这样，残差块学习的就不再是完整的输入到输出的映射，而是输入和输出之间的差异（即残差）。这种设计使得网络更容易学习恒等映射（即输入等于输出），从而避免了深层网络训练中的退化问题。

一文彻底搞懂SOTA模型 - ResNet（2015）-AI.x社区

什么是跳跃连接（Skip Connection）？跳跃连接（Skip Connection），也被称为残差连接（Residual Connection），是深度神经网络架构中的一种重要组件。

跳跃连接是在网络的某些层中，将输入直接连接到输出，以允许信息在不同层之间跳跃传递。这种连接通常是通过加法操作或级联操作来实现的。加法操作即将输入和输出直接相加，而级联操作则是将不同层的特征图在通道维度上进行拼接。

一文彻底搞懂SOTA模型 - ResNet（2015）-AI.x社区

如何构建残差块（Residual Block）？残差块通常包含两个卷积层，每个卷积层后面跟着批量归一化（Batch Normalization）和激活函数（如ReLU）。这些层负责提取和转换输入特征。

第一个卷积层：接受输入特征图，并应用卷积操作、批量归一化和ReLU激活函数。
第二个卷积层：接受第一个卷积层的输出，并再次应用卷积操作、批量归一化。

一文彻底搞懂SOTA模型 - ResNet（2015）-AI.x社区

二、网络结构

ResNet的网络结构是什么？ResNet（残差网络）的网络结构主要由多个残差块（Residual Blocks）组成，这些残差块通过跳跃连接（Skip Connections）实现了输入和输出之间的直接关联。

ResNet中卷积核大小的选择是基于多个因素的权衡，包括计算复杂度、特征提取能力、模型大小和训练速度等。较大的卷积核（如7x7）能够捕捉更全局的特征，但计算复杂度较高；而较小的卷积核（如3x3）则更专注于局部特征提取，计算复杂度相对较低。1x1卷积核则主要用于通道数的调整和信息融合。

一文彻底搞懂SOTA模型 - ResNet（2015）-AI.x社区

ResNet通过巧妙地组合不同大小的卷积核和残差块结构，实现了高效的特征提取和性能提升。其中残差块是ResNet的核心组成部分，每个残差块包含两条路径：一条是卷积层的堆叠（通常是两个或更多卷积层），另一条是恒等连接（Identity Connection），允许输入直接跳过一些层的输出，然后与这些层的输出相加。