一文彻底搞懂深度学习 - 过拟合和欠拟合 原创

在深度学习中，过拟合和欠拟合是训练模型时常见的两大问题，它们会严重影响模型的泛化能力。过拟合，模型太复杂，学了噪声，训练数据上表现过好而在新数据上表现差；欠拟合，模型太简单，没学够特征，训练数据和新数据上都表现不佳。

为了解决这些问题，可以采取多种策略，包括增加训练数据量、使用正则化技术、选择更合适的模型、进行特征选择和降维、采用交叉验证等。这些策略可以有效地提高模型的泛化能力，从而推动深度学习技术的进一步发展。

Overfitting & Underfitting

一、过拟合

什么是过拟合（Overfitting）？过拟合是指模型在训练数据上表现得非常好，但在未见过的测试数据上表现很差的现象。换句话说，模型学习到了训练数据中的噪声和细节，而不仅仅是数据中的真实规律。

过拟合的原因是什么？过拟合通常由模型过于复杂、训练数据不足或数据噪声等原因导致。

1. 模型过于复杂：复杂的模型能够捕捉到训练数据中的很多细节，包括一些噪声。当模型复杂度过高时，它可能会过度拟合训练数据中的噪声，而不是学习数据背后的通用模式。
2. 训练数据不足：如果训练数据量很小，模型可能很难从中学到数据的通用模式。相反，它可能会学习到数据的特例，即训练数据中的某些具体细节。
3. 数据噪声：训练数据中的噪声可能会导致模型学习到错误的信息。当模型试图拟合这些带有噪声的数据时，它可能会学习到一些与真实数据分布不符的模式。

为了解决过拟合问题，我们可以采取增加训练数据、降低模型复杂度、正则化、特征选择和交叉验证等方法。

二、欠拟合

什么是欠拟合（Underfitting）？欠拟合是指模型在训练数据上表现不好，同时在测试数据上也表现不好的现象。这通常意味着模型未能捕捉到数据中的基本规律。

欠拟合的原因是什么？欠拟合通常由训练数据不足、模型复杂度过低（如层数过少、神经元过少）、训练时间不足等原因导致。

1. 训练数据不足：当训练数据量不足时，模型可能无法充分学习到数据的内在规律和模式。这会导致模型在训练集上的表现就不够好，更不用说在测试集或实际应用中的表现了。
2. 模型复杂度过低：当模型复杂度过低时，它可能无法捕捉到数据中的复杂关系或非线性特征。例如，在神经网络中，如果层数过少或神经元数量不足，模型可能无法学习到数据的深层特征。
3. 训练时间不足：当训练时间不足时，模型可能还没有充分学习到数据的内在规律和模式。这可能是因为优化算法还没有找到最优解，或者模型还没有足够的时间来适应数据的分布。

为了解决过拟合问题，我们可以采取增加训练数据、提高模型复杂度、延长训练时间等方法。

本文转载自公众号架构师带你玩转AI 作者：AllenTang

原文链接：​​https://mp.weixin.qq.com/s/scDYsCQXiAzm8OByI5Sp_w​​