一文彻底搞懂深度学习 - 感知机（perceptron） 原创

在机器学习中，感知机（perceptron）是最简单的神经网络模型之一，只有输入层和输出层，是二分类的线性分类器。它可以解决与（AND）、或（OR）等简单的线性可分问题，但无法解决复杂的异或（XOR）等非线性可分问题。

perceptron

一、单层感知机

感知机（perceptron）是什么？感知机是由美国学者Frank Rosenblatt在1957年提出的，它是一种模拟人脑神经元工作原理的模型。感知机接收多个输入信号，通过加权求和并加上偏置值，然后通过一个激活函数将结果转化为输出信号。

• 输入层：接收外部信息，不进行信息处理，只是将信息传递给输出层。
• 输出层：接收输入层的信号，通过加权求和并加上偏置值，然后通过一个激活函数（如阶跃函数）将结果转化为输出信号。

为什么要学习这么古老的算法？感知机是神经网络的起源算法，它的工作原理和概念构成了深度学习算法的基础。通过了解感知机，可以掌握神经网络的基本组成单元、工作原理和训练方法，为后续学习更复杂的模型打下基础。

感知机的工作原理是什么？单层感知机通过加权求和输入信号并加上偏置值，然后经过阶跃激活函数处理，输出二分类结果。

1. 加权求和：输入信号被送往输出层时，会被分别乘以各自的权重，然后求和。
2. 偏置值：用于调整输出层的激活阈值。
3. 激活函数：在单层感知机中，常用的激活函数是阶跃函数，它将大于某个阈值的结果输出为1，小于阈值的结果输出为0。

感知机的训练过程是什么？通过调整权重和偏置值，感知机可以在有限的迭代次数中收敛到一个能够将训练数据集正确分类的分离超平面。

• 定义损失函数：通常使用误分类点到分离超平面的距离作为损失函数。
• 优化方法：采用梯度下降法或其变种来优化损失函数，通过迭代更新权重和偏置值，使损失函数不断减小。
• 迭代更新：在每次迭代中，使用当前的权重和偏置值对训练数据集进行预测，计算预测值与真实标签之间的误差，并根据误差值来调整权重和偏置值。

二、多层感知机

多层感知机（Multilayer Perceptron，简称MLP）是什么？多层感知机由多个神经元层组成，每个神经元层与前一层全连接。其基本结构包括输入层、输出层和至少一层或多层的隐藏层。

1. 输入层：接收输入特征，是数据的入口。
2. 隐藏层：位于输入层和输出层之间，用于提取特征和进行非线性变换。隐藏层增加了网络的容量，使其能够学习并表示更复杂的函数。
3. 输出层：给出最终的预测结果。

多层感知机的工作原理是什么？多层感知机通过前向传播产生预测结果，计算损失函数评估性能，利用反向传播算法传播梯度，并使用优化算法更新权重和偏置以最小化损失。

1. 前向传播：输入数据通过输入层进入网络，经过隐藏层的非线性变换，最终到达输出层并产生预测结果。
2. 损失函数计算：根据预测结果和真实标签计算损失函数，用于评估模型的性能。
3. 反向传播：通过反向传播算法，将损失函数的梯度从输出层传播到输入层，以更新神经元之间的权重和偏置。
4. 参数更新：使用优化算法（如梯度下降）更新权重和偏置，以最小化损失函数。

单层感知机 vs 多层感知机：单层感知机仅包含输入和输出层，主要用于线性可分问题的分类，而多层感知机则增加了隐藏层和非线性激活函数，能够处理复杂的非线性问题。

本文转载自公众号架构师带你玩转AI 作者：AllenTang

原文链接：​​https://mp.weixin.qq.com/s/QVNAMqtzaeCLFoCA80kmRA​​​