在翻阅各种资料之后，我对神经网络的历史深深入迷了。这是个非常有趣的研究主题，我从中获得了不少快乐。自上个世纪以来，神经网络和人工智能一直是热门话题。在流行文化电影中，人工智能机器人风靡全球，吸引着大量猎奇之士。
神经网络的灵感来源于生物神经元是一种受编程范式启发的模型，它使深度学习模型能够在复杂的观测数据集上有效地学习和训练。神经网络在过去一个世纪中经历了不同的阶段，一开始被视为拥有广大解决复杂计算问题的工具，逐渐被嘲笑为仅仅是一个理论思想，最后因是更理想未来的缔造者而闻名。
让我们按时间顺序重温神经网络历史上的每个阶段。
想法的萌生
生物学家、神经学家和研究人员从上个世纪就开始研究神经元的功能。1890年，美国哲学家威廉·詹姆斯(William James)提出了一个有见地的理论，反映了许多研究者随后工作的思想。
这个假设认为大脑皮层任何一个给定点的活动都是释放到大脑皮层中的整体运动趋势的总和。简单来说，就是一个神经元的兴奋会刺激其他每一个神经元，直到信号成功到达目标。
1943年，麦卡洛克(McCulloch)和皮茨(Pitts)为单个神经元建立了第一个数学模型。所建立的神经元模型全面而深远。这个模型经过修改，甚至在现代也得到了广泛的应用。
这给神经网络的研究人员和实践者带来了思想上的巨大转变。一个类似人脑的神经元模型的数学功能让大多数生物学家大吃一惊，支持人工智能的风潮和对人工智能占领世界的担忧从这一刻开始。
黄金时代
从1949年到1969年，在接下来的20年里，我们进行了大量的实验。现有的方法学有了大量的发展和扩展，可以说这一时期是神经网络的黄金时代。
这个时代一开始就轰动一时，这要归功于唐纳德·赫布在其名为《行为的组织》的书中所介绍的赫比理论。赫比理论指出，通过一个特定的突触，一个又一个神经元的重复激活，电导会增加。
在这一阶段有几个突出的主题，如学习过滤器，梯度下降，神经动力学的发展以及大规模脑活动的触发和传播。在同步激活多个神经元以代表每一位信息方面有着广泛的研究。基于香农(Shannon)信息熵原理的信息论成为该领域的一个重要研究领域。
最重要的发明是罗森布拉特(Rosenblatt)在1958年发明的感知器模型。罗森布拉特提出的反向传播方法对多层网络的训练非常有用。由于广泛的研究和不断的发展，这个时代毫无疑问就是神经网络的黄金时代。泰勒(Taylor)构造了一个winner-take-all电路，输出单元之间有抑制，感知器模型中的其他过程也完成了。
飞跃时期
20世纪70年代至90年代间的研究和调查的课题很多，但遗憾的是，这些研究成果都无济于事。有研究将许多神经元组合起来形成神经网络，使其比单个神经元更强大，并进行复杂的计算。
由于梯度下降法不能成功地获得复杂任务的期望解，发展其他数学随机、概率或随机方法的发展。在这段时间内，进一步的理论结果和分析得以确立。
玻尔兹曼机器和混合系统也成功地完成了复杂计算问题。玻尔兹曼机器成功地解决了数学问题。由于硬件和软件的限制，无法实现各种缺陷的解决方案。尽管如此，在这一时期，进行了大量成功的研究，对现有研究进行了更新和改进。
然而，尽管取得了这些进展，但对神经网络的发展来说并没有什么重大突破，也没有什么成果。对人工神经网络迅速增长的需求已不复存在。其中一个重要的原因是证实了简单的感知器的局限性。
明斯基(Minsky)和帕普特(Papert)在1969年进行了该演示，并展示了简单感知器的缺陷。从理论上证明了简单感知器模型在计算上不具有普遍性。这一刻永生难忘，它标志着神经网络的滑铁卢。神经网络领域的研究经费大幅减少，这一运动引发了神经网络的衰落。
神经网络的失败和瓦解
一时之间，所有与神经网络相关的炒作都消失了。人工神经网络和深度学习被嘲笑成了一个理论概念，造成这种情况的主要原因是缺乏数据和先进技术。
当时，对于图像分割、图像分类、人脸识别、基于自然语言处理的聊天机器人等复杂任务的计算资源不足，可用数据相当有限，对于复杂的神经网络结构，没有足够的数据提供所需的结果。就算有所需的数据，用当时可用的资源计算出这一数量的数据仍然是一项非常艰巨的任务。
有一些积极的迹象，比如强化学习的成功和其他小的积极因素，但这还不足以重建它曾经拥有的大规模宣传。研究人员和科学家们的非凡远见让人工神经网络得以继续发展。然而，要想重获失去的威望和宣传度，还需要20年的时间。
神经网络的复苏和绝对统治
在接下来的20年里，深度学习的状况和普及率都不容乐观。在这个时代，支持向量机(SVM)和其他类似的机器学习算法更占主导地位，并被用于解决复杂的任务。
机器学习算法在大多数数据集上表现良好，但是对于较大的数据集，机器学习算法的性能没有显著提高。达到一定阈值后，机器学习算法的性能停滞。随着数据的增加，能够不断学习和改进的模型变得非常重要。
2012年，George E.Dahl领导的团队利用多任务深度神经网络预测一种药物的生物分子靶点，赢得了“默克分子活性挑战赛”的冠军。2014年，Hochreiter的团队利用深度学习技术检测营养素、家用产品和药物中环境化学物质的非目标和毒性效应，并赢得了美国国家卫生研究院、美国食品和药物管理局(FDA)和NCAT的“Tox21数据挑战赛”。
此时此刻，神经网络被认为是一个革命性的变革。如今，深度学习和神经网络是所有高水平比赛的显著特征。卷积神经网络、长短时记忆(LSTM)和生成对抗网络非常流行。特别是深度学习的强化程度每天都在迅速增加，并且有了巨大的进步。
神经网络的旅程值得被永恒铭记。神经网络和深度学习从一个奇妙的前景，发展到现在几乎成为解决任何复杂问题的最佳方法之一。我很高兴身处于这个时代，能够为这一变化做出贡献。
本文转载自微信公众号「读芯术」，可以通过以下二维码关注。转载本文请联系读芯术公众号。
