Roseblatt在五十年代就提出了感知机, 又过了将近30年, 多层神经网络的BP算法才得以普及。
而事实上这不过是微积分中链式法则的简单应用而已, 为什么要花这么久呢？
bengio在quora上这样回答道：
很多看似显而易见的想法只有在事后才变得显而易见。
在控制论中, 很早就开始应用链式反则来解决多层非线性系统。
但在80年代早期, 神经网络的输出是离散的, 这样就无法用基于梯度的方法来优化了。
这时Rumelhart和Hinton想到, 只要把输出做成平滑的(sigmoid), 就可以用链式法则来训练多层神经网络了。
所以这不仅仅是链式法则的问题, 而是要跳出离散输出的框框, 这种理念上变革并不容易。
