2019 深度学习工具汇总

深度学习的进步也严重依赖于软件基础架构的进展。 软件库如： Torch(2011),  Theano(2012), DistBelief(2012), PyLearn2 (2013),  Caffe(2013), MXNet (2015) 和 TensorFlow(2015) 都能支持重要的研究项目或商业产品。

NN ：前馈BP神经网络的库

CNN ：卷积神经网络的库

DBN ：深度置信网络的库

SAE ：堆栈自动编码器的库

CAE ：卷积自动编码器的库

Util ：库中使用的效用函数

Data ：数据存储

tests ：用来验证工具箱正在工作的测试

运行界面比较单一：

PyTorch

这个Pytorch库的话，其实我没怎么用，就是随便试玩了下，个人感觉还是不要碰了，没啥意思，我接下来也就简单聊一下。 他是一个基于Python的科学计算包，目标用户有两类。一类是 为了使用GPU来替代numpy；另一类是一个深度学习援救平台：提供最大的灵活性和速度。

以深度学习来说，可以使用 torch.nn 包来构建神经网络。已知道autograd包，nn包依赖autograd包来定义模型并求导。一个nn.Module包含各个层和一个faward(input)方法，该方法返回output。

案例如下

import torch from torch.autograd 
 
import Variable import torch.nn   
 
import torch.nn.functional as F   
 
class Net(nn.Module):      
 
def __init__(self):          
 
super(Net, self).__init__()          
 
# 1 input image channel, 6 output channels, 5*5 square convolution          
 
# kernel           
 
self.conv1 = nn.Conv2d(1, 6, 5)                  
 
self.conv2 = nn.Conv2d(6, 16, 5)          
 
# an affine operation: y = Wx + b              
 
self.fc1 = nn.Linear(16 * 5 * 5, 120)              
 
self.fc2 = nn.Linear(120, 84)              
 
self.fc3 = nn.Linear(84, 10)       
 
def forward(self, x):          
 
# max pooling over a (2, 2) window 
 
x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2)) 
 
# If size is a square you can only specify a single number 
 
x = F.max_pool2d(F.relu(self.conv2(x)), 2) 
 
x = x.view(-1, self.num_flat_features(x)) 
 
x = F.relu(self.fc1(x)) 
 
x = F.relu(self.fc2(x)) 
 
x = self.fc3(x)          
 
return x       
 
def num_flat_features(self, x):          
 
size = x.size()[1:] 
 
# all dimensions except the batch dimension          
 
num_features = 1          
 
for s in size:              
 
num_features *= s          
 
return num_features 
 
net = Net()  
 
print(net) 

具体操作和细节过程，有兴趣的可以抽空去玩玩！

Caffe

Caffe的作者为UC Berkeley大学的贾扬清。Caffe是一个c++/CUDA架构，支持命令行、Python、Matlab接口，可以在CPU/GPU上运行。

深度学习不断在发展，其对应的实验工具也随着得到了大家的重视。Caffe就是现在流行的深度学习框架之一，工具内已经提前提供了模板，也就是该工具有现成的编程框架，而且可以与现状流行的图形计算GPU联合使用，加快网络训练的速度，流行的神经网络框架算法都可以在Caffe中运行，而且可以自己设置框架，因为Caffe已经提前就做好了各结构的定义，研究学者也可以根据自己的设计需求去进行相应的添加，设计出新的深度学习框架去完成所需的任务。

Caffe框架中，主要就是 Blobs ， Layers 和 Nets 三大类结构，而且由于是事前定义好的结构，所以在使用该框架的时候是不可以更改。

例如Caffe定义中最基本的隐层网络，其定义如下：

name: “LogReg”  
layers {  
name: “mnist”  
type: DATA  
top: “data”  
top: “label”  
data_param {  
source: “input_leveldb”  
batch_size: 64  
}} 
 
layers {  
name: “ip”  
type: INNER_PRODUCT  
bottom: “data”  
top: “ip”  
inner_product_param {  
num_output: 2  
}} 
 
layers {  
name: “loss”  
type: SOFTMAX_LOSS  
bottom: “ip”  
bottom: “label”  
top: “loss”  
} 

TF

Google在2011年推出人工深度学习系统——DistBelief。通过DistBelief，Google能够扫描数据中心数以千计的核心，并建立更大的神经网络。这个系统将Google应用中的语音识别率提高了25%，以及在Google Photos中建立了图片搜索，并驱动了Google的图片字幕匹配实验。DistBelief还存在不少不足和限制。它很难被设置，和Google内部的基础设施联系也过于紧密，这导致研究代码机会不可能分享。  

针对以上问题，Google在2015年Google Research Blog宣布推出新一代人工智能学习系统——TensorFlow。  

TensorFlow是一个异构分布式系统上的大规模机器学习框架，移植性好（小到移动设备如手机，大到大规模集群，都能支持），支持多种深度学习模型。根据Google说法，TensorFlow是综合的、灵活的、可移植的、易用的，更为关键的，它是开源的。同时，TensorFlow的速度相比前代DistBelief有了不小的提升，在一些跑分测试中，TensorFlow的得分是第一代系统的两倍。

尽管如此，TensorFlow的效率仍然比不过其他大部分开源框架。不过，随着TensorFlow源码逐步开放，对新硬件、新设备、新的加速如cuDNN的支持力度不断提升，其成为目前极具潜力的深度学习。

有兴趣可以体验下PlayGround，其是一个用于教学目的的简单神经网络的在线演示、实验的图形化平台，非常强大地可视化了神经网络的训练过程。使用它可以在浏览器里训练神经网络，对 Tensorflow有一个感性的认识。

• TensorFlow 的每个计算流都必须构造为一个静态图,且缺乏符号性循环(symbolic loops),这会带来一些计算困难；

• 没有对视频识别很有用的三维卷积(3-D convolution)；

• 尽管 TensorFlow 现在比起始版本快了 58 倍，但在执行性能方面依然落后于竞争对手。

今天就到此位置吧，感觉讲的有点多，但是又不是很深入，有机会来一次深度学习工具专题，我们大家一起慢慢聊！