目前人工智能技术发展速度很快,也很吸引眼球。但是对于各种多如牛毛的方法,目前并米有一个可靠的精准的基准来衡量各项硬件在不同算法训练和推理的性能。
现在,不用愁了。国外的一个哥们, Andrey Ignatov发布了一个python库。大家可以利用这个python库测试自己硬件的性能!
AI Benchmark Alpha是一个开源python库,用于评估各种硬件平台的AI性能,包括CPU,GPU和TPU。 该基准测试依赖于TensorFlow机器学习库,并提供精确轻量级的解决方案,用于评估关键深度学习模型的推理和训练速度。 AI Benchmark目前作为Python pip包发布,可以下载到运行Windows,Linux或macOS的任何系统。
这个包在6月26日发布了两个版本,一个是0.1.0一个是0.1.1。
目前,支持如下算法的性能测试:
● Section 1: MobileNet-V2, Classification
● Section 2: Inception-V3, Classification
● Section 3: Inception-V4, Classification
● Section 4: Inception-ResNet-V2, Classification
● Section 5: ResNet-V2-50, Classification
● Section 6: ResNet-V2-152, Classification
● Section 7: VGG-16, Classification
● Section 8: SRCNN 9-5-5, Image-to-Image Mapping
● Section 9: VGG-19, Image-to-Image Mapping
● Section 10: ResNet-SRGAN, Image-to-Image Mapping
● Section 11: ResNet-DPED, Image-to-Image Mapping
● Section 12: U-Net, Image-to-Image Mapping
● Section 13: Nvidia-SPADE, Image-to-Image Mapping
● Section 14: ICNet, Image Segmentation
● Section 15: PSPNet, Image Segmentation
● Section 16: DeepLab, Image Segmentation
● Section 17: Pixel-RNN, Image Inpainting
● Section 18: LSTM, Sentence Sentiment Analysis
● Section 19: GNMT, Text Translation
同时,作者也给出了一些测试结果。非常有意思:
目前***的桌面GPU当属于GeForce GTX 1080 Ti了。其次是TITAN Xp CE和GeForce GTX TITAN X。
使用这个库也很简单,大家可以先pip install ai-benchmark。注意,需要安装tensorflow才能运行。
使用方法如下:
- from ai_benchmark import AIBenchmark
- results = AIBenchmark().run()
我自己也测试了一下,非常容易:
可以看到,我的硬件在MobieNet-V2算法的训练速度大约是27688±741ms,推理速度大约是2747±119ms。这速度惨不忍睹啊。各位可以自己去看看自己的成绩。