PyTorch1.8正式支持AMD,炼丹不必NVIDIA

开发 前端
1.8版本中,官方终于加入了对AMD ROCm的支持,可以方便的在原生环境下运行,不用去配置Docker了。

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

 1.8版本中,官方终于加入了对AMD ROCm的支持,可以方便的在原生环境下运行,不用去配置Docker了。

PyTorch1.8正式支持AMD,炼丹不必NVIDIA

AMD ROCm只支持Linux操作系统

1.8版本集合了自2020年10月1.7发布以来的超过3000次GitHub提交。

此外,本次更新还有诸多亮点:

  • 优化代码,更新编译器
  • Python内函数转换
  • 增强分布式训练
  • 新的移动端教程与演示
  • 新的性能检测工具

相关的库TorchCSPRNG, TorchVision, TorchText和TorchAudio也会随之更新。

要注意的是,自1.6起,Pytorch新特性将分为Stable、Beta、Prototype三种版本。其中Prototype不会包含到稳定发行版中,需要从Nightly版本自行编译。

Python to Python函数转换

新增的Beta特性torch.fx可以实现Python到Python的函数转换,可以方便的加入任何工作流程。

PyTorch1.8正式支持AMD,炼丹不必NVIDIA

新的API,向NumPy学习!

1.7版本中增加的Beta特性torch.fft已成为正式特性。实现了与Numpy中的np.fft类似的快速傅立叶变换,还增加了硬件加速支持与自动求导,以更好的支持科学计算。

还增加了Beta版NumPy风格的线性代数模块torch.linalg,支持Cholesky分解、行列式、特征值等功能。

增强分布式训练

增加了稳定的异步错误与超时处理,增加NCCL的可靠性。

增加了Beta版的流水线并行功能*(Pipeline Parallelism)*,可将数据拆解成更小的块以提高并行计算效率。

PyTorch1.8正式支持AMD,炼丹不必NVIDIA

Pipeline Parallelism使用4个GPU时的工作示意图

增加Beta版的DDP通讯钩子,用于控制如何在workers之间同步梯度。

另外还有一些Prototype版的分布式训练新特性。

ZeroRedundancyOptimizer:用于减少所有参与进程的内存占用。

Process Group NCCL Send/Recv:让用户可在Python而不是C++上进行集合运算。

CUDA-support in RPC using TensorPipe:增加对N卡多卡运算的效率。

Remote Module:让用户像操作本地模块一样操作远程模块。

移动端新教程

随本次更新发布了图像分割模型DeepLabV3在安卓和IOS上的详细教程。

以及图像分割、目标检测、神经机器翻译等在安卓和IOS上的演示程序,方便大家更快上手。

PyTorch1.8正式支持AMD,炼丹不必NVIDIA
PyTorch1.8正式支持AMD,炼丹不必NVIDIA
PyTorch1.8正式支持AMD,炼丹不必NVIDIA

另外还有PyTorch Mobile Lite Interpreter解释器,可以减少运行时文件的大小。

性能检测工具

增加Beta版的Benchmark utils,用户可以进行精确的性能测试。

以及Prototype版的FX Graph Mode Quantization,实现了量化过程的自动化。

 

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2021-03-09 11:23:50

PyTorch 1.8Python函数转换

2021-07-01 16:45:17

PyTorchTensorflow 机器学习

2019-01-28 14:42:52

NVIDIA

2017-11-09 11:03:06

AMDIntelNVIDIA

2017-05-02 09:11:42

IntelNVIDIAAMD

2020-06-23 07:56:57

虚拟桌面AMDNvidia

2022-01-26 16:02:00

微信安卓

2013-11-18 10:48:32

AMDCrayIBM

2011-08-02 13:40:43

2023-08-08 07:07:57

IntelNVIDIA显卡驱动

2020-09-09 12:53:14

AMDNVIDIACPU

2009-06-02 15:52:11

LinuxNVIDIA显卡下载

2009-04-22 17:18:05

NVIDIA显卡Linux

2023-03-13 16:00:05

训练模型

2017-11-07 08:25:36

处理器

2009-02-19 09:43:56

40nm芯片台积电AMD

2018-04-24 14:52:54

IntelAMDNVIDIA

2019-11-27 15:20:00

NVIDIA苹果macOS

2009-04-10 23:24:56

AMD四核双核
点赞
收藏

51CTO技术栈公众号