四倍提速,字节跳动开源高性能训练推理引擎LightSeq技术揭秘

原创
人工智能 机器学习
无论你是算法行业从业人员,还是热衷于钻研AI技术的开发者,相信你都能从本次分享中收获一些技术经验与创新灵感。

Transformer模型出自于Google团队2017年发表的论文《Attention is all you need》,该论文中首次提出了使用Attention替换Seq2Seq模型循环结构的概念,给NLP领域带来了极大冲击。且随着近年来研究的不断推进,Transformer相关技术逐渐由自然语言处理流向其他领域。截止目前,Transformer系列模型已经成为了NLP、CV、ASR等领域的主流模型。

因此,如何更快地训练和推理Transformer模型已成为业界的一个重要研究方向。低精度量化技术能够通过降低数据的宽位来加速计算和通信过程,是现阶段模型训练推理加速的一个重要手段。但美中不足的是,量化会造成精度和效果的损失,需要通过量化感知和训练等手段进行降损。针对以上痛点,字节跳动研发升级了LightSeq训练推理加速引擎3.0版本,首次同步实现了精度无损的Transformer模型量化训练和量化推理。

LightSeq通过int8 GEMM实现了真量化训练过程,并非采用业界广泛使用的伪量化方法,能够实现模型训练速度4倍以上的提升。而通过PACT等量化策略,可以将量化训练的损失降到最低。在将量化模型导出为LightSeq支持格式后,可以进一步使用LightSeq量化推理引擎实现快速推理,在T4显卡上提速最高可达70%。

在7月21日的【T·TALK】技术分享活动中,我们特别邀请到了字节跳动算法工程师、LightSeq核心开发者熊鹰老师做客直播间,为广大观众揭秘字节跳动高性能训练推理引擎LightSeq的技术原理与实践细节。无论你是算法行业从业人员,还是热衷于钻研AI技术的开发者,相信你都能从本次分享中收获一些别样的技术经验与创新灵感。

欢迎大家参与7月21日,晚上20:00【T·TALK】第12期技术分享活动

扫海报下方二维码预约观看


责任编辑:徐杰承 来源: 51CTO
相关推荐

2020-10-24 07:30:05

开源字节跳动模型

2022-03-21 15:06:10

模型字节跳动框架

2022-03-21 17:56:59

大模型训练训练框架

2022-04-26 15:09:14

优化模型训练

2023-04-07 12:30:04

开源ShmipcIPC

2022-10-31 15:35:16

开源引擎

2024-08-01 08:40:00

2018-12-06 10:07:49

微软机器学习开源

2022-11-02 10:02:24

BitSail字节跳动数据集成

2024-09-23 08:15:11

2020-03-13 10:36:19

KV存储性能

2024-06-07 14:17:53

2023-04-19 16:51:54

分布式Primus开源

2021-02-04 10:22:32

前端开发技术

2023-05-30 14:17:00

模型推理

2023-10-18 11:56:17

开源AI

2020-01-07 16:16:57

Kafka开源消息系统

2022-09-05 17:26:27

技术

2022-05-17 17:18:40

Kite字节跳动微服务框架

2009-11-30 09:38:17

英特尔百核CPU
点赞
收藏

51CTO技术栈公众号