DeepSeek开源周，第三弹， DeepGEMM来袭！

今天开源了deepseek-v3中提到的的FP8 GEMM内核。

300行代码的暴力cuda美学，看不太懂，但是每天都可以打个酱油~

支持普通的矩阵乘法以及 Mix-of-Experts 分组矩阵乘法。使用 CUDA 编写，安装时无需编译，所有内核在运行时通过轻量级的即时编译（JIT）模块动态编译。

DeepGEMM设计，避免了对CUTLASS和CuTe的过度依赖，采用了更简洁的设计，核心代码只有大约300行。整个库就是非常“轻量化”，但同时性能又很强大，甚至超过了专家调优的库。在某些场景下的加速比达到了2.7倍。

使用这个仓库，需要支持Hopper架构的GPU、Python 3.8及以上版本、CUDA 12.3及以上版本。

项目地址：https://github.com/deepseek-ai/DeepGEMM/blob/main/README.md

贡献者似乎包含梁文峰。

本文转载自 ​​NLP前沿​​，作者： NLP前沿