DeepSeek开源第三弹:开源FP8通用矩阵乘法库DeepGEMM
鞭牛士 2月26日消息,DeepSeek公布开源周第三天的开源项目——DeepGEMM。
据介绍,DeepGEMM是一个支持密集型和混合专家(MoE)通用矩阵乘法(GEMM)运算的 FP8 通用矩阵乘法库,它为V3/R1模型的训练和推理提供支持。
DeepGEMM在英伟达Hopper系列GPU上可实现高达1350以上的FP8每秒万亿次浮点运算(TFLOPS);完全即时编译;核心逻辑代码约300行——但在大多数矩阵规模下,其性能超过了经过专家优化调整的内核;支持密集型布局以及两种混合专家(MoE)布局。
