摩尔线程全面拥抱DeepSeek开源周,加速AI模型训练与推理

发布时间:2025-03-03 09:40:47 来源:互联网

摩尔线程在DeepSeek开源周活动中大放异彩,宣布全面支持多项开源项目。这家智能科技公司昨日晚间宣布,他们已成功实现对DeepSeek各个开源项目的广泛兼容,涵盖了FlashMLA、DeepEP、DeepGEMM、DualPipe以及Fire-Flyer文件系统(3FS)等多个关键组件。

据摩尔线程介绍,FlashMLA作为一款专为加速MLA(Multi-Head Latent Attention)机制计算而设计的开源推理内核,尤其适用于DeepSeek系列模型。摩尔线程依托其最新的MUSA Compute Capability 3.1计算架构,提供了原生FP8计算能力,并通过升级高性能线性代数模板库MUTLASS,迅速推出了MT-FlashMLA开源仓库,确保了对DeepSeek FlashMLA的快速兼容部署。

DeepEP则是专为MoE(混合专家)模型训练和推理打造的开源EP(expert parallelism,专家并行)通信库,特别适用于大规模模型训练。摩尔线程基于MUSA Compute Capability 3.1全功能GPU,第一时间适配了DeepEP,支持高效优化的All-to-All通信、MTLink + GPU节点内通信以及原生FP8数据分发等多项特性,显著提升了训练效率。

DeepGEMM则是支持密集矩阵与MoE矩阵乘法的FP8 GEMM库,为V3/R1的训练与推理提供了强大支持。摩尔线程基于MUTLASS在全新GPU架构上进行了优化,实现了FP8矩阵乘法,成功支持了DeepGEMM的相应功能。

DualPipe是DeepSeek-V3提出的双向流水线并行算法,通过计算与通信的完全重叠,显著减少了设备空闲等待时间,大幅提升了资源利用率与训练效率。摩尔线程依托其深度学习框架Torch-MUSA和MUSA软件栈的全方位兼容性,实现了对DualPipe算法的高效支持,并成功接入了摩尔线程的MT-Megatron框架和即将开源的MT-TransformerEngine框架。

Fire-Flyer文件系统(3FS)作为一种并行文件系统,充分利用了现代SSD和RDMA网络的带宽,成为V3和R1训练与推理过程中的关键支撑。摩尔线程在极短时间内完成了3FS的搭建,并开发了存储插件,成功实现了与夸娥智算集群的无缝集成,为AI训练、推理和科学计算等场景提供了全栈存储加速方案。

本周热门攻略

1
成人免费果冻漫画为何在网络上如此火爆?它有什么独特的魅力?

成人免费果冻漫画为何在网络上如此火爆?它有什么独特的魅力?

2024/12/11

2
ysl水蜜桃86满十八岁后真的会变黑吗?原因是什么?

ysl水蜜桃86满十八岁后真的会变黑吗?原因是什么?

2024/12/23

3
羞羞漫画页面入口免费登陆-羞羞漫画在线阅读入口网站

羞羞漫画页面入口免费登陆-羞羞漫画在线阅读入口网站

2024/11/12

4
少女哔哩哔哩视频在线看免费,畅享海量优质内容

少女哔哩哔哩视频在线看免费,畅享海量优质内容

2025/02/16

5
如何通过夸克平台免费观看高清电视剧荣耀,享受最佳观影体验

如何通过夸克平台免费观看高清电视剧荣耀,享受最佳观影体验

2025/02/17

6
扌喿辶畐和畐畬字形有何区别?你知道它们在书写上的差异吗?

扌喿辶畐和畐畬字形有何区别?你知道它们在书写上的差异吗?

2025/01/11

7
《教室爱欲》无删减韩国版引发争议,影片揭示了哪些教育系统中的性别与欲望问题?

《教室爱欲》无删减韩国版引发争议,影片揭示了哪些教育系统中的性别与欲望问题?

2025/01/10

8
别墅轮换2攻略:如何提升角色能力、突破关卡难关,获取更多免费奖励?

别墅轮换2攻略:如何提升角色能力、突破关卡难关,获取更多免费奖励?

2025/02/11

9
如何正确理解“嫰BBB槡BBBB槡BBBB”背后的深层含义,及其对网络文化的影响?

如何正确理解“嫰BBB槡BBBB槡BBBB”背后的深层含义,及其对网络文化的影响?

2025/02/15

10
年轻女保险销售员如何在竞争激烈的市场中脱颖而出

年轻女保险销售员如何在竞争激烈的市场中脱颖而出

2025/02/16