近日，摩尔线程正式推出Torch - MUSA v2.0.0版本，这是其面向PyTorch深度学习框架的MUSA扩展库的重要升级。新版本基于MUSA Compute Capability 3.1计算架构，新增对原生FP8数据类型的支持，同时兼容PyTorch 2.5.0，通过多项性能优化显著提升了AI模型训练与大规模数据处理的能力。

国产GPU实现FP8技术突破

据摩尔线程介绍，Torch - MUSA v2.0.0的最大亮点是首次在国产GPU上实现了对FP8数据类型的完整支持。FP8是一种前沿的低精度计算格式，能够显著提升大语言模型（LLM）训练的效率并降低显存占用。摩尔线程基于新一代计算架构的全功能GPU原生支持FP8，这为FP8矩阵乘法和分布式通信优化奠定了基础，进一步提升了大语言模型训练和推理的效率。

多项优化助力AI计算效率提升

Torch - MUSA v2.0.0引入了多项创新功能，显著提升了深度学习任务的执行效率。其中包括新增的虚拟内存管理技术，可有效缓解GPU内存碎片化问题，降低模型训练中的峰值内存占用，尤其适用于FSDP、DeepSpeed和Megatron - LM等主流大模型训练框架。此外，新增的MUSA Graph技术通过整合多个MUSA内核到单个图中，大幅减少了CPU调度开销，提升了计算效率，同时与CUDA Graph接口兼容。

为提升开发者的使用体验，Torch - MUSA v2.0.0还为torch.compile增加了Triton - MUSA后端支持，开发者可通过PyTorch原生接口获得更高效的性能表现。

兼容PyTorch 2.5.0，生态支持更广泛

Torch - MUSA v2.0.0在支持PyTorch 2.2.0的基础上，新增了对PyTorch 2.5.0的支持，使开发者能够在基于MUSA架构的GPU上无缝运行新版本的PyTorch，享受更高效的AI计算体验。用户只需指定torch.device("musa")，即可轻松将现有的PyTorch模型迁移到MUSA架构的GPU上运行，无需大幅修改代码。

Torch - MUSA完全兼容PyTorch的自动微分和动态图机制，支持多种常用的神经网络模块及优化算法，并加速了关键深度学习算子的计算。此外，它还支持多种PyTorch特性，包括DDP、JIT、FSDP、Profiler、Extension等。