首页 > 业界 > 关键词  > 摩尔线程最新资讯  > 正文

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

2024-11-05 20:36 · 稿源: 快科技

国产GPU加速来袭!摩尔线程开源vLLM-MUSA

摩尔线程推出了基于其全功能GPU的开源大语言模型推理框架vLLM的MUSA移植版本

vLLM是一个广受欢迎的开源大模型推理框架,它提供了创新的内存管理、快速模型执行和分布式推理支持,显著提高了大语言模型的推理性能。

摩尔线程将vLLM移植到其GPU后端,使其完全开源,允许开发者升级和二次开发。

得益于摩尔线程MUSA架构的先进性和软件栈与CUDA的良好兼容性,用户可以通过MUSIFY自动代码转换工具轻松地将现有CUDA代码迁移到MUSA平台。

此外,CUDA相关库的调用可以快速替换为MUSA加速库,例如muDNN、MCCL和muBLAS。

摩尔线程通过MUSA软件栈对CUDA软件栈接口进行兼容,从而显著提高了应用移植效率,缩短了开发周期。

摩尔线程vLLM-MUSA开源地址:

https://github.com/MooreThreads/vLLM_musa

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

举报

  • 相关推荐

热文

  • 3 天
  • 7天