国产GPU加速来袭!摩尔线程开源vLLM-MUSA
摩尔线程推出了基于其全功能GPU的开源大语言模型推理框架vLLM的MUSA移植版本。
vLLM是一个广受欢迎的开源大模型推理框架,它提供了创新的内存管理、快速模型执行和分布式推理支持,显著提高了大语言模型的推理性能。
摩尔线程将vLLM移植到其GPU后端,使其完全开源,允许开发者升级和二次开发。
得益于摩尔线程MUSA架构的先进性和软件栈与CUDA的良好兼容性,用户可以通过MUSIFY自动代码转换工具轻松地将现有CUDA代码迁移到MUSA平台。
此外,CUDA相关库的调用可以快速替换为MUSA加速库,例如muDNN、MCCL和muBLAS。
摩尔线程通过MUSA软件栈对CUDA软件栈接口进行兼容,从而显著提高了应用移植效率,缩短了开发周期。
摩尔线程vLLM-MUSA开源地址:
https://github.com/MooreThreads/vLLM_musa
(举报)