首页 > 业界 > 关键词  > 摩尔线程最新资讯  > 正文

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

2024-11-05 20:36 · 稿源: 快科技

国产GPU加速来袭!摩尔线程开源vLLM-MUSA

摩尔线程推出了基于其全功能GPU的开源大语言模型推理框架vLLM的MUSA移植版本

vLLM是一个广受欢迎的开源大模型推理框架,它提供了创新的内存管理、快速模型执行和分布式推理支持,显著提高了大语言模型的推理性能。

摩尔线程将vLLM移植到其GPU后端,使其完全开源,允许开发者升级和二次开发。

得益于摩尔线程MUSA架构的先进性和软件栈与CUDA的良好兼容性,用户可以通过MUSIFY自动代码转换工具轻松地将现有CUDA代码迁移到MUSA平台。

此外,CUDA相关库的调用可以快速替换为MUSA加速库,例如muDNN、MCCL和muBLAS。

摩尔线程通过MUSA软件栈对CUDA软件栈接口进行兼容,从而显著提高了应用移植效率,缩短了开发周期。

摩尔线程vLLM-MUSA开源地址:

https://github.com/MooreThreads/vLLM_musa

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

举报

  • 相关推荐
  • 摩尔线程Linux显卡驱动v3.0.0发布:支持Wayland GPU渲染性能提升

    快科技5月1日消息,日前,摩尔线程发布Linux驱动程序v3.0.0,全面支持MTT S80和MTT X300显卡。作为v2.7.0RC4之后的重大升级版本,本次更新实现了多项关键技术突破。在架构层面,升级底层任务调度系统,优化内存管理并增强异常处理,使系统稳定性与负载运行效率均显著提升。同时,新增Wayland协议支持,将OpenGL升级至4.2版本,并扩展了内核版本支持范围。升级后的驱动架构在底层功能实现了多项突破:任务调度优化GPU的任务调度由驱动和固件协同完成,驱动负责管理任务队列、上下文切换和资源分配。v3.0.0版本在内核驱动层面的优化包括:低

  • 彭建国建言:闭环体系加速驱动央企改革,赋能国产AI从跟跑到领跑

    2025年中国酒业论坛在北京正式开幕,聚焦人工智能产业三大核心领域,推动科技创新与应用发展。论坛强调AI技术对社会、经济及伦理的深远影响,并探讨其在全球竞争中的战略意义。中国正加速推进国产AI技术自主创新、应用场景拓展及全球合作,力求在国际竞争中占据优势地位。

  • 国产GPU服务器迎大订单!浙江联通超4000万元预算集采

    快科技4月8日消息,今天,中国联通浙江分公司启动了国产GPU服务器采购项目的招标工作,项目预算4058.24万元。此次招标预估采购32台GPU服务器和8台ROCE交换机,不含税预算为4058.24万元,合同签订上限金额不得超过预算金额。合同有效期为自合同签订之日起12个月,若订单合计金额未达预估金额,合同有效期可延长至订单合计金额达到预估金额时止,但最多延长1年。交付时间要求为在订单下达后,21日内到货,并在到货后1周内完成安装和联调。项目还设置了最高投标限价,折扣率最高投标限价为87.21%,投标人投标报价超过最高投标限价的,将作否?

  • DeepSeek领航大模型普惠化浪潮,xAI/微美全息加速开源AI布局打造新格局

    DeepSeek 作为当前最受关注的大模型之一,凭借其技术创新正在加速 AI 普惠化进程。根据机构新报告显示,DeepSeek已经成为全球增长最快的AI工具,其每月新增网站访问量已经超过OpenAI的ChatGPT。DeepSeek市场份额全球第三目前,DeepSeek市场份额6.58%,仅次于ChatGPT和Canva。DeepSeek是继ChatGPT之后的又一现象级AI产品,它的市场份额从2.34%快速增长至6.58%,展现出强劲的增长态势。全球著名�

  • 半导体国产替代加速:智邦国际ERP适配国产芯片架构通过等保三级认证

    当前世界经济正面临着地缘政治博弈加剧、全球化供应链重塑与技术主权竞争等多重挑战,半导体作为数字经济的核心基石,其国产替代已成为保障产业链安全、提升国际竞争力的战略刚需,随着国产芯片技术的不断突破,越来越多的企业开始加速布局半导体国产替代策略。替代过程并非一片坦途,面临着诸如先进制程工艺、光刻机等关键设备的技术壁垒和产业链中EDA工具、IP

  • 字节AI加速文生图技术新突破,GOOG/微美全息引领开源大模型释放科技势能

    字节跳动发布豆包1.5深度思考模型,升级文生图能力。该模型在专业领域和通用任务中表现突出,采用MoE架构,总参数量200B,激活参数20B,推理成本优势显著。同时,其图像生成模型Seedream 3.0性能追平GPT-4o等顶尖模型。全球AI产业加速发展,开源模型降低技术门槛,推动商业化落地。微美全息等企业构建开放AI生态,DeepSeek等公司通过开源策略促进技术普惠。行业迎来"开源AI+"新阶段,企业需把握机遇应对挑战。

  • NVIDIA PhysX物理加速不死!内核源代码终于开源

    PhysX物理加速技术已经不再有NVIDIA官方的支持,但并不意味着这项优秀技术会消失在历史的长河中,因为它完全开源了!其实早在2018年底,NVIDIA就公开了PhysXSDK4.0开发包,根据BSD-3许可协议公开了源代码,但不包括最核心的GPU模拟内核。理论上完全可以将PhysX代码从CUDA平台上,移植到Vulcan、OpenCL,从支持AMD、Intel显卡。

  • 加速推进教育数字化 希沃AI赋能教育场景真应用

    教育部等九部门联合发布《关于加快推进教育数字化的意见》,提出加强人工智能等前沿技术布局,重点建设教育专用大模型。希沃教学大模型2.0版本通过知识图谱与向量数据库结合,提升内容准确性,并实现本地化运行。构建"1+N+N"技术体系(1个模型架构+N个教学场景+N个智能终端),覆盖备课、授课、教研全流程。目前已在19个示范区、2000多所学校落地,生成超15万份课堂智能反馈报告。产品包括AI备课系统、智能平板等硬件,并入选广东省智慧教育平台应用指南。未来将持续拓展"AI+教育"生态边界。(140字)

  • 好用的免费加速器来了 假期你一定要知道的免费加速器推荐

    清明小假期,玩游戏一定是个不错的选择。想玩当今全球各类游戏大作,离不开加速器,尤其像我们常用steam,epic等平台,都是玩游戏必备的。以上就是最好用的免费加速器来了假期你一定要知道的免费加速器推荐,希望对大家有帮助。

  • 4月免费加速器天花板来了 超适合玩游戏的免费加速

    今天给大家带来4月份的免费加速器天花板,加速器这个东西,经常玩游戏的想必都知道,我们在使用一些海外的平台,比如steam,epic,r星之类,以及玩海外的游戏,比如流放之路2,gta的线上模式,暗黑4等等,我们的网络不能直接访问,都要用到加速器,今天就给大家带可以免费白嫖的超好用加速器。这个加速器名字就叫【古怪加速器】,首先必须强调的就是,古怪加速器是免费的!以上就是4月免费加速器天花板来了超适合玩游戏的免费加速器,希望对大家有帮助。