首页 > 业界 > 关键词  > 摩尔线程最新资讯  > 正文

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

2024-11-05 20:36 · 稿源: 快科技

国产GPU加速来袭!摩尔线程开源vLLM-MUSA

摩尔线程推出了基于其全功能GPU的开源大语言模型推理框架vLLM的MUSA移植版本

vLLM是一个广受欢迎的开源大模型推理框架,它提供了创新的内存管理、快速模型执行和分布式推理支持,显著提高了大语言模型的推理性能。

摩尔线程将vLLM移植到其GPU后端,使其完全开源,允许开发者升级和二次开发。

得益于摩尔线程MUSA架构的先进性和软件栈与CUDA的良好兼容性,用户可以通过MUSIFY自动代码转换工具轻松地将现有CUDA代码迁移到MUSA平台。

此外,CUDA相关库的调用可以快速替换为MUSA加速库,例如muDNN、MCCL和muBLAS。

摩尔线程通过MUSA软件栈对CUDA软件栈接口进行兼容,从而显著提高了应用移植效率,缩短了开发周期。

摩尔线程vLLM-MUSA开源地址:

https://github.com/MooreThreads/vLLM_musa

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

举报

  • 相关推荐
  • DigitalOcean 携手 AMD 推出 AMD Instinct MI300X GPU Droplet,加速 AI 创新

    DigitalOcean与AMD达成合作,将推出搭载AMD Instinct MI300X GPU的云服务器,支持AI/ML/HPC工作负载。该GPU具备192GB HBM3内存,能完整加载数十亿参数模型,显著提升训练和推理效率。服务定价每小时1.99美元起,支持1-8个GPU配置,并与Kubernetes无缝集成。未来还将推出MI325X GPU,并面向中国市场提供服务。此次合作旨在为开发者提供经济高效的AI开发解决方案,简化云端GPU部署流程。

  • 九章云极智能科技论坛全览:为AI加速

    九章云极DataCanvas公司在北京召开智能计算论坛,发布新一代全栈智能计算云平台Alaya NeW Cloud2.0,创新融合Serverless与强化学习技术,突破百万级token生成性能瓶颈。该平台支持万卡级异构算力统一调度,显著降低AI开发门槛,推出"一度算力"按需计费模式。同时成立1.8亿元"AI-STAR生态基金",联合产业伙伴共建开放生态。Forrester预测2025年全球企业将积极采用AI原生智算云平台,认为其能实现AI应用全生命周期性能最大化。九章云极还发布强化学习云平台AgentiCTRL,将AI训练门槛压缩至单行代码,训练效率提升5倍。公司表示未来3-5年将通过技术创新突破算力成本瓶颈,实现普惠化应用。

  • 入选上海双清单!麒麟软件加速国产操作系统场景化落地进程

    近日,上海市信息技术应用创新解决方案典型案例发布,基于银河麒麟高级服务器操作系统V10 的高速公路联网收费综合业务平台解决方案、基于银河麒麟高级服务器操作系统V10 的智慧校园云平台入选“ 2024 上海市优秀解决方案典型案例”。此外,星光麒麟操作系统入选“ 2025 工赋软件应用场景产品精选清单”。自主创新是信息化、数智化高质量发展的“主旋律”。麒麟软件以

  • 苹果WWDC技术盛宴开启,微美全息(WIMI.US)“AI+AR”交互技术加速突破

    苹果WWDC2025开发者大会将于6月10日-14日举行,重点聚焦AI与AR技术革新。iOS26将迎来重大设计更新,带来透明轻盈的视觉体验和AI新功能。Vision Pro系统升级后组件更立体,支持更多自定义功能。苹果计划2026年底推出首款AI智能眼镜,加速布局可穿戴设备。同时,微美全息等企业也在推进"AI+AR"技术融合,通过多模态交互系统提升智能眼镜的精准性。谷歌则通过Android XR平台布局AI眼镜领域。WWDC2025还将发布iPadOS26、macOS26等新系统,展现苹果在科技领域的持续创新。

  • 阿里云”618创新加速季“开启:先进、领先的大模型限免 超7000万 token,加速多场景 AI 应用落地

    阿里云启动"618创新加速季"活动,聚焦AI创新与云端智能,推出多项优惠:1)提供7000万+免费大模型token体验及最高1728元优惠券;2)通义大模型限免超7000万token,推出10-100元多档资源包,GPU服务0.9折起;3)PAI平台推出通用节省计划,最低3折;4)针对中小企业推出AI火花会主题活动,提供场景化定制服务;5)基础云产品全线优惠,包括轻量服务器38元/年、RDS MySQL 88元/年等。活动还包含5亿算力补贴计划、10万元出海满减券等专项支持,助力企业智能化升级。

  • 隐藏的AI指令揭示了 Anthropic 是如何控制 Claude 4 的

    威利森指出,这些系统提示就像是“模型曾经做过、但现在被禁止做的事件清单”……

  • IBM高管详解如何加速企业AI应用:Agent是路径,不是噱头

    IBM在2025 Think大会上提出,企业AI竞争已从实验阶段转向实际应用阶段,关键在于定制化AI解决方案和可量化的业务成果。IBM强调企业级AI Agent需具备"动手能力",能嵌入业务流程、完成任务并监控维护,而非仅是对话助手。其watsonx平台构建了模型、数据、任务执行的完整技术栈,并通过三层架构(交互层、任务分解层、系统连接层)实现闭环运行。IBM还推出"AgentOps"体系,将智能体模块化、服务化,建立能力目录和监控机制,解决企业部署AI Agent时的系统对接、价值评估和管理难题。实践案例显示,制造业设备巡检Agent可节省70%人力成本。IBM认为AI Agent是企业数字化能力的延伸,需与业务流程深度融合,而非追赶技术潮流。

  • AI出海进行时,优刻得北美节点GPU集群已上线!

    中国AI企业加速出海布局,瞄准海外更高利润空间。相比国内付费意愿弱、变现路径不明,海外市场具备更强商业化能力。企业出海面临算力基础设施挑战,需实现高效稳定使用本地资源。优刻得在北美部署GPU裸金属集群,提供开箱即用、性能无损的算力服务,助力客户突破AI规模化落地的算力瓶颈。该方案具备卓越计算性能、分钟级交付能力、硬件级隔离安全性,并符合国际数据合规要求,已服务直播电商、视频生成等多个领域,为出海企业提供全周期支持。

  • Meta拟百亿美元投资Scale AI,微美全息(WIMI.US)端侧多模态AI加速开启科技新局

    Meta正与AI初创企业Scale AI洽谈数十亿美元投资,估值或超100亿美元,有望创下私营企业融资纪录。Scale AI为微软、OpenAI等提供数据标注服务,是生成式AI热潮主要受益者。这将是Meta史上最大规模外部AI投资,标志其战略转向。Meta CEO扎克伯格宣布将AI确立为战略重心,2024年将投入650亿美元推进相关项目,重点打造Llama模型成为行业标准。同时,谷歌推出Gemini助手"计划操作"新功能,支持任务自动化管理。科技巨头纷纷重金布局AI,微软向OpenAI注资逾130亿美元,亚马逊投资Anthropic数十亿美元。行业观察认为AI技术普及将推动效率革命,微美全息等企业正通过技术创新赋能产业转型,共同探讨人工智能技术突破新动态。AI正以前所未有的速度重塑全球发展格局。