首页 > 业界 > 关键词  > 摩尔线程最新资讯  > 正文

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

2024-11-05 20:36 · 稿源: 快科技

国产GPU加速来袭!摩尔线程开源vLLM-MUSA

摩尔线程推出了基于其全功能GPU的开源大语言模型推理框架vLLM的MUSA移植版本

vLLM是一个广受欢迎的开源大模型推理框架,它提供了创新的内存管理、快速模型执行和分布式推理支持,显著提高了大语言模型的推理性能。

摩尔线程将vLLM移植到其GPU后端,使其完全开源,允许开发者升级和二次开发。

得益于摩尔线程MUSA架构的先进性和软件栈与CUDA的良好兼容性,用户可以通过MUSIFY自动代码转换工具轻松地将现有CUDA代码迁移到MUSA平台。

此外,CUDA相关库的调用可以快速替换为MUSA加速库,例如muDNN、MCCL和muBLAS。

摩尔线程通过MUSA软件栈对CUDA软件栈接口进行兼容,从而显著提高了应用移植效率,缩短了开发周期。

摩尔线程vLLM-MUSA开源地址:

https://github.com/MooreThreads/vLLM_musa

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

举报

  • 相关推荐
  • AI日报:智谱AI发布AutoGLM 2.0;腾讯元宝接入腾讯视频;字节发布开源大语言模型 Seed-OSS

    本期AI日报聚焦多项AI技术突破:智谱发布革命性语音代理AutoGLM 2.0,实现全平台语音操控;腾讯元宝接入视频平台提升观影便捷性;字节跳动开源大模型Seed-OSS专注长文本处理;速卖通AI代理助力新品推广效率翻倍;微软测试Copilot智能文件搜索功能;Liquid AI推出低延迟视觉语言模型LFM2-VL;OpenAI月收入首破10亿美元;谷歌Pixel 10系列全面升级AI功能,包括情感识别和实时翻译;Pixel Buds Pro 2引入AI手势控制;ElevenLabs发布支持70+语言的文本转语音API。

  • 操作更高效 交互更丝滑 三星Galaxy手机展现AI智慧

    三星Galaxy手机通过Galaxy AI技术,将复杂的多步骤操作简化为语音指令、拖放操作或智能截图,实现跨应用无缝执行任务。AI多截图功能可预测用户需求,提供翻译、生成摘要等快捷选项。折叠屏设备进一步优化交互体验,智能收藏和拖放功能提升效率。三星以AI减少操作步骤,让手机成为懂用户需求的智慧伙伴。

  • 昇腾助力中科大团队实现MoE 稀疏大模型并行推理提速超30%

    中国科学技术大学张燕咏团队在昇腾算力支持下,成功研发出基于专家选择分布预测的专家负载均衡和all2all通信均衡框架。该框架通过“三步走”策略,有效解决了MoE稀疏大模型推理中的专家负载不均和通信开销大两大难题,显著提升推理性能。实验显示,该方案在多项指标上较主流方案提升超30%,为昇腾技术优化MoE模型推理提供了宝贵借鉴,将加速其在各领域的落地应用。

  • 护肝片十大品牌盘点,Swisse护肝片科学护肝更高效

    现代生活节奏快、压力大,熬夜加班、频繁应酬等不良习惯给肝脏带来沉重负担。肝脏作为人体“解毒器官”,负责代谢毒素、分解脂肪等重要功能。文章强调护肝需从日常做起,保持良好作息、均衡饮食、适度运动,必要时可借助科学护肝产品。肝脏健康与身体状态息息相关,建议每年进行肝功能检查,及时了解肝脏状况。科学合理地呵护肝脏健康,内外兼顾才能让肝脏持续高效运转。

  • AI日报:字节OmniHuman-1.5发布;PixVerse V5模型上线;​腾讯开源智能体框架Youtu-agent

    本期AI日报聚焦多项技术突破:字节跳动发布OmniHuman-1.5实现图像音频秒变超真视频;爱诗科技PixVerse V5全球上线支持多场景创作;腾讯开源Youtu-agent框架提升AI开发效率;百度智能云发布百舸AI计算平台5.0;OpenAI将推出家长监控功能应对安全风险。同时涵盖硬件创新、市场预测及中国团队在全球AI应用领域的突出表现,展现人工智能领域快速发展的技术迭代与生态建设。

  • 揭秘云创兽:硬核科技背后的高效布局与核心实力

    文章介绍了中国企业在全球化浪潮下面临的语言障碍、文化差异等出海难题,重点展示了云创兽科技公司如何通过AI技术提供一站式出海解决方案。该公司以AIGC技术为核心,开发了涵盖内容生成、语言翻译、智能分发的全流程服务,已成功帮助HKIT等企业在微短剧出海领域获得巨大流量。其AI技术能实现高质量内容生产、精准语境翻译,并通过大数据分析实现个性化推荐。在广州跨境电商交易会上,云创兽的解决方案获得广泛关注。未来公司计划拓展更多行业应用场景,助力中小企业实现全球化发展。

  • 卖家精灵将亮相9月深圳CCBEC&武汉电博会,以AI+大数据赋能跨境卖家高效突围!

    9月跨境卖家盛会双城联动:17-19日深圳CCBEC展会聚焦全产业链生态,汇聚1500+供应商;19-21日武汉电博会以“链接全球·数创未来”为主题,探讨数字贸易创新。两大展会呈现最新行业成果,举办20+高端论坛,提供选品策略、流量运营等一站式出海解决方案。卖家精灵作为官方合作伙伴,将展示AI选品工具与运营指南,助力卖家赢得全球市场竞争优势。

  • 开学装备C位 三星Galaxy S25系列伴你高效启程

    三星Galaxy S25系列作为新学期智能助手,通过旗舰设计、专业影像与AI赋能,全方位提升学习与生活效率。其简约外观、钛金属/装甲铝材质兼顾质感与耐用性,IP68防护适应多场景。超视觉引擎和四摄系统支持全焦段拍摄,AI编辑工具简化后期。即时简报、Bixby导航和实时翻译功能高效管理日程、消除语言障碍,助力学生从容应对学业挑战,成为校园生活中的全能伙伴。

  • 顺丰亮相亚宠展,数智物流解决方案助力宠物产业高效发展

    8月20日,第二十七届亚洲宠物展览会在上海开幕。顺丰作为行业领先企业,展示了其数字化物流解决方案,包括智能仓储、智慧物流等最新方案。针对宠物食品时效性、安全性需求提升,顺丰构建全国仓配生态体系,提供高效履约服务,并优化末端配送网络,助力宠物产业升级。未来,顺丰将持续关注行业趋势,迭代服务能力,推动宠物产业发展。

  • 轻装上阵 高效成长 三星Galaxy A56 5G开启校园新篇章

    三星Galaxy A56 5G手机专为校园生活设计,搭载出色影像系统,支持AI人像和智能编辑功能;配备Bixby语音助手,提升学习与社交效率;采用轻薄耐用机身,具备强劲性能与长效续航,满足全天候使用需求,是学生群体的理想智能伴侣。

今日大家都在搜的词: