首页 > 业界 > 关键词  > 正文

华为发布全新昇腾AI计算集群 支持超万亿参数大模型训练

2023-09-20 16:19 · 稿源:站长之家

站长之家(ChinaZ.com)9月20日 消息:华为在全联接大会2023期间发布了全新架构的昇腾 AI 计算集群 Atlas900SuperCluster,该集群可支持超万亿参数的大模型训练。

该集群采用了全新的华为星河 AI 智算交换机 CloudEngine XH16800,并使用了创新的超节点架构,大大提升了大模型训练能力。

华为

此外,华为还发布了更开放、更易用的 CANN7.0,让开发者可以更直接地调用和管理计算资源,使大模型具备差异化的竞争力。华为还升级了 Ascend C 编程语言,提供更高效的编程方式。

该集群还通过提升系统可靠性,将大模型训练的稳定性从天级提升到月级。

举报

  • 相关推荐
  • 中兴通讯:将发布支持大模型训练的最新AI服务器

    10月11日,中兴通讯在互动平台上表示,作为国内主流的服务器厂商,其一直在积极应对人工智能领域的应用需求,并适时推出满足各类AI应用场景的服务器产品。采取了以下两个策略:首先,针对中小型模型的训练和推理需求,中兴通讯在今年1月推出了G5系列服务器。中兴通讯计划在今年内发布一款支持大模型训练的最新AI服务器。

  • 突破大算力瓶颈:华为支持万亿参数大模型训练 等效于18000张卡

    在华为全联接大会2023期间,华为正式发布全新架构的昇腾AI计算集群Atlas900SuperCluster,可支持超万亿参数的大模型训练。华为常务董事、ICT基础设施业务管理委员会主任、企业BG总裁汪涛介绍,新集群采用全新的华为星河AI智算交换机CloudEngineXH16800,借助其高密的800GE端口能力,两层交换网络即可实现2250节点超大规模无收敛集群组网。华为改变传统的服务器堆叠模式,以系统架构创新打造AI集群,实现算力、运力、存力的一体化设计,突破大算力瓶颈。

  • 华为发布盘古汽车大模型和医学大模型 上线昇腾AI云服务“百模千态”专区

    在华为全联接大会2023的主题演讲中,华为常务董事、华为云CEO张平安介绍了盘古大模型在矿山、政务、气象、数字人直播、软件开发等领域的最新升级和落地进展。他还发布了盘古汽车大模型和医学大模型。为了解决这些问题,华为云在贵安、乌兰察布、芜湖部署了三大AI算力中心,旨在为企业提供可靠的AI算力。

  • 中文在线与华为云签署合作协议 涉及大模型训练

    中文在线集团股份有限公司与华为云计算技术有限公司正式签署合作协议。基于华为云在公有云、AI等方面的技术积累,双方将在内容和华为云领域进行合作,共同推动面向行业的业务解决方案落地。中文在线己拥有数字内容数据超过60TB,为AIGC相关技术的研发提供充足的基础数字内容资源。

  • 大模型数量国领先的北京,昇腾AI“点燃”首个普惠算力底座

    大模型在抹平AI模型底层架构多样性的同时,也在悄然抹去城区之间的差异。站在北京石龙经济开发区20号院,很难将这里与京西地区百年钢铁史、千年采煤史联系起来。这里最关键的是时间,就跟农民种地一样,需要慢慢耕耘,自然生长。

  • 智源团队推出「生长策略」 解决大模型训练算力成本过高问题

    智源研究院联合中科院计算所、南洋理工大学、电子科技大学、哈尔滨工业大学的研究团队共同提出了一种「生长策略」,以解决大模型算力成本极高的问题。研究团队基于「生长策略」逐步构建了一个具有1010亿参数的FLM-101B大模型。实验结果显示,FLM-101B在这些评测任务上表现出了非常好的能力。

  • SambaNova发布全新AI芯片SN40L 可运行5万亿参数模型

    9月26日,位于加利福尼亚帕洛阿尔托的SambaNovaSystems公司宣布推出一款革命性的新芯片,名为SN40L。这款芯片将为SambaNova的全栈大语言模型平台SambaNovaSuite提供动力,并具有革命性的内部设计:在内部,它提供了密集和稀疏计算,同时包括大内存和快速内存,使其成为一款真正的“智能芯片”。还提供了推理优化系统,配备了3层数据流内存,以实现高带宽和高容量。

  • AI大模型时代 ≠ 只有大模型AI时代

    什么样的技术能经历时间洗礼还历久弥新?答案或许可以归总为一个“三部曲”般的规律——兴起、发展和大规模应用,外加这个过程再一次演进式的迭代。引领第一次工业革命的是蒸汽机,当它演进成为内燃机并开始普及时,第二次工业革命的颠覆者——电能本身以及与它相关的各种设备正处于初创期在电力设备走向微电子的迭代革新时,各种燃油引擎还在持续改良和普及中�

  • OpenLM:一个专为中等规模语言模型设计的模型训练

    OpenLM是一个旨在训练中等规模语言模型的PyTorch代码库,它强调了最大化GPU利用率和训练速度的设计。该库已经通过训练OpenLM-1B和OpenLM-7B两个语言模型,分别在1.6T和1.25T的文本标记上进行验证,取得了令人瞩目的成果。OpenLM的团队成员和致谢也在文章中列出,表明了该项目的合作性质和开源精神。

  • 商汤升级发布医疗健康大模型“大医” 支持高质量训练低门槛部署

    商汤科技发布了升级版医疗健康大语言模型“大医”,并正式向医疗健康产业链上下游机构客户提供服务。该模型包含13个预设场景,支持个性化功能,高质量训练和低门槛部署。“大医”已面向医疗健康产业机构客户开放服务,可发送邮件备注联系方式及机构名称至sensecare-chat@sensetime.com获取邀请码后,登录https://chat.sensetime.com/申请试用。