首页 > 业界 > 关键词  > lg最新资讯  > 正文

微软和NVIDIA共同推出迄今为止训练的最大且最强的语言模型

2021-10-12 07:51 · 稿源: cnbeta

微软和英伟达今天宣布了由DeepSpeed和Megatron驱动的Megatron-Turing自然语言生成模型(MT-NLG),这是迄今为止训练的最大和最强大的解码语言模型。这个模型包括5300亿个参数,与现有最大的模型GPT-3相比,参数数量是其3倍。

训练这样的大型模型涉及各种挑战,沿着所有的人工智能轴线进行了许多创新和突破。例如,通过紧密合作,英伟达和微软将最先进的GPU加速训练基础设施与尖端的分布式学习软件堆栈相融合,实现了前所未有的训练效率。

微软与NVIDIA建立了高质量的自然语言训练语料库,其中包含数千亿个标记,并共同开发了训练配方,以提高优化效率和稳定性。

图片.png

图片.png

图片.png

您可以从这里了解更多:

https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

  • 相关推荐
  • 大家在看
  • NVIDIA等硬件厂商要求美国政府对中国制造计算机部件免征关税

    NVIDIA、Zotac 和惠普正敦促拜登政府,暂时豁免中国制造的PC显卡等产品的美国关税。美国贸易代表办公室(USTR)正在考虑恢复特朗普执政时期对某些中国出口产品免征关税,于是这三家企业提出了申请。NVIDIA 周三告诉 USTR,它支持恢复关税豁免,理由是除了中国之外没有其他国家能实现完善的 GPU 产业链。NVIDIA 表示:“这些产品[指 GPU]并没有在美国生产,而现阶段想要在其他国家(例如美国和越南)创造新产能的努力并不成功,而且

  • Q3独显出货1270万块:NVIDIA独占79% AMD份额环比提升

    调研公司JPR今天公布了2021年Q3季度AIB独显市场的报告,当季出货量1270万块,其中NVIDIA拿到了79%的份额,AMD份额为21%,同比减少了1个百分点,环比增加了1个百分点。JPR的AIB独显包括台式机、工作站、服务器、挖矿、渲染等等市场在内,不单单是游戏卡。在Q3季度中,独显出货量环比增长了10.9%,低于17.1%的十年平均水平,但远超CPU出货量约3%的增速。Q3季度独显总出货量1270万块,高于上季度的1147万块,同比增长25.7%。AIB独显市

  • LG合作NVIDIA:GeForce Now云游戏首次支持电视

    NVIDIA今年3月份推出了升级的GeForce NOW云游戏服务,每月9.99美元可以畅玩1100多款游戏,不限制平台,不需要高性能显卡也能流畅60fps玩3A大作。日前,LG宣布成为首家支持GeForce NOW的电视厂商,将开发专门的GeForce NOW智能电视APP,从而让运行webOS的LG电视也能畅玩PC大作。按照LG的说法,测试版APP已经在全球80个市场上线,支持其2021款4K OLED、QNED Mini LED和NanoCell电视,首批包含35款免费游戏,如《火箭联盟》《命运2》?

  • NVIDIA发布RTX 2060 12GB驱动472.75版:支持Win7了

    据上次更新过去还没几天,NVIDIA又发布新的显卡驱动了,这次的重点还是GeForce RTX 2060 12GB版本。之前发布的497.09版驱动已支持其实已经支持了这款显卡,不过仅限于Win10/Win11系统,而这次是专门为了老系统更新,支持了Win7的版本。该版驱动仅支持RTX 2060 12GB显卡,暂没有其他更新说明。根据此前报道,RTX 2060 12GB定于12月7日上市,不过目前还未公布上市价格,官方只说它是RTX 2066的高端版,市场策略也会与之匹配,换言之?

  • 发布一年 AMD/NVIDIA显卡反而贵了整整一倍

    正常情况下,电子产品发布越久,价格就越低,但这两年的显卡完全是另一个走势。根据3DCenter的最新统计,在德国和奥地利市场,NVIDIA RTX 30系列显卡自今年8月初以来持续涨价,目前平均是建议零售价的1.95倍。AMD RX 6000系列从7月初开始就不断涨价,虽然刚刚降了一点,但平均仍是官价的1.90倍。没想到吧!新一代显卡都发布一年了,价格反而都是当初的足足两倍!今年5月份,最疯狂的时候,NVIDIA显卡平均溢价幅度甚至一度达到3倍,

  • NVIDIA:我们的GPU显卡比CPU节能42倍

    在碳达峰、碳中和的大环境下,绿色节能已经不仅仅是环保的考虑,也成为各个国家及公司比拼实力的标准,现在NVIDIA也要参与进来了,他们指出自家的GPU显卡芯片要比CPU节能42倍。在这一波双碳浪潮中,美国公司走在了前列,此前苹果表示要在2030年之前全部使用可再生的绿色能源,Intel等半导体公司也提出了类似的目标,现在NVIDIA也在投资者PPT中谈到了他们在双碳节能上的措施。NVIDIA主要介绍了自己的三大优势,第一个是Green500超算

  • Nvidia RTX 40系列性能翻倍之外 耗电也将会翻倍

    基于 Ada Lovelace GPU 的 NVIDIA GeForce RTX 40 系列显卡在明年上架之后,无疑会受到广泛关注和抢购。新阵容预估在性能上将会带来比 Ampere 多 1 倍的提升,同时也将会成为有史以来最耗电的阵容之一。该谣传来自于 Greymon55,他一直在积极分享有关 AMD 和 NVIDIA 下一代 GPU 的细节。在他的新推文中,这位泄密者声称,NVIDIA 的 GeForce RTX 显卡的下一个架构 Ada Lovelace 将具有双倍的性能,但也有双倍的功耗。NVIDIA 的升级?

  • NVIDIA GPU核心CUDA要开源?黄仁勋:绝无可能

    NVIDIA是一家实力极其强大的GPU公司,不仅游戏卡做得好,基于CUDA的加速卡也同样受到业界欢迎,这已经是NVIDIA的核心竞争力了。那么NVIDIA有没有可能将CUDA开源呢?NVIDIA CEO黄仁勋斩钉截铁否认了这种可能性。大家关心CUDA是否开源的问题,主要是因为NVIDIA被认为是一家生态封闭的公司,不够开放,对开源更没多大兴趣,但是NVIDIA也有这样的实力,CUDA不论硬件还是配套的软件开发环境都是同类中最优秀的,可能没有什么之一。NVIDI

  • AMD、英特尔、NVIDIA就全球芯片短缺问题何时结束看法趋向一致

    在最近接受The Hindu BusinessLine采访时,AMD首席技术官兼执行副总裁MarkPapermaster对目前笼罩全球的芯片短缺危机做了一些相当有趣的披露。根据Papermaster的说法,硅产业最终可能在2023年达到供需平衡,这意味着在此期间价格也应该回到正常的建议MSRP水平。然而,这个过程将在一年后的2022年下半年(2H)开始进行,届时供应水平将开始改善,Papermaster认为。这有可能意味着我们终于可以在2022年下半年开始看到一些更实惠的显卡

  • NVIDIA和洛克希德·马丁公司合作 利用AI缓解野火问题

    迄今为止,在美国感受最强烈的气候危机之一就是席卷西部各州的森林火灾,它们的的数量和强度仍不断上升,已经造成了数十亿美元的损失并迫使人们离开他们的家园。为了遏制火灾的恶化,本周二召的 GTC 大会上,NVIDIA 和航空航天巨头洛克希德-马丁公司宣布,将共同解决这一难题。这两家公司正在与美国林业局和科罗拉多州火灾预防和控制部门合作,以了解扑灭森林火灾的挑战,并建立所需的工具来更好地完成这一工作。到目前为止,了解?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天