首页 > 业界 > 关键词  > NVIDIA最新资讯  > 正文

有望改写AI未来!NVIDIA全新nGPT使训练速度暴增20倍

2024-10-20 17:22 · 稿源: 快科技

快科技10月20日快讯:据报道,NVIDIA的研究取得突破,有望革新人工智能领域。其团队开发出一种新型神经网络架构——归一化Transformer(nGPT)。

nGPT架构在超球面上进行表示学习,大幅提升语言模型(LLM)的训练效率,最高可达20倍,且保持模型精度。

nGPT架构的核心是对所有向量,包括嵌入、多层感知机(MLP)、注意力矩阵和隐藏状态,进行归一化处理,使它们成为单位范数。

这种归一化处理使输入的词标记在超球面表面上移动,每一层模型通过位移对最终输出预测做出贡献。

实验结果表明,与标准Transformer模型相比,nGPT训练所需的步骤减少了4-20倍,具体加速效果取决于序列长度。

例如,在1k上下文下训练速度提升4倍,4k上下文提升10倍,8k上下文提升20倍。

研究人员表示,nGPT的优化路径始于超球面上的点,通过位移贡献最终输出预测,位移量由MLP和注意力模块定义。

这种方法不仅提升了训练速度,还增强了模型的稳定性。

举报

  • 相关推荐
  • 日本将迎来最强大AI超算!NVIDIA+软银联手打造

    在今天NVIDIA于日本举行的AI峰会上,NVIDIA与软银还公布了一系列合作计划,旨在加速日本主权AI项目的发展,并强化NVIDIA在全球的领先地位。软银正利用Blackwell平台构建日本最强大的AI超级计算机,并计划在未来升级至GraceBlackwell。考虑到运营成本和资本支出成本,每一台AI-RAN服务器都能带来高达219%的回报。

  • 黄仁勋、孙正义抱头“痛哭”:后悔没有买下NVIDIA部股票

    快科技11月13日消息,在NVIDIA于日本举办的2024年AI峰会上,公司创始人兼CEO黄仁勋与软银集团董事长兼CEO孙正义进行了炉边对话。在谈话之初,黄仁勋就开始对孙正义大加赞赏,称孙正义不仅是全球独一无二的企业巨擘,更是无可替代的创新先锋,总能精准地挑选出时代的胜出者,并与他们携手共进。黄仁勋还透露,孙正义曾经差点成为NVIDIA的最大股东,他当时掌握着NVIDIA近5%的股权,但是在5年前孙正义以不到40亿美元的价格出售了所有NVIDIA股份。如果孙正义能坚守至今,这些股份的价值已飙升至约1600亿美元,甚至有望超越他在阿里巴巴的投资?

  • NVIDIA股价飙升:黄仁勋慈善基金会必须捐赠金额翻倍!

    快科技11月24日消息,据媒体报道,随着NVIDIA股价的飙升,公司CEO黄仁勋的慈善基金会必须捐赠的金额也随之大幅增加。根据最新公布的税务申报文件,黄仁勋与其妻子洛丽共同创办的黄仁勋与洛丽基金会的资产在2023年底增长了两倍以上,达到34亿美元。该基金会的资产主要由NVIDIA股票组成,截至2023年底拥有6850万股NVIDIA股票。根据美国国税局的要求,私人基金会每年至少要捐出5%的资产,因此,为了匹配资产的增长,黄仁勋的基金会必须在今年至少捐赠1.2亿美元,是去年捐赠金额的两倍。黄仁勋基金会的捐赠预计在2025年会再次大幅增加,因为NV

  • 耕升带你揭开NVIDIA App正式版神秘面纱!为GeForce RTX 40系列带来全新体验

    2024年11月12日,NVIDIAapp迎来正式版发布!相较于GeForceExperience,NVIDIAapp正式版让管理耕升显卡更容易,例如程序设置、游戏设置、驱动设置、超频、自动调节、RTX视频增强等等强悍功能的集成,玩家与创作者可通过该应用轻松实现硬件性能的全面提升。结合耕升GeForceRTX4070SUPER踏雪OC,为玩家带来3DMARK自动超频前后的数据对比。耕升GeForceRTX4070SUPER踏雪OC如起名字一般,以“雪花”作为设计灵感,纯白色的主体点缀银色雪花给玩家带来一种雪中傲骨的意境。

  • NVIDIA史上最强核弹来了!RTX 5090大曝光:核心面积暴增22%、功耗狂飙600W

    经历Ampere、Ada两代GPU规模精简之后,RTX5090再一次膨胀”不仅核心面积暴增了22%,功耗也一路飙升到600W。据MEGAsizeGPU最新爆料,RTX5090的BlackwellGB202寸到了24x31毫米,即744平方毫米。RTX5070:GB205-300,6400个,12GB,250W。

  • NVIDIA新一代旗舰卡RTX 5090大曝光:接口、功耗巨变 售价猛涨

    明年年初的CES大展上,NVIDIA将正式发布新一代旗舰卡RTX50系列,包括桌面版的RTX5090、5080,以及全系列移动版。根据wccftech的最新爆料,该系列的旗舰型号RTX5090将采用PG144/145-SKU30PCB设计,搭载BlackwellGB202-300-A1GPU核心,在总共192个SM中启用了170个SM,共计21760个核心。鉴于RTX4090的建议零售价为1,599美元,RTX5090的最终定价可能在1800至2000美元左右。

  • NVIDIA App正式上线!影驰GeForce RTX 40系列显卡的强劲助手

    11月12日,NVIDIA为玩家和创作者带来了全新的一代产品——NVIDIAapp。除了游戏滤镜,NVIDIAapp还整合了RTXVideoSuperResolution功能,通过AI提升流媒体和本地视频的画质,去除压缩伪影并锐化图像边缘。测试采用影驰GeForceRTX4070TiSUPER金属大师PlusOC进行,为玩家带来直观地数据对比。

  • NVIDIA 英伟达联合 Panduit 泛达发布人工智能结构化布线应用指南

    NVIDIA® 人工智能应用指南在这个人工智能突破性发展的时代,为了保持领先地位,需要稳健的高性能连接解决方案,其设计需要支持 NVIDIA 的人工智能数据中心部署,从而实现无缝扩展,使您的人工智能基础设施释放出全部潜力。我们的 NVIDIA® 人工智能应用指南为使用 NVIDIA GPU 服务器和交换机的设备安装提供了结构化布线方面的宝贵见解,涵盖了先进的收发机技术以及优化数�

  • 谷歌利用 AI 发现 20 年前的软件漏洞:「模糊测试」改写游戏规则

    站长之家11月23日消息:谷歌近日通过AI程序发现了一个隐藏了二十年的开源软件漏洞。谷歌在周三的一篇博客文章中表示,借助类似ChatGPT的AI工具,公司共识别出了26个漏洞,其中包括一个在OpenSSL中潜伏了二十年的漏洞。本月早些时候,谷歌宣布,BigSleep已成功发现SQLite中一个此前未知且可利用的漏洞。

  • AI日报:字节推图像编辑模型SeedEdit;Suno发布V4音乐生成模型;谷歌最新AI视频制作神器Vids

    欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、豆包大模型团队正式发布图像编辑模型SeedEdit用嘴P图成真!SeedEdit是豆包大模型团队推出的图像编辑工具,通过一句话命令AI实现精准修改图片元素,比MJ更简单快捷。格莱美提名使乐队再次成为关注焦点。