首页 > 业界 > 关键词  > NVIDIA最新资讯  > 正文

有望改写AI未来!NVIDIA全新nGPT使训练速度暴增20倍

2024-10-20 17:22 · 稿源: 快科技

快科技10月20日快讯:据报道,NVIDIA的研究取得突破,有望革新人工智能领域。其团队开发出一种新型神经网络架构——归一化Transformer(nGPT)。

nGPT架构在超球面上进行表示学习,大幅提升语言模型(LLM)的训练效率,最高可达20倍,且保持模型精度。

nGPT架构的核心是对所有向量,包括嵌入、多层感知机(MLP)、注意力矩阵和隐藏状态,进行归一化处理,使它们成为单位范数。

这种归一化处理使输入的词标记在超球面表面上移动,每一层模型通过位移对最终输出预测做出贡献。

实验结果表明,与标准Transformer模型相比,nGPT训练所需的步骤减少了4-20倍,具体加速效果取决于序列长度。

例如,在1k上下文下训练速度提升4倍,4k上下文提升10倍,8k上下文提升20倍。

研究人员表示,nGPT的优化路径始于超球面上的点,通过位移贡献最终输出预测,位移量由MLP和注意力模块定义。

这种方法不仅提升了训练速度,还增强了模型的稳定性。

举报

  • 相关推荐
  • NVIDIA PhysX物理加速不死!内核源代码终于开源

    PhysX物理加速技术已经不再有NVIDIA官方的支持,但并不意味着这项优秀技术会消失在历史的长河中,因为它完全开源了!其实早在2018年底,NVIDIA就公开了PhysXSDK4.0开发包,根据BSD-3许可协议公开了源代码,但不包括最核心的GPU模拟内核。理论上完全可以将PhysX代码从CUDA平台上,移植到Vulcan、OpenCL,从支持AMD、Intel显卡。

  • NVIDIA修复AMD Linux驱动Bug!自家驱动还在被吐槽

    最近,一位NVIDIA的Linux内核工程师成功修复了一个影响AMD集成和独立显卡驱动性能的问题。问题的根源在于Linux6.15内核代码中引入的一个变更,NVIDIA工程师BalbirSingh在为Linux6.15内核更新时,对x86_64系统的内核地址空间布局随机化进行了调整,以支持PCIBAR空间扩展到10TB以上。受影响的显卡型号包括RTX50系列和RTX40系列,甚至一些RTX30系列显卡也受到了影响,在安装该驱动程序后,电脑可能会在安装过程中或重启时出现黑屏,少数用户还报告了蓝屏死机的问题。

  • RTX 50/40系用户崩溃!NVIDIA驱动易致Win10/11设备黑屏

    NVIDIA在上个月发布了572.83新版显卡驱动程序,不过根据最新消息,该驱动程序容易导致Windows10和Windows11系统设备出现黑屏问题。在更新日志中,官方称其修复了RTX5080/5090在超频时无法发挥最大性能的漏洞,并声称解决了部分黑屏问题。对于已经安装该驱动程序并遇到黑屏问题的用户,可以尝试回退到旧版本驱动程序,如566.36版本,或者尝试关闭G-Sync、降低刷新率等方法来缓解问题。

  • 深度系统deepin 23.1发布:NVIDIA显卡、Intel/AMD处理器集体升级

    快科技4月16日消息,deepin深度操作系统团队发布了deepin 23.1版本,主要解决基础组件更新后的安装效率问题,大幅提升新用户安装体验,同时集成多项功能优化与问题修复,进一步优化系统使用。本次版本重点改进:硬件兼容性与内核优化:集成Linux 6.6/6.12内核更新、NVIDIA显卡驱动升级、Intel/AMD CPU处理器微码更新,全面提升硬件支持与底层性能;核心功能增强:DDE新增智能镜像源管理、紧凑模式入口,全局搜索支持离线自然语言与AI处理能力;开发工具与跨平台支持:应用商店适配Debian/Ubuntu/Arch等子系统环境,支持快速启动;如意玲珑

  • 首个支持NVIDIA DLSS的Switch 2游戏确认:《赛博朋克2077》

    文章主要讨论了Digital Foundry发布的一份关于Nintendo Switch新版本的报告,特别提到了《赛博朋克2077》在Nintendo Switch 2版本上运行时的性能表现。CD Projekt Red对此进行了优化,使得在高分辨率模式下游戏可以稳定在30fps,而在720p模式下则能以40fps运行。此外,文章指出,理论上在高分辨率模式下游戏可以达到1080p,而720p模式下则能以30fps运行。文章还提到,VGC对用户反馈的分析表明,《赛博朋克2077》在Switch 2版本上运行时达到了30FPS的性能目标,但是由于性能限制,仍然存在一些问题。

  • 任天堂Switch 2芯片首次曝光!搭载NVIDIA Tegra239支持DLSS

    任天堂Switch 2核心芯片Tegra 239参数曝光:采用8核Arm Cortex-A78C架构,集成1536个CUDA核心的GPU融合了Ada Lovelace和Ampere架构,支持128位LPDDR5内存。原生支持DLSS技术,可实现4K/60FPS输出,性能较前代显著提升。芯片主频1.1-1.5GHz,功耗表现优化。延续任天堂与NVIDIA合作传统,但官方尚未公布完整参数。此前Switch采用Tegra X1芯片,新款性能提升明显,有望带来更好的游戏体验。

  • AI日报:Kimi全新音频基础模型Kimi-Audio;阶跃星辰开源图像编辑模型Step1X-Edit;​夸克AI超级框上线 “拍照问夸克”

    本期AI日报聚焦多项AI技术突破与应用:1)Moonshot AI推出开源音频模型Kimi-Audio,基于13亿小时训练数据,支持语音识别等任务;2)阶跃星辰开源图像编辑模型Step1X-Edit,展现强大生成能力;3)夸克AI上线"拍照问夸克"功能,实现视觉问答;4)苹果iOS18.5将在中国推送,带来智能功能;5)谷歌发布601个生成式AI应用案例,覆盖多行业;6)微软推出深度整合Windows的UFO²自动化系统;7)OpenAI升级ChatGPT至GPT-4o版本,提升STEM领域能力;8)Ema公司推出高性价比语言模型EmaFusion;9)Liquid AI发布面向边缘设备的Hyena Edge模型;10)LemonAI推出实时音视频数字人产品Slice Live。此外,国内方面,智谱与生数科技达成战略合作推动大模型发展,宝马中国宣布新车将接入DeepSeek技术。

  • AI日报:OpenAI下周或发布GPT-4.1系列;Pika全新AI视频功能Twists;商汤科技日日新V6震撼发布

    欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、报道称OpenAI下周重磅发布GPT-4.1系列,包含Mini版和Nano版OpenAI即将发布GPT-4.1系列及o3系列,标志着其在多模态和推理能力上的重大进展。新加坡在AI技能学习上投入的时间显著高于其他亚太国家,显示出其在AI人才培养方面的竞争力。

  • “奥迪助手”来了!全新AUDI车型接入豆包大模型

    2025年4月24日上海车展期间,上汽奥迪发布全新A5L Sportback和首款量产车型E5 Sportback。同时推出与火山引擎合作开发的"奥迪助手"智能交互系统,基于豆包大模型实现自然对话体验。该系统将搭载于两款新车,并同步部署在车载端和手机APP端,支持跨设备对话记录同步。火山引擎为系统提供大模型技术支持,实现语音指令控制、车辆功能讲解等智能服务,并整合抖音、汽水音乐等内容生态。上汽奥迪表示,该合作将助力品牌打造更智能、个性化的产品矩阵。

  • 可灵AI发布全新2.0模型:上线多模态视频编辑功能

    快科技4月16日消息,据报道,可灵AI在北京举行灵感成真”2.0模型发布会,正式发布可灵2.0视频生成模型及可图2.0图像生成模型。据介绍,可灵2.0模型在动态质量、语义响应、画面美学等维度保持领先;可图2.0模型在指令遵循、电影质感及艺术风格表现等方面显著提升。3月27日,全球AI基准测试机构Artificial Analysis发布了最新的全球视频生成大模型榜单,快手可灵1.6pro(高品质模