首页 > 业界 > 关键词  > Trainium2最新资讯  > 正文

亚马逊的 Trainium2 AI 芯片配备 96GB HBM,训练性能提高四倍

2023-12-01 10:45 · 稿源:站长之家

站长之家(ChinaZ.com) 12 月 1 日消息:本周,亚马逊网络服务(AWS)推出了其新的人工智能(AI)加速器芯片 Trainium2,相比其前身,它显著提升了性能,使 AWS 能够训练具有高达数万亿参数的基础模型(FMs)和大型语言模型(LLMs)。此外,AWS 还为自己设定了一个宏伟目标,即使其客户能够为他们的工作负载访问高达 65 'AI' ExaFLOPS 的性能。

AWS,亚马逊,云服务,Amazon,云计算,服务器

AWS Trainium2亚马逊第二代加速器,专为 FMs 和 LLMs 训练而设计。与原始 Trainium 相比,它的训练性能提高了四倍,每瓦性能提高了两倍,内存增加了三倍,总共为 96GB HBM。该芯片由亚马逊的 Annapurna Labs 设计,是一个多瓦片系统级封装,包含两个计算瓦片、四个 HBM 内存堆栈和两个目前用途未公开的芯片。

亚马逊并未披露 Trainium2 的具体性能数据,但表示其 Trn2 实例可以扩展到多达 100,000 个 Trainium2 芯片,以实现 AI 工作负载的低精度计算性能高达 65 ExaFLOPS。这意味着单个 Trainium2 加速器的性能约为 650 TFLOPS。65 EFLOPS 是预计只能在即将上市的高性能 AI 超级计算机,如 Jupiter 上实现的水平。这样的扩展应该会将 3000 亿参数大型语言模型的训练时间从数月缩短到数周。

亚马逊尚未披露 Trainium2 的完整规格,但如果它没有在原始 Trainium 已支持的基础上添加一些功能,我们会感到惊讶。需要提醒的是,该协处理器支持 FP32、TF32、BF16、FP16、UINT8 和可配置的 FP8 数据格式,并提供高达 190 TFLOPS 的 FP16/BF16 计算性能。

或许比单个 AWS Trainium2 加速器的纯性能数据更重要的是,亚马逊有合作伙伴,如 Anthropic,已准备好部署它

Anthropic 的联合创始人 Tom Brown 表示:「我们正在与 AWS 紧密合作,使用 Trainium 芯片开发我们未来的基础模型。Trainium2 将帮助我们在非常大的规模上构建和训练模型,我们预计它将比第一代 Trainium 芯片在一些关键工作负载上至少快 4 倍。我们与 AWS 的合作将帮助各种规模的组织解锁新的可能性,因为它们使用 Anthropic 的最先进 AI 系统与 AWS 的安全可靠云技术结合。」

举报

  • 相关推荐
  • AI日报:美图发布影像AI Agent RoboNeo;1.8bit量化Kimi K2模型上线;亚马逊推AI代码编辑器 Kiro

    【AI日报】今日AI领域重要动态:1)美图推出RoboNeo,通过自然语言指令实现图片精修、品牌设计等全能影像处理;2)Unsloth AI将Kimi K2模型量化至1.8bit,体积缩减78%保持性能;3)谷歌Gemini嵌入模型登顶MTEB榜单,超越OpenAI;4)亚马逊发布免费AI代码编辑器Kiro,集成Claude模型;5)Claude新增应用工具目录功能提升工作效率;6)MiniMax完成近3亿美元融资,估值超40亿美元;7)UTCP新协议让AI代理直

  • AI日报:字节将发布AI编程工具TRAE2.0版本;Mistral重磅推出音频模型Voxtral;月之暗面回应Kimi K2 API速度慢

    AI日报栏目聚焦AI领域最新动态:1)字节跳动将发布TRAE 2.0编程工具,新增语音交互功能;2)Mistral推出开源音频模型Voxtral,支持多语言;3)月之暗面回应Kimi K2API速度慢问题,正在优化系统;4)昆仑万维发布AgentOrchestra框架,实现多智能体协作;5)OpenAI前CTO创立的Thinking Machines Lab获20亿美元融资;6)Kimi-2上线,性能超越GPT-4.1;7)TRAE推出Kimi-K2模型服务,国际版支持Grok-4;8)字节跳动Seed团队开源POLARIS训练方法,提升小模型数学推理能力;9)ima网页版上线,提供更便捷的知识库访问体验。

  • 英伟达Blackwell Ultra芯片商用落地,微美全息以“算力+开源”领航AI科技新程

    英伟达与CoreWeave合作推出新一代AI芯片Blackwell Ultra,该芯片已实现商业部署,采用液冷技术,包含72个GPU和36个CPU。Blackwell Ultra的AI内容生成能力是前代产品的50倍,预计今年批量出货。英伟达凭借高性能AI芯片近乎垄断市场,年利润超5000亿元,市值逼近4万亿美元,有望成为全球市值最高公司。微软推迟自研AI芯片发布,转向过渡性设计方案。微美全息专注AI芯片技术布局,构建多元化技术生态,推动产业协同,成为全球AI芯片竞赛重要参与者。当前AI产业进入大规模商业化关键阶段,算力需求持续高涨,推动企业向算力数智化迁移。消费电子领域,AI赋能传统智能终端,新型智能硬件结合AI创造增量需求,关注算力产业链技术创新配套机遇。

  • 字节跳动TRAE2.0真的好用吗?同类型AI产品上哪找?

    字节跳动TRAE2.0 AI编程工具升级亮点:1)新增语音交互功能,支持中英文混合输入,实现"说话写代码";2)Builder模式迭代后项目生成成功率提升至92%,复杂需求可一次性跑通;3)免费版每月100次调用额度,支持GPT-4o和Claude-3.5模型;4)五大隐藏技巧:语音调试、图片生成代码、API批量测试等可提升300%效率;5)针对中文开发者优化,支持阿里云/腾讯云SDK调用。实测3分钟

  • 绿舟荣膺亚马逊SPN首批CPF服务商,定义跨境电商碳合规服务新标杆!

    亚马逊SPN是官方认证的第三方服务商平台,为卖家推荐经过严格审核、具备专业能力和合规信誉的服务商。绿舟荣膺亚马逊SPN首批CPF服务商,其服务特点包括:公司资质稳定、团队专业经验丰富、无违规记录、客户评价良好、服务体系完善。绿舟碳合规服务由商务、项目、交付三大团队协作完成,覆盖认证前方案讲解、认证中报价答疑、认证后测量计算全流程。目前绿舟已服务超70%跨境百强企业,涵盖3C、家电、服装等多个品类。

  • 苹果留了一手!iPhone 17 Air 12GB内存速度不及Pro版

    据爆料,iPhone 17标准版配备8GB内存,iPhone 17 Air、iPhone 17 Pro和iPhone 17 Pro Max配备12GB内存。 虽然17 Air和17 Pro系列都是12GB内存,但最新爆料显示,这两者的内存规格并不相同,Pro版的内存明显更好。 具体来说,iPhone 17 Air配备12GB LPDDR5内存,17 Pro和17 Pro Max则是配备12GB LPDDR5X内存。 据悉,LPDDR5X是LPDDR5的升级版,LPDDR5X的传输速率较LPDDR5更高,达到了8533Mbps,是LPDDR4X的两倍,是LPDDR5�

  • 告别模型搜寻困境:AIbase模型广场让你高效找到最佳AI模型

    文章探讨了在AI技术快速发展背景下,如何高效发现和评估适合需求的AI模型这一核心挑战。传统方式存在模型分散、评估门槛高、应用场景模糊等问题。AIbase模型广场通过聚合主流平台模型、提供多维度评估(性能指标、用户反馈、易用性等)、强化场景连接(按业务问题分类)和部署辅助信息,构建了完整的模型发现与应用生态。该平台能显著提升效率,帮助开发者快速锁�

  • 瑞幸又将联名的门槛提高了!

    联名,瑞幸在行! 这次,瑞幸又将联名玩出了新高度,一场「联名+结婚」,让半个品牌圈都“参与”了,随礼、新郎不是我、P新的结婚证……玩得不亦乐乎。 原本,联名被称为是品牌之间的“抱团取暖”,这次瑞幸玩了一把颇有趣味性的营销,为联名增加了喜感与乐趣。

  • 曝iPhone 17系列首次升级12GB内存:唯独标准版停留在8GB

    博主定焦数码爆料,iPhone 17系列有三款机型首次配备12GB内存,它们分别是iPhone 17 Air、iPhone 17 Pro、iPhone 17 Pro Max,但是iPhone 17标准版还停留在8GB内存。 据悉,苹果升级12GB内存的主要原因是提升iPhone 17系列的AI能力,在端侧部署AI,无论是运行AI应用还是加载AI大模型,这都需要足够大的内存存储整个AI模型。

  • 苹果发布iOS 18.6开发者预览版Beta 3:国行AI遥遥无期

    今日,苹果向iPhone用户推送了iOS 18.6开发者预览版Beta 3。 开发者可在兼容设备上通过设置”应用,进入通用软件更新”下载该测试版。 目前尚未发现有可见更新内容,不过此前有消息称,iOS 18.6将会针对欧盟地区用户进行实用性更新。 苹果当前在欧盟地区的iOS版本虽然支持上述两种行为,但会插入一些警告屏幕,这引起了欧盟监管机构的关注,将会进行一些调整。 值得注意�