首页 > 业界 > 关键词  > Trainium2最新资讯  > 正文

亚马逊的 Trainium2 AI 芯片配备 96GB HBM,训练性能提高四倍

2023-12-01 10:45 · 稿源:站长之家

站长之家(ChinaZ.com) 12 月 1 日消息:本周,亚马逊网络服务(AWS)推出了其新的人工智能(AI)加速器芯片 Trainium2,相比其前身,它显著提升了性能,使 AWS 能够训练具有高达数万亿参数的基础模型(FMs)和大型语言模型(LLMs)。此外,AWS 还为自己设定了一个宏伟目标,即使其客户能够为他们的工作负载访问高达 65 'AI' ExaFLOPS 的性能。

AWS,亚马逊,云服务,Amazon,云计算,服务器

AWS Trainium2亚马逊第二代加速器,专为 FMs 和 LLMs 训练而设计。与原始 Trainium 相比,它的训练性能提高了四倍,每瓦性能提高了两倍,内存增加了三倍,总共为 96GB HBM。该芯片由亚马逊的 Annapurna Labs 设计,是一个多瓦片系统级封装,包含两个计算瓦片、四个 HBM 内存堆栈和两个目前用途未公开的芯片。

亚马逊并未披露 Trainium2 的具体性能数据,但表示其 Trn2 实例可以扩展到多达 100,000 个 Trainium2 芯片,以实现 AI 工作负载的低精度计算性能高达 65 ExaFLOPS。这意味着单个 Trainium2 加速器的性能约为 650 TFLOPS。65 EFLOPS 是预计只能在即将上市的高性能 AI 超级计算机,如 Jupiter 上实现的水平。这样的扩展应该会将 3000 亿参数大型语言模型的训练时间从数月缩短到数周。

亚马逊尚未披露 Trainium2 的完整规格,但如果它没有在原始 Trainium 已支持的基础上添加一些功能,我们会感到惊讶。需要提醒的是,该协处理器支持 FP32、TF32、BF16、FP16、UINT8 和可配置的 FP8 数据格式,并提供高达 190 TFLOPS 的 FP16/BF16 计算性能。

或许比单个 AWS Trainium2 加速器的纯性能数据更重要的是,亚马逊有合作伙伴,如 Anthropic,已准备好部署它

Anthropic 的联合创始人 Tom Brown 表示:「我们正在与 AWS 紧密合作,使用 Trainium 芯片开发我们未来的基础模型。Trainium2 将帮助我们在非常大的规模上构建和训练模型,我们预计它将比第一代 Trainium 芯片在一些关键工作负载上至少快 4 倍。我们与 AWS 的合作将帮助各种规模的组织解锁新的可能性,因为它们使用 Anthropic 的最先进 AI 系统与 AWS 的安全可靠云技术结合。」

举报

  • 相关推荐
  • 外媒:亚马逊正在训练人形AI机器人,用来“送快递”!

    机器人不会疲劳、不需要福利、也无需加班费,对企业而言是极具吸引力的低成本替代者……

  • 碳企通:亚马逊气候绿标产品撬动亚马逊全球10%营业额!

    亚马逊预测到2025年底,其"气候承诺友好认证"(CPF)产品将占全球商品销售总额的10%以上。数据显示,全球可持续商品搜索量同比增长71%,72%的消费者表示购买的绿色产品数量较五年前显著提升。CPF认证通过权威可持续认证为商品赋予"绿色身份",提升搜索权重和转化率。案例显示,获得CPF认证的品牌能显著缩短消费者信任建立周期,如素士电动牙刷通过碳足迹认证成功获得流量优势。当前全球市场正经历供应链重构与绿色消费转型的双重变局,碳企通等专业机构正帮助中国企业通过碳足迹测算、绿色认证等构建可持续竞争力。随着平台政策持续演进,绿色产品将获得更多流量倾斜,提前布局可持续认证将成为跨境卖家的关键战略。

  • 碳企通:OEKO-TEX认证获取亚马逊绿标全指南

    文章主要介绍亚马逊卖家如何通过OEKO-TEX认证获取"气候友好承诺"绿标。关键点包括:1)OEKO-TEX认证能提升产品搜索曝光和转化率,降低合规风险;2)认证分为四类,需根据产品用途选择对应标准;3)详细解析五步认证流程,强调材料清单准备是关键;4)建议通过碳企通等专业机构协助认证,可缩短40%时间;5)获得认证后需在亚马逊卖家中心提交证书,产品将显示环保标识。文章还指出,2023年因化学物质超标下架的中国纺织卖家数量增长35%,而通过认证的产品基本规避了此类风险。

  • 华为云盘古预测大模型首创 Triplet Transformer 统一预训练架构

    6月20日,华为发布盘古大模型5.5,五大基础模型全面升级。该模型采用业界首创的Triplet+Transformer统一预训练架构,能跨行业处理表格数据、时间序列数据和图片数据,显著提升预测精度和泛化能力。已在水泥、钢铁、电解铝、供热等多个工业场景落地应用:海螺水泥实现熟料强度预测,宝武钢铁高炉出铁温度合格率超90%,云南铝业年省电2600万度,天津供热能耗降低10%。模型聚焦工业领域,通过工艺优化和系统寻优,助力企业降本增效,推动行业智能化转型。

  • 亚马逊气候友好绿标核心价值:为什么值得投入_绿舟​​

    亚马逊"气候友好承诺"绿标已成为产品竞争力的黄金标识。环保产品需求激增,带绿标商品平均可提升30%以上曝光率。文章详解获取绿标的高效路径:1)绿标核心价值:专属流量入口、提升消费者信任度,73%欧美消费者愿为可持续产品支付溢价;2)认证费用解析:同系列产品可合并认证,已有其他认证可免费申请;3)四步快速通关:资格预审(1周)→方案定制(1-2周)→数据核验(3-4周)→绿标上架(1周);4)成功案例:已助力超50家中国企业获标,如Anker、大疆等品牌获标后欧洲站转化率提升27%。跨境电商绿色转型窗口期已至,提前布局碳足迹认证将成为出海刚需。

  • 碳企通:通过GRS/RCS认证获取亚马逊绿标全攻略

    本文详细介绍了GRS(全球回收标准)和RCS(回收声明标准)认证体系,这是国际公认的回收材料认证体系,专注于纺织品、塑料制品等再生材料的可追溯性验证。通过这两项认证的产品可直接申请亚马逊气候友好承诺(CPF)绿标,获得专属流量入口和消费者信任背书。 碳企通推出"三步极速认证"服务:通过AI系统智能预审,3个工作日内完成预审报告;专家团队全程指导

  • 腾讯云TencentOS Server AI,助力荣耀打造高性能AI底座

    随着生成式AI技术爆发式增长,AI大模型开始渗透至手机领域。荣耀基于腾讯云TencentOS Server AI的TACO-LLM加速模块部署DeepSeek-R1等开源大模型,在内部场景应用中实现稳定性、可靠性和推理性能的大幅提升。测试显示,使用TACO-LLM后,首Token延迟最高降低6.25倍,吞吐提升2倍,端到端延迟降低100%。TACO-LLM通过投机采样技术实现大模型"并行"解码,从根本上解决计算密度问题,大幅提升解码效率。荣耀表示该方案打造了高性能AI底座,提供高吞吐低延迟的优化方案,能无缝整合现有大模型部署方案。腾讯云TACO-LLM针对企业级AI模型私有化部署挑战,专门优化了大语言模型内核运行效率。

  • 从“烟囱式监控”到观测云平台:2025 亚马逊云科技峰会专访

    在2025年亚马逊云科技中国峰会上,观测云技术总监黄小龙分享了《下一代智能可观测性平台技术实践》主题演讲。他提出要构建"智能一体化可观测性平台",解决当前行业"烟囱式"监控体系带来的数据割裂和协同成本问题。平台采用统一数据基础、查询语言和分析入口,并基于S3架构打造GuanceDB3.0数据库,实现存储与计算分离。在AI能力方面,推出智能体Obsy AI,提供智能助手、智能分析和智能告警功能。此外还扩展了SIEM安全事件分析能力,构建专用引擎Arbiter。观测云深度整合亚马逊云科技生态,存储层托管于Amazon S3,计算资源调度基于EKS,智能体由Amazon Bedrock提供大模型能力,并通过Marketplace全球提供服务。

  • 高通骁龙X2 Elite有18核版本:封装64GB内存!

    据Roland Quandt最新爆料,高通骁龙X2 Elite的芯片编号为SC8480XP”,而且高通正在测试一款拥有18个核心和64GB内存的骁龙X2 Elite处理器。 这款处理器基于Oryon V3架构,核心数量比上一代骁龙X Elite增加了50%,性能有望大幅提升,同时也意味着高通将进一步扩大骁龙X Elite所涵盖的性能层级。 骁龙X2 Elite可能采用系统级封装(SiP)设计,将内存、存储和处理器集成在一个封装内,类似于

  • 锁定7月营销黄金期,跨境人搭上“亚马逊绿标”快车_碳企通

    7月全球跨境电商迎来消费高峰,亚马逊Prime会员日(7月8-11日)成为全年关键销售节点。文章指出,亚马逊正重构流量分发体系,气候友好标签(CPF)成为重要入口,获得认证的商品点击率提升32倍,65%欧美用户优先选择环保产品。案例显示,3D打印品牌ELEGOO通过碳足迹认证后登上类目热销榜首。文章强调,绿色认证不仅能提升转化率,还能获得平台流量扶持、企业采购渠道等隐形红利。当前跨境电商面临广告成本上涨、同质化竞争等问题,而气候友好认证正成为突破流量困境的新路径,建议卖家提前布局绿色认证体系,把握旺季增长机会。(140字)