首页 > 业界 > 关键词  > 正文

阿里云推出第八代企业级实例g8i AI推理性能提升7倍

2024-01-12 10:44 · 稿源:站长之家

站长之家(ChinaZ.com) 1月12日 消息:阿里云推出了第八代企业级通用计算实例 ECS g8i,采用了阿里云自研的「飞天 + CIPU」架构体系和第五代英特尔至强可扩展处理器。新款实例的整机性能最高提升85%,AI 推理性能最高提升7倍,可以支持高达72B 参数的大语言模型。此外,ECS g8i 实例还提供了端到端的安全防护,为企业构建可信的 AI 应用提供了强大的隐私增强算力支持。

在通用算力方面,ECS g8i 实例的 L3缓存容量提升到320MB,内存速率高达5600MT/s,整机性能提升85%,单核性能提升25%。存储方面,ESSD 云盘提供100万 IOPS,全面搭载 NVMe,存储延迟低至百微秒。网络方面,PPS 高达3000万,标配阿里云自研 eRDMA 大规模加速能力,时延低至8微秒。安全方面,ECS g8i 实例支持可信计算与加密计算等特性,全球率先支持机密虚拟机 TDX 技术,构建了全面的安全防护。

微信截图_20240112104507.png

对于 AI 应用来说,ECS g8i 实例采用了 Intel AMX 高级矩阵扩展加速技术,将生成式 AI 的运行速度提升了7倍,可以更快地运行知识检索、问答系统和摘要生成等任务。配合阿里云 Spot 抢占式实例,成本优势将进一步凸显,降低推理成本。此外,基于自研 eRDMA 超低延时弹性网络,ECS g8i 实例集群可以支持高达72B 参数的大语言模型分布式推理,推理性能随集群规模接近线性加速,并且支持超过32batchsize 的超大参数规模的 AI 模型负载。

在安全方面,阿里云通过硬件可信根和虚拟可信能力 vTPM,实现了服务器的可信启动和实例启动过程核心组件的校验能力。此次升级的 ECS g8i 实例全量支持 Trust Domain Extension TDX 技术,为大模型等 AI 应用提供了隐私增强算力。

阿里云表示,ECS g8i 实例的强劲表现证明了以 CPU 为中心的计算体系同样具备加速 AI 推理的潜力,公共云不仅可以胜任超大规模的 AI 模型,还为 AI 应用加速落地提供了新的路径。

举报

  • 相关推荐
  • OpenAI升级o3-mini模型思维链:提升AI推理过程透明度

    OpenAI公司今天在X平台发布推文,宣布面向免费和付费用户更新o3-mini的思维链。OpenAI为付费用户更新o3-mini-high的思维链,更透明、更详细地展示模型的推理”步骤以及得出答案的方式。尤为值得一提的是,o3模型在ARC-AGI测试中取得了历史性突破,首次跨越人类水平门槛,以87.5%的优异成绩,标志着OpenAI在通往实现人工通用智能的征途中又迈出了坚实的一步。

  • 阿里云通义开源最强过程奖励PRM模型 7B尺寸比GPT-4o更能发现推理错误

    今日,阿里云通义开源全新的数学推理过程奖励模型Qwen2.5-Math-PRM,72B及7B尺寸模型性能均大幅超越同类开源过程奖励模型。在识别推理错误步骤能力上,Qwen2.5-Math-PRM以7B的小尺寸超越了GPT-4o。这证明了过程奖励模型能够显著提高推理的可靠性,为未来开发推理过程监督技术开辟了新的途径。

  • 超擎擎天系列AI训推一体服务器、锋锐系列AI推理服务器:DeepSeek私有化部署的极简方案

    DeepSeek作为2025年开年最受关注的AI大模型,因其出色的性能、低廉的开发成本和开源生态三大核心优势,火爆出圈,迅速引爆全球AI热潮,当前已广泛应用于端侧、教育、金融、办公、传媒、医疗、智能汽车、企业服务等多个应用场景。DeepSeek低成本的解决方案,大幅降低了AI在各行各业应用的技术和成本门槛,为AI的产业化落地提供了更快的路径,因此催生出了很多本地私有化部署的需求,打造企业和私人专属AI助手。使用TensorRT框架以及Triton推理服务为用户提供高吞吐、低延迟的模型体验,在此基础上,通过技术支持,协助用户深度挖掘数据价值,从实现更高精度、更广覆盖的AI应用场景。

  • 阿里云通义开源Qwen2.5-VL:最强视觉AI 超越GPT-4o

    今天,阿里云通义千问开源全新的视觉模型Qwen2.5-VL,推出3B、7B和72B三个尺寸版本。旗舰版Qwen2.5-VL-72B在13项权威评测中夺得视觉理解冠军,超越GPT-4o与Claude3.5。在信息抽取能力上进行大幅度增强,以满足日益增长的资质审核、金融商务等数字化、智能化需求。

  • 阿里云正式成为FinOps基金会顶级会员

    1月23日,FinOps基金会宣布阿里云正式加入成为顶级会员。作为成员之一,阿里云将致力于推动全球FinOps社区进步,积极推进基金会最佳实践及先进理念,为企业提供更优质的云财务管理体验,帮助客户提升用云效能,实现云投入回报最大化。据Gartner数据,阿里云已成为中国最大、亚太第一的云服务商。

  • 阿里云支持一键部署DeepSeek-V3/R1!仅需3步、0

    今天阿里云宣布,阿里云PAIModelGallery支持云上一键部署DeepSeek-V3、DeepSeek-R1。用户无需编写代码,即可通过阿里云平台实现从模型训练到部署再到推理的全过程,极大地简化了AI模型的开发流程。阿里云PAIModelGallery也提供DeepSeek-R1、DeepSeek-V3原始模型的一键部署。

  • NVIDIA RTX 5080原生游戏性能提升仅15%!RTX 5090提升最大为30%

    NVIDIA进一步公开了更多RTX50系列显卡的规格和性能指标。RTX5090作为系列中的顶级型号,其着色/光线追踪/Tensor性能分别较前代RTX4090提升了26.5%、66.5%和154%。值得注意的是,当开启DLSS4后,得益于多帧生成技术的加持,RTX50系列的性能表现大致可达前代同级的2倍,这也是黄仁勋在发布会上宣称RTX5070表现可达RTX4090的主要原因。

  • 岩山科技:位列胡润AI企业榜第7名,AI创新实力获肯定

    知名研究机构胡润百富公开发布“2024胡润中国人工智能企业50强”榜单,岩山科技凭借其在自动驾驶及类脑智能领域的技术创新和应用实践,荣誉入选榜单并位列第7名。该榜单以人工智能领域技术创新与商业落地应用为依据,筛选最具价值的中国人工智能企业,旨在全面展示中国AI产业的最新发展成果,一同上榜的还有寒武纪、地平线、商汤、第四范式、智谱华章等知名AI企业。岩山科技将继续加大研发投入,深化技术创新,持续推动AI技术的迭代与应用,全力构筑人工智能新时代。

  • 国人骄傲!阿里云、华为首席技术官双双入选美国计算机协会

    今日凌晨,美国计算机协会ACM公布了最新一届会士名单。根据这份名单显示,今年有多位知名华人学者入选,其中来自阿里云首席技术官周靖人和来自华为终端BG首席科学家田奇尤为让人关注。美国计算机协会ACM将于2025年6月14日在美国加利福尼亚州旧金山举办的年度颁奖晚宴上,正式表彰2024年度的55位会士。

  • AI 2025!8大热门赛道开年前瞻,从AI眼镜到推理Scaling一网打尽

    明天就是辞旧迎新的春节假期,咱来点不一样的——送上一份「年初展望」,站在2025年伊始,把AI科技领域不同领域的热点趋势,浅浅盘了一圈。从人型机器人、AI眼镜,从推理模型到AICoding……分别从产品侧和技术侧,把今年最有料的8个大热门趋势一网打尽,干货过年。若有挂一漏万之处请诸位海涵,也欢迎小伙伴们在评论区指出和探讨。

热文

  • 3 天
  • 7天