首页 > 业界 > 关键词  > 正文

阿里云推出第八代企业级实例g8i AI推理性能提升7倍

2024-01-12 10:44 · 稿源:站长之家

站长之家(ChinaZ.com) 1月12日 消息:阿里云推出了第八代企业级通用计算实例 ECS g8i,采用了阿里云自研的「飞天 + CIPU」架构体系和第五代英特尔至强可扩展处理器。新款实例的整机性能最高提升85%,AI 推理性能最高提升7倍,可以支持高达72B 参数的大语言模型。此外,ECS g8i 实例还提供了端到端的安全防护,为企业构建可信的 AI 应用提供了强大的隐私增强算力支持。

在通用算力方面,ECS g8i 实例的 L3缓存容量提升到320MB,内存速率高达5600MT/s,整机性能提升85%,单核性能提升25%。存储方面,ESSD 云盘提供100万 IOPS,全面搭载 NVMe,存储延迟低至百微秒。网络方面,PPS 高达3000万,标配阿里云自研 eRDMA 大规模加速能力,时延低至8微秒。安全方面,ECS g8i 实例支持可信计算与加密计算等特性,全球率先支持机密虚拟机 TDX 技术,构建了全面的安全防护。

微信截图_20240112104507.png

对于 AI 应用来说,ECS g8i 实例采用了 Intel AMX 高级矩阵扩展加速技术,将生成式 AI 的运行速度提升了7倍,可以更快地运行知识检索、问答系统和摘要生成等任务。配合阿里云 Spot 抢占式实例,成本优势将进一步凸显,降低推理成本。此外,基于自研 eRDMA 超低延时弹性网络,ECS g8i 实例集群可以支持高达72B 参数的大语言模型分布式推理,推理性能随集群规模接近线性加速,并且支持超过32batchsize 的超大参数规模的 AI 模型负载。

在安全方面,阿里云通过硬件可信根和虚拟可信能力 vTPM,实现了服务器的可信启动和实例启动过程核心组件的校验能力。此次升级的 ECS g8i 实例全量支持 Trust Domain Extension TDX 技术,为大模型等 AI 应用提供了隐私增强算力。

阿里云表示,ECS g8i 实例的强劲表现证明了以 CPU 为中心的计算体系同样具备加速 AI 推理的潜力,公共云不仅可以胜任超大规模的 AI 模型,还为 AI 应用加速落地提供了新的路径。

举报

  • 相关推荐
  • 有道14B低成本轻量模型“子曰3”开源,数学推理性能超越大模型

    网易有道6月23日开源国内首个专注数学教育的"子诳3"大模型系列数学模型(Confucius3-Math)。该模型在单块消费级GPU上高效运行,在多项数学推理任务中性能超越更大规模的通用模型,高考数学题测试得分达98.5分。其训练成本仅2.6万美元,推理性能是DeepSeek+R1的15倍,服务成本低至每百万token0.15美元,大幅降低教育AI应用门槛。该开源模型为教育公平提供低成本、高性能的AI�

  • 时隔十年!华为Pura 80系列升级第八代ISP:降噪、色彩全面提升

    今日,华为举行新品发布会,华为Pura 80系列正式发布。 在发布会上,华为常务董事、终端BG董事长余承东还回顾了华为历代旗舰影像之路。 2015年,华为Mate 8推出第一代ISP,时隔十年,Pura 80系列升级为第八代ISP。

  • 苹果炮轰AI推理模型:全是假思考!所谓思考只是一种假象

    有人总结到:苹果刚刚当了一回马库斯,否定了所有大模型的推理能力。 苹果团队认为,现有评估主要集中在既定的数学和编码基准上,看模型最终答案是否正确,但可能存在模型训练时见过类似题目。 并且,这些评估大都缺乏对思考过程质量”的分析,比如中间步骤是否逻辑一致、是否绕弯路等。 为了更客观测试推理模型的推理能力,他们设计了4类谜题环境:汉诺塔、�

  • 阿里云全栈AI技术引擎驱动SaaS企业全球化升级 构建出海新范式

    全球SaaS市场正以16.4%的年复合增长率迈向万亿规模,中国企业引领的智能化升级正在改写行业全球化叙事。阿里云发布"全栈AI+全球化"技术体系,通过端到端技术栈重构打造可扩展、低门槛的全球化智能基座,释放技术红利。通义千问大模型通过参数效率优化突破AI规模化应用的经济性瓶颈,支持119种语言适配不同市场。e签宝推出行业首个智能合同Agent,实现合同全生命

  • AI火花集 | 阿里云携手天使智汇,AI赋能让护理“降负荷、提效能、保安全”

    文章探讨了护理工作在医疗康复中的重要性,指出护士工作量和专业素养直接影响患者死亡率。研究显示,护士工作量每增加1名患者,30天内死亡风险上升7%;而学士学位护士比例每提高10%,死亡率可降低7%。中国虽规定病床与护士配比不低于1:0.4,但多数医院未达标。天使智慧公司自2018年起专注中医护理数字化,通过"悠小护"等产品服务超2000家医疗机构,并借助阿里云通义大模型技术实现培训、考评等全场景AI升级。未来计划3-5年内构建AI驱动的智能护理体系,从工具升级为决策伙伴,改变传统护理模式。

  • 硅基流动入驻阿里云云市场,核心API服务将全面接入阿里云百炼平台

    6月18日,AI基础设施企业硅基流动与阿里云达成战略合作,加入阿里云"繁花计划"并入驻云市场。其大模型推理平台SiliconCloud的核心API服务将全面接入阿里云百炼平台,借助阿里云灵骏智能计算集群的算力支持,为客户提供开箱即用的大模型服务。作为国内增长最快的第三方MaaS平台,SiliconCloud已集成通义千问Qwen3、DeepSeek等百余款主流开源大模型,累计服务600万用户与数千家企业客户。此次合作将增强平台在推理场景下的弹性扩展能力,未来双方还将在算力协同、行业解决方案共建等方面深化合作。

  • 阿里云”618创新加速季“开启:先进、领先的大模型限免 超7000万 token,加速多场景 AI 应用落地

    阿里云启动"618创新加速季"活动,聚焦AI创新与云端智能,推出多项优惠:1)提供7000万+免费大模型token体验及最高1728元优惠券;2)通义大模型限免超7000万token,推出10-100元多档资源包,GPU服务0.9折起;3)PAI平台推出通用节省计划,最低3折;4)针对中小企业推出AI火花会主题活动,提供场景化定制服务;5)基础云产品全线优惠,包括轻量服务器38元/年、RDS MySQL 88元/年等。活动还包含5亿算力补贴计划、10万元出海满减券等专项支持,助力企业智能化升级。

  • 华为云发布盘古大模型5.5,宣布新一代昇腾AI云服务上线,成就行业AI先锋

    华为开发者大会2025(HDC2025)在东莞篮球中心开幕,发布多项AI创新成果:1)推出基于CloudMatrix384超节点的新一代昇腾AI云服务,单卡推理吞吐量提升4倍;2)发布盘古大模型5.5,NLP、CV等五大基础模型全面升级,其中718B深度思考模型采用256专家MoE架构;3)推出行业首个统一预测架构Triplet Transformer,覆盖钢铁、水泥等多个工业场景;4)发布300亿参数视觉大模型,支持多维感知分析;5)升级盘古助手Doer,新增6大开发领域专业Agent。华为云宣布开发者突破800万,将构建昇腾、鸿蒙、鲲鹏等技术生态。

  • 火山引擎Data Agent体验中心正式上线!企业级AI数据专家触手可及

    火山引擎数智平台开放企业级数据智能体Data Agent体验中心,用户可零门槛体验"企业数字专家"在数据垂直领域的深度能力。该产品定位为"企业第一位AI数据专家",已上线股票分析、经营复盘、营销策略等6大场景应用。通过"数据+知识"融合、人机协同等核心价值,突破传统分析工具边界,实现从描述性分析到行动建议的跨越。作为L3级智能体,它能将企业内外部信息转化为可量化数字资产,显著降低数据使用门槛,提升决策效率。Gartner预测到2028年至少15%的日常决策将由AI自主完成。火山引擎此举标志着企业数据应用正式进入"动态智能体"时代。

  • AI日报:通义千问3大模型全球爆火;即梦图片3.0智能参考全量上线;智谱AI企业级超级助手Agent CoCo上线

    【AI日报】今日AI领域重要动态:1.通义千问3大模型全球下载量超1250万,衍生模型13万+;2.即梦图片3.0上线,AI设计进入"零门槛"时代;3.智谱AI发布企业级超级助手Agent CoCo;4.百度推出金融行业大模型"千帆慧金";5.小红书开源首个大模型dots.llm1,含1420亿参数;6.Hugging Face开源LeRobot项目,降低机器人研发门槛;7.ChatGPT语音功能升级,支持更自然对话翻译;8.Google Gemini应用下载量超ChatGPT但活跃度不足;9.轻量级文档解析模型MonkeyOCR表现优异;10.Google Veo3推出高速视频生成模式;11.Google调整AI Studio政策,限制Gemini2.5Pro免费访问。