首页 > 传媒 > 关键词  > 正文

迎接变革,至强可扩展处理器的技术创新为云端AI应用打通底层瓶颈

2023-12-29 10:00 · 稿源: 站长之家用户

智能革命的浪潮之中,算力普慧、算法进化、数据爆发对AI基础设施产品组合的要求更进一步,第五代英特尔® 至强® 可扩展处理器的发布则强化了英特尔在AI产品的完整版图。

2023 年,生成式AI研究和应用的爆发给云计算产业带来了全新的机遇和挑战:大模型需要庞大的算力支持,用户普遍需要向云计算厂商购买算力服务;且由于大量用户涌入云服务市场,云厂商需要尽快升级数据中心算力以应对AI需求,同时持续降低TCO,为用户提供价格合理的算力资源;此外,AI应用开发还涉及大量隐私敏感数据的云端存储和使用,云厂商也要全力保障这些数据的安全可靠,打消用户后顾之忧。

基于上述需求,云厂商迫切需要对已有硬件基础设施进行更新换代,要求新一代CPU能在保障基础设施平稳升级迭代的同时,具备更强的性能、更低的TCO,同时能够满足云端多样化工作负载需求的较强AI能力:

对于大型云服务基础设施而言,稳定性、可靠性依然是王道,因此云服务厂商升级硬件时决策更加谨慎,偏向于在有着长期延续性的主流平台上逐渐迭代,保护上层软件应用投资,减小对基础设施开发运维部门的冲击。大模型在云端训练、推理的过程需要用户将大量数据传输至云端,云厂商需要采取更强的安全措施,如硬件级的安全引擎来更好地保障敏感数据的安全,确保云实例间的数据隔离,预防恶意入侵和泄漏。AI应用涉及密集的低精度矩阵运算,需要较大的内存空间。对于大模型推理应用和中小尺度(参数规模低于20B)模型的训练应用而言,其在搭载AI加速器的CPU上运行可以获得非常好的能耗比与性价比,还能够以相当优势的TCO满足云厂商大多数AI服务的需求。同时CPU的通用计算能力也可以为云厂商提供充足的灵活性,有效保护基础设施投资。

面对上述需求,英特尔作为服务器CPU领域的技术领导 者,继年初发布第四代至强® 可扩展处理器之后,加快了产品更新节奏,于上周发布了第五代至强® 可扩展处理器,其可与上一代处理器兼容,提供硬件级安全和可信服务,并通过丰富的AI产品组合驾驭整个AI管线,从而进一步壮大了应对人工智能时代的产品组合。

技术创新解决三大维度需求,CPU 继续扮演 AI 时代基础设施关键角色

相比上一代产品,第五代至强® 可扩展处理器的核心数量增加至 64 个,拥有更高的单核性能和内存带宽,三级缓存容量提升近 3 倍。其每个内核都具备AI加速功能,内置的英特尔® AVX- 512 及英特尔® AMX,能使机器学习、深度学习和大模型应用的性能大幅提升。第五代至强® 可扩展处理器还能通过英特尔® SGX/TDX为使用中的云端数据提供端到端硬件级防护能力。与上一代至强® 可扩展处理器相比,五代至强® 在相同功耗下的平均性能提升了21%,而AI推理和训练性能的提升更是高达42%和29%。

一系列技术创新,使第五代至强® 可扩展处理器成为AI时代云厂商的基础设施关键角色。目前,已经有多家客户在实际业务中部署了第五代至强® 可扩展处理器,在实践中证明了它为用户带来的巨大收益提升。其优异的表现得到了客户的很高评价,也让更多准备升级云计算基础设施的企业对新一代至强® 有了更高的期待。

英特尔 AMX提升大模型推理性能,助力京东升级营销购物体验

2023 年京东云突破性地在数百个AI场景中应用了大模型,在数百个营销场景中升级了原有工作流,显著提升了商家与消费者的购物体验。

基于自研的言犀AI与大模型,京东云通过AIGC管道生成了30%的大促物料,京小智数字人、领航者营销平台也在大模型支持下获得了高达87%的商品推荐采纳率,消费者应答准确率提升30%。

京东大模型第 一次亮相就收获美好成绩,很大程度上要归功于其部署的基于第五代英特尔® 至强® 可扩展处理器的新一代自研服务器,与上一代自研服务器相比整机性能提升23%,关键的AI CV推理性能与 Llama v2 大模型推理性能更是分别提升38%与51%。

取得如此显著的AI推理能力进步,秘诀在于第五代至强® 可扩展处理器搭载的英特尔® AMX加速引擎。其可以将INT8 低精度矩阵运算速度提升一个数量级,再结合第五代至强® 可扩展处理器更高的内存带宽与更强的多核心互联能力,使AI推理性能相较上一代显著提升。在11. 11 大促中,第五代至强® 可扩展处理器和英特尔® AMX的组合在京东云承载的 AI 推理应用服务中大展身手,助力用户访问峰值同比提升170%,智能客服咨询服务量超 14 亿次,且并未增加能耗,也将京东云基础设施的运维成本维护在之前的水平内。

英特尔® TDX赋能可信计算环境,为阿里云客户构筑端到端数据安全城墙

对于云计算厂商而言,要让更多行业和组织信任云服务,就必须提供有足够说服力的安全隐私保障,所以云厂商迫切需要更高水准的硬件级安全城墙。

对于云环境中使用状态中的数据,机密计算是实现其有效保护的良策,其为客户敏感数据提供了基于硬件设备的可信执行环境(Trusted Execution Environment, TEE),通过隔离保护的方式来防止未经授权的入侵者访问或修改处理中的数据。作为机密计算技术的重要引领者,英特尔® 软件防护扩展(英特尔® SGX)技术提供了应用层面的隔离能力;而在和阿里云的合作中,则由英特尔® TDX技术与阿里云新实例搭载的可信平台模块(TPM)相配合,结合阿里云自研的加密计算隔离环境enclave,为阿里云第八代企业级ECS实例g8i构建了一个基于虚拟化的硬件可信环境,即为整个虚拟化实例(包括虚拟机、容器)都构建出可信的边界,由此为客户提供了可信边界更大、更易部署的安全云环境。

英特尔® TDX使TEE环境的可信边界获得了有效扩展,从而让IaaS、PaaS等环境中的云工作负载都能整体纳入机密计算的数据保护之下,能够有效抵御恶意威胁,加强云端数据隔离。

阿里云自研的千问大模型就得到了英特尔® TDX的充分保护,实现模型数据端到端加密保护。英特尔® TDX技术为AI大模型这样需要向云端传输大量数据的应用场景铸就了足够牢固的安全保障,也为生成式AI应用广泛普及铺平了信任道路。此外,在引入第五代至强® 可扩展处理器之后,第八代企业级ECS实例在计算、网络、存储、安全等工作负载中的都得到了显著提升,在数据库、硬件加解密、AI应用、音视频等场景性能提升15%~25%不等。更重要的是,八代实例保持价格不变,使阿里云g8i实例可以用更小的性能开销保障用户的数据高度安全性。

第五代至强® 可扩展至强算力大升级,支持火山引擎实现降本增效目标

火山引擎的大规模云原生基础设施包含超过一百万台服务器、上千万容器实例,管理数十EB级别存储资源,需要应对10 亿+级QPS缓存峰值、10+TB/s的读写峰值带宽,支持数亿日活的应用访问。

为了应对如此复杂的需求,火山引擎一直都选择和信赖英特尔® 至强® 解决方案,并率先引入第五代至强® 可扩展处理器,助其第三代弹性计算实例加码全新升级。

与基于第四代至强® 的弹性计算实例相比,第五代至强® 可扩展处理器助力火山引擎释放了巨大算力和性能红利,其弹性计算实例整机算力提升39%,内存带宽提升17%,并在AI、视频处理性能、Java应用性能等方面均有40%左右的性能提升。火山引擎计划推出使用英特尔原生硬件加速技术的能力升级,以Nginx为例,使用英特尔® QAT进行数据压缩和证书验证操作的吞吐量最 高可提升 5 倍;在RocksDB中,使用英特尔® IAA进行数据压缩读写的吞吐量最 高可提升1. 9 倍。提升如此巨大的算力进化幅度,使火山引擎能够使用相同的实例数量应对更多业务需求。

如今,火山引擎正在构建百万核心级别弹性资源池,为业务的流量增长、体验创新与安全性增强提供海量算力保障。

第五代至强® 可扩展处理器提供澎湃的算力的同时,还与上一代处理器兼容,共享架构与平台,大大减少测试和验证工作,其更高的性能、更好的安全性、更高的成本效益,已经在头部云服务提供商中得到全面验证。

软硬结合,打通AI创新底层瓶颈

除硬件方面的诸多创新,第五代至强® 可扩展处理器在软件层面也搭建了良好的生态环境。例如,英特尔已经在Pytorch、Tensorflow和OpenVINO™ 工具套件等行业标准框架中提供了针对第五代至强® 可扩展处理器的优化,使得云厂商和用户能够以较低的门槛,快速利用如英特尔® AMX等处理器功能,打通AI应用的算力瓶颈。英特尔® Trust Authority鉴证服务则能充分验证TEE的有效性,发挥英特尔® SGX/TDX技术的优势。

如果说数据中心是一台巨型计算机,那么CPU就是它的超 级大脑,第五代英特尔® 至强® 可扩展处理器将一如既往地扮演核心角色。它与网络、GPU、软件技术栈等其他英特尔创新技术一起共同构筑了上层AI应用的根基。而这样的根基虽然能力强大,但并不需要用户为此投入大量精力学习或增加运维投入。由此,企业就能将主要精力投入在业务创新中,并在 AI 浪潮中紧紧把握住市场机遇,开启新的增长路径。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 专访中国时空AI领域技术创新专家路新江

    当数字浪潮席卷产业变革,时空AI便成为了指引方向的关键力量。 2024 年某公司智能云在"中国MaaS市场"与"中国AI大模型解决方案市场"成绩突出,分别以32.4%和17%的市场份额划展现出在AI领域的显著优势。基于城市大数据的时空AI技术建成的AI原生地图,用户规模已突破一亿大关,日均对话量超千万次,成功跻身国内破亿大模型产品行列;与山东省港口携手打造的“智慧运营助手”

  • 2025百度商业AI技术创新大赛焕新启动!

    当前,人工智能正以超乎想象的速度重构商业逻辑。随着大模型技术普惠化与伦理框架同步完善,这场由AI引发的生产力革命正加速催生智能文明新范式。自 2023 年,百度商业首次举办AI技术创新大赛以来,两届比赛吸引了来自海表内外 300 多所高校、 6000 多支精英队伍踊跃参与。人工智能领域的各界英才,凭借顶尖技术实力与不竭创新活力,共同铸就一场高水准的AI技术盛会,

  • 华为侯金龙:坚持技术创新、质量优先、生态协同,加速汽车电动化

    2025年4月22日,华为在上海发布智能电动与智能充电网络战略,推出"超充联盟2.0"。华为数字能源总裁侯金龙强调技术创新、质量优先和生态协同,加速汽车电动化进程。新战略从乘用车扩展至商用车领域,联合9家车企共同制定商用车超充标准,构建兆瓦超充网络,实现"充电5分钟,行驶百公里"。华为已在多地部署超充干线,相比传统方案可节省3小时/天,物流成本从2.8元/公里降至1.3元/公里。通过"兆瓦超充+光储构网"技术,解决电网冲击问题,推动重卡全面电动化,助力物流行业降本减碳。

  • 首站北大!2025百度商业AI技术创新大赛巡回宣讲全面开启!

    2025年百度商业AI技术创新大赛全面升级,聚焦生成式广告推荐算法优化、视频广告生成推理性能优化和搜索场景视频广告AIGC产品优化三大赛题。自2023年创办以来,该赛事已吸引海内外300多所高校、6000多支队伍参与。本届大赛提供百度商业脱敏数据资源,设置数十万元奖金,优秀团队可获得校招直通资格。4月23日在北京大学启动巡讲,汇聚学界专家与产业先锋共同探讨AI技术商业边界,推动产教融合。赛事旨在挖掘AI商业应用创新方案,培育兼具技术高度与商业价值的复合型人才,为智能经济时代注入新动能。

  • AI应用大盘点:谁暴涨?谁掉队?

    2025年第一季度AI应用市场迎来爆发式增长,QuestMobile数据显示AI原生App活跃用户达2.4亿,较1月翻倍。DeepSeek-R1模型发布引发现象级传播,3月通用型AI+Agent产品Manus亮相再掀热潮。ChatGPT、夸克、豆包、DeepSeek四款产品霸榜全球榜单,聊天机器人赛道最受青睐,AI伴侣、修图工具次之。国内应用影响力显著提升,中外产品在前二十名中各占半数。行业共识认为月活>日活>下载量是�

  • 从田间到云端,快手“村晚大舞台”助力乡村文化璀璨绽放

    "村晚大舞台"项目由文化和旅游部指导,中国文化馆协会联合快手科技共同实施,通过"线下搭台+线上直播"创新模式,将传统民俗、非遗技艺、乡土才艺搬上云端。该项目已在全国50余个地区举办900余场直播活动,线上观看人次超1.6亿,让普通村民实现舞台梦想。82岁老人登台献唱、银发艺术团精彩表演等案例展现了新时代农民丰富的精神文化生活。活动不仅带动当地文旅资源宣传,更成为展示乡村文化自信的重要窗口。快手平台将持续提供流量支持和技术培训,助力乡村文化振兴。

  • 华为鲲鹏芯片+安卓14:雷电定义云端算力新标准

    当别人仍在探讨“云手机是否有未来”时,雷电云手机用安卓14的实践给出了确定答案。这不仅是产品的胜利,更是技术的胜利——移动计算的云端形态,必将层层迭代不断进化。云端升级,未来已来。

  • 宝马×字节跳动:以AI赋能汽车营销创新变革

    4月18日,华晨宝马旗下领悦数字信息技术公司与字节跳动旗下火山引擎达成合作,双方将围绕AI技术在汽车营销服务的创新应用展开深度合作。通过AI+场景的高效匹配,实现产品精准推荐、内容智能引导,提升用户购车体验与经销商运营效率。宝马集团大中华区总裁高翔表示,此次合作是宝马"360度全链AI战略"在营销领域的重要实践。领悦公司将借助火山引擎的大模型技术,打造专属智能营销工具,提供24小时在线客服、个性化推荐等服务。这是双方自2019年以来的第三次合作,此前已在数字化运营、直播营销等领域取得成果。此次合作标志着宝马加速推进AI技术在全业务链的应用,持续深化中国市场数字化转型。

  • 魅族Flyme AIOS 2宣布接入阿里云端到端大模型Qwen Omni

    Flyme AIOS2系统引入全新设计的智能助手Aicy,其界面设计更具呼吸感与动态效果,同时搭载升级后的思考引擎,可实现更精准的语义理解和场景响应。值得关注的是,该系统成为业内首家接入阿里云自主研发的Qwen Omni云端到端大模型的操作系统,支持超低延迟的自然语音交互,并覆盖多地