快科技8月10日讯,据国内媒体讯息,华为会于8月12日在2025金融AI推理应用落地与发展论坛上,公布AI推理领域的重大技术成果。
据消息称,此项成果或许能够减少中国AI推理对HBM(高带宽内存)技术的依赖程度,提高国内AI大模型推理性能,完善中国AI推理生态的关键构成部分。
HBM(High Bandwidth Memory,即高带宽内存)是一种借助3D堆叠技术的先进DRAM解决方案,多层DRAM芯片呈垂直集成状态,极大地提高了数据传输效率。具备超高带宽、低延迟、高容量密度以及高能效比等优点。
AI推理需要经常调用海量的模型参数(比如千亿级权重)以及实时输入数据。HBM的高带宽和大容量能让GPU直接访问完整模型,可防止传统DDR内存因带宽不够致使的算力闲置。对于千亿参数以上的大模型,HBM能够显著加快响应速度。
目前,HBM已然成为高端AI芯片的标准配置,训练侧渗透率近乎100%,推理侧随着模型的复杂化而加速普及。
然而,其产能紧张以及美国的出口限制促使国内厂商探寻Chiplet封装、低参数模型优化等替代方案。
(举报)