11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
最近AI应用大火,导致AI算力需求暴涨,AI服务器及AI显卡供不应求,价格也水涨船高,不到一年甚至有涨价20倍的,NVIDIA这一波趋势中又赚到了。其去年6月购买的AI服务器不足一年价格涨了近20倍。H100的替代型号是H800,具体的规格不确定,应该是跟A800一样阉割带宽,不过H100+SXM版的带宽也就是3.35T,腾讯H800提到是3.2T,下降的并不明显,除非是H100+NVLink版,后者的带宽高达7.8T。
ChatGPT这样的生成式AI不仅需要千亿级的大模型,同时还需要有庞大的算力基础,训练AI现在主要依赖NVIDIA的AI加速卡,达到ChatGPT这种级别的至少需要1万张A100加速卡。高性能加速显卡现在是稀缺资源,国内购买NVIDIA高端显卡更是不容易,来自商汤科技的一份纪要显示,能达到ChatGPT这种算力要求的公司在国内凤毛麟角,只有6家。A100的单精度浮点性能高达19.5TFlops,FP64性能9.7TFLOPS,INT8性能624TOPS,TDP400W,显存的带宽也是恐怖的1.6TB/s,后期还发布过80GBHBM2e的版本,频率从2.4Gbps提升到3.2Gbps,使得带宽从1.6TB/s提升到2TB/s。
在过去的几年中,不论是高性能还是数字货币,亦或者是当前大热的AI,NVIDIA都抓住了每一个风口,当然作为本职的游戏领域也从来没落下,RTX光追及DLSS的优势让两家友商没法正面刚。是NVIDIA比别人更幸运吗?在黄仁勋看来,想搞AI的,买他们的A100就对了。
之前NV在财报中指出,游戏显卡库存已经基本清理完了他们现在重心显然是在专业显卡上。调研机构TrendForce指出,随着ChatGPT全球大火,以NV A100的处理能力来看,这AI模型至少需要3万块这样的卡。在上周三举行的英伟达季度财报电话会议上,黄仁勋谈道:生成式AI的多样广泛性和能力已经引起全球企业来开发和部署AI战略的紧迫感。