11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
ChatGPT这样的生成式AI不仅需要千亿级的大模型,同时还需要有庞大的算力基础,训练AI现在主要依赖NVIDIA的AI加速卡,达到ChatGPT这种级别的至少需要1万张A100加速卡。高性能加速显卡现在是稀缺资源,国内购买NVIDIA高端显卡更是不容易,来自商汤科技的一份纪要显示,能达到ChatGPT这种算力要求的公司在国内凤毛麟角,只有6家。A100的单精度浮点性能高达19.5TFlops,FP64性能9.7TFLOPS,INT8性能624TOPS,TDP400W,显存的带宽也是恐怖的1.6TB/s,后期还发布过80GBHBM2e的版本,频率从2.4Gbps提升到3.2Gbps,使得带宽从1.6TB/s提升到2TB/s。