首页 > 业界 > 关键词  > 字节最新资讯  > 正文

字节万卡集群技术细节公开:2天搞定GPT-3训练,算力利用率超英伟达Megatron-LM

2024-03-01 14:47 · 稿源: 量子位公众号

随着对Sora技术分析的展开,AI基础设施的重要性愈发凸显。来自字节和北大的一篇新论文在此时吸引关注:文章披露,字节搭建起的万卡集群,能在1.75天内完成GPT-3规模模型(175B)的训练。具体来说,字节提出了一个名为MegaScale的生产系统,旨在解决在万卡集群上训练大模型时面临的效

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: