首页 > 业界 > 关键词  > 字节最新资讯  > 正文

字节万卡集群技术细节公开:2天搞定GPT-3训练,算力利用率超英伟达Megatron-LM

2024-03-01 14:47 · 稿源: 量子位公众号

随着对Sora技术分析的展开,AI基础设施的重要性愈发凸显。来自字节和北大的一篇新论文在此时吸引关注:文章披露,字节搭建起的万卡集群,能在1.75天内完成GPT-3规模模型(175B)的训练。具体来说,字节提出了一个名为MegaScale的生产系统,旨在解决在万卡集群上训练大模型时面临的效

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 华为云盘古预测大模型首创 Triplet Transformer 统一预训练架构

    6月20日,华为发布盘古大模型5.5,五大基础模型全面升级。该模型采用业界首创的Triplet+Transformer统一预训练架构,能跨行业处理表格数据、时间序列数据和图片数据,显著提升预测精度和泛化能力。已在水泥、钢铁、电解铝、供热等多个工业场景落地应用:海螺水泥实现熟料强度预测,宝武钢铁高炉出铁温度合格率超90%,云南铝业年省电2600万度,天津供热能耗降低10%。模型聚焦工业领域,通过工艺优化和系统寻优,助力企业降本增效,推动行业智能化转型。

  • 英伟达纵深扩展量子计算版图,微软/微美全息共发力奔赴技术革命新征程!

    英伟达CEO黄仁勋在COMPUTEX2025发表主题演讲,宣布推出企业AI计算平台NVIDIA RTX PRO服务器,搭载RTX PRO6000 Blackwell GPU,专为驱动AI工厂和加速企业AI工作负载设计。同时英伟达布局量子计算,设立全球量子AI技术研发中心G-QuAT,并投资量子计算初创公司PsiQuantum。微软宣布将后量子密码学技术整合到Windows系统,谷歌高管预测量子计算应用或将在五年内实现。微美全息作为量子产业先锋,通过量子计算与AI超算融合实现技术突破。全球科技巨头正加速布局量子计算领域,英伟达引领AI产业向纵深发展,在新竞争格局下进军量子计算,押注下一代技术浪潮。

  • 英伟达重夺全球市值第一头衔 再度超越微软

    去年6月19日,英伟达股价曾以135.58美元创下历史新高,当时总市值达3.335万亿美元,一举超越微软和苹果,首次登上全球市值最高上市公司的宝座。此后,在全球市值排名中,英伟达与苹果、微软展开激烈角逐,三者轮番登顶。上一次英伟达成为市值最高的公司是在今年1月24日。 从英伟达自身的财务表现来看,其业绩也相当亮眼。根据英伟达2026财年第一季度财报,该季度公司

  • Reddit 起诉 Anthropic,称其未支付AI训练数据费用

    OpenAI 首席执行官山姆·奥特曼(Sam Altman)持有 Reddit 8.7% 的股份,是该公司第三大股东,并曾是 Reddit 董事会成员……

  • 在版权诉讼中,Anthropic 赢下了关键AI训练裁决

    就像任何渴望成为作家的读者一样,Anthropic的语言模型并非为了抄袭或取代原作,而是为了创造出完全不同的内容……

  • OpenAI奥特曼:GPT5预计今年夏季发布

    OpenAI创始人奥特曼在最新播客中透露,GPT-5预计今夏发布,具体日期未定。 GPT-5将是生成式AI能力的重大升级,《商业内幕》称其远超GPT-4,早期测试者认可进步显著。 GPT-4于2023年3月发布,较上一代GPT-3.5有了显著提升。上月初,奥特曼发文向GPT-4告别。 目前GPT-4o已经完全替代了GPT-4,前者于2024年5月14日发布,其中o”代表omni”,意为 全能”。

  • Meta想要用AI搞定广告制作流程的“每一步自动化”

    即便AI生成视频广告“风险重重”,但 Meta 似乎仍旧想将这项技术推进到极致……

  • WeGame还有机会么?

    ​随着腾讯游戏业务发展如火如荼,从产品到平台各个摩拳擦掌,但WeGame已经“失声”了很长时间。 上一次聊WeGame还要追溯到2020年的0分成(在WeGame平台同步首发上线的国产单机游戏或创新玩法类产品,1000万元人民币流水以内,平台不再收取任何分成)以及19年的上线国际版WeGame X。 哪怕是去年《黑神话:悟空》的火爆借其东风,也没能完全覆盖掉过去留给玩家LOL启动器的刻�

  • 移宇(Medtrum)A8 闭环人工胰腺系统,看这一篇就够啦

    移宇科技AID闭环人工胰腺系统由持续葡萄糖监测系统(CGM)、无导管贴片式胰岛素泵和APGO®算法组成。该系统支持手机APP和手持遥控器两种操作方式,体积小巧(200U泵仅13.8g),采用30G极细针头(直径0.3mm),佩戴舒适。临床研究显示,使用后患者血糖达标时间(TIR)从55.9%提升至81.5%,血糖波动显著降低。系统实现了自动基础、自动校正和自动餐食功能,并配备大餐模式和运动模式,通过AI算法简化糖尿病管理,特别适合儿童和活跃人群使用。

  • 天马独供屏!苹果HomePod下周公开

    苹果将在6月10日举办WWDC开发者大会,预计将发布首款智能家居新品及专属homeOS系统。这款产品结合HomePod底座与iPad屏幕,类似Google Nest Hub,支持声控家电、播放音乐、显示通知天气等信息。原定3月发布,因AI技术未成熟推迟至第三季度。外媒分析苹果可能借WWDC提前发布,以便开发者适配homeOS系统,同时避免秋季新品过于密集。苹果将通过WWDC阐述智能家居战略,并开放API鼓励开发者移植或开发相关应用。