首页 > 业界 > 关键词  > 字节最新资讯  > 正文

字节万卡集群技术细节公开:2天搞定GPT-3训练,算力利用率超英伟达Megatron-LM

2024-03-01 14:47 · 稿源: 量子位公众号

随着对Sora技术分析的展开,AI基础设施的重要性愈发凸显。来自字节和北大的一篇新论文在此时吸引关注:文章披露,字节搭建起的万卡集群,能在1.75天内完成GPT-3规模模型(175B)的训练。具体来说,字节提出了一个名为MegaScale的生产系统,旨在解决在万卡集群上训练大模型时面临的效

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • Qwen登顶AI赚钱大赛只是开始?“弃GPT投Qwen”已在硅谷蔓延开来

    近期AI炒币大赛Alpha Arena引发关注,六款主流大模型用1万美元本金在币圈实战。戏剧性的是,被寄予厚望的GPT-5和Gemini因高杠杆操作亏损惨重,而中国开源模型表现亮眼——通义千问Qwen以53%回报率逆袭登顶,DeepSeek紧随其后。硅谷巨头Airbnb CEO公开表态依赖Qwen,投资人Chamath也承认将业务转向中国模型。市场用真金白银投票:预测平台押注Qwen胜率高达36%,远超OpenAI的3%。这场竞赛�

  • 小米17 Ultra取消2K屏:用Pro Max同款超级像素

    小米17 Ultra并没有开案2K屏,依然是全RGB无损排列,也就是会采用小米17 Pro Max同款的超级像素屏幕。 超级像素技术主要是排列方式上与以往的OLED有明显区别,经由全RGB像素独立排布,在OLED领域首次克服了高ppi与低良率之间的难题,彻底告别像素公摊”问题,每一颗子像素都能精准发光。

  • OpenAI 推出浏览器:“让位吧,Chrome”

    ​北京时间10月22日凌晨,没等来传闻中的Gemini3,等来了OpenAI正式发布首款AI浏览器ChatGPT Atlas。 简单来说,这是一个把ChatGPT"塞进"浏览器的产品,你在任何网页上都能随时唤出ChatGPT侧边栏,让AI帮你总结内容、编辑文字、甚至代替你完成购物和预订任务。 听起来有点像Chrome装了个ChatGPT插件?确实如此,但OpenAI的野心远不止于此。

  • 享受专属赛道体验服务!雷军:小米Ultra Club对所有Ultra车主开放

    小米汽车今日宣布,小米Ultra Club面向所有Ultra车主开放入会。 车主入会后可享:赛道服务、赛道专场体验、官方专属活动及专属顾问1对1服务。目前赛道服务已覆盖12个城市,车主们可结合自身需求选择加入。

  • Soul App开源模型SoulX-Podcast登顶Hugging Face TTS趋势榜,AI语音对话再升级

    SoulX-Podcast语音生成模型在开源社区Hugging Face发布次日登顶TTS趋势榜。该模型由Soul AI Lab联合高校团队开发,专为多轮对话场景设计,支持中英川粤等多语言/方言与副语言风格,能生成超60分钟流畅自然、角色切换准确、韵律丰富的语音。它解决了传统语音系统在多轮对话中上下文衔接不自然、缺乏副语言控制能力等痛点,在播客、语音合成等场景表现突出,获开发者广泛关注。Hugging Face CEO也转发相关内容,团队未来将持续优化语音对话、拟人化表达等核心交互能力,深化开源生态建设。

  • 小米最强旗舰!小米17 Ultra春节前登场

    博主爆料小米14 Ultra春节前将发布,已获入网许可。该机搭载1.5K新国屏、骁龙8 Gen3平台,影像系统采用无背屏设计,配备1英寸超大底主摄+2亿像素潜望长焦,支持双卫星通信。卢伟冰透露小米与徕卡四年合作推出20余款机型,称新机将突破移动影像新高度。

  • 谁能成为中国的ChatGPT?夸克抢先交卷

    在OpenAI上线自己家AI浏览器ChatGPT Atlas的同一周,微软在海外发布了新的AI助手Mico和更AI化的Edge浏览器,夸克则在国内推出了新的「对话助手」功能。 这一系列消息背后,新旧巨头、两个市场产生了两个确定的共识:一个是AI助理与AI浏览器的融合会进一步深化,入口之争就是系统之争;另一个是对话会成为人与AI交互的主要方式,自然语言就是未来的编程语言。 在海外市场,OpenA

  • AI日报:可复刻音色的MiniMax Speech 2.6发布;TikTok推AI剪辑新工具“Smart Split”;Cursor 2.0发布

    本期AI日报聚焦多项技术突破:MiniMax发布低延迟语音合成系统Speech 2.6,实现实时交互;蚂蚁数科与宁波银行打造的金融AI方案入选国际标准;智源推出具身操作能力的Emu3.5多模态模型;Cursor 2.0通过自研模型实现多智能体协同编程;xAI升级Grok新增视频生成功能;OpenAI推出可定制安全模型;TikTok推出AI剪辑工具Smart Split;微软发布强化学习框架Agent Lightning提升大模型训练效率。

  • 年费3999元!雷军:欢迎更多小米SU7 Ultra车主加入会员俱乐部

    如果你是小米SU7 Ultra的车主,是否加入了Ultra Club会员俱乐部呢? 近日,小米汽车发文称,上周末,小米SU7 Ultra在广州长洲岛游艇码头,联动知名游艇俱乐部举办了一场Ultra尊享品鉴会。 雷军转发该博文并表示,目前Ultra Club 已开放报名,欢迎更多Ultra车主加入 Ultra Club。

  • 海尔麦浪舒适风Pro天猫首发!当日登顶行业热销榜TOP1

    海尔麦浪舒适风Pro空调新品上市即热销,半小时销量破5000套,登顶行业榜首。其核心亮点在于智慧送风技术:首次采用UWB人感雷达,能精准感知8米内人体呼吸,自动调节风感;支持1-4米定制风距,人近风柔、人离节能;多维送风技术适配多种安装位置,避免直吹不适。产品还具备AI离线语音控制、24小时制热不停机及70℃高温制冷等实用功能,显示空调市场正从基础冷暖需求转向更智能、贴心的空气体验。

今日大家都在搜的词: