首页 > 业界 > 关键词  > 字节跳动最新资讯  > 正文

字节跳动豆包团队开源MoE架构优化技术:可将大模型训练效率提升1.7倍

2025-03-11 07:28 · 稿源: 快科技

快科技3月10日消息,据报道,字节跳动旗下豆包大模型团队近日宣布了一项关于混合专家(MoE)架构的重要技术突破,并决定将这一成果开源,与全球AI社区共享。

这一技术通过一系列创新方法,成功将大模型的训练效率提升了约1.7倍,同时显著降低了训练成本,降幅高达40%。这一突破为大规模模型训练提供了更高效、更经济的解决方案。

该技术已在字节跳动的万卡集群训练中得到实际应用。内部数据显示,自采用该技术以来,已累计节省了数百万GPU小时的训练算力。这不仅验证了技术的实际效果,也进一步凸显了字节跳动在AI技术研发领域的领先地位。

对于此次开源的决定,豆包大模型团队希望通过分享这一技术,推动整个AI社区在模型训练效率方面的共同进步。开源不仅有助于加速行业技术发展,还能为更多研究者和开发者提供宝贵的资源,进一步推动人工智能技术的创新与应用。

开源地址:https://github.com/bytedance/flux

举报

  • 相关推荐
  • DeepSeek第二炸:开源首个用于 MoE 模型训练通信库

    今天是DeepSeek开源周第二日,一早,DeepSeek如约就放出了开源代码库DeepEP王炸。DeepEP是首个用于MoE模型训练和推理的开源EP通信库,它填补了MoE模型专用通信工具的空白,为大规模分布式AI训练和实时推理场景提供了更高效的底层支持。6、深度优化场景针对NVLink到RDMA的非对称带宽转发场景进行专项优化,提升异构网络下的传输性能;此外,它还支持SM数量动态控制,平衡不同任务的吞吐量需求。

  • L40S显卡助力Deepseek大模型训练与推理:超强性能,精确高效

    随着深度学习技术的不断发展,AI模型规模的不断扩大,越来越多的应用场景需要处理大规模的计算任务。Deepseek等大语言模型不仅要求高效的计算能力对显存、带宽和系统稳定性提出了极高要求。如果您正在寻找一款能够加速大规模AI模型。

  • 字节跳动火山引擎AI一号位离职:已加盟一清华系公司担任CEO

    近日,原字节跳动AI大将、火山引擎AI应用产品线一号位骆怡航已离职,且加入生数科技,担任CEO一职,全面负责公司研发、产品、商业化及团队管理工作。骆怡航毕业于清华大学自动化系,在云计算及AI领域有超过十年的工作经验,拥有扎实的技术背景、产业理解和商业化经验。2025年1月,生数科技还发布视频大模型Vidu2.0,视频生成速度突破10秒以内,成本降至不到行业平均水平的一半。

  • 不是,你们大模型开源了,那到底咋挣钱啊?

    在今天正式开唠之前,差评君想问一个小问题:在你看来,开源是一种怎么样的存在?纯慈善?活菩萨?理想主义者?不图回报的侠客?按理来说,拥有这些标签的角色,往往都是电视剧里少数最后都是要领盒饭的。在大模型界,却来了个一百八十度大调转。你再开源可就没人和你玩了。

  • 清华团队开源大模型推理引擎“赤兔Chitu”:硬件成本削减50%

    据报道,清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。开源赤兔”引擎是推动国内AI生态建设的重要一步,将为行业提供更高效、更灵活的技术支持。

  • 独家|抖音接入豆包字节发起反击

    抖音App于近期测试接入豆包App的AI能力,并且在抖音App内为豆包App开放了两个超级入口,一个位于短视频界面,与点赞、评论、转发等功能处于同一竖列;另外一个入口则位于抖音App的消息列表内。此次调整的核心逻辑是,打破AI产品与流量平台的割裂状态。这场AI之战没有旁观者,最终的赢家除了技术本身之外,胜负的关键更在于生态的打造。

  • AI说书媲美真人!豆包语音大模型升级长上下文理解

    下面的两个有声书演播片段,你能分辨是真人还是AI合成的吗?实际上这两个小说片段都是AI合成的,方案来自于豆包语音模型团队。为了逼近一流真人主播的演播效果,豆包语音模型基于原有Seed-TTS框架进一步加入上下文理解,最终实现了高表现力、高自然度、高语义理解的小说演播效果。未来豆包语音模型会继续探索前沿科技与业务场景的结合,追求更极致的“听”体验。

  • 英伟达全力发展AI Agent!开源专属大模型,最强AI工厂

    全球AI领导者英伟达在美国圣何塞举办了“GTC2025”全球产品、开发者大会,涵盖大模型、AIAgent、实体机器人、AI专用芯片、量子计算等技术分享。LlamaNemotron一共有Nano、Super和Ultra三种模型,每种都针对不同的部署需求进行了优化。Nano模型适用于个人电脑和边缘设备,例如,手机、平板、笔记本等;Super模型在单个GPU上提供最佳的准确性和吞吐量;Ultra模型在多GPU服务器上提供最大的Agent准确性。

  • DeepSeek前实习生魔改MoE,用迭代机制把内存需求砍了42%,团队:“免费午餐”优化方法

    DeepSeekMoE“变体”来了,200美元以内,内存需求减少17.6-42%!名叫CoE,被认为是一种“免费午餐”优化方法,突破了MoE并行独立处理token、整体参数数量较大需要大量内存资源的局限。与并行处理不同,CoE使专家能在单层内串行通信,形成一种迭代机制,即专家能“沟通”,在其它专家输出之上处理token。OCRRAGEN的贡献者名单中也有ManlingLi、吴佳俊、李飞飞的身影。

  • 反超DeepSeek!阿里万相大模型登上全球开源榜首

    如今,开源大模型成为了当前科技圈内默契达成共识的风向标”,就连其排行榜一举一动,都在牵引着外界关注的神经。据开源社区HuggingFace最新榜单显示,开源仅6天的阿里万相大模型已反超DeepSeekR1,登顶模型热榜、模型空间榜两大榜单,成为近期全球开源社区最受欢迎的大大模型。同时能在消费级显卡运行,仅需8.2GB显存就可以生成480P视频,适用于二次模型开发和学术研究。