首页 > 业界 > 关键词  > 字节跳动最新资讯  > 正文

字节跳动豆包团队开源MoE架构优化技术:可将大模型训练效率提升1.7倍

2025-03-11 07:28 · 稿源: 快科技

快科技3月10日消息,据报道,字节跳动旗下豆包大模型团队近日宣布了一项关于混合专家(MoE)架构的重要技术突破,并决定将这一成果开源,与全球AI社区共享。

这一技术通过一系列创新方法,成功将大模型的训练效率提升了约1.7倍,同时显著降低了训练成本,降幅高达40%。这一突破为大规模模型训练提供了更高效、更经济的解决方案。

该技术已在字节跳动的万卡集群训练中得到实际应用。内部数据显示,自采用该技术以来,已累计节省了数百万GPU小时的训练算力。这不仅验证了技术的实际效果,也进一步凸显了字节跳动在AI技术研发领域的领先地位。

对于此次开源的决定,豆包大模型团队希望通过分享这一技术,推动整个AI社区在模型训练效率方面的共同进步。开源不仅有助于加速行业技术发展,还能为更多研究者和开发者提供宝贵的资源,进一步推动人工智能技术的创新与应用。

开源地址:https://github.com/bytedance/flux

举报

  • 相关推荐
  • 宝马×字节跳动:以AI赋能汽车营销创新变革

    4月18日,华晨宝马旗下领悦数字信息技术公司与字节跳动旗下火山引擎达成合作,双方将围绕AI技术在汽车营销服务的创新应用展开深度合作。通过AI+场景的高效匹配,实现产品精准推荐、内容智能引导,提升用户购车体验与经销商运营效率。宝马集团大中华区总裁高翔表示,此次合作是宝马"360度全链AI战略"在营销领域的重要实践。领悦公司将借助火山引擎的大模型技术,打造专属智能营销工具,提供24小时在线客服、个性化推荐等服务。这是双方自2019年以来的第三次合作,此前已在数字化运营、直播营销等领域取得成果。此次合作标志着宝马加速推进AI技术在全业务链的应用,持续深化中国市场数字化转型。

  • 字节跳动AI眼镜有新动作! 已和供应商“搭上线”

    有知情人士透露了字节跳动在AI硬件领域的又一重大布局计划推出自家的AI智能眼镜。字节跳动自去年起便已启动AI眼镜项目。意在为豆包寻找更广泛的C端应用场景,提升用户粘性和使用频率;另一方面,通过打通软硬件,构建更加完整的生态系统,为公司的长远发展奠定坚实基础。

  • 提升大模型自动修Bug能力 豆包正式开源首个多语言类SWE数据集

    今日,字节跳动豆包大模型团队宣布,正式开源首个多语言类SWE数据集Multi-SWE-bench,可用于评估和提升大模型自动修Bug”能力。在SWE-bench基础上,Multi-SWE-bench首次覆盖Python之外的7种主流编程语言,是真正面向全栈工程”的评测基准。相比于以往聚焦Python的单语言任务,Multi-SWE-bench更贴近现实中的多语言开发场景,也更能反映当前模型在自动化软件工程”方向上的实际能力边界。

  • 美图云修7.0版本上线:修图效率提升79%

    快科技4月3日消息,据报道,美图公司发布专业级人像精修软件美图云修7.0版本,带来突破性的修图效率提升和多项专业功能升级。新版本通过自研AI技术的深度优化,实现了整体修图效率提升79%的显著突破,RAW图渲染速度更是提升至惊人的98%,为商业拍摄项目节省大量时间成本。在核心功能方面,7.0版本展现出强大的专业处理能力:RAW转档功能已覆盖99%主流相机机型,确保广�

  • 奔驰新款CLA接入豆包大模型

    4月22日,奔驰与火山引擎合作的首款国产纯电车型CLA全球首发亮相。该车搭载奔驰自研MB.OS架构,接入火山引擎大模型,支持个性化智能交互体验。智能系统可识别4种情绪并给予反馈,交互效率提升50%,唤醒仅需0.2秒。虚拟助手能解答百科问题并协助车辆功能设置。这是双方继2024年8月达成AI战略合作后落地的首款量产车型,结合生成式AI和大数据技术,为中国用户打造更智能的用车体验。

  • 字节AI加速文生图技术新突破,GOOG/微美全息引领开源大模型释放科技势能

    字节跳动发布豆包1.5深度思考模型,升级文生图能力。该模型在专业领域和通用任务中表现突出,采用MoE架构,总参数量200B,激活参数20B,推理成本优势显著。同时,其图像生成模型Seedream 3.0性能追平GPT-4o等顶尖模型。全球AI产业加速发展,开源模型降低技术门槛,推动商业化落地。微美全息等企业构建开放AI生态,DeepSeek等公司通过开源策略促进技术普惠。行业迎来"开源AI+"新阶段,企业需把握机遇应对挑战。

  • AI日报:昆仑万维开源Skywork-OR1系列模型;讯飞星辰Agent开发平台全面支持MCP;字节跳动布局AI智能眼镜

    欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、Kimi开源视觉语言模型 Kimi-VL 与 Kimi-VL-Thinking,多项基准超越 GPT-4oMoonshot AI 最近开源了 Kimi-VL 和 Kimi-VL-Thinking 两款视觉语言模型,展现出卓越的多模态理解与推理能力。这些模型采

  • 业界唯一!百度网盘上线多模态AI笔记 效率提升10

    快科技5月2日消息,过往,用户在通过视频学习并记录笔记时,总免不了要不停切换平台软件,暂停、截屏、记录、插图、批注、切换返回视频过程繁琐而低效。为了应对这种情况,百度网盘和百度文库联合研发上线了AI笔记”,支持全自动学习、半自动学习、辅助学习三种模式。如今只要在网盘里面任意打开一个学习视频,在右侧就能看到AI笔记”功能,用户可以自主输入内容,也可以让其直接生成图文并茂、结构清晰的笔记。而且每个重要知识点旁会有时间戳,点击时间戳即可跳转到视频中对应位置,实现视频和笔记内容的顺滑关联。此外AI笔记”还可以帮

  • 字节发布豆包1.5深度思考模型:“实拍级”图像生成

    快科技4月17日消息,据报道,今日,在火山引擎AI创新巡展杭州站的现场,字节跳动旗下火山引擎总裁谭待正式发布了备受瞩目的豆包1.5深度思考模型。谭待指出,豆包1.5深度思考模型在多个关键领域展现出卓越性能。在数学、编程、科学推理这类专业领域中,它能够精准高效地处理复杂问题;在创意写作等通用任务方面,同样表现出色。该模型采用MoE架构,总参数为200B,激�

  • 长安马自达EZ-60全球首秀,接入豆包大模型

    4月23日,长安马自达EZ-60在2025上海国际车展全球首发。作为品牌新能源战略转型产品,该车在美学设计、AI智能座舱、电感驾控及主被动安全性能等方面实现突破。最大亮点是全面接入豆包大模型,用户可通过语音指令实现复杂操作、互联网信息问答及短视频搜索等功能,打造"人-车-环境"跨模态交互体验。专属AI助手支持超700项功能语音调用,实现"所说即所得"的智能交互。长安马自达与火山引擎达成深度合作,将持续推进大模型在智能座舱领域的创新应用。