首页 > 业界 > 关键词  > 字节跳动最新资讯  > 正文

字节跳动豆包团队开源MoE架构优化技术:可将大模型训练效率提升1.7倍

2025-03-11 07:28 · 稿源: 快科技

快科技3月10日消息,据报道,字节跳动旗下豆包大模型团队近日宣布了一项关于混合专家(MoE)架构的重要技术突破,并决定将这一成果开源,与全球AI社区共享。

这一技术通过一系列创新方法,成功将大模型的训练效率提升了约1.7倍,同时显著降低了训练成本,降幅高达40%。这一突破为大规模模型训练提供了更高效、更经济的解决方案。

该技术已在字节跳动的万卡集群训练中得到实际应用。内部数据显示,自采用该技术以来,已累计节省了数百万GPU小时的训练算力。这不仅验证了技术的实际效果,也进一步凸显了字节跳动在AI技术研发领域的领先地位。

对于此次开源的决定,豆包大模型团队希望通过分享这一技术,推动整个AI社区在模型训练效率方面的共同进步。开源不仅有助于加速行业技术发展,还能为更多研究者和开发者提供宝贵的资源,进一步推动人工智能技术的创新与应用。

开源地址:https://github.com/bytedance/flux

举报

  • 相关推荐
  • 报告点名认证!销售易AI CRM助力伊顿电气服务效率提升40%

    近日,国家工业信息安全发展研究中心发布《2024–2025年中国智能体应用研究报告》。报告以严苛的应用导向为标准,重点关注智能体是否嵌入真实业务流程并创造持续价值。在此标准下,销售易与伊顿电气围绕AI CRM智能体的深度实践作为行业典范入选,标志着AI CRM正从技术演示迈向大规模应用的关键阶段。据悉,销售易为伊顿电气量身打造的客服智能体解决方案,精准聚焦工

  • Kimi即将推出新一代万亿大模型:开源王者刷新 去年已超GPT5

    国产开源大模型即将迎来新一波升级,除了万众期待的DeepSeek V4之外,月之暗面的Kimi也开始招募测试人员了,意味着很快也会上线。 根据Kimi的公告,他们即将开启Kimi新模型API内测计划,已完成「企业认证」的 Kimi 开放平台用户,均可申请。 前不久智谱、Minimax发布新一代模型之前都有招募测试的操作,而且内测没多久就开放了大模型的公开访问及API,随后又进一步开源给社�

  • 小米MiMo开源大模型充值功能上线:即将开启付费模式!

    小米MiMo开源大模型1月20日宣布开启付费模式,但为新老用户准备了专属免费额度,用户可登录后前往账户余额页面查收。计费系统近期将正式上线,此前API调用继续免费开放。MiMo-V2-Flash模型定价公布,国内用户需完成个人实名认证后充值,海外用户无需实名可直接充值。该模型在推理、代码和智能体场景表现突出,综合表现跻身当前开源大模型第一梯队,此前不少网友体验后表示其响应速度相比豆包、DeepSeek等模型更快。

  • 国产存储突破:绿算GP7000率先适配英伟达G3层KV Cache架构,AI推理效率提升17倍

    2026年1月15日,绿算技术宣布其GP7000全闪存存储平台已通过英伟达适配,成为全球首批、也是唯一支持G3级KV Cache分层存储的国产化方案。该平台采用存算分离架构,结合以太网闪存簇设计,为下一代AI工厂建设提供关键基础设施支撑,能显著提升推理吞吐量并降低延迟,实现成本与效率的最优平衡。

  • AI日报:千问Qwen3-VL双子星开源;腾讯内测“上头蛙”AI互动故事小程序;小鹏祭出“物理世界大模型”

    本期AI日报聚焦多领域进展:阿里开源Qwen3-VL多模态检索模型,腾讯推出AI互动故事小程序“上头蛙”,小鹏发布第二代VLA模型剑指L4智驾。MiniMax港股上市首日暴涨42%,高德世界模型登顶国际榜单。阿里千问下载量突破7亿,单月击败Meta、OpenAI总和。谷歌Gmail引入AI专属收件箱与自然语言搜索,马斯克xAI进军“氛围编程”推Grok Build。

  • 京东京造第二批AI玩具全新上线:全年龄段覆盖 搭载JoyInside大模型

    京东京造1月19日上线第二批自研AI玩具,覆盖全年龄段用户需求。接入JoyInside智能系统的硬件产品,平均对话轮次增长超120%。多款产品上线后迅速售罄且退货率极低,市场反响热烈。在原有儿童陪伴玩具基础上,此次拓展了产品线,推出针对年轻人和老年人的AI玩具,包括专为银发人群设计的“唠唠鹦”,以及面向年轻人的“球球”和“墨墨”。“唠唠鹦”内置方言、养生知识、戏曲、评书等内容,并提供紧急呼救、健康服务联动、子女日志同步等守护功能。针对年轻人的产品则以情绪感知和善解人意为特点,能主动提供安慰与陪伴。

  • 20+大模型与70+智能体调度!李未可AI眼镜定义群体智能新范式

    文章以丹尼尔·卡尼曼的“快与慢”思维系统理论为引,介绍了李未可AI智能眼镜如何将AI融入人类最自然的“看、听、说”交互中。该产品通过“超能李未可”系统,结合自研大模型与多智能体协同的“群体智能”模式,实现了从快速直觉响应到深度理性思考的无缝衔接。它能高效处理实时翻译、信息查询等日常任务,并在需要时启动多专家智能体进行复杂规划与创意生成,致力于成为用户随身、随思、随需的“第二大脑”,让技术回归增强人类感知与创造能力的本质。

  • 实时生成开放世界:新AI模型贴脸开大,游戏研发慌不慌?

    这两天,又有一款全新的AI模型出现了。 虽说如今AI改变各行各业的事情早就屡见不鲜,在游戏业,很多岗位也或多或少已经用上了AI技术,但最近发布的这款AI模型,它真不一样。 这款AI模型名叫PixVerse R1,按官方说法,PixVerse R1是全球首个真正意义上的「实时生成世界模型(Real-time World Model)」。

  • 从“看家”到“懂家”:海雀大模型摄像头,重塑家庭主动智能新范式

    1月8日至11日,海雀科技在阿里云通义千问智能硬件展上发布搭载AI大模型的海雀摄像头。该产品不仅是家用智能摄像头首次在设备端直接使用大模型,更标志着摄像头从被动记录工具向主动服务的AI伙伴转变。海雀摄像头能看、会听、会思考、会执行指令,深入家庭场景,为育儿家庭提供“全能陪聊搭子”与“安心守护者”,为有老人的家庭提供“可对话的养生助手”,并成为所有家庭的“智能管家”。通过千万用户数据,海雀精准切入需求,以“主动智能”引领行业,为AI硬件赛道提供了从技术堆砌到场景融合的参考范本。

  • 极光祝贺智谱成为全球首家大模型上市公司:继续以全球化消息与认证能力护航 AI 应用规模化

    极光祝贺智谱华章科技股份有限公司(简称“智谱”)在香港联交所主板上市,成为全球首家以通用人工智能(AGI)基座模型为核心业务的上市公司。智谱本次全球发行价为每股116.20港元,募集资金约43.5亿港元。极光表示,随着AI商业化加速,企业对高并发消息触达、身份认证等安全合规能力的需求持续提升。极光将继续通过全球化产品与交付能力,为包括智谱在内的众多AI企业提供用户增长与账号安全支持。

今日大家都在搜的词: