首页 > 业界 > 关键词  > 字节跳动最新资讯  > 正文

字节豆包团队推出稀疏模型架构UltraMem:推理成本可降83%

2025-02-13 19:39 · 稿源: 快科技

突破性创新:字节跳动推出 UltraMem 稀疏模型架构

据报道,字节跳动 AI 研究团队最近取得了一项重大进展,发布了名为 UltraMem 的稀疏模型架构。

UltraMem 架构的独特性在于,它巧妙地分离了计算和参数。这种创新设计解决了长期困扰推理过程的访存问题,同时保持了模型的卓越性能。

该架构专为混合专家 (MoE) 模型而设计,MoE 模型在推理阶段经常面临高访存成本的挑战。UltraMem 通过其创新的设计,有效地解决了这一瓶颈。

实验结果表明,UltraMem 架构显著提升了推理速度,与传统的 MoE 架构相比,提升幅度高达 2 至 6 倍。此外,它还大幅降低了推理成本,最高可达 83%。

在具有 2000 万值的训练规模下,UltraMem 模型在同等级别的计算资源上实现了业界领先的推理速度和性能。这一突破为构建价值数十亿的模型铺平了道路,为人工智能领域开辟了更为高效和经济的发展模式。

举报

  • 相关推荐

今日大家都在搜的词:

热文

  • 3 天
  • 7天