首页 > 业界 > 关键词  > Transformer最新资讯  > 正文

谷歌更新Transformer架构,更节省计算资源!50%性能提升

2024-04-06 11:27 · 稿源: 量子位公众号

谷歌终于更新了Transformer架构。最新发布的Mixture-of-Depths(MoD),改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源,跳过一些不必要计算,显著提高训练效率和推理速度。结果显示,在等效计算量和训练时间上,MoD每次向前传播所需的计算量更小,而且后训练采

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: