首页 > 业界 > 关键词  > Transformer最新资讯  > 正文

谷歌更新Transformer架构,更节省计算资源!50%性能提升

2024-04-06 11:27 · 稿源: 量子位公众号

谷歌终于更新了Transformer架构。最新发布的Mixture-of-Depths(MoD),改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源,跳过一些不必要计算,显著提高训练效率和推理速度。结果显示,在等效计算量和训练时间上,MoD每次向前传播所需的计算量更小,而且后训练采

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 微美全息(WIMI.US)开发混合并行架构量子计算仿真框架,提升量子计算模拟效率

    量子计算作为前沿技术备受关注,有望解决传统计算难以企及的复杂问题。其独特计算能力引发全球广泛研究,已从理论层面发展为现实需求。虽然量子计算机仍处发展早期,需要昂贵基础设施,但通过经典计算机模拟量子计算来开发测试算法成为重要途径。微美全息(WIMI.US)致力于突破传统模拟方法的瓶颈,其研发的混合并行架构量子计算仿真模型,通过整合CPU和GPU资源,运用投影技术减少计算量,优化分布式计算分配,显著提升模拟效率和性能。该技术为量子算法开发提供强大工具,将加速量子计算技术突破,推动其在各领域的实际应用。

  • Trae国内版怎么用?Trae IDE 内置 MCP 市场配置使用指南

    字节跳动旗下Trae+IDE发布新版本,通过MCP协议实现AI智能体与外部工具的深度集成。MCP作为标准化桥梁,让开发者能灵活接入Supabase、FireCrawl等第三方服务,只需@符号即可调用智能体完成数据库操作、文档搜索等复杂任务。新版本内置MCP市场,支持Token快速配置,并演示了如何通过Figma+AI自动生成前端代码。该技术可应用于Blender建模、K8s管理等多元场景,显著提升开发效率。Trae+IDE将持续扩展工具生态,推动AI协作开发新时代。

  • 拉风!小米SU7 Ultra挖孔版交付:网友晒贴感谢雷军推进产能

    4月26日,小米SU7 Ultra挖孔版正式开启交付。北京一位车主成为首位交付用户,其购买的闪电黄配色车型引发关注。该车型标准版售价52.99万元,提供5款轮毂可选,包括免费低风阻轮毂和付费锻造轮毂等。此外还提供碳纤维双风道前舱盖(可选闪电黄、太空银)、全系碳纤维原色选装(4.2万元)、1.7㎡超大碳纤维车顶(2.5万元)等高端配置。多位已订车主表示,实车质感超出预期,认为50多万的售价物有所值。

  • 1/8成本比肩Claude 3.7,Mistral Medium 3来了

    欧洲AI公司Mistral发布多模态新模型Mistral Medium 3,主打编程和多模态理解能力,性能达Claude 3.7的90%但成本仅1/8(输入0.4美元/百万token)。该模型在编程和STEM任务表现突出,支持企业级定制部署,已上线多个云平台。同时推出企业聊天机器人服务Le Chat Enterprise,集成第三方工具。尽管因未开源权重引发争议,其高性价比仍获业界关注。公司透露正在开发更大规模模型。

  • 摩尔线程Linux显卡驱动v3.0.0发布:支持Wayland GPU渲染性能提升

    快科技5月1日消息,日前,摩尔线程发布Linux驱动程序v3.0.0,全面支持MTT S80和MTT X300显卡。作为v2.7.0RC4之后的重大升级版本,本次更新实现了多项关键技术突破。在架构层面,升级底层任务调度系统,优化内存管理并增强异常处理,使系统稳定性与负载运行效率均显著提升。同时,新增Wayland协议支持,将OpenGL升级至4.2版本,并扩展了内核版本支持范围。升级后的驱动架构在底层功能实现了多项突破:任务调度优化GPU的任务调度由驱动和固件协同完成,驱动负责管理任务队列、上下文切换和资源分配。v3.0.0版本在内核驱动层面的优化包括:低

  • 安兔兔4月安卓性能榜出炉:vivo X200 Ultra登顶榜首

    快科技5月1日消息,今日安兔兔公布了2025年4月安卓手机性能排行榜,vivo X200系列的三款旗舰手机,vivo X200 Ultra、vivo X200s和vivo X200 Pro,分别占据了排行榜的前三名,其中vivo X200 Ultra以2953489的平均分强势登顶,成为目前最受瞩目的顶级旗舰之一。vivo X200 Ultra搭载骁龙8至尊版处理器,依托3nm先进制程工艺,结合16GB 1TB的超大存储配置,强势问鼎安兔兔性能排行榜首。此外,vivo X200

  • 小米客服回应SU7 Ultra限制1500匹最大马力:为确保赛道新手安全

    快科技5月1日消息,据东方财经报道,多名网友表示小米SU7 Ultra更新Xiaomi HyperOS时,更新内容中有一条新增排位模式圈速考核,在指定赛道圈速达到官方建议成绩可解锁排位模式。”同时,网传的一份赛道解锁说明中,公布了全国各地8条赛道的解锁所需圈速。此事引起网友热议,有网友表示支持,小米SU7 Ultra的1500匹马力,绝非普通驾驶者能够驾驭,只有有一定赛事水平的驾驶员,才能吼得住这种马力”。但也有网友反对:我买小米SU7 Ultra就是冲着1500匹马力去的,结果现在给我限制了,买之前可以这样干,但现在突然限制,是不是也要给我退钱

  • 联想ThinkCentre neo Ultra 2025迷你机发布:RTX 5060/Ti桌面版、14999元起

    快科技4月29日消息,在日前的联想Think AI终端2025春季发布会上,联想正式推出了ThinkCentre neo Ultra 2025 AI元启版。这款迷你主机沿用了上一代的外观设计,体积为3.6升,配备了英特尔酷睿Ultra系列桌面处理器和NVIDIA RTX 5060/5060 Ti桌面版显卡。具体配置方面,ThinkCentre neo Ultra 2025目前公布售价的有两个版本:RTX 5060版本:配备英特尔酷睿Ultra 5处理器、32GB内存和1TB固态硬盘,售价为14999元。RTX 5060 Ti版本:配备英特尔酷睿Ultra 7处理器、32GB内存和1TB固态硬盘,售价为19999元。还有英特尔酷睿Ultra 7处理器 RTX 5060

  • 英特尔发布第二代AI增强SDV SoC:车企自由度更高 AI性能提升10倍

    快科技4月23日消息,上海车展今日开幕,英特尔在车展上发布第二代英特尔AI增强软件定义汽车(SDV)SoC。该SoC率先在汽车行业推出基于芯粒架构的设计,进一步扩展了英特尔在智能座舱领域的创新产品组合。英特尔希望借助第二代AI增强SDV SoC塑造汽车计算的未来。”英特尔院士、英特尔公司副总裁、汽车事业部总经理Jack Weast说。据介绍,英特尔第二代AI增强 SDV SoC允许汽车厂商根据自身需求定制计算、图形和AI功能,降低开发成本,缩短上市时间。通过为每个功能模块匹配性能出色且合适的芯片。相比上代,生成式和多模态AI性能最高可提升10?

  • vivo X200 Ultra摄影师套装版售罄!韩伯啸:组装难度极大 加紧提升产能

    vivo发布X200 Ultra新机,售价6499元起。其16GB+1TB摄影套装首批供应有限,很快售罄。产品经理表示,由于高精度需求和组装难度大,该套装实际供应受限,建议先行购买单机版本。此外,该机配备蔡司定制2.35x长焦镜头、专业摄影手柄等外设,采用开普勒结构三组13片高透玻璃镜片,实现200mm光学变焦,二次RMSC点位800mm(35x)可用,1600mm(70x)效果同原生30x。

热文

  • 3 天
  • 7天