首页 > 业界 > 关键词  > 正文

华为提出全新压缩算法:节省70%内存占用

2025-01-24 21:31 · 稿源: 快科技

华为AI算法团队在人工智能领域取得重大进展,成功开发出创新的大模型KV Cache压缩算法“RazorAttention”。

该算法表现出色,可节省高达70%的大模型推理内存占用,为AI大模型的高效运行奠定基础。

RazorAttention算法已发表论文,并被国际顶级深度学习会议ICLR 2025收录。华为指出,该算法是业界首次基于Attention可解释性开发的离线静态KV Cache压缩算法。

通过检索头机制,RazorAttention算法确保上下文中的关键信息不丢失,实现了高精度(误差低于1%)和高效压缩。其压缩率可达70%,显著降低了AI大模型推理成本。

目前,RazorAttention算法已集成至昇腾MindIE/MindStudio产品中,支持主流8K~1M长序列KV Cache压缩,并可在32K以上场景中提升20%的吞吐量。

举报

  • 相关推荐
  • 沃尔沃全新XC70:过硬质量加持,上市获市场认可,订单销量十分可观

    沃尔沃全新XC70豪华超混SUV正式上市,推出4款配置,限时参考价26.99万元起,并提供五重惊喜礼。新车搭载1.5T混动系统,支持7种工作模式,纯电续航超200km,综合续航达1200km,百公里加速5.28秒。智能方面配备三屏互联、NPA领航辅助及21项安全功能,融合北欧设计美学与豪华体验,旨在以全能实力开启豪华超混新篇章,满足用户多元出行需求。

  • 小米17全系搭载全新M10屏幕发光技术

    小米17系列手机于9月23日正式发布,全系标配全新M10屏幕发光技术,采用国产新型红色发光材料,发光效率高达82.1cd/A,直逼行业最高水平。设计上采用超椭圆R角设计,边框窄至1.18mm,视觉震撼。标准版配备6.3英寸小尺寸直屏,重量仅191g,单手操作无压力。Pro和Pro+创新引入“妙享背屏”,支持自定义显示内容及自拍预览,提升便捷性与趣味性。核心配置首发骁龙8 Elite Gen5平台,安兔兔跑分突破400万,性能强劲。小米总裁卢伟冰透露背屏研发成本高达10亿元,彰显技术投入决心。

  • 华为Mate 70优享版首次现身!10月发布、3K+价位段

    数码博主爆料华为10月将推两款新机,代号SuperMan和Taylor。其中SuperMan预计为Mate70优享版,定价3000元+,可能搭载降频版麒麟芯片。性能方面,Mate70 Pro对比前代提升40%,优享版提升35%,但日常使用差异不明显。屏幕、影像、快充等配置与标准版一致,出厂预装鸿蒙5系统,将进一步推动该系统装机量。

  • 续科天下发布全新XUKE TECH产品体系,为AI时代构建可靠数据基石

    续科天下发布XUKE TECH完整AI数据处理系统,推出Base、Embed、Vault三款核心产品,解决企业AI化过程中的非结构化数据处理难题。该系统能统一处理多模态数据,通过向量化转换和安全存储管理,形成端到端解决方案,帮助企业将70%的数据预处理精力转向模型开发,显著缩短AI项目上线周期,已在金融、互联网等领域验证实效。

  • 全新问界M7正式上市:24小时大定破4万

    全新问界M7于9月25日正式上市,迅速引发市场热潮。上市仅5分钟大定订单突破1万台,1小时内飙升至3万台,24小时后总量超4万台,预售19天累计订单达23万辆,显示极高市场热度。新车推出增程和纯电两种动力版本,各含三款车型,售价区间分别为27.98-35.98万元和31.98-37.98万元。设计上采用家族鲲鹏语言,尺寸为5080×1999×1780mm,轴距3030mm,相比现款加长210mm,空间更宽敞。舒适性方面首次提供主驾零重力座椅、舒云座椅及三排一键放平功能,提升乘坐体验。新车凭借高颜值、大空间及丰富配置,满足多样化需求。

  • 27.98万起售 一天狂揽4万大定!全新问界M7正式开启交付

    全新一代问界M7今日开启交付,赛力斯汽车董事长张兴海等公司高管出席交付仪式。 该车于本月23日上市,27.98万起售,顶配更是高达37.98万,虽然价格不算低,但还是吸引了非常多的下定,24小时就突破了4万台! 全新一代问界M7采用了家族化的鲲鹏展翼设计语言,相较于M9和M8更为年轻化,提供多达6种车漆,还可选装黑曜套件,进一步强化运动感。 新车尺寸并不小,长宽高�

  • YY直播麦絮短剧推出全新栏目《短剧上麦絮》 持续探索直播+短剧新模式

    YY直播旗下短剧厂牌麦序推出全新直播栏目《短剧上麦序》,每期邀请短剧演员与粉丝互动,分享才艺及拍摄趣闻。9月底起,《睡神学霸》《高冷学长是醋精》等新剧主演将陆续做客直播间。该栏目是直播+短剧模式的重要探索,旨在通过演员互动深化内容传播,未来将邀请更多行业人士参与,推动短剧与直播深度融合。

  • 全新问界M7首发舱内激光视觉辅助驾驶:远超行业常规视觉能力

    9月23日晚,华为发布全新问界M7,提供两个版本智驾系统。高阶版配备舱外192线激光雷达,舱内激光雷达视觉辅助驾驶版为行业首创,结合摄像头实现视觉ADS增强功能,支持高速及快速路智能领航、紧急转向辅助、异形障碍物自动刹车等。余承东表示,华为舱内激光雷达视觉辅助驾驶能力远超行业纯视觉方案。高阶版智驾系统配备前后激光雷达及4D毫米波雷达,拥有全维防撞4.0功能,具备全方位、全目标、全天气和全场景防撞能力。

  • 全新问界M7小订破22万:将于明晚上市 公布价格

    全新问界M7将于9月22日晚正式上市,小订量已突破22万辆。新车提供增程与纯电两种动力版本,分为Pro、Max、Ultra三款车型,并有五座和六座可选。增程版售价28.8万-36.8万元,纯电版售价32.8万-38.8万元。全系标配华为乾崑ADS 4智能驾驶系统,Pro版首发搭载舱内激光视觉技术。动力方面,增程版综合最大功率达392kW,纯电版提供后驱和四驱选择,续航最长可达1625公里。值得注意的是,申报信息显示增程版将有后驱车型,但此次未推出,引发市场猜测未来或有更多车型布局。

  • 声启未来新章 BANG & OLUFSEN 铂傲 推出全新Beo grace耳机

    Bang & Olufsen推出全新无线耳机Beo Grace,融合纤薄铝制机身与卓越音质,体现品牌对声学创新与永恒设计的追求。耳机灵感源自高级珠宝,采用标志性抛光铝材打造,支持杜比全景声与自适应主动降噪技术,降噪效果较前代提升四倍。配备12毫米钛金属驱动单元,续航达4.5小时(搭配充电盒可达17小时),具备IP57防水防尘。通过NearTap™手势操控与定制电池管理系统,兼顾便捷使用与长效耐用,开启可佩戴声学新纪元。

今日大家都在搜的词: