首页 > 业界 > 关键词  > LLM最新资讯  > 正文

中国科学院团队首篇LLM模型压缩综述:细聊剪枝、知识蒸馏、量化技术

2023-08-27 10:56 · 稿源: 机器之心公众号

随着 LLM 的突破性工作逐渐放缓,对于如何让更多人使用 LLM 成为时下热门的研究方向,模型压缩可能是 LLM 未来的一个出路。此前 OpenAI 首席科学家 Ilya Sutskever 表示可以通过压缩的视角来看待无监督学习。本文首次总结了关于 LLM 的四种模型压缩方法,并提出了未来进一步研究的

......

本文由站长之家合作伙伴自媒体作者“机器之心公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 对标斯坦福!曹德旺:福耀科技大学将是中国科学家摇篮

    今年2月,由玻璃大王”、福耀集团董事长曹德旺捐100亿设立的福建福耀科技大学正式获批,并宣布王树国任校长。日前,曹德旺、王树国在《对话》节目中回应了为什么要建立大学?学校已初步荟聚了一支高水平国际化的师资队伍,包括海内外院士15人,全球前2%顶尖科学家56人,国家级高层次人才80人,具有境外教育背景或教科研经历教师占比71.2%。

  • 支报名团队探秘:《武侠世界AI》加入“数龙杯”

    “数龙杯”的第一个参赛者来了!在4月2日“数龙杯”全球AI游戏及应用创新大赛正式启动后,来自中国广州的“四方格团队”即投递了作品,成为首支报名成功的开发团队。大赛主办方也将继续跟踪报道各类创新团队,为他们创造更多的亮相机会,以此推动更多的创新项目与广大用户见面。

  • 英氏携手金靖:解锁科学养娃,轻松做“chill妈”

    文章讲述了新手妈妈在育儿过程中遇到的喂养难题,以及英氏和金靖合作提出的科学喂养解决方案。核心在于"分阶喂养"理念,将6个月至3岁宝宝划分为5个阶段,根据不同发育阶段的营养需求和感知能力变化,提供针对性辅食支持。通过养花、养鱼等生活类比,生动阐释了抓住宝宝发育黄金期、循序渐进补充营养的重要性。英氏分阶辅食从1阶米粉到5阶辅食,逐步满足宝宝成长需求,帮助妈妈们实现轻松育儿。

  • “大飞船”正式启航!深圳科学技术馆开馆首日人气火爆

    5月1日,深圳新地标"大飞船"——深圳科学技术馆正式开馆。该馆以"数字文明、创新未来"为主题,聚焦通信科技主线,设有常设展区、科普影院区、创新实践区等多个功能区。馆内展出950个创新展项,涵盖智慧产业、宇宙探索等前沿科技领域。开馆首日人气爆棚,吸引众多家长带孩子前来体验。五一假期期间推出特惠票价,普通票25元/人。该馆位于光明科学城核心区,总建筑面积12.83万平方米,造型独特如飞船,致力于打造具有全球影响力的世界一流科学探索中心。

  • 英氏携手中国营养学会开启科学喂养新纪元

    4月18日,中国营养学会与英氏控股集团在浏阳经开区共同举办"婴幼儿辅食科学5阶喂养标准体系化建设暨深度科研启动仪式"。活动聚焦婴幼儿辅食行业标准化发展,推出"科学5阶精准喂养体系",针对不同发育阶段婴幼儿营养需求进行精准划分。英氏与江南大学、湖南省农科院签署战略协议,共建"婴童未来食品实验室"和"婴幼儿辅食与营养产业发展研究院",推动产学研深度融合。英氏投资建设的婴幼儿营养与健康科学产业基地一期已在浏阳建成投产,致力于全生命周期营养产品研发。专家指出,科学喂养直接影响婴幼儿成长发育,行业标准实施将规范市场秩序,提升国民婴幼儿营养健康水平。

  • 联想直营体系赋能技术平权!来酷科技首发大模型极简部署方案

    近日,联想集团旗下智慧零售与智能制造企业来酷科技,运营的全国联想直营店正式推出“DeepSeek R1 模型本地部署服务”。作为联想集团面向终端消费者的直营零售与直营服务窗口,来酷科技以 129 元普惠价面向全网开售该服务,通过“智能识别PC配置+一键轻松安装”的极简方式,将前沿AI大语言模型轻量化部署至本地计算机,实现从“云端依赖”到“端侧自主”的跨越。这不�

  • 国产系统拿下重要荣誉!银河麒麟V10获天津科学技术进步特等奖

    快科技5月1日消息,日前麒麟软件宣布,其牵头完成的新一代银河麒麟操作系统V10”项目,获得2024年度天津市科学技术进步特等奖,并称这是麒麟软件在科技创新领域获得的又一重要荣誉。麒麟软件表示,为满足国家信息技术应用创新产业对国产操作系统性能提升和生态建设方面的迫切需求,麒麟软件牵头开展了新一代银河麒麟操作系统V10”项目。目前具备AI能力的银河麒麟桌面操作系统V10 SP1已正式上市,这一系统突破了移固融合的软件应用生态构建、国产CPU架构兼容与性能优化等关键技术。提出了多形态可信根的双体系安全可信架构、创建了桌面和移

  • 中国智力持续发力,智象未来开源模型再获国际认可

    国内AI企业智象未来研发的开源图像生成模型HiDream-I1近日取得重要突破:该模型凭借17B参数规模,在图像真实感、细节处理及指令响应能力上超越行业标杆,多项评测指标超过GPT-4o与Flux1.1。继登顶AI基准测试平台Artificial Analysis、获Hugging Face收录后,该模型正式被谷歌技术生态体系收录,成为首个登顶该平台榜首的中国自研开源模型。其24小时内登顶的纪录,被视为中国AI技术全球竞争力的重要里程碑。谷歌的收录将推动HiDream-I1触达全球开发者,助力开源生态共建进入新发展阶段。

  • 苦等一年 Meta终于放大招 正式发布开源大模型Llama 4

    美国科技巨擘Meta重磅推出其迄今最为强大的开源AI模型Llama4,恰逢Llama3上市一周年之际。Llama4系列采用了先进的混合专家架构,这一架构在模型训练及用户查询回答过程中展现出更高效率,通过将模型划分为多个专注于特定任务的专家”子模型,实现精准高效的处理。Meta首席执行官扎克伯格表示:他们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。

  • Llama 4大模型跌落神坛:作弊刷榜、代码能力极差、和DeepSeek比就是伪开源

    被寄予厚望的美国Meta公司的最新开源大模型Llama4发布不到2天时间,口碑急转直下,被质疑为刷榜作弊实际效果差、开源条件多部署门槛高是伪开源等。大模型评测平台LMArena亲自下场发文,打脸Meta提供给平台的Llama4是“特供版”。Meta若继续在商业控制与技术开放之间摇摆,恐将在AI竞赛中进一步失去开发者支持。

热文

  • 3 天
  • 7天