首页 > 业界 > 关键词  > Transformer最新资讯  > 正文

智能的本质就是压缩?马毅团队5年心血提出「白盒」Transformer, 打开LLM黑盒!

2023-11-27 13:41 · 稿源:​新智元公众号

【新智元导读】来自UC伯克利,港大等机构的研究人员,开创性地提出了一种「白盒」Transformer结构——CRATE。他们通过将数据从高维度分布压缩到低维结构分布,实现有效的表征,从而进一步实现了有竞争力的模型性能。这也引发了一个更为深远的讨论——难道智能的本质就是压缩吗?AI

......

本文由站长之家合作伙伴自媒体作者“​新智元公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 曝联想自研芯片团队负责人已离职!此前曾在华为超5年

    快科技4月22日消息,据媒体报道,联想集团全资子公司鼎道智芯(上海)半导体有限公司的总经理史公正已经离职,该公司经营范围包括集成电路设计,被外界视为联想自研芯片的团队。史公正曾在华为工作超过5年,还曾在OPPO和大唐电信旗下联芯科技任职,曾担任OPPO自研芯片子公司哲库的首席SoC架构师。2021年初加入联想,后来成为联想自研芯片团队负责人,2022年1月,鼎道智芯成立,史公正担任总经理。联想官方暂未公开回应这一消息,但企查查上的人员变动信息,一定程度上说明网传消息并非空穴来风。根据企查查信息,鼎道智芯在4月10日发生了?

  • Trae国内版怎么用?Trae IDE 内置 MCP 市场配置使用指南

    字节跳动旗下Trae+IDE发布新版本,通过MCP协议实现AI智能体与外部工具的深度集成。MCP作为标准化桥梁,让开发者能灵活接入Supabase、FireCrawl等第三方服务,只需@符号即可调用智能体完成数据库操作、文档搜索等复杂任务。新版本内置MCP市场,支持Token快速配置,并演示了如何通过Figma+AI自动生成前端代码。该技术可应用于Blender建模、K8s管理等多元场景,显著提升开发效率。Trae+IDE将持续扩展工具生态,推动AI协作开发新时代。

  • 20万级SUV新标杆?问界新M5 Ultra颜值与智能双杀

    2025年上海车展上,问界新M5 Ultra凭借超高颜值和卓越性能成为焦点。该车搭载HUAWEI ADS 3.3高阶智驾系统,配备192线激光雷达等先进感知硬件,实现类人驾驶决策。新增零度白和幻影紫配色满足年轻审美,内饰采用萌宠主题增添趣味。性能方面采用全铝合金底盘,增程版综合续航达1440km。22.98万元起的亲民售价配合最高3.08万元购车权益,重新定义了高品质出行标准,成为年轻消费者探索未来出行方式的理想之选。

  • 努比亚Z70S Ultra摄影师版官宣:今年唯一真全面屏Ultra

    快科技4月18日消息,今天,努比亚宣布努比亚AI双旗舰新品发布会将于4月28日举行,努比亚Z70S Ultra摄影师版和努比亚首款神秘新品将同时亮相。本次发布会的重头戏是努比亚Z70S Ultra摄影师版,对比其它Ultra机型,Z70S Ultra摄影师版采用1.5K真全面屏形态,是今年唯一一款真全面屏Ultra。据悉,这块屏幕采用全屏蓝钻排列,通过FIAA极致压缩走线技术实现超高屏占比,加上内置UDC Ultra

  • 卢伟冰:小米15 Ultra销量稳定 跟上代比增长很大

    今晚,小米手机部总裁卢伟冰发文称:小米15Ultra平销期销量比较稳定,跟上代比增长很大,感谢大家对产品的认可。”卢伟冰还转发了数码博主的第13周高端手机销量榜单,其中在4千-5千价位,小米拿下第一名。卢伟冰一个月前曾表示,小米15Ultra在中国市场的平销期表现异常出色,销量约为上一代的两倍在海外市场也呈现出了同样的增长势头。

  • 苦等一 Meta终于放大招 正式发布开源大模型Llama 4

    美国科技巨擘Meta重磅推出其迄今最为强大的开源AI模型Llama4,恰逢Llama3上市一周年之际。Llama4系列采用了先进的混合专家架构,这一架构在模型训练及用户查询回答过程中展现出更高效率,通过将模型划分为多个专注于特定任务的专家”子模型,实现精准高效的处理。Meta首席执行官扎克伯格表示:他们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。

  • 开问界新M5 Ultra奔赴春日之约,智享踏青新体验

    文章介绍了问界新M5 Ultra智能SUV如何重新定义年轻人的春游方式。该车搭载华为ADS 3.3高阶智驾系统,配备192线激光雷达和4D毫米波雷达,实现精准环境感知。智能泊车辅助功能让停车更轻松,遥控泊车功能解决狭窄车位难题。车辆采用全铝合金底盘和四球节双叉臂前悬架,操控精准,刹车平顺性提升95%。综合续航最高达1440km,适合长途春游。车身采用60%高强度钢打造,配备AEB防碰撞和eAES紧急转向功能,保障出行安全。车内27处收纳空间设计,解决储物焦虑。起售价22.98万元,目前可享最高3.08万元购车权益。

  • 成龙近5年微博基本都是悼念:好友一个个离去

    4月7日是成龙71岁生日,网友纷纷在评论区打卡送祝福。有网友发现,成龙近五年来所发微博基本上都是悼念身边的好友,相关话题冲上微博热搜。上个世纪80年代,理查德诺顿曾与成龙合作《夏日福星》、《城市猎人》和《一个好人》,他也和洪金宝合作电影《富贵列车》、《夏日福星》和《魔翡翠》等等。

  • 这波优惠太香了!蔚来推“5年免费换电”+5年0息限时购车政策

    快科技4月4日消息,今日,蔚来宣布,即日起至4月30日期间,用户支付定金购买蔚来ET5、ET5T、ES6、EC6、ET7、EC7、ES8车型,可获赠240张免费换电券(换电券5年有效)。新政策可与现有5年0息金融方案,最高10,000元换电车型专享补贴,以及3年NOP 免费使用权(价值13,680元)同享。此外,以旧换新用户还可享受最高15,000元汽车以旧换新补贴,以及各地消费补贴(以各地公布实施细则为准)。值得一提的是,在2025 年 3 月,蔚来公司交付新车 15,039台,同比增长 26.7%。其中,蔚来品牌交付新车 10,219台;乐道品牌交付新车 4,820台。

  • 最有诚意的Ultra!努比亚Z70S Ultra摄影师版外观公布:真全面屏形态 同档罕见

    快科技4月18日消息,努比亚宣布,努比亚Z70S Ultra摄影师版将于4月28日正式发布,倪飞称这是今年最有诚意的Ultra。根据官方公布的外观,努比亚Z70S Ultra摄影师版后壳采用了原生复古经典相机设计元素,相机模组通过一条富有动感的分割线一分为二,上方是全新35mm大底主摄,下方是潜望长焦以及超广角。与此同时,影像模组右上角延续了经典相机的红圈设计,Neovision图章致敬专