首页 > 业界 > 关键词  > Transformer最新资讯  > 正文

智能的本质就是压缩?马毅团队5年心血提出「白盒」Transformer, 打开LLM黑盒!

2023-11-27 13:41 · 稿源:​新智元公众号

【新智元导读】来自UC伯克利,港大等机构的研究人员,开创性地提出了一种「白盒」Transformer结构——CRATE。他们通过将数据从高维度分布压缩到低维结构分布,实现有效的表征,从而进一步实现了有竞争力的模型性能。这也引发了一个更为深远的讨论——难道智能的本质就是压缩吗?AI

......

本文由站长之家合作伙伴自媒体作者“​新智元公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 华为云盘古预测大模型首创 Triplet Transformer 统一预训练架构

    6月20日,华为发布盘古大模型5.5,五大基础模型全面升级。该模型采用业界首创的Triplet+Transformer统一预训练架构,能跨行业处理表格数据、时间序列数据和图片数据,显著提升预测精度和泛化能力。已在水泥、钢铁、电解铝、供热等多个工业场景落地应用:海螺水泥实现熟料强度预测,宝武钢铁高炉出铁温度合格率超90%,云南铝业年省电2600万度,天津供热能耗降低10%。模型聚焦工业领域,通过工艺优化和系统寻优,助力企业降本增效,推动行业智能化转型。

  • 华为Pura 80 Ultra首发最强潜望长焦 博主:2025年没有超越者

    华为Pura 80 Ultra的1英寸主摄和1/1.28英寸双焦段潜望镜都是自主可控,传感器和模组全链路采用国产方案,有自己的核心技术,尤其是这颗1/1.28英寸RYYB超大底潜望镜,确定2025年不会有比它底更大的方案出现。 据悉,华为Pura 80 Ultra首创超大底一镜双目长焦镜头,将3.7x中长焦镜头与9.4x超长焦镜头光学焦段合一,让两颗镜头共用同一颗1/1.28英寸主摄级超大底传感器,实现超大底和�

  • iQOO 15 Ultra首曝:首款骁龙8 Elite 2 Ultra旗舰

    iQOO将于年底推出iQOO 15系列旗舰手机,包含标准版和Ultra版。iQOO 15 Ultra将采用2K LIPO直屏,首批搭载骁龙8 Elite 2平台,配备潜望长焦镜头,支持无线充电和IP68防尘防水。相比上代,Ultra版回归直屏设计,新增主动散热风扇和潜望长焦,影像和性能大幅提升。采用全新LIPO封装工艺,通过优化显示驱动芯片和电路布局,大幅收窄边框。LIPO技术采用高密度连接设计,减少信号传输通道数量和长度,在保证信号稳定性的同时缩小边框宽度。iQOO 15 Pro预计10月亮相,将成为行业首款骁龙8 Elite 2 Ultra旗舰机型。

  • 年轻人的第 一台智能SUV该怎么选?问界新M5 Ultra给出了满分答案

    问界新M5 Ultra定位20万级智能SUV,完美契合年轻用户多元需求:1)搭载华为ADS高阶智能驾驶系统,配备192线激光雷达和4D毫米波雷达,实现全场景智能泊车和精准跟车功能;2)采用全铝合金底盘+前四球头双叉臂+后多连杆独立悬架,兼顾运动操控与舒适性;3)新增幻影紫/零度白两款高颜值配色,运用豪车级3C2B涂装工艺;4)售价22.98万起,限时享2.7万购车权益。该车以"智能科技+驾控乐趣"为核心,重新定义了20万级智能SUV的价值标杆。

  • 牛客×Moka达成AI面试深度对接!5年合作沉淀打造智能招聘闭环

    Moka与牛客网完成AI面试产品深度对接,实现从简历筛选到面试评估的全流程智能化。此次升级打通了简历自动推送、智能出题、风险点追问、优势技能挖掘等核心功能,HR可在Moka系统内一键发起AI面试,实现跨平台数据实时同步。双方五年合作基础深厚,此次打通"笔试-面试"全流程,大幅提升招聘效率与候选人体验。Moka作为一体化HR SaaS平台,牛客依托AI招聘技术优势,共同打造"AI+全流程招聘"创新方案,助力企业在激烈人才竞争中精准锁定优质人才,加速招聘数字化升级。

  • AI竞争关键在于“数据竞赛”, 星环科技AI-Ready Data Platform成破局密钥

    文章探讨了大模型技术红利窗口正在收窄的行业现状。随着Transformer架构主导的算法同质化,模型性能差异从技术代差演变为工程优化。同时指出企业80%非结构化数据仍处于沉睡状态,包括设备日志、工艺文档等数据金矿未被有效开采。在此背景下,企业AI能力建设重心正从"模型军备竞赛"转向"数据基建深耕"。 星环科技发布的AI-Ready Data Platform通过架构革命、治理跃迁与工具链进化三个维度的创新,构建从数据沉淀到AI落地的全栈数据能力。该平台实现了11种模型数据的统一存储管理,并凭借实时湖仓集技术构建端到端秒级分析体系。在金融和制造业的实践中,该平台显著提升了数据处理效率和决策响应速度,验证了数据基础设施重构的商业价值。

  • Salesforce 以 80 亿美元收购数据公司 Informatica

    彼时,Informatica 否认正寻求出售,但一年时间已足以让局势发生巨大变化……

  • 高考后学车潮来临!智能SUV问界新M5 Ultra成年轻人购车优选

    文章介绍了问界新M5 Ultra作为年轻群体购车首选,重点突出其智能安全特性。该车搭载华为ADS智能驾驶系统高阶版,配备192线激光雷达和4D毫米波雷达,具备全向防碰撞系统CAS3.0,能在复杂路况下及时预警制动。同时支持APA智能泊车辅助、RPA遥控泊车等功能,解决新手停车难题。数据显示其4月NPS超90%,女性用户占比超45%,获2024年纯电动中型SUV用户满意度第一。目前售价22.98万元起,限时享最高27000元购车权益,月销超5000台,累计交付破万。

  • 喜临门:入选2025年浙江省首批先进级智能工厂

    浙江省经济和信息化厅公布2025年浙江省先进级智能工厂(第一批)名单,喜临门离散型制造业5G+智能工厂成功入选,彰显其在智能制造领域的领先实力。该工厂通过数字化改造,实现生产全流程智能化管控,生产效率提升40%,产品合格率提高9%,人工成本降低25%。喜临门还打造了家居行业首个5G工业互联网平台,颠覆传统制造模式,推动产业链整体升级。企业近十年累计研发投

  • 创新驱动旗舰进化 三星Galaxy S25 Ultra获评亚洲最佳智能手机奖

    2025年6月19日,三星Galaxy S25 Ultra在MWC上海亚洲移动大奖(AMOs)上荣获"亚洲最佳智能手机奖"。该奖项由GSMA设立,评委会从设计、性能、AI体验等多维度评选。S25 Ultra凭借Galaxy AI智能交互、专业影像系统和可持续设计获得认可,展现了三星在高端手机领域的技术实力。作为亚洲最具影响力的移动科技盛会,2025 MWC上海汇聚了全球数百家企业,共同探讨未来科技发展趋势。这是三星旗舰手机连续多届获此殊荣,彰显了其在智能手机创新方面的领导地位。