11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
6月20日,华为发布盘古大模型5.5,五大基础模型全面升级。该模型采用业界首创的Triplet+Transformer统一预训练架构,能跨行业处理表格数据、时间序列数据和图片数据,显著提升预测精度和泛化能力。已在水泥、钢铁、电解铝、供热等多个工业场景落地应用:海螺水泥实现熟料强度预测,宝武钢铁高炉出铁温度合格率超90%,云南铝业年省电2600万度,天津供热能耗降低10%。模型聚焦工业领域,通过工艺优化和系统寻优,助力企业降本增效,推动行业智能化转型。
欧洲AI公司Mistral发布多模态新模型Mistral Medium 3,主打编程和多模态理解能力,性能达Claude 3.7的90%但成本仅1/8(输入0.4美元/百万token)。该模型在编程和STEM任务表现突出,支持企业级定制部署,已上线多个云平台。同时推出企业聊天机器人服务Le Chat Enterprise,集成第三方工具。尽管因未开源权重引发争议,其高性价比仍获业界关注。公司透露正在开发更大规模模型。
在过去的一两年中,Transformer架构不断面临来自新兴架构的挑战。在众多非Transformer架构中,Mamba无疑是声量较大且后续发展较好的一个。通过合理的设计,Transformer强大的性能可以与Mamba在长上下文和效率上的优势整合到一起,为大型语言模型和大型多模态模型带来新的可能性。
“MoE”加上“前所未有大规模投入生产环境的LightningAttention”,再加上“从框架到CUDA层面的如软件和工程重构”,会得到什么?一个追平了顶级模型能力、且把上下文长度提升到400万token级别的新模型。这显然是巨大的野心,但在如今人们都在关注大模型接下来往哪儿走的时候,非常需要这样的野心,非常需要一个或者更多个“Transformer时刻”——在一个自己相信的路线上做到极致,把看似所有人都知道的配方,最终兑现出来,展示给技术社区里的人们,让它变成某个决定性的时刻,给AI的前进再添把火。
今天凌晨3点,全球社交巨头Meta分享了一个创新研究——Memorylayers。Transformer架构的预训练大模型在存储、查询数据时,随着参数的变大对算力的需求呈指数级增长。这样的设计既简化了维护流程,又提高了系统的灵活性和适应性。
上海岩芯数智人工智能科技有限公司的Yan架构大模型成功通过《生成式人工智能服务管理暂行办法》备案,这是国内首个非Transformer架构大模型通过备案。Yan模型简介Yan架构大模型是国内首个非Transformer架构、非Attention机制的大模型。Yan架构大模型的备案通过是RockAI践行使命的重要里程碑,未来,我们期待Yan架构大模型在更多设备单元部署应用,让群体智能引领走向通用人工智能,与合作伙伴一起,领先一步开拓更加广阔的市场空间。
【新智元导读】LLM训练速度还可以再飙升20倍!英伟达团队祭出全新架构归一化Transformer,上下文越长,训练速度越快能维持原有精度。AI的未来,或许就此改写......最近,英伟达团队抛出的一枚重磅炸弹,提出了全新神经网络架构——归一化Transformer,基于超球面进行表示学习。下图6展示了,注意力模块和MLP模块的特征学习率,应用于MLP中间状态的缩放因子,应用于QK点积之前�
训练Transformer,用来解决132年的数学世纪难题!如何判断一个动力系统是否稳定?Meta和巴黎理工学院团队携手提出SymbolicTransformer,直指这一经典难题的核心:发现新的全局李雅普诺夫函数。从牛顿、拉格朗日到庞加莱,无数科学家倾力研究三体问题的长期稳定性,却始终无法给出一个通用的判定方法。作者巴黎师范教授AmauryHayat表示,几年前刚开始这个项目时,作为一个年轻天真�
就在不久前,联发科震撼发布首款旗舰5G智能体AI芯片天玑9400,这就是数码圈期待已久的天玑第二代全大核SoC,是天玑5周年的匠心之作。天玑9400延续了“高智能、高性能、高能效、低功耗”的基因级特性,拿下芯片综合性能性能第一拿下了安卓CPU性能第一、GPU性能第一、NPU性能第一的大满贯。天玑9400的首发终端vivoX200系列将在10月14日正式发布,一起期待新一代旗舰芯皇带来的惊喜体验!
【新智元导读】随着诺贝尔物理学奖颁给了「机器学习之父」GeoffreyHinton,另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构DifferentialTransformer,从注意力模块入手,实现了Transformer的核心能力提升。随着近些年来NLP领域研究的不断深入,我们逐渐发现,Transformer架构中出现的幻觉问题,以及各种下游任务中的性能不足,都或多或少与注意力缺陷有关。他的研究兴趣是大语言模型的骨干网络、长序列的建模和推理,以及大语言模型在其他领域的应用。