首页 > 业界 > 关键词  > Transformer架构最新资讯  > 正文

腾讯混元、英伟达都发混合架构模型,Mamba-Transformer要崛起吗?

2025-03-24 14:35 · 稿源: 机器之心公众号

在过去的一两年中,Transformer 架构不断面临来自新兴架构的挑战。在众多非 Transformer 架构中,Mamba 无疑是声量较大且后续发展较好的一个。然而,与最初发布时那种仿佛「水火不容」的局面不同,最近一段时间,这两种架构似乎正在走向融合。上周五,腾讯宣布推出自研深度思考模型

......

本文由站长之家合作伙伴自媒体作者“机器之心公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 华为云盘古预测大模型首创 Triplet Transformer 统一预训练架构

    6月20日,华为发布盘古大模型5.5,五大基础模型全面升级。该模型采用业界首创的Triplet+Transformer统一预训练架构,能跨行业处理表格数据、时间序列数据和图片数据,显著提升预测精度和泛化能力。已在水泥、钢铁、电解铝、供热等多个工业场景落地应用:海螺水泥实现熟料强度预测,宝武钢铁高炉出铁温度合格率超90%,云南铝业年省电2600万度,天津供热能耗降低10%。模型聚焦工业领域,通过工艺优化和系统寻优,助力企业降本增效,推动行业智能化转型。

  • 表情包自由!腾讯搜狗输入法联合腾讯混元 推出AI表情合成

    不用再为微信、QQ回消息而烦恼,目前毫秒级AI生成表情包已经实现。 近日,搜狗输入法版推出AI合成表情”和候选表情”两大功能,用AI技术提升用户社交沟通体验。 其中,AI合成表情”基于腾讯混元大模型技术,用户输入文字描述或表情描述,便可毫秒级生成个性化表情包。 候选表情”则是用户在输入常用文字时,候选区自动推荐高匹配度表情包,一键即可发送,告别手�

  • 微软定制 AI 芯片遭遇延期 为英伟达提供更多发展空间

    微软 Braga 芯片因研发挫折不断,无法在 2026 年前问世……

  • AI日报:腾讯混元3D 2.1大模型开源;字节跳动AI Lab负责人李航卸任;OpenAI Codex 全新升级

    本文介绍了AI领域最新动态:1)腾讯开源混元3D2.1大模型,提升3D生成质量;2)OpenAI Codex升级,优化代码生成功能;3)字节跳动AI Lab负责人李航卸任;4)微软发布700个AI应用案例;5)微软推出Code Researcher工具,解决58%系统崩溃问题;6)Observer AI实现屏幕操作自动化;7)Genspark发布AI浏览器;8)麻省理工用AI技术3.5小时修复15世纪名画;9)蚂蚁集团推出开源多模态GPT-4o模型Ming-Omni;10)MagicTryOn视频换衣框架;11)字节跳动发布实时互动AI视频生成模型Seaweed APT2;12)ChatGPT搜索功能升级;13)字节跳动与老凤祥合作开发AI智能眼镜。

  • 英伟达股价创新高 市值3.89万亿美元

    在7月4日美国独立日假期前的短暂交易日中,英伟达(NVDA.US)股价强劲上涨1.33%,盘中一度触及历史新高160.98美元,最终市值定格在3.89万亿美元,这一成绩不仅彰显了英伟达在资本市场的非凡实力,更标志着其成为全球科技产业的新标杆。

  • AI与量子科技融合浪潮来袭,英伟达/微美全息竞速抢抓量子计算战略机遇期

    湖南湘江新区正加速推动量子科技从实验室走向应用,量子产业初具规模。湖南长期深耕量子技术研发,推动量子科技实现从技术到产业的跨越。量子计算作为前沿技术,已在金融、医药等领域进入应用探索阶段。英伟达CEO黄仁勋预测量子计算将迎来拐点,未来几年可解决现实问题。微美全息等企业正构建量子计算生态,开发基于FPGA的数字量子协处理器,突破现有硬件局限。量子计算商用仍需10-20年发展,但已成为大国核心技术竞争领域,各国加大政策支持力度。量子科技发展将增强技术自主能力,是科技创新的重要里程碑。

  • 「6月27日AI日报」腾讯开源轻量级混元-A13B模型;可灵AI推“视频音效”功能

    AI日报主要内容: 1. 腾讯开源混元A13B模型,采用MoE架构,总参数量800亿,激活参数130亿,支持低端GPU部署 2. 可灵AI推出"视频音效"功能,实现所见即所听的沉浸体验 3. Black Forest开源图像编辑模型FLUX.1Kontext,支持消费级硬件运行 4. OpenAI发布Deep Research API新模型o3/o4-mini,支持自动化网页搜索和数据分析 5. 小米推出1999元起AI眼镜,集成拍摄、支付、音乐等功能 6. 迅雷推出下载MCP服务,一句话指令让AI自动完成下载任务 7. HeyGen推出AI视频Agent,几分钟内生成专业级视频内容 8. 谷歌开源端侧多模态大模型Gemma3n,手机也能运行云端AI性能

  • AI日报:夸克发布首个高考志愿大模型;Trae月活跃用户破100万;Manus推出免费无限聊天模式

    【AI日报】今日AI领域热点速览: 1. 夸克APP推出高考志愿大模型,免费提供个性化填报指导 2. Manus AI开放免费无限聊天模式,挑战行业巨头 3. Trae开发者平台月活破百万,累计交付60亿行代码 4. 迪士尼环球起诉Midjourney侵犯影视版权 5. 维基百科暂停AI生成摘要实验 6. 360发布"纳米AI超级搜索智能体",内置80多款大模型 7. PartCrafter项目实现单张图片生成高精度3D模型 8. Meta推出AI视频编辑工具,支持50多种预设效果 9. 阿里工程师放弃春节假期全力追赶DeepSeek技术 10. 火山引擎发布PromptPilot智能提示优化平台 11. OpenAI洽谈400亿美元融资,拓展AI生态系统 12. 新一代o3-pro推理模型发布并调整API定价策略

  • 小米史上最强大手机!小米16 Ultra Max型号首曝

    ,目前小米数字系列旗舰基本固定,以小米15系列为例,包括有小米15、小米15Pro、小米15Ultra。 这三个产品线算是小米数字系列的正统迭代。 S系列则是换芯小迭代,比如小米15S Pro就是各方面参数与小米15Pro保持一致,更换了玄戒O1芯片。 需要注意的是,最新爆料称小米16系列将新增两款机型:小米16Ultra Max、小米16S Ultra。

  • 小鹏G7 Ultra行业首发本地端VLA+VLM大模型 9月起推送上车

    小鹏G7 Ultra今日上市,行业首发本地端VLA VLM”大模型。 搭载了VLA大模型,也就拥有了主动思考、迅速决策能力。 在VLA大模型的加持下,小鹏G7能够解决多种行驶场景,如遇上拥堵路线不傻等,主动绕行最佳路线;途遇积水路面主动减速,安全涉水礼貌避让。