首页 > 业界 > 关键词  > Meta最新资讯  > 正文

突破算力限制!Meta开源“记忆层”,重塑Transformer架构大模型

2025-01-03 13:44 · 稿源: ​AIGC开放社区公众号

今天凌晨3点,全球社交巨头Meta分享了一个创新研究——Memory layers(记忆层)。目前,Transformer架构的预训练大模型在存储、查询数据时,随着参数的变大对算力的需求呈指数级增长。“记忆层”提出了新的高效查询机制替代了传统的查询方法,通过比较查询键与两个较小集合中的键,

......

本文由站长之家合作伙伴自媒体作者“​AIGC开放社区公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • Arm正在开发自家芯片:Meta被锁定为首批客户

    据报道,软银旗下Arm正加速推进从传统授权模式向自主芯片设计和制造的重大转型,预计最早在夏季亮相。新芯片将作为大型数据中心服务器的中央处理器平台,基于可定制化设计,能够满足包括Meta在内的多家客户的特定需求生产则可能外包给台积电等专业制造商。软银集团创始人孙正义在星际之门”计划中宣布,将携手OpenAI等合作伙伴,斥资高达5000亿美元构建AI基础设施Arm作为该宏伟蓝图中的关键技术伙伴,其转型无疑将为这一计划注入更为强劲的技术动力与创新活力。

  • Arm战略转型:自主研发芯片,Meta成首批客户

    上市半导体公司Arm今年将推出其首款自主研发的芯片,标志着该公司战略的重大转变。Arm主要由软银持有,此前一直专注于芯片设计授权,其客户包括苹果和Nvidia等科技巨头。Arm此举是否会引发半导体行业的新一轮竞争,以及其自主研发芯片的具体性能表现,都将成为业界关注的焦点。

  • Meta AI首席科学家杨立昆谈DeepSeek:不是中国AI超越美国 而是开源模型超越专有模型

    一夜间,DeepSeek在全世界科技界刷屏。图灵奖得主、主导MetaAI研究的首席科学家杨立昆认为,DeepSeek成功的最大收获并非中国竞争对其他国家带来更大威胁是AI开源的价值使任何人都能受益。DeepSeek-R1的发布极大震动了美国科技界,不仅因其性能上比肩OpenAIo1,且完全开源以极低的成本实现了这一突破。

  • CapCutTikTok停止服务:Meta火速推新应用抢市场!

    随着TikTok在美国的业务面临不确定性,字节跳动旗下的剪映国际版CapCut等多款应用日前也向美国用户推送了停止服务的通知。在此背景下Meta迅速出击,Instagram主管AdamMosseri宣布推出一款名为Edits的视频编辑应用,旨在填补CapCut下线后的市场空白。Edits将于2025年3月13日正式上线,目前已经在iOS应用商店开放预购,虽然Mosseri没有透露更多,但目的很明显是为了让人们记住这款应用程序。

  • 为训练AI不择手段!Meta被曝下载数十TB盗版电子书

    一名图书作者对Meta提起诉讼,指控该公司未经授权下载了大量盗版电子书,用于训练其AI模型。最新泄露的邮件显示,Meta承认下载了一个有争议的大型数据集LibGen,其中包括数千万本盗版书籍。但Meta仍决定继续,并试图通过将数据集下载到非Meta服务器来避免被追溯的风险。

  • 字节豆包团队推出稀疏模型架构UltraMem:推理成本可降83%

    据报道,字节跳动豆包大模型Foundation团队近日宣布了一项重要创新成果UltraMem稀疏模型架构。这一架构通过将计算和参数解耦,在保证模型效果的同时,有效解决了推理过程中的访存问题,为人工智能领域带来了新的突破。这一突破为构建规模达到数十亿value或expert的模型铺平了道路,预示着人工智能领域将迎来更加高效、经济的新发展模式。

  • 扎克伯格:开放源代码对Meta正确 人工智能将迎来重大一年

    据报道,在MetaPlatforms的分析师电话会议上,扎克伯格就DeepSeek项目发表言论时宣布,该项目将遵循全球性的开源标准。这一消息进一步坚定了Meta对于开放源代码战略的信心,尤其是近期围绕DeepSeek的新闻更加印证了这一选择的正确性。这是一个巨大的努力,将在未来几年推动我们的核心产品和业务,释放历史性的创新,并延续美国的技术领导地位。

  • DeepSeek吓坏美国硅谷!Meta连夜组建四个研究小组专门破解

    近一周,来自中国的深度求索全球爆红,尤其让美国硅谷极为震撼和恐慌。其最新发布的R1大模型不仅在性能上比肩甚至超越了OpenAI的o1,并完全开源,且以对手3%的超低成本实现了这一突破。扎克伯格还表示,中国正在全力冲刺,如果将来有一个开源模型能被全世界广泛使用,我们希望它是一个美国模型。

  • DeepSeek浪潮下Meta股价狂飙!豪取12连涨创历史新高

    令人没想到的是,Meta竟然成为了中国AI新势力DeepSeek引发全球浪潮下美股市场上的最大赢家”。Meta股价在周二收盘再度上涨1%,收报704.19美元,史上首次收盘站上700美元大关。CFRA研究公司分析师AngeloZino指出,Meta是七巨头”中唯一一家专注于开源模型的公司,这种模式有望加快人工智能产品的开发速度,并为Meta带来更快的投资回报。

  • 思看科技携手InnovMetric开启全球三维智造新纪元!

    2月17日,思看科技宣布与全球工业软件领军者InnovMetric正式达成全球战略合作伙伴关系。双方将结合三维测量硬件创新与软件生态的核心优势,为全球制造企业提供从数据采集、尺寸分析到质量控制的完整三维数字化解决方案,加速制造业智能化升级进程。InnovMetric在全球100多个国家/地区拥有超过23,000家客户,全球最大的工业制造企业均已采用其PolyWorks®解决方案作为标准3D测量软件平台。

热文

  • 3 天
  • 7天