11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
在过去的一两年中,Transformer架构不断面临来自新兴架构的挑战。在众多非Transformer架构中,Mamba无疑是声量较大且后续发展较好的一个。通过合理的设计,Transformer强大的性能可以与Mamba在长上下文和效率上的优势整合到一起,为大型语言模型和大型多模态模型带来新的可能性。
浙大、腾讯优图、华中科技大学的团队,提出轻量化MobileMamba!既良好地平衡了效率与效果,推理速度远超现有基于Mamba的模型。轻量化模型研究的主阵地都在CNN和Transformer的设计。MobileMamba通过在不同FLOPs大小的模型上采用训练和测试策略,显著提升了性能和效率。
【新智元导读】最近,7B小模型又成为了AI巨头们竞相追赶的潮流。继谷歌的Gemma27B后,Mistral今天又发布了两个7B模型,分别是针对STEM学科的Mathstral,以及使用Mamaba架构的代码模型CodestralMamba。面对网友催更codestralmamba,ollama也非常给力地表示:「已经在弄了,稍安勿躁。
【新智元导读】在开源社区引起「海啸」的Mamba架构,再次卷土重来!这次,Mamba-2顺利拿下ICML。通过统一SSM和注意力机制,Transformer和SSM直接成了「一家亲」,Mamba-2这是要一统江湖了?年前,Mamba被顶会ICLR拒稿的消息曾引起轩然大波。是不是可以让SSD利用H100的新特性,让SSM在2-4K序列长度的大规模预训练中,比Transformer还快?推理优化:有许多针对Transformers的优化方法,特别是处理KV缓存。
来自伦敦帝国理工学院和戴尔的研究团队推出了StyleMamba,这是一种有效的框架,用于转移图片风格,通过使用文本来指导风格化过程,同时保持原始图像内容。当前文本驱动风格化技术的计算需求和训效率低下的问题在这个引入中得到了解决。StyleMamba在各种应用和媒体格式上都表现出多功能性和适应性,包括多种风格转移任务和视频风格转移。
来自南京大学、上海人工智能实验室、复旦大学、浙江大学的研究队发布了一项关于视频理解的开创性工作。该研究全面审视了Mamba模型在建模中的多重角色,提出了针对14种模型/模块的VideoMambaSuite,并对其在12项视频理解任务中进行了深估。综合实验结果显示,Mamba模型在视频理解领域具潜在的优势和多样化的角色,为未来视频理解研究提供了有力的推动和参考价值。
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
AI21发布了世界首个Mamba的生产级模型:Jamba。这个模型采用了开创性的SSM-Transformer架构,具有52B参数,其中12B在生成时处于活动状态。这意味着Jamba模型在处理需要理解大量文本和复杂依赖关系的任务时,既能保持高效率,又不会牺牲性能或精度。
Mamba架构论文因在ICLR2024评审中得到低分引起关注。该架构去年底由CMU和普林斯顿的研究者提出,被认为有颠覆Transformer的潜力。在这个过程中,LeCun的经历成为引发讨论的契机,引导学术界关注同行评审制度的合理性和公正性。
基于Mamba的创新正不断涌现,但原论文却被ICLR放到了「待定区」。2023年,Transformer在AI大模型领域的统治地位被撼动了。无论Mamba最终能否被ICLR接收,它都已经成为一份颇具影响力的工作,也让社区看到了冲破Transformer桎梏的希望,为超越传统Transformer模型的探索注入了新的活力。