首页 > 业界 > 关键词  > StripedHyena-7B最新资讯  > 正文

Together AI发布AI模型StripedHyena-7B 性能超越Llama-27B

2023-12-13 17:51 · 稿源:站长之家

划重点:

1. 🌐 StripedHyena-7B引领人工智能领域,提供计算效率和性能升级的替代选择。

2. 🚀 采用独特混合结构,StripedHyena在训练、微调和生成长序列时表现出色。

3. 💡 未来研究重点:构建更大的模型、引入多模态支持、提高StripedHyena模型的性能。

站长之家(ChinaZ.com)12月13日 消息:Together AI最新发布了StripedHyena-7B,这一人工智能模型领域的创新力量引起了广泛关注。该模型的基础版本为StripedHyena-Hessian-7B(SH7B),同时还推出了聊天模型StripedHyena-Nous-7B(SH-N7B)。StripedHyena基于上一年创建的一系列有效的序列建模架构(如H3、Hyena、HyenaDNA和Monarch Mixer)的重要经验教训。

image.png

研究人员强调,StripedHyena在训练、微调和生成长序列过程中处理效率更高,具备更快的速度和更高的内存效率。通过采用独特的混合技术,StripedHyena将门控卷积和注意力结合成了所谓的Hyena运算符。在短序列任务中,包括OpenLLM排行榜任务,StripedHyena在性能上超越了Llama-27B、Yi7B以及最强大的Transformer替代品,如RWKV14B。

image.png

image.png

该模型在处理短序列任务和处理长提示的各种基准测试中都进行了评估。通过对Project Gutenberg书籍进行的困惑度缩放实验显示,困惑度在32k处饱和,或在此点以下减少,表明该模型能够从更长的提示中吸收信息。

StripedHyena通过将注意力和门控卷积组合成Hyena运算符的独特混合结构实现了高效性。研究人员采用创新的嫁接技术对这种混合设计进行了优化,使其在训练过程中能够进行体系结构修改。

研究人员强调StripedHyena的关键优势之一是其在训练、微调和生成长序列等各种任务中的提速和内存效率。在端到端训练的32k、64k和128k行上,StripedHyena相对于优化的Transformer基线(使用FlashAttention v2和自定义内核)分别提高了30%、50%和100%

未来,研究人员希望在StripedHyena模型的多个领域取得重大进展。他们计划构建更大的模型,以处理更长的上下文,拓展信息理解的界限。此外,他们计划引入多模态支持,通过允许模型处理和理解来自文本和图像等各种来源的数据,提高模型的适应性。

StripedHyena模型有望通过引入额外的计算(例如在门控卷积中使用多个头部)在性能上超越Transformer模型。这种受线性注意力启发的方法在H3和MultiHyena等架构中被证明在训练期间提高模型质量,并为推断效率提供优势。读者可以查看该项目的博客和项目详细信息,对此研究给予所有研究人员应有的赞誉。

项目网址:https://huggingface.co/togethercomputer/StripedHyena-Hessian-7B

博客:https://www.together.ai/blog/stripedhyena-7b

举报

  • 相关推荐
  • Lamett乐迈石晶发布2025新品,中国全屋整装迎来“石晶时代”

    乐迈石晶在第27届中国建博会(广州)推出"全屋石晶整装解决方案",以"要健康·要安全·要石晶"为主题,通过零醛添加、防水防潮、防蛀防霉等八大性能优势重新定义整装标准。该方案采用天然石灰岩和树脂晶体为原料,通过高温高压工艺实现零甲醛释放,适用于全屋空间。乐迈石晶已建立全球研发中心,拥有多项核心专利技术,业务覆盖80多个国家和地区。此次创新不仅推动建材升级,更引领健康人居新趋势,为消费者打造安全舒适的家居环境。

  • 英伟达Blackwell Ultra芯片商用落地,微美全息以“算力+开源”领航AI科技新程

    英伟达与CoreWeave合作推出新一代AI芯片Blackwell Ultra,该芯片已实现商业部署,采用液冷技术,包含72个GPU和36个CPU。Blackwell Ultra的AI内容生成能力是前代产品的50倍,预计今年批量出货。英伟达凭借高性能AI芯片近乎垄断市场,年利润超5000亿元,市值逼近4万亿美元,有望成为全球市值最高公司。微软推迟自研AI芯片发布,转向过渡性设计方案。微美全息专注AI芯片技术布局,构建多元化技术生态,推动产业协同,成为全球AI芯片竞赛重要参与者。当前AI产业进入大规模商业化关键阶段,算力需求持续高涨,推动企业向算力数智化迁移。消费电子领域,AI赋能传统智能终端,新型智能硬件结合AI创造增量需求,关注算力产业链技术创新配套机遇。

  • 6.3万起 三星Galaxy Z Fold7/Flip7限量版发布:灵感来自Labubu 只有8台

    日前,奢侈品牌厂商Caviar推出Cabubu系列定制版三星Galaxy Z Fold7、三星Galaxy Z Flip7。 其中,三星Galaxy Z Fold7Cabubu版售价8910美元起(约合6.3万元人民币)、三星Galaxy Z Fold7Cabubu版起售价10340美元(约合7.4万元人民币)。

  • AI日报:智谱上线PPT生成功能AI Slides;可灵 AI 发布可图2.1模型

    本文介绍了AI日报栏目及近期AI领域多项突破性进展:1)智谱推出免费AI Slides工具,基于GLM模型快速生成高质量PPT;2)可灵AI发布可图2.1模型,支持180多种风格图像生成;3)NVIDIA推出DiffusionRenderer技术,实现视频到可编辑3D场景转换;4)墨刀AI新增30秒生成高保真原型功能;5)Higgsfield推出Soul ID工具,10张照片即可生成虚拟形象;6)谷歌DeepMind开源GenAI Processors工具库;7)谷歌Veo新增图像转视频功能;8)Mistral AI发布专为代码建模的Devstral2507系列模型。这些创新展示了AI在内容生成、3D建模、产品设计等领域的快速发展。

  • OPPO K13 Turbo系列官宣将于7月21日发布 内置散热风扇

    OPPO近日正式宣布,将于7月21日14:30举行新品发布会,隆重推出OPPO K13Turbo系列。根据官方发布的预告片,该系列最大亮点在于内置了散热风扇,OPPO官方宣称K13Turbo将借此掀起一场性能风暴。 预告片中透露,OPPO K13Turbo系列采用了竖排相机设计,而散热风扇巧妙地安置在摄像头下方,整体造型简约大气,与iPhone16有着异曲同工之妙。OPPO产品经理鳃鳃saisai进一步揭秘,K13系列的风扇�

  • HKIT携手WALLX推出创新区块链奖励模型,引领心理治疗与AI技术融合新趋势

    香港智能有限公司(HKIT)与WALLX公司合作,将AI技术与心理治疗相结合,开发出基于区块链的奖励和参与模式。该创新系统能精准评估用户心理状态并提供个性化治疗方案,同时利用区块链确保数据安全。双方还推出奖励机制,用户参与心理课程或贡献数据可获得,用于兑换咨询服务或健康产品。这一模式获得市场广泛关注,多家机构表达合作意向,被视为心理健康服�

  • A日报:月之暗面开源大模型Kimi K2;智源全面开源RoboBrain2.0;通义千问发布Qwen Chat桌面客户端

    本期AI日报重点报道了多项AI领域突破性进展:1.月之暗面推出万亿参数开源大模型Kimi K2,展现强大智能能力;2.智源研究院开源RoboBrain2.0和RoboOS2.0机器人系统;3.通义千问发布桌面客户端Qwen Chat;4.IndexTTS2实现影视级语音合成;5.HuggingFace开源机器人Reachy Mini热销;6.Meta推出实时视频生成模型StreamDiT;7.PixVerse新增多关键帧视频生成功能;8.特斯拉推出仅支持AMD处理器的Grok AI助手;9.OpenAI推迟开源大模型发布以加强安全测试;10.Liquid AI开源边缘AI模型LFM2;11.AI"时间穿越"特效在社交媒体走红。

  • LiblibAI 重磅发布「星流 Agent」:中文语义 + 图片视频3D全能生成,中国最强设计 Agent

    LiblibAI推出Lovart中文版"星流Agent",这是一款专为中国市场深度优化的AI设计工具。该产品在保留Lovart全球版"生成-编辑-排版-交付"全链路能力基础上,针对中文语义、国风审美和本土使用场景进行了全面重构。星流Agent支持从创意构思到设计交付的全流程自动化,可处理平面设计、视频生成和3D建模等跨模态创作,内置符合中国文化的视觉风格库。该产品的推出标�

  • 超凡性能,卓越设计——三星Galaxy Watch Ultra的诞生之路

    三星Galaxy Watch Ultra智能手表全新升级,融合"天圆地方"设计美学与户外性能。采用圆形表盘与方形底座结合,配备专属快捷按键,支持一键切换运动模式。表带采用无表耳设计,提升佩戴舒适度,并提供水上运动、越野运动等专业表带选择。搭载超级模拟表盘,可显示9项运动数据,支持个性化设置。2025款新增"钛岭蓝"配色,7月25日正式发售,预约可享表带赠品或分期免息优惠。这款兼具设计美感与实用功能的智能手表,重新定义了户外运动装备标准。

  • OPPO K13 Turbo系列真机亮相:自带风扇+RGB

    OPPO K13 Turbo系列真机已经现身在bilibili world《胜利女神:NIKKE》展区。 从图片来看,OPPO K13 Turbo系列系列后摄区域有点类似一加13T,采用了矩形金属方案,主摄下方就是散热风扇,同时外圈还自带RGB等效。 这个设计方案可以明显看出,该机是主打电竞体验。 风扇模组采用电镀镍工艺,放弃普通喷涂,带来更好的防水、防锈效果,并且号称风力提升120%,从而实现更强、更持久�