首页 > 业界 > 关键词  > SambaNova最新资讯  > 正文

SambaNova发布全新AI芯片SN40L 可运行5万亿参数模型

2023-09-26 14:22 · 稿源:站长之家

文章概要:

- SambaNova发布了一款智能AI芯片SN40L,可运行高达5万亿参数的模型,实现快速可扩展的推理和训练,而不损害模型准确性。

- 这款由TSMC制造的SN40L芯片可以在单个系统节点上为5万亿参数模型提供256k+的序列长度,这是通过整合技术的新突破,大大提高了模型质量、推理速度,并降低了总拥有成本。

- SambaNova的全栈大语言模型(LLM)平台将由SN40L芯片提供动力,该平台可解决企业在部署生成式人工智能时面临的挑战,包括训练和推理成本、序列长度限制以及LLM速度。

站长之家(ChinaZ.com) 9月26日 消息:9月26日,位于加利福尼亚帕洛阿尔托的SambaNova Systems公司宣布推出一款革命性的新芯片,名为SN40L。这款芯片将为SambaNova的全栈大语言模型(LLM)平台SambaNova Suite提供动力,并具有革命性的内部设计:在内部,它提供了密集和稀疏计算,同时包括大内存和快速内存,使其成为一款真正的“智能芯片”。

GPU 芯片 (3)

图源备注:图片由AI生成,图片授权服务商Midjourney

SambaNova的SN40L芯片由TSMC制造,可以为5万亿参数模型提供256k+的序列长度,这在单个系统节点上实现,这是通过整合技术的新突破,大大提高了模型质量,同时实现更快的推理和训练速度,降低了总拥有成本。

SambaNova Systems的联合创始人兼CEO Rodrigo Liang表示:“今天,SambaNova提供了唯一的全栈LLM平台——SambaNova Suite,现在还有一款智能AI芯片;这对全球2000家企业来说是一个改变游戏规则的产品。”他还表示:“我们现在能够在一个芯片中提供这两种能力——更多内存的能力,以及最智能的计算核心——使组织能够充分利用广泛应用人工智能的承诺,拥有自己的LLM,可以媲美GPT-4及更高级别的模型。”

这款新芯片只是SambaNova全栈LLM平台的一部分,该平台解决了企业在部署生成式人工智能时面临的最大挑战:“我们已经开始看到对较小模型的需求增加,但更大的模型仍然更好,更大的模型将开始变得更加模块化,”SambaNova Systems的联合创始人Kunle Olukotun表示,“客户要求拥有像GPT-4这样的千亿参数模型的LLM,但他们也希望拥有根据他们的数据进行优化的模型。通过新的SN40L芯片,我们迄今为止最先进的AI芯片,集成到全栈LLM平台中,我们为客户提供了运行最大LLM模型的关键,具有更高的训练和推理性能,而不损害模型准确性。”

SN40L芯片的独特之处在于它可以同时处理高带宽内存(HBM)和动态随机存取内存(DRAM),使人工智能算法能够选择最适合当前任务的内存,从而直接访问远比以前更多的内存。此外,通过使用SambaNova的可重构数据单元(RDU)架构,芯片设计以更智能的计算方式高效运行稀疏模型。

SambaNova Suite中的新模型和功能包括Llama2变种(7B、70B),使客户能够自适应、扩展并运行最佳的LLM模型,同时保留这些模型的所有权。此外,还有BLOOM176B,这是开源社区中最准确的多语言基础模型,使客户能够通过各种语言解决更多问题,同时还可以扩展模型以支持新的低资源语言。

SambaNova 还包括一个用于基于向量的检索增强生成的新嵌入模型,使客户能够将其文档嵌入到向量嵌入中,在问答过程中检索这些嵌入,而不会导致幻觉。LLM然后将结果用于分析、提取或总结信息。此外,还有世界领先的自动语音识别模型,用于转录和分析语音数据,以及其他多模态和长序列长度功能。此外,还提供了推理优化系统,配备了3层数据流内存,以实现高带宽和高容量。

举报

  • 相关推荐
  • AI日报:阿里开源长文本深度思考模型QwenLong-L1;GPT-4o语音模式上线唱歌功能;秘塔AI搜索推出全新“极速”模型

    本文汇总了AI领域最新动态:1)中国信通院发布智能体开发标准,推动AI商业化进程;2)阿里推出QwenLong-L1-32B长文本推理模型,性能媲美Claude-3;3)GPT-4o语音模式升级,新增唱歌功能;4)秘塔AI搜索推出极速模型,响应速度达400tokens/秒;5)谷歌发布LMEval评估框架,统一大模型评测标准;6)Chrome浏览器集成Gemini AI助手;7)阿联酋全民免费使用ChatGPT Plus;8)苏州成立60亿元AI产业基金;9)法国Kyutai实验室推出10秒定制语音的Unmute系统;10)UAV-Flow项目实现无人机语音精准控制;11)Claude将升级支持百万字上下文和记忆功能;12)百度心响iOS版上线;13)夸克推出高考深度搜索功能;14)Chrome v137开发者工具升级;15)美团AI业务接近GPT-4o水平;16)Direct3D-S2实现3D生成速度提升10倍;17)OpenAI计划2026年推出首款AI硬件。

  • AI日报:腾讯混元3D 2.1大模型开源;字节跳动AI Lab负责人李航卸任;OpenAI Codex 全新升级

    本文介绍了AI领域最新动态:1)腾讯开源混元3D2.1大模型,提升3D生成质量;2)OpenAI Codex升级,优化代码生成功能;3)字节跳动AI Lab负责人李航卸任;4)微软发布700个AI应用案例;5)微软推出Code Researcher工具,解决58%系统崩溃问题;6)Observer AI实现屏幕操作自动化;7)Genspark发布AI浏览器;8)麻省理工用AI技术3.5小时修复15世纪名画;9)蚂蚁集团推出开源多模态GPT-4o模型Ming-Omni;10)MagicTryOn视频换衣框架;11)字节跳动发布实时互动AI视频生成模型Seaweed APT2;12)ChatGPT搜索功能升级;13)字节跳动与老凤祥合作开发AI智能眼镜。

  • 华为Pura 80系列支持全新个性色卡:参数实时可调

    华为Pura 80系列今日正式发布,XMAGE色彩也再次升级,除了原生色卡还有新增的个性色卡。 拍前拍后色卡参数都可实时调整,一共有胶片风格、电影风格、动漫风格,也可以直接导入别人的色号使用,创作更简单了。

  • 一句话搞定金融复杂工作,容联云大模型知识助理全新升级!

    容联云大模型知识助手全新升级,聚焦"更高效率、更懂金融、更好体验",推出实时语音问答与语音检索两大核心功能。升级亮点包括:1)秒级响应的实时语音问答,支持复杂金融政策解读和理财产品对比分析;2)语义穿透的实时语音检索,可精准定位海量金融文档关键信息,检索效率提升40%;3)深耕金融领域知识,深入理解业务逻辑,提供专业可靠支持;4)支持多音色切换,满足个性化需求。该助手已应用于内部管理、统数运营、营销增长和客户服务四大场景,显著提升业务效率,如客户咨询转化率提升30%、业务办理效率提升60%。

  • 华为Pura 80系列预装鸿蒙5.1:小艺全新升级AI视觉能力 随身导游

    今天下午华为Pura 80系列正式发布,新机出厂搭载最新的鸿蒙5.1系统,为用户带来前所未有的智能体验。 其中,全新小艺再升级,新増AI视觉识别能力,能够精准捕捉并理解用户需求,识别周边的一切。

  • 真我Neo7 Turbo首发全新透明机身:同档罕见

    今天下午,真我Neo7 Turbo正式亮相。 该机首发采用全新的透明机身,不惜成本实现了近乎1:1还原手机内部的精密排布,外观设计一眼倾心。

  • 华为云发布盘古大模型5.5,宣布新一代昇腾AI云服务上线,成就行业AI先锋

    华为开发者大会2025(HDC2025)在东莞篮球中心开幕,发布多项AI创新成果:1)推出基于CloudMatrix384超节点的新一代昇腾AI云服务,单卡推理吞吐量提升4倍;2)发布盘古大模型5.5,NLP、CV等五大基础模型全面升级,其中718B深度思考模型采用256专家MoE架构;3)推出行业首个统一预测架构Triplet Transformer,覆盖钢铁、水泥等多个工业场景;4)发布300亿参数视觉大模型,支持多维感知分析;5)升级盘古助手Doer,新增6大开发领域专业Agent。华为云宣布开发者突破800万,将构建昇腾、鸿蒙、鲲鹏等技术生态。

  • 跨越山海 推动未来丨山推全新品牌暨AI战略全球发布

    山东重工集团旗下山推股份6月18日在临沂发布全新品牌形象及AI战略,标志着企业从"智能设备"向"AI实体"的质变升级。活动发布了全球首台AI智能推土机,展示了9大智能系统覆盖的L3级技术成果,未来将向L5级无人化迈进。新LOGO融入AI元素,体现"高端装备+人工智能"发展方向。集团将整合全球资源深化产学研合作,推动中国工程机械行业智能化转型。多位行业专家出席见证,认为这是工程机械行业数字化转型的重要里程碑,将重塑产业格局。山推表示将持续创新,与全球伙伴携手开启工程机械AI新时代。

  • 传闻中,苹果全新的 HomePad 有望“今年年底前发布”

    苹果一直被传正在开发一款专为智能家居打造的新产品。该设备将配备一个方形的 7 英寸显示屏,支持 Apple Intelligence……

  • 唯卓仕AF 85mm F1.4 Pro发布:全画幅人像新镜皇!

    2025年6月10日,国产光学品牌唯卓仕(Viltrox)发布首款全画幅大光圈Pro系列镜头AF 85mm F1.4 Pro,售价3299元。该镜头采用11组15片豪华光学结构,含3枚ED镜片和1枚UA超精密非球面镜片,搭配9枚高折射率镜片,实现F1.4超大光圈下的优异锐度与虚化效果。配备自主研发双HyperVCM马达,支持人脸/人眼识别,具备全天候防护设计。作为85mm黄金人像焦段专业镜头,其0.79米最近对焦距离和卓越视