首页 > 业界 > 关键词  > SambaNova最新资讯  > 正文

SambaNova发布全新AI芯片SN40L 可运行5万亿参数模型

2023-09-26 14:22 · 稿源:站长之家

文章概要:

- SambaNova发布了一款智能AI芯片SN40L,可运行高达5万亿参数的模型,实现快速可扩展的推理和训练,而不损害模型准确性。

- 这款由TSMC制造的SN40L芯片可以在单个系统节点上为5万亿参数模型提供256k+的序列长度,这是通过整合技术的新突破,大大提高了模型质量、推理速度,并降低了总拥有成本。

- SambaNova的全栈大语言模型(LLM)平台将由SN40L芯片提供动力,该平台可解决企业在部署生成式人工智能时面临的挑战,包括训练和推理成本、序列长度限制以及LLM速度。

站长之家(ChinaZ.com) 9月26日 消息:9月26日,位于加利福尼亚帕洛阿尔托的SambaNova Systems公司宣布推出一款革命性的新芯片,名为SN40L。这款芯片将为SambaNova的全栈大语言模型(LLM)平台SambaNova Suite提供动力,并具有革命性的内部设计:在内部,它提供了密集和稀疏计算,同时包括大内存和快速内存,使其成为一款真正的“智能芯片”。

GPU 芯片 (3)

图源备注:图片由AI生成,图片授权服务商Midjourney

SambaNova的SN40L芯片由TSMC制造,可以为5万亿参数模型提供256k+的序列长度,这在单个系统节点上实现,这是通过整合技术的新突破,大大提高了模型质量,同时实现更快的推理和训练速度,降低了总拥有成本。

SambaNova Systems的联合创始人兼CEO Rodrigo Liang表示:“今天,SambaNova提供了唯一的全栈LLM平台——SambaNova Suite,现在还有一款智能AI芯片;这对全球2000家企业来说是一个改变游戏规则的产品。”他还表示:“我们现在能够在一个芯片中提供这两种能力——更多内存的能力,以及最智能的计算核心——使组织能够充分利用广泛应用人工智能的承诺,拥有自己的LLM,可以媲美GPT-4及更高级别的模型。”

这款新芯片只是SambaNova全栈LLM平台的一部分,该平台解决了企业在部署生成式人工智能时面临的最大挑战:“我们已经开始看到对较小模型的需求增加,但更大的模型仍然更好,更大的模型将开始变得更加模块化,”SambaNova Systems的联合创始人Kunle Olukotun表示,“客户要求拥有像GPT-4这样的千亿参数模型的LLM,但他们也希望拥有根据他们的数据进行优化的模型。通过新的SN40L芯片,我们迄今为止最先进的AI芯片,集成到全栈LLM平台中,我们为客户提供了运行最大LLM模型的关键,具有更高的训练和推理性能,而不损害模型准确性。”

SN40L芯片的独特之处在于它可以同时处理高带宽内存(HBM)和动态随机存取内存(DRAM),使人工智能算法能够选择最适合当前任务的内存,从而直接访问远比以前更多的内存。此外,通过使用SambaNova的可重构数据单元(RDU)架构,芯片设计以更智能的计算方式高效运行稀疏模型。

SambaNova Suite中的新模型和功能包括Llama2变种(7B、70B),使客户能够自适应、扩展并运行最佳的LLM模型,同时保留这些模型的所有权。此外,还有BLOOM176B,这是开源社区中最准确的多语言基础模型,使客户能够通过各种语言解决更多问题,同时还可以扩展模型以支持新的低资源语言。

SambaNova 还包括一个用于基于向量的检索增强生成的新嵌入模型,使客户能够将其文档嵌入到向量嵌入中,在问答过程中检索这些嵌入,而不会导致幻觉。LLM然后将结果用于分析、提取或总结信息。此外,还有世界领先的自动语音识别模型,用于转录和分析语音数据,以及其他多模态和长序列长度功能。此外,还提供了推理优化系统,配备了3层数据流内存,以实现高带宽和高容量。

举报

  • 相关推荐
  • 世俱杯亚欧巅峰对决!海信100吋电视AI芯片呈现高光瞬间

    文章主要报道了世界杯1/8决赛曼城与利雅得新月的精彩对决,重点描述了贝纳尔多·席尔瓦的凌空抽射和哈兰德的关键头球等精彩瞬间。同时指出100英寸大屏电视已成为观赛主流选择,海信电视凭借RGB-Mini LED技术和330Hz高刷新率等优势,能带来更沉浸的观赛体验。数据显示世界杯期间100英寸以上大屏电视销量同比增长超109%,海信全球市场份额达56.71%,领跑行业。文章强调优质大屏电视能提升观赛参与感,建议球迷选择画质优秀、刷新率高、视角广的100英寸电视,以获得最佳观赛效果。

  • AI日报:xAI 震撼发布Grok4;微软开源全新Phi-4-mini版本;上海累计82款大模型通过备案

    AI日报栏目聚焦人工智能领域最新动态:1)xAI发布旗舰模型Grok4,在数学推理和代码生成表现突出,同时推出开发者专用Grok4Code;2)微软开源Phi-4-mini模型,推理效率提升10倍,适合边缘设备;3)上海82款大模型完成备案,垂直领域应用取得突破;4)Hugging Face推出开源桌面机器人Reachy Mini,支持Python编程;5)Perplexity发布AI浏览器Comet挑战Chrome;6)OpenAI将首次发布开放权重模型,打破闭源惯例;7)谷歌医疗AI模型MedGemma系列上新,单个GPU即可运行;8)OpenAI以约65亿美元收购AI硬件公司io Products,正式进军硬件市场。

  • 小鹏G7 Ultra算力全球第一!搭载三颗图灵AI芯片 2250Tops

    今晚小鹏G7正式发布,推出Ultra和Max两个版本: 小鹏G7 Max版:搭载2颗Orin-X芯片; 小鹏G7 Ultra版:搭载3颗图灵AI芯片,有效算力2250Tops,全球第一! 据介绍,小鹏G7全系标配图灵AI智能辅助驾驶,号称行业最强!

  • 新“五金男孩”靠一句“有”,让75万打工人追更

    “有!” “有有有!” “这必须得有!” 在抖音、B站、快手的评论区,这些话已经成了许多网友的接头暗号。 它的出处,是一位来自辽宁的“五金男孩”:他不是传统意义上穿搭带着金属气质的“五金男孩”,而是真的在五金店卖货的@凌海市李宏五金水暖 (简称李宏)。 他的账号没有精致滤镜,没有剧本套路,只有扳手、螺丝、水管和一句句“必须有”的承诺。但就是这样

  • 英伟达Blackwell Ultra芯片商用落地,微美全息以“算力+开源”领航AI科技新程

    英伟达与CoreWeave合作推出新一代AI芯片Blackwell Ultra,该芯片已实现商业部署,采用液冷技术,包含72个GPU和36个CPU。Blackwell Ultra的AI内容生成能力是前代产品的50倍,预计今年批量出货。英伟达凭借高性能AI芯片近乎垄断市场,年利润超5000亿元,市值逼近4万亿美元,有望成为全球市值最高公司。微软推迟自研AI芯片发布,转向过渡性设计方案。微美全息专注AI芯片技术布局,构建多元化技术生态,推动产业协同,成为全球AI芯片竞赛重要参与者。当前AI产业进入大规模商业化关键阶段,算力需求持续高涨,推动企业向算力数智化迁移。消费电子领域,AI赋能传统智能终端,新型智能硬件结合AI创造增量需求,关注算力产业链技术创新配套机遇。

  • AI日报:美图发布影像AI Agent RoboNeo;1.8bit量化Kimi K2模型上线;亚马逊推AI代码编辑器 Kiro

    【AI日报】今日AI领域重要动态:1)美图推出RoboNeo,通过自然语言指令实现图片精修、品牌设计等全能影像处理;2)Unsloth AI将Kimi K2模型量化至1.8bit,体积缩减78%保持性能;3)谷歌Gemini嵌入模型登顶MTEB榜单,超越OpenAI;4)亚马逊发布免费AI代码编辑器Kiro,集成Claude模型;5)Claude新增应用工具目录功能提升工作效率;6)MiniMax完成近3亿美元融资,估值超40亿美元;7)UTCP新协议让AI代理直

  • 945万元!AMD CEO苏姿丰涨工资了 还有2.4亿元股票奖励

    根据AMD向美国证券委员会(SEC)最新提交的文件,AMD董事长兼CEO苏姿丰博士将获得132万美元(约合人民币945万元)的基本工资,以及价值3300万美元(约合人民币2.36亿元)的股票期权奖励。 基本工资将从7月1日起开始计算,苏姿丰也由此成为AMD薪酬最高的高管。 股票期权将在8月15日发放给苏姿丰,2028年行权,具体取决于她作为AMD CEO的业绩表现。

  • 马斯克xAI推出Grok - 4 大模型将至,Meta/微美全息深耕开源AI融合加速

    埃隆·马斯克旗下xAI即将发布Grok-4大模型,该模型将在语言、数学和推理方面超越OpenAI和谷歌最新AI产品。同时苹果低调收购两家AI公司TrueMeeting和WhyLabs,加速布局Vision Pro头显和Apple Intelligence领域。Meta计划投入数百亿美元扩建AI基础设施,扎克伯格亲自招募顶尖AI人才。微美全息聚焦高性能算力与多模态模型,推动AI产业升级。当前AI赛道竞争激烈,大模型正向通用多模态演进,商业化落地成为关键。

  • 精臣B21Pro智能标签机全新升级,解锁相片打印新体验

    NIIMBOT精臣推出B21Pro智能标签机升级版,接入全新"拍了贴"照片打印贴纸功能。采用专业材料技术,将热敏成像升级为16色阶过渡的细腻黑白效果,配合300dpi高分辨率,能精准还原人物表情、宠物神态和风景层次。同时精臣小印APP同步上线"拍了贴"新功能,提供18款强大滤镜和丰富图标资源,支持多国语言字体,满足手账创作、旅行记录等多样化需求。这套组合完美契合出游记录、手账创作、宠物纪念等多种生活场景,让用户轻松打印高质量照片贴纸,为生活增添趣味与质感。

  • 绘王发布新款蓝牙单手键盘Keydial Remote K40

    7月15日,绘王推出专为ACG创作者设计的单手键盘Keydial+Remote K40。该产品仅152×56×13.5mm大小,配备8个自定义按键和2个切换键,采用U型布局。支持6组软件专属快捷键设置,创新双编码器采用内外圈嵌套设计,全键无冲。配备OLED屏实时显示键值/电量,蓝牙5.0支持PC/移动端双通道切换,约30小时续航满足多场景创作需求。