首页 > 业界 > 关键词  > AI最新资讯  > 正文

对国内AI算力紧缺问题的若干看法

2024-06-11 16:16 · 稿源: 互联网怪盗团公众号

声明:本文来自微信公众号“互联网怪盗团”(ID:TMTphantom),作者:怪盗团团长裴培,授权站长之家转载发布。

今天凌晨的苹果WWDC证实了一点:AI推理算力将长期处于“云端为主”的状态,这个“长期”至少是三到五年。是的,苹果与OpenAI建立了战略合作,计划将下一代iOS系统与ChatGPT深度融合;但是绝大部分生成式AI推理,包括文字和图片生成任务,仍将上传到ChatGPT的数据中心,在云端完成。关于这一点,OpenAI在公告中已经说得很清楚了。苹果的“端侧AI”主要仍局限于软件层面。

如果连苹果都做不到推理算力的“端侧化”,那么其他手机厂商就更做不到了。PC端可能比移动端的进展稍微好一点,但是在可见的未来,大部分AI PC(包括桌面工作站)仍将基于英伟达的桌面级显卡,而且只能执行参数规模相对较小的(蒸馏后的)大模型推理。无论从技术角度还是成本角度考虑,大模型及应用开发商都会更乐意在云端即数据中心完成大部分推理任务。资本市场再次认识到了这一点,所以WWDC举行之后,苹果股价下跌而英伟达股价微涨。

机房 数据中心 (2)服务器

图源备注:图片由AI生成,图片授权服务商Midjourney

在未来很长一段时间里,我们不必过多考虑“端侧算力”。既然如此,国内AI算力紧缺的问题,就不可能通过发展所谓“端侧算力”的方式去解决。自从2022年11月底ChatGPT横空出世以来,国内AI算力几乎始终处于紧缺状态,这是由下列因素共同决定的:

  • 全球AI算力均十分紧缺,尤其在制造端,英伟达H系列显卡仅能由台积电代工(三星不行),产能瓶颈将持续到多年以后。

  • 美国芯片出口禁令日益严格,尤其在2023年下半年的全方位加强之后,许多“后门”被堵上了,国内厂商采购数据中心级显卡的难度与日俱增。

我们知道,AI大模型所需算力分为训练和推理两种,前者的要求更高一些;国内的现状则是两种算力都缺乏。讽刺的是,前几年国内发展云游戏期间,互联网大厂和电信运营商均采购了一批英伟达Turing架构的显卡用于架设RTX刀片服务器,这些显卡可以用于AI推理;如果没有云游戏,国内推理算力的瓶颈将更加严重。中国游戏产业是一个任劳任怨的背锅产业,谁都能来踩一脚,谁都能污名化,但是拯救所谓“硬科技”产业偏偏还得靠它!

即便如此,国内AI推理算力的供需关系仍然十分紧张。所以,过去一个月国产大模型的“降价”举措,很大程度上仅仅是行为艺术罢了。尤其是对于B端客户而言,无论大模型API的调用价格降到多低,关键在于能不能买到量。现在的问题就是“有价无市”:只有极小规模的采购才能以“刊例价”执行,稍大规模的采购就必须找销售人员单独洽谈并排队,实际成交价格难以预料(肯定远高于“刊例价”)。

不要说B端用户,哪怕C端用户也能感受到推理算力的紧张:国内的几个最流行的AI大模型应用,免费用户在高峰期几乎一定会遇到需要排队的状况,必须充值或打赏才能加快进度。要知道,目前国内主流生成式AI应用的DAU普遍只有几百万量级,推理算力就已经如此匮乏;如果真的出现上亿DAU的AI超级应用,算力几乎肯定是跟不上的——所以目前国内不可能出现这样的超级应用。(注:文心一言和通义千问均自称累计用户超过1亿、每日API调用次数超过1亿,但是与1亿DAU还差很远;豆包估计也差很远。)

可以想象,比推理要求更高的训练算力更加紧缺。2024年2月,字节跳动在一篇论文当中公布了它于前一年9月组建的“万卡集群”。遗憾的是,它是由1.2万张(比较落后的)A100显卡组成,而美国科技巨头早已换上了由(更先进的)H100组成的“万卡集群”,例如Meta的LLaMA-3就是由2.5万张H100组成的集群训练的;以亚马逊为代表的云计算大厂正在积极转向(更更先进的)B100及GB200算力集群。A系列显卡发布于2020年,当时芯片禁令尚未出台,国内采购没有多大障碍;H系列发布于2022年,芯片禁令已经出台,但是国内仍然可以通过采购“专供版”(主要是H800)的方式绕过;B系列于2024年发布,此时绕过芯片禁令的途径已经非常狭窄、朝不保夕。

长期、严重的算力瓶颈,给国内AI产业带来了两个深刻影响。首先,算力紧缺意味着算力价格高昂(无论以自购显卡还是租用的形式),国内所有大模型厂商的售价均无法覆盖训练+推理成本,有些甚至无法覆盖边际推理成本,卖一单亏一单(最近一波降价之后可能亏的更严重)。其次,国内大部分算力集中在少量科技大厂手中,创业公司高度依赖它们,十分渴望它们以算力的方式投资入股。结论就是大模型创业在国内是一门非常差的生意,远远比不上当年的移动互联网创业。

下面我们不妨以问答的形式,进一步说明国内AI算力的现状。问题是市场上最关心的那些问题,回答则不是来自我本人,而是来自我在云计算和AI行业的信赖的朋友,我只是总结他们的答案罢了。

问:目前国内AI算力储备及分布状况大致如何?

答:先说训练使用的“大卡”。如果把A100-800、H100-800均算作“大卡”的话,那么国内的“大卡”储备肯定超过六位数,甚至可能超过了20万张。问题在于随着技术进步,A系列已经很难再被视为“大卡”了。如果按照扎克伯格所谓的“H100等效算力”,国内的储备肯定不超过六位数,而仅仅Meta一家的“H100等效算力”就已经超过了30万张,2024年底将突破65万张,远远超过了国内所有大厂的算力储备之和。

具体到算力分布,有两个标准:第一是“掌握的算力”,第二是“能调用的算力”。阿里这样的云计算大厂掌握了巨大的算力,但其中很大一部分要出租给客户,自家大模型训练和推理能调用的算力未必有绝对优势。如果只计算“掌握的算力”,国内第一的无疑是阿里,其次是百度、字节跳动,腾讯可能更少一点。掌握一两千张大卡的互联网公司很多,因为内容推荐算法、自动驾驶训练等环节都需要。

至于推理算力的分布就更加驳杂了。上文提到过,云游戏使用的显卡可以承担一定的推理任务,目前国内的推理算力可能有很大一部分来自以前的云游戏算力。

问:怎么看AI算力的国产替代?

答:在训练端难度极大,哪怕某些国产显卡自称其技术参数能达到A100的水平,它们也不具备NVlink互联技术和CUDA开发环境,从而无法承担大模型训练使命。况且,A100是英伟达2020年发布的产品,在2024年“追上”前者四年前的水平并无先进性可言。大模型不是原子弹,它是一种重视性价比的民用商品,使用非主流硬件开发出来的大模型可能毫无商业价值可言。

但是在推理端,不是完全没有可能,因为推理卡对NVlink和CUDA的依赖程度很小。英伟达在推理端的城墙仍然很高,但是比起训练端就要差了不少。问题在于,推理算力的技术路线也在不断变迁,技术变迁的领导者还是英伟达。假如有选择的话,主流大厂肯定乐意采购英伟达的推理解决方案。国内厂商的问题是在芯片禁令之下没有选择,在推理端进行国产替代总归比没有强。

问:怎么看Groq以及国内某些厂商推出的“远超英伟达”的推理卡?

答:在高度特化的技术路线下,确实有可能做出表观技术远超英伟达同期产品的推理卡——但是付出的代价是应用场景十分狭窄。这样的显卡不仅只胜任大模型推理,甚至可能仅胜任某一特定类型的推理。大厂建立数据中心需要考虑通用性以及后续升级需求,高度特化的显卡无法满足这些需求。上面提到过,云游戏使用的显卡可以用于推理,但高度特化的推理卡可以执行图形渲染任务吗?可以执行自动驾驶等非生成式的推理任务吗?

而且,硅谷那些不差钱的大厂,现在流行以“大卡”同时执行训练和推理任务:速度更快、更具灵活性、管理起来更方便。你的训练任务在全年之中不是平均分布的,可能这三个月训练消耗的算力多一些,接下来推理消耗的算力多一些,统一组建“大卡”集群有助于提升灵活性。当然,这样做不够经济,所以推理任务主要还是得由推理卡去执行。我只是想说,英伟达在训练端和推理端的护城河是相辅相成的,不是彼此孤立的。

问:绕过芯片禁令的可能性大吗?目前大家的替代方案是什么?

答:很多人认为,芯片禁令可以以“非正常”手段绕过。但他们忽视了两点:第一,英伟达高端显卡近年来一直供不应求,所以不存在庞大的二手及散货市场,哪怕是海外大厂淘汰下来的显卡一般也是内部发挥余热。第二,即便你能绕过英伟达官方销售获得一些显卡,也无法获得技术支持。

H系列和B系列训练卡都不是单片出售的,而是以服务器(训练机)为单位出售。B系列训练机已经非常像高端数控机床这样的高精尖设备,内部可以植入地理位置判断系统,发现地理位置偏移之后可以自动停机。所以无论在理论上还是实践中,只要英伟达愿意认真执行芯片禁令,就是很难绕过的。虽然英伟达肯定愿意多卖几个客户、开拓中国市场,但现在它的显卡反正不愁卖,短期内也不可能主动承担破坏禁令的风险。

当然,一切都是可以谈的。只要双方都想认真做生意,拿出一些东西做交换,没有什么生意是一定做不成的。关键看大家做生意的意愿有多强烈了!我们不能低估解决问题的难度——因为只有充分估计难度,才能站在现实角度解决问题。片面低估难度并装做问题已经解决是不可取的,相信真正的从业者不会这样做。

举报

  • 相关推荐
  • 大家在看
  • Ohai.ai:智能家庭助理,简化家务管理

    Ohai是由Care.com创始人Sheila Lirio Marcelo带领的团队创建的智能家庭助理,旨在减轻家庭事务负责人的心理负担。它通过文本消息与用户互动,帮助管理家庭日程、待办事项、协调家庭和看护者之间的沟通,并跟踪学校邮件等。

  • RecruiterCloud:一站式智能招聘与人才搜索工具

    RecruiterCloud是一个为初创公司设计的一站式招聘和人才搜索工具。它专注于速度、效率和易用性,提供智能搜索和人才挖掘功能。该平台拥有超过1100万美国工程师和数据科学家的数据库,通过先进的筛选和自定义高亮功能,帮助用户快速找到合适的候选人。此外,RecruiterCloud还提供一键式外联自动化、与现有ATS无缝同步等特性,简化招聘流程,缩短招聘时间。

  • Playmaker Document AI:自动化文档工作流程,释放AI的力量。

    Playmaker Document AI是一款旨在通过人工智能技术自动化文档处理流程的产品。它通过智能识别和提取文档中的数据,帮助用户消除手动工作,简化基于文档的流程。产品背景信息显示,Playmaker Document AI由Playmaker Software Ltd.开发,团队来自伦敦、爱丁堡、伊斯坦布尔和新德里。产品的主要优点包括数据的安全性、支持多种文档类型、以及能够与300多个集成无缝对接。

  • Spiral:自动化写作和创意任务的智能助手

    Spiral是一个旨在自动化重复写作、思考和创意任务的在线工具。它通过用户的训练示例来学习用户的语音、语调和风格,进而生成符合用户要求的输出内容。Spiral的主要优点包括:快速启动、个性化输出、团队协作以及持续优化。产品背景信息显示,Spiral受到了多位行业人士的好评,他们认为Spiral能显著提高工作效率,并且输出内容自然,不显生硬。Spiral提供订阅服务,价格为1美元试用两周,之后为每月20美元或每年200美元。

  • Future You:未来自我模拟,人生规划助手

    Future You是一个在线模拟工具,旨在帮助用户通过一系列问题和模拟,反思和设想自己未来的生活。用户通过回答关于现在的自己、理想生活、职业规划等问题,与AI生成的未来自我进行互动,从而获得对未来的深刻洞察和规划。

  • Rockset:高效的混合搜索和实时分析数据库

    Rockset是一个为大规模数据提供高效搜索和实时分析的数据库平台。它支持向量、文本、地理空间和JSON数据的索引,能够实现混合搜索架构,并通过流式数据摄入和高QPS工作负载来测量端到端延迟。Rockset的主要优点包括实时索引、毫秒级SQL查询、快速开发新功能、降低计算和存储成本,以及无需ETL、去规范化、管理分片、索引或集群的灵活性。

  • Diffutoon:将真实视频转化为动漫风格的创新技术

    Diffutoon是一种先进的动漫风格渲染技术,能够将逼真的视频转换成动漫风格,适用于高分辨率和快速运动的视频。源代码已在DiffSynth-Studio发布,同时发布了技术报告。

  • Particl:自动化竞品情报工具

    Particl是一款专注于自动化竞品情报的商业工具,它通过AI技术追踪销售、库存、定价、商品种类和市场情绪,为零售品牌提供实时数据,帮助企业快速识别市场盈利机会。Particl服务于全球增长最快的零售品牌,覆盖服装、消费品、美容、健康、珠宝、补充品、家居用品、户外等多个领域。

  • Chrome AI:Chrome内置AI工具,提升创造力与生产力。

    Chrome AI是Chrome浏览器内置的AI工具,它通过即时响应来提升用户的工作效率和创造力。该工具在浏览器内直接操作,保障用户隐私,支持离线使用,并完全免费。它通过本地处理数据,减少数据传输到外部服务器,符合严格的隐私标准。

  • 腾讯云大模型知识引擎 OCR 体验:提供文档解析功能,将图片或 PDF 文件转换成 Markdown 格式,实现智能转换

    OCR 体验是一个文档解析工具,利用 OCR 技术将图片或 PDF 文件转换成 Markdown 格式文件。其主要优点在于高效转换并智能排版,背景信息源于对文档处理的需求。目前免费使用。

  • BrainyAI:免费开源的浏览器侧边栏插件,集成AI功能

    BrainyAI是一个完全免费的Chrome浏览器扩展,用户只需登录一次即可使用各种AI网站。通过便捷的侧边栏,BrainyAI提供AI聊天聚合、AI搜索、AI阅读和增强的AI网页浏览等功能。支持多种大型语言模型,如Gpt3.5、Gpt4等,并且注重用户隐私,所有聊天历史、设置和登录数据都安全地存储在本地设备上。

  • Stable Diffusion 3 免费在线:先进文本生成图像模型

    Stable Diffusion 3是由Stability AI开发的最新文本生成图像模型,具有显著进步的图像保真度、多主体处理和文本匹配能力。利用多模态扩散变换器(MMDiT)架构,提供单独的图像和语言表示,支持API、下载和在线平台访问,适用于各种应用场景。

  • Luma AI视频生成器:创新的AI视频生成器,快速实现创意视频。

    Luma AI的Dream Machine是一款AI视频生成器,它利用先进的AI技术,将用户的想法转化为高质量、逼真的视频。它支持从文字描述或图片开始生成视频,具有高度的可扩展性、快速生成能力和实时访问功能。产品界面用户友好,适合专业人士和创意爱好者使用。Luma AI的Dream Machine不断更新,以保持技术领先,为用户提供持续改进的视频生成体验。

  • Lingo Link:一款专为翻译选中文本设计的浏览器插件。

    Lingo Link 是一款浏览器插件,主要用于翻译选中的文本,旨在帮助用户阅读外语原文并在此过程中提高语言技能。插件设计简洁美观,支持多种翻译服务,包括有道词典、谷歌翻译等,并允许用户自定义模型。

  • AQChatServer:极速、便捷的匿名在线即时聊天室

    AQChatServer是一个接入AI的极速、便捷的匿名在线即时聊天室,基于Netty和protobuf协议实现高性能,对标游戏后端开发,全程无需HTTP协议,支持文本、图片、文件、音频、视频的发送和接收。

  • Voice Pen:语音转文字的智能助手

    Voice Pen是一款利用人工智能技术将语音转换为文字的应用程序,它支持超过50种语言,使用OpenAI的Whisper技术提供完美的转录和标点。用户可以使用Voice Pen记录语音,生成笔记、摘要、电子邮件、消息、博客帖子等。此外,它还具备AI重写功能,帮助用户清晰地组织文本、总结、制作列表、创建博客/帖子/推文、Instagram标题和电子邮件。Voice Pen注重用户隐私,不收集任何录音或文本数据。

  • Eternity AC:创建您的数字克隆,超越限制,实现自我不朽。

    eternity.ac是一个提供数字克隆服务的平台,允许用户创建具有自己思想、声音和外观的数字克隆体。这项技术突破了传统的交流和表达方式,使用户能够以全新的形式与世界互动。产品背景信息显示,eternity.ac致力于推动数字存在技术的革命,为用户提供一种全新的自我表达和社交方式。

  • Dropbase:快速构建自定义后台操作软件的开发者平台

    Dropbase是一个为开发者设计的平台,旨在快速且无痛地构建自定义的内部工具和后台操作软件。它通过自然语言声明应用、UI预览、拖放调整、输入行为生成代码、代码运行和追踪调试等功能,帮助开发者摆脱低代码/无代码开发的局限。Dropbase支持与现有的CRM、计费和支持工具集成,提供如管理面板、审批仪表板、数据编辑器、云控制台和通知系统等多样化的内部软件组件,并且完全使用Python编写,提供代码的灵活性和重用性。

  • Socap.ai:利用AI帮助创始人和投资者快速扩展网络和融资

    Socap.ai是一个利用人工智能技术帮助创始人和投资者扩展社交网络和加速融资流程的平台。它通过提供智能匹配、社交资本共享和协作功能,使创业者能够更有效地与潜在的投资者和合作伙伴建立联系。Socap.ai背后的理念是利用社交网络的力量,通过有针对性的介绍和社区支持,帮助创业者实现其商业目标。

  • TrustLoop:AI驱动的反馈与评论自动化平台

    TrustLoop是一款专注于商业领域的在线平台,利用人工智能技术帮助企业自动化收集用户反馈和评论。它通过在合适的时机引导用户留下5星好评,从而加速产品市场契合度,构建社会信任。平台易于设置,只需两行代码即可集成到网站,且完全可定制,不拖慢网站速度。TrustLoop还提供共享团队邮箱,确保团队成员能够及时获取反馈信息,快速响应客户。

今日大家都在搜的词: