首页 > 业界 > 关键词  > ChatGPT最新资讯  > 正文

ChatGPT 背后的大型语言模型 GPT-4 需要大量的冷却水: 5 到 50 个问题就需消耗 500 毫升的水

2023-09-11 09:16 · 稿源:站长之家

站长之家(ChinaZ.com) 9月11日消息:建设像 ChatGPT 这样的人工智能产品的成本往往难以衡量。

OpenAI,ChatGPT,人工智能,AI

微软支持的 OpenAI 的技术需要大量的水,这些水来自爱荷华州中部的 Raccoon 和 Des Moines 河流域,用于冷却一台强大的超级计算机,以帮助教导其人工智能系统如何模仿人类写作。

在竞相利用生成式人工智能的狂潮中,包括微软、OpenAI 和谷歌在内的领先科技开发者承认,对其人工智能工具的不断增长需求带来了巨大的成本,从昂贵的半导体到用水量的增加都有所涉及

但他们通常对具体情况保持保密。在微软一位高级高管在演讲中表示「GPT-4 实际上是在得梅因西边的玉米田旁边制造出来的」之前,很少有人知道爱荷华州是 OpenAI 最先进的大型语言模型 GPT-4 的诞生地

构建大型语言模型需要分析大量人类写作文本的模式。所有这些计算需要大量电力,并产生大量热量。为了在炎热的天气里保持冷却,数据中心需要泵入水——通常是泵入仓库大小的建筑外的冷却塔。

根据微软最新的环境报告,其全球用水量从 2021 年增长了 34% 至 2022 年(达到近 17 亿加仑,相当于 2500 多个奥林匹克游泳池的水量),与以前的年份相比大幅增加,外部研究人员将其与其人工智能研究联系起来。

加州大学河滨分校的研究员Shaolei Ren 表示:「可以说,增长的大部分原因是由于人工智能,包括其在生成式人工智能和与 OpenAI 的合作方面的巨大投资。」该团队估计,ChatGPT 在今年晚些时候将会发表的一篇论文中,每次你向它提问一系列介于 5 到 50 个提示或问题之间,它就会消耗 500 毫升的水(接近于一个 16 盎司水瓶的水量)。这个范围取决于服务器的位置和季节。这个估算包括公司没有测量的间接用水,比如用于冷却供电数据中心的发电厂。

Ren 说:「大多数人都不知道 ChatGPT 背后的资源使用情况。」「如果你不知道资源的使用情况,那就无法帮助我们节约资源。」

谷歌在同一时期报告其用水量增长了 20%,这也主要归因于其人工智能工作。谷歌的用水增长不是均匀的——在俄勒冈州,它的用水量一直稳定,而且引起了公众的注意,而在拉斯维加斯以外的地方则翻了一番。在爱荷华州,谷歌对 Council Bluffs 数据中心的需求最大,输送了更多的水。

微软上周在一份声明中表示,它正在进行研究,以衡量人工智能的能源和碳足迹,「同时致力于使大型系统在训练和应用方面更加高效。」

微软公司的声明说:「我们将继续监控我们的排放,加速进展,增加使用清洁能源来供电数据中心,购买可再生能源以及其他努力,以实现我们在 2030 年之前成为负碳、水资源正增、零废弃的可持续发展目标。」

OpenAI 在自己的声明中也重申了这些评论,表示正在「认真思考」如何最好地利用计算能力。「我们认识到训练大型模型可能会消耗大量能源和水资源」,并努力提高效率,它表示。

微软于 2019 年首次投资总部位于旧金山的 OpenAI 10 亿美元,比这家初创公司推出 ChatGPT 和引发全球对人工智能进展的着迷早两年多。作为交易的一部分,这家软件巨头将提供训练人工智能模型所需的计算能力。

为了至少完成部分工作,这两家公司寻找了爱荷华州西得梅因,这个拥有 6.8 万人口的城市是微软在过去十多年中一直在积累数据中心,以为其云计算服务供电。该公司的第四和第五个数据中心计划于今年晚些时候在那里开业。

「他们正在尽力建设,」微软进驻该市时担任该市市长的 Steve Gaer 说。Gaer 表示,微软公司被城市建设公共基础设施的承诺所吸引,并通过支持该投资的税款提供了一笔「令人震惊」的金额。但他补充说:「但是,你知道,他们对他们在那里做什么相当保密。」

微软于 2020 年首次宣布,正在为 OpenAI 开发世界上最强大的超级计算机之一,当时拒绝向媒体透露其位置,但将其描述为一个具有超过 28.5 万个传统半导体核心和 1 万个图形处理器(这种芯片已经对人工智能工作负荷变得至关重要)的「单一系统」。

专家们表示,在一个地方「预先训练」人工智能模型是有意义的,因为需要在计算核心之间传输大量数据。

直到 2022 年 5 月底,微软总裁 Brad Smith 才透露,微软已经在爱荷华州建立了其「先进的 AI 超级计算数据中心」,专门用于让 OpenAI 训练成其第四代模型 GPT-4。该模型现在为 ChatGPT 的高级版本和微软的一些产品提供支持,并加速了有关限制人工智能社会风险的讨论。

「它是由加州的这些杰出工程师设计的,但它实际上是在爱荷华制造的,」Smith 说。

在某种程度上,与微软在亚利桑那州的数据中心相比,西得梅因是一个相对高效的地方来训练强大的人工智能系统,特别是考虑到为了满足相同的计算需求,亚利桑那州的数据中心消耗了更多的水。

「所以,如果你正在微软内部开发人工智能模型,那么你应该将你的训练安排在爱荷华州,而不是在亚利桑那州,」Ren 说。「在训练方面没有区别。但在用水或能源消耗方面,有很大的差异。」

在大部分时间里,爱荷华州的天气足够凉爽,以至于微软可以使用外部空气来保持超级计算机正常运行,并排出建筑物内的热量。该公司在一份公开文件中表示,只有当温度超过 29.3 摄氏度(约 85 华氏度)时,它才会取水。

尽管如此,这仍然可以是大量的水,特别是在夏天。根据西得梅因市自来水公司的数据,在 2022 年 7 月,即 OpenAI 宣布完成对 GPT-4 的训练之前的一个月,微软向其爱荷华数据中心集群抽取了约 1150 万加仑的水。这占了该地区用水总量的约 6%,该地区还向市民提供饮用水。

2022 年,西得梅因自来水公司的一份文件说,该公司和市政府将「只考虑未来数据中心项目」,如果这些项目能够「证明并实施技术,显著减少当前水峰值使用水平」,以保护居民和其他商业需求的水供应。

微软上周四表示,正在直接与自来水公司合作,以解决其反馈问题。在一份书面声明中,自来水公司表示,该公司一直是一个良好的合作伙伴,并一直与当地官员合作,以减少其用水量,同时仍然满足其需求。

举报

  • 相关推荐
  • 大家在看
  • Playground v2.5:Playground是一个免费的在线AI图像生成器

    Playground是一个免费的在线AI图像生成器,用户可以使用它来创造艺术作品、社交媒体帖子、演示文稿、海报、视频、标志以及更多。它采用了当前最先进的视觉模型,可以高质量生成各种风格和内容的图片。主要功能和优势包括:1)强大的图像生成能力,可根据文字描述生成细节丰富的图片;2)支持多种生成风格,如写实、动漫等;3)支持生成高清大图;4)可自定义生成图片样式,如颜色、构图等;5)免费使用,无需登录;6)简单易用的网页界面。

  • chat-with-mlx:在Apple Silicon上原生使用MLX框架与数据对话

    chat-with-mlx是一个展示如何在Apple Silicon上使用MLX框架进行原生对话的库。它支持多种开源模型,可以轻松集成任何HuggingFace和MLX兼容的开源模型。

  • AutoPrompt:基于意图的提示校准框架

    AutoPrompt是一个用于提示优化的框架,旨在通过意图校准过程自动生成高质量、详细的提示,以适应用户意图。该框架通过迭代构建挑战性边缘案例数据集并相应优化提示,减少手动提示工程的工作量,并有效解决提示敏感性和固有的提示歧义问题。

  • LTX Studio:AI驱动的一站式视频制作平台

    LTX Studio是一个集成了AI技术的创新视频制作平台,它允许用户从概念到最终剪辑,全面控制视频的各个方面。该平台通过AI技术,将创意转化为连贯的视频故事,提供角色一致性、自动编辑、深度帧控制等功能,旨在简化视频制作流程,提高创作效率。

  • MorphStudio:Morph Studio可以帮助用户通过文本提示创造出独特的视频

    Morph Studio是一个基于人工智能的文本到视频生成平台。它使用先进的算法,可以通过用户提供的文本提示,自动生成高质量的视频。Morph Studio使创作者可以将自己的创意快速实现成动态的视觉内容。它极大地降低了视频制作的门槛,用户无需具备专业技能和昂贵设备,就可以创造出独特的视频作品。此外,Morph Studio还提供了强大的自定义功能,用户可以调整生成视频的长度、分辨率、样式等参数,输出结果更符合自己的需求。总之,这是一款极具创新和颠覆性的人工智能产品。

  • Borea AI:解锁智能财务掌握

    Borea AI是一款颠覆金融和投资传统的创新平台,通过提供AI驱动的工具和洞察力,帮助您做出明智的决策,助您成功。

  • AutoPitch.ai:AutoPitch是一个AI助手,可以在几秒钟内编写技术外联邮件

    AutoPitch是一个AI助手,可以在几秒钟内编写技术外联邮件。它从6个数据源和先进的AI模型中获取数据,帮助销售人员更好地研究和销售技术产品。AutoPitch深入了解产品的特性、技术细节等,并自动生成账户研究报告。它还可以帮助您编写与潜在客户的角色、公司和行业相关的个性化销售信息。通过AutoPitch,您可以节省每个账户1小时的时间。

  • LayerDiffusion:用SD直接生成透明的 PNG 图片

    LayerDiffusion 是一种使大规模预训练潜在扩散模型能够生成透明图像的方法。该方法允许生成单个透明图像或多个透明图层。它学习了一种 “潜在透明度”,将 Alpha 通道透明度编码到预训练潜在扩散模型的潜在空间中。通过将添加的透明度调节为潜在偏移,最小程度地改变预训练模型的原始潜在分布,以保留大型扩散模型的生产就绪质量。通过调整潜在空间对其进行微调,可以将任何潜在扩散模型转换为透明图像生成器。我们使用人机协作收集的 100 万个透明图像层对对模型进行训练。我们展示了潜在透明度可以应用于不同的开源图像生成器,或者适应于各种条件控制系统,实现前景 / 背景条件图层生成,联合图层生成,图层内容结构控制等应用。用户研究发现,在大多数情况下(97%),用户更喜欢我们本地生成的透明内容,而不是之前的临时解决方案,比如生成然后抠图。用户还报告说,我们生成的透明图像的质量与 Adobe Stock 等真实商业透明资产相媲美。

  • DiffuseKronA:参数高效微调个性化扩散模型

    DiffuseKronA 是一种参数高效的微调方法,用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块,显著降低参数数量,提升图像合成质量。该方法减少了对超参数的敏感性,在不同超参数下生成高质量图像,为文本到图像生成模型领域带来重大进展。

  • Einstein Copilot:成为 AI 第一公司的终极解决方案

    Salesforce Einstein 是您成为 AI 第一公司的端到端解决方案。利用我们 AI 技术在客户数据中创建可定制、预测性和生成性 AI 体验,安全地满足您所有的业务需求。通过 Einstein,在任何工作流程、用户、部门和行业中引入对话式 AI。

  • EMO:通过音频生成充满表情的肖像视频

    阿里巴巴的EMO: 是一款生成具有表情丰富的面部表情视频的工具,可以根据输入的角色图像和声音音频生成各种头部姿势和表情的声音头像视频。支持多语言歌曲和各种肖像风格,能够根据音频节奏生成动态、表现丰富的动画角色。

  • toona:批量给黑白漫画上色的工具

    toona 是一个将漫画图像上色的工具,让漫画生动起来。用户可以通过给漫画图像添加色彩来提升视觉效果,增加乐趣。无需专业绘画技能,一键即可实现。

  • 青梧字幕:智能提取视频字幕

    青梧字幕是一款视频字幕自动提取工具,用户可以通过选中本地视频文件自动生成字幕,进行编辑和翻译,最终可以下载多种格式的字幕文件。产品功能全面,支持高质量翻译和多种字幕格式下载,适用于视频制作、学习教育等场景。

  • C3PO:基于用户反馈的 LLM 模型对齐技术

    C3PO 是一种基于用户反馈的 LLM 模型对齐技术,可以从单个反馈句子中对 LLM 进行调整,避免过度概括化。该技术提供了参考实现、相关基准线和必要组件,方便研究论文中提出的技术。

  • OpenDiT::一款简单、快速、高效的DiT训练和推理系统

    OpenDiT是一个开源项目,提供了一个基于Colossal-AI的Diffusion Transformer(DiT)的高性能实现,专为增强DiT应用(包括文本到视频生成和文本到图像生成)的训练和推理效率而设计。OpenDiT通过以下技术提升性能:在GPU上高达80%的加速和50%的内存减少;包括FlashAttention、Fused AdaLN和Fused layernorm核心优化;包括ZeRO、Gemini和DDP的混合并行方法,还有对ema模型进行分片进一步降低内存成本;FastSeq:一种新颖的序列并行方法,特别适用于DiT等工作负载,其中激活大小较大但参数大小较小;单节点序列并行可以节省高达48%的通信成本;突破单个GPU的内存限制,减少整体训练和推理时间;通过少量代码修改获得巨大性能改进;用户无需了解分布式训练的实现细节;完整的文本到图像和文本到视频生成流程;研究人员和工程师可以轻松使用和调整我们的流程到实际应用中,无需修改并行部分;在ImageNet上进行文本到图像训练并发布检查点。

  • WMTA project (beta):AI识别非洲艺术品

    Whomadethisartwork.com是一个利用人工智能识别非洲艺术品的网站。通过上传或粘贴照片,AI模型可以准确识别艺术品,提供相关的艺术家、艺术品介绍等信息。该平台还提供了文档记录、艺术品鉴定、艺术家推广等功能,旨在保护和推广非洲艺术遗产。

  • Map Lead Scraper:从Google Maps抓取本地商家数据

    Map Lead Scraper是一个从Google Maps抓取工具,可以帮助用户提取Google Maps上的信息。它可以提取本地商家数据和联系方式,节省大量手动搜索的时间。可以自动生成潜在客户名单,包括名称、电话、邮箱等信息。

  • ChatMusician:集成音乐能力的开源LLM

    ChatMusician是一个开源的大型语言模型(LLM),它通过持续的预训练和微调,集成了音乐能力。该模型基于文本兼容的音乐表示法(ABC记谱法),将音乐视为第二语言。ChatMusician能够在不依赖外部多模态神经结构或分词器的情况下,理解和生成音乐。

  • MobiLlama:为边缘设备定制的小型语言模型

    MobiLlama是一个为资源受限设备设计的小型语言模型(SLM),它旨在提供准确且轻量级的解决方案,以满足设备上的处理需求、能效、低内存占用和响应效率。MobiLlama从更大的模型出发,通过精心设计的参数共享方案来降低预训练和部署成本。

  • Multi-LoRA Composition:多LoRA组合图像生成技术

    Multi-LoRA Composition是一种用于图像生成的先进技术,它通过组合多个低秩适配器(LoRA)来生成高质量的图像。这种方法在保持模型大小的同时,提高了图像的细节和多样性。

今日大家都在搜的词: