首页 > 业界 > 关键词  > DRAM最新资讯  > 正文

CXL内存池助力Microsoft Azure节省数亿美元DRAM硬件开销

2022-07-14 09:15 · 稿源: cnbeta

微软、Google、亚马逊等云计算巨头,都在以各种“实例”(Instance)和按需付费的方式,向广大客户提供其云端硬件资源。不过通常情况下,这些实例都会受到特定的 CPU 和内存配置的约束 —— 意味着客户智能从预设的几个选项中进行挑选、而无法进一步细分配置。

2.jpg

(图 via SemiAnalisis)

比如每多一个虚拟的 CPU 核心,就会往上添加 2GB 的内存。且在实例开启的过程中,预先分配的 CPU 与内存资源也被单个客户锁定,而无法在全局环境中动态调节。

长期以来,超大规模企业一直在努力思考如何缓和这方面的资源浪费 —— 毕竟许多示例没有充分利用其 DRAM,导致整个数据中心的使用效率低下。

以 Microsoft Azure 为例,其测量结果表明 —— 近半虚拟机从未使用超过 50% 的预分配内存资源,这样的浪费是相当惊人的。

随着 CPU 资源的触顶,剩余的内存资源无法物尽其用,微软将这种状态称作内存搁浅(Memory Stranding)。

更让人感到震惊的是,多达 25% 的 DRAM 在任何特定时刻都可能被搁置。

3.jpg

为了大幅改善这种情况,Microsoft Azure 想到了所谓的“内存池”(Memory Pooling)概念。

旨在允许 CPU 访问其所需的尽可能多的内存、而不占用或搁置不需要那么多 DRAM 资源的虚拟机。

好消息是,全新的 CXL 缓存一致性协议,已经得到了各大主流硬件提供商的产品支持。

通过采用 CXL 硬件,微软等数据中心运营商有望大幅降低其 DRAM 成本。

假如最终得到 9~10% 的整体 DRAM 优化,大型云服务器提供商可轻松介绍数亿美元的内存硬件开销。

此外微软估计,使用 CXL 和内存池技术,将使数据中心的服务器成本降低 4-5% —— 毕竟仅 DRAM 组件就占比超过了 50% 。

4.jpg

性能方面,Microsoft Azure 团队对一些使用本地 DRAM / 内存池的配置进行了基准测试,不过性能损失 / 最佳效果还是取决于具体的应用程序。

一方面,Memory Pooling 会导致额外的 67-87 ns 延迟,导致某些应用程序的速度变得更慢。

另一方面,20% 左右的应用程序并未受到内存池的性能拖累,但有 23% 的应用程序性能损失不到 5% 。

此外 25% 的应用程序减速超 20%,12% 的应用程序减速超 30% 。

需要指出的是,这只是微软在首批 CXL 硬件上展开的早期测试。展望下一代硬件和新的 CXL 协议规范,Memory Pooling 还有望带来更好的体验。

举报

  • 相关推荐
  • 大家在看
  • DocTranslator:AI 文件翻译工具

    DocTranslator 是世界上最好的 AI 翻译工具,支持超过 100 种语言,可快速翻译大型 PDF、Word、Excel、PPT 文件。提供免费试用计划和存储计划,支持 MS Word、Excel 和 PDF 格式,保留原始格式和布局。价格从 0.005 美元 / 单词起,满足各种用户需求。

  • sourcenext:梦幻 AI 翻译机

    ポケトーク是一款梦幻的 AI 翻译机,可以让无法交流的人进行对话,具有高度实用性和便携性,是旅行、商务等场景的理想助手。

  • chichi-pui:AI 画像专用的投稿和生成网站

    chichi-pui(ちちぷい)是一家 AI 画像专用的投稿和生成网站,用户可以在此分享和生成 AI 插画、AI 照片等作品。该网站拥有丰富的 AI 画像投稿和生成内容,适合对 AI 艺术感兴趣的用户使用。用户可在网站上参与不同的活动和投稿企划,与其他用户分享作品并获取灵感。

  • Al Comic Factory:自动生成有情感、有故事性的漫画内容

    Al Comic Factory利用大型语言模型和SDXL技术自动生成有情感、有故事性的漫画内容。用户只需提供简单文本提示,AI Comic Factory即可生成包含人物对话和场景描述的漫画。支持多种配置、用户交互、多语言内容创建、批量生成漫画变体等功能。

  • Chatmind AI:AI 原生思维导图在线工具

    Chatmind 是一款由 Xmind 团队推出的免费在线 AI 思维导图和头脑风暴工具,通过 ChatGPT 技术,帮助用户在几分钟内创建思维导图。用户可以通过简单的文本描述生成思维导图,快速总结文档或 URL 链接为思维导图,与 AI 对话产生创意并整合到思维导图中,描述文本即可立即生成图像,轻松为任何主题创建视觉内容,自动保存文件历史以便跨设备访问,编辑文本和重新排列主题轻松自如,将思维导图转化为幻灯片展示只需一键,轻松以多种格式分享思维导图。

  • Scribble Diffusion:将您的草图转化为精致图像

    Scribble Diffusion利用人工智能将您的草图转化为精致图像。用户可以上传草图并获得优化后的图像。产品定位为为用户提供便捷的图像处理功能,提升设计效率。

  • Sider:AI 助手,集成多功能 AI 工具

    Sider 是一款 AI 助手,集成了 ChatGPT 3.5/4、Gemini 和 Claude 等多功能 AI 工具,能够帮助用户进行聊天、写作、阅读、翻译、解释、图像测试等操作。用户可在任何网页上使用 Sider,提供强大的 AI 支持。

  • joyland:沉浸式 AI 聊天平台,创造自己的冒险!

    joyland是一个沉浸式 AI 聊天平台,用户可以在其中进行基于角色的对话,创造自己的冒险故事。通过与虚拟角色互动,用户可以逃离现实生活的平凡,沉浸于充满乐趣和想象力的互动体验中。乐园的定价灵活多样,适合不同用户需求。

  • Charstar AI:虚拟 AI 角色交流平台

    Charstar AI 是一个基于最新开源 AI 技术支持的虚拟角色交流平台,用户可以与各种虚拟 AI 角色进行互动、发现新角色,并探索其潜在故事。通过与虚拟角色聊天,用户可以体验到独特的交流方式,为用户提供全新的虚拟角色交互体验。

  • FakeYou:深度伪造文本到语音生成器

    FakeYou Celebrity Voice Generator 是一款利用深度伪造技术生成喜爱角色说任何你想说的话的文本到语音生成器。用户可以免费使用该工具来创作独特的声音内容。

  • The StoryGraph:根据您的心情和偏好追踪和选择书籍。

    The StoryGraph 是一个帮助用户跟踪阅读进度并选择下一本书的平台。用户可以免费使用大部分功能,也提供付费的 Plus 计划获得更加个性化的体验。由 Nadia Odunayo 和 Rob Frelow 创办,始于 Nadia 的个人项目,致力于帮助用户管理阅读列表。用户可以在 App Store 和 Play Store 下载 The StoryGraph 的移动应用,并从 Goodreads 导入阅读数据。

  • Happy Scribe:音频转文字及视频字幕服务

    Happy Scribe 提供自动和人工转录服务,将音频转换为文本,准确率达到 85-99%,支持 120 多种语言和 45 多种格式。定位于为用户提供高效的音视频转录及字幕服务。

  • Product Hunt:发现科技领域最佳新品AI产品

    Product Hunt 是每天最佳新品的精选。发现最新的移动应用程序、网站和技术产品,人人都在谈论。

  • JanitorAI:NSFW虚构聊天机器人角色

    JanitorAI 是一个集合了各种有趣的聊天机器人的平台,用户可以与各种不同性格和故事背景的虚拟角色进行互动。平台定位于提供娱乐和交流的虚拟角色体验。用户可以选择不同的角色与之互动,体验多样化的聊天和故事情节。平台允许用户创建具有不同个性的NSFW虚构聊天机器人角色。该平台由大型语言模型驱动,包括OpenAI的GPT模型。

  • ComfyUI-SuperBeasts:用于增强图像动态范围和视觉吸引力的图像处理应用程序

    ComfyUI-SuperBeasts是一款用于增强图像动态范围和视觉吸引力的图像处理应用程序。它提供了一组可调整的参数,用于根据用户偏好微调HDR效果。该应用程序具有以下特点:调整阴影、高光和整体HDR效果的强度;应用伽马校正以控制整体亮度和对比度;增强对比度和色彩饱和度,使结果更加生动;通过在LAB颜色空间处理图像来保留颜色准确性;利用基于亮度的掩码进行针对性调整;将调整后的亮度与原始亮度进行混合,以实现平衡效果。

  • Liner:AI Copilot, 提升工作效率

    Liner 是由 GPT-4 提供支持,旨在提高您的生产力。通过摘要文章、生成代码和撰写电子邮件,优化工作流程。

  • Adobe GenStudio:跨渠道活动工具集,提升营销效率。

    Adobe GenStudio是一个基于生成式人工智能构建的跨渠道活动工具集,旨在帮助营销团队规划、制作、管理、发布并评估高品质品牌内容。核心功能包括创作、内容中心、活动管理、发布和数据洞察。产品定位于提升营销人员工作效率及品牌形象一致性。

  • Llanai:通过WhatsApp与AI进行聊天和语音学习

    Llanai是一个通过与AI进行聊天和语音交流来帮助学习语言的产品。它根据您的学习目标和兴趣创建个性化的学习计划,并提供即时反馈和纠正。您可以随时随地通过WhatsApp进行学习,提高口语和听力技能。

  • Ramban.AI:一站式AI平台,助力内容创作、多媒体制作和智能协作

    Ramban AI是一款集成了先进的人工智能能力的全能平台,可用于内容创作、多媒体制作和智能协作。它提供了AI文章生成器、智能编辑器、AI重写工具和抄袭检测器等AI驱动的内容创作工具,让您能够轻松高效地创建高质量、吸引人的内容。AI视频制作、AI图像生成和AI语音合成等功能可提升您的多媒体制作能力。此外,AI聊天、AI视觉、AI文件聊天和AI网页聊天等工具可实现实时团队协作和高效沟通。Ramban AI还提供AI代码助手和品牌声音功能,以简化编码过程并在所有渠道保持一致的品牌声音。用户友好的界面和易用性使所有技术背景的人都能轻松利用AI的力量。解锁无限可能,实现卓越创造力,与Ramban AI一起保持领先。

  • Knowt Ai:超过 1 百万学生信赖的 Quizlet 替代品

    Knowt 是一款免费的学习工具,受到超过 1 百万学生的信赖。用户可以通过导入 Quizlet 内容,使用无限的学习模式、匹配游戏等功能来学习。除了学生,教师也可以在 Knowt 上上传讲座,创建闪卡。定价策略为免费使用。

今日大家都在搜的词: